Когда тебя назначили ментором джунов, и у них есть "пара вопросов" 👨‍🦽
#почтипятничное

Многие ответили на вопрос 👆 выше правильно. Теперь давайте подробнее расскажу про эту связь скорости света с современными компами.

😊 Факт интересный, но ему почти не уделяют внимания в теме работы оперативной памяти и процессора.

Итак, все мы слышали, что у оперативной памяти есть частота и тайминги доступа. Но при этом как бы по умолчанию считаем, что данные попадают в процессор и обратно мгновенно.

На заре зарождения ПК так и можно было считать (частота тогда была очень низкой и памяти было мало). Но в наше время с гигагерцовыми частотами начинает играть роль новый фактор - скорость света.

Скорость света равна 299 792 458 м / с в вакууме.

Представим, что у нас память работает на частоте 5 Ггц (типичная скорость актуальной памяти DDR5).

Чтобы такая память работала максимально эффективно, она должна находиться 🤯 не дальше 6 см от процессора (это расчёт исходя из скорости света в вакууме, а не в вакууме скорость в проводах будет ещё медленнее).
При расстоянии 6 см и более скорости света будет недостаточно для передачи сигналов за длительность одного такта, а это, в данном примере, 100 пикосекунд, соответственно будет расти задержка доступа к памяти.

Почему низкая задержка так важна?

В рутинных задачах с компьютером типа 👨‍💻 составления иксель таблиц или открытия новой вкладки браузера вы разницу не заметите, но она будет видна, например, в 🎮 видеоиграх или при архивации данных.

Именно поэтому память располагают как можно ближе к процессору.

👀 Где-то в параллельной Вселенной для максимальной эффективности оперативную память располагают непосредственно на самом процессоре.
Но почему так не делают в нашем измерении в обычных ПК? 🤔 Расскажу в другой раз.

🎉 Результаты розыгрыша:

🏆 Победитель:
1. Антон (@AntonVidyakin)

✔️Проверить результаты

Продолжаю рассказ про оперативную память компьютера.

В прошлом посте мы выяснили почему оперативную память нужно располагать как можно ближе к процессору, но почему бы не расположить её внутри самого процессора?

🤲 На самом деле память присутствует в процессоре и называется кэшем. Кэш бывает первого, второго и третьего уровней. Компания AMD (крупный производитель процессоров) ещё придумала так называемый 😵‍💫 3D кэш (расширение кэша третьего уровня).

А в мире видеокарт и ИИ ускорителей распространена HBM память - она также расположена с процессором либо бок о бок, либо на нём, но HBM память плохо подходит для процессоров по своим характеристикам.

🧐 Но почему же кэш не может заменить оперативную память, раз он уже расположен в процессоре?

Кэш обладает выдающимися 😼 характеристиками по сравнению с оперативной памятью:

✔️ скорость выше на несколько порядков
✔️ задержки на порядки меньше

Но есть пара нюансов:

🔶 Все перечисленные выше уровни кэша могут предложить суммарный объем в самых дорогих процессорах в сотни мегабайт (а в потребительских чаще всего речь идёт о паре десятков), и это очень мало для необходимой работы с данными.

🔶 При своём небольшом объеме кэш занимает, как правило, значительную часть площади процессора (другими словами кэш очень дорого обходится при производстве чипов).

Возможно, в будущем получится уменьшить размер площади, занимаемой на кристалле процессора, но до тех пор компьютеры будут выглядеть без изменений.

📷 На изображении показана схема актуального процессора AMD.
Можете наглядно посмотреть сколько места занимает всего 32 мегабайта.

Вот вам логическая (математическая) задача к понедельнику, где не помешает ещё и внимательность😱

Я решил не с первого раза 😳

Новое слово в возобновляемой энергетике - китайский стартап Saw Energy Technology провёл испытания ветряной электростанции мощностью 1 МВт.

С виду это дирижабль, в котором вместо пассажиров размещены ветряные генераторы.

В отличие от классических ветряных генераторов, которым требуются стационарные опоры, этот дирижабль может перемещаться на разные высоты или даже в другую местность (в зависимости от силы и направления воздушных потоков).

✈️ Такая мобильность позволяет стабильно вырабатывать энергию - в случае если затих ветер в одном месте, то можно переместиться на другую высоту.

Также это позволит обеспечивать ⚡️ электричеством труднодоступные регионы, или регионы, в которых произошла авария.

А теперь 💩 "ложка дёгтя":

🔘 Отсутствие прочной стационарной опоры и большие размеры делают такие генераторы уязвимыми для сильных ветров и гроз.

🔘 Для создания подъёмной силы этот дирижабль использует дорогой гелий, рынок которого волатилен - что может создать экономический барьер. А использовать дешевый водород не вариант из-за его 🔥 горючести.

🔘 Большую конструкцию дирижабля тяжело стабилизировать в воздухе - это уже задача со звёздочкой.

Сейчас такие генераторы довольно дороги, но с ростом масштаба производства, а также решением технических блокеров это станет 😼 супер-прорывом в возобновляемой энергетике.

Вот отгадка воскресной 🙄 задачки.

Первая строка:

Надо обратить внимание на положение стрелок на часах - двое часов показывают 9, а последние 3 часа.

Вторая строка:

Надо обратить внимание на цифры, введённые в калькулятор - в сумме будет 10.

Третья строка:

У лампочки 5 лучей и одна лампочка равна 15, соответственно можно предположить, что "стоимость" одного луча равняется трём.

И финальная строка:
▫️ часы показывают 9
▫️ на калькуляторе введены цифры, дающие в сумме 9
▫️ 3 лампочки, каждая лампочка содержит по 4 луча, а каждый луч это 3, в сумме эти лампочки дают 36

Итого:

9⃣ ➕ 9⃣ ✖️ 3⃣6⃣ 🟰 3⃣3⃣3⃣

И так каждый раз🍾

Нашел приложение, демонстрирующее эффект нормального распределения.

🤔 Что такое нормальное распределение простыми словами?

Это когда большинство данных группируется в центре, а чем дальше от центра, тем реже они встречаются.

https://play.google.com/store/apps/details?id=com.indexfundsadvisorsinc.galtonboardapp

Доска Гальтона наглядно демонстрирует как это работает.

Такое распределение встречается повсеместно - уровень IQ, распределение богатства, роста и веса, даже распределение оценок в 🧑‍🏫 школе.

Например, если оценки после экзамена не распределяются также, как шарики в этом примере, то такую школу следует проверить на подтасовки😊

Хочу добавить интерактивную версию на свой сайт. Найти нормальную демонстрацию не получилось, но если найдете такую - пишите в комментариях.

Уловили разницу?🍞
Вам какой лагерь ближе?
Мне вот ближе 💙
#неосуждаем

🚶‍♂️ Anthropic, ИИ стартап, известный линейкой своих моделей Claude (одни из лучших на сегодняшний день), анонсировал планы использовать Google на доступ к <1.000.000 TPU (это ооочень большая мощь) для инференса и R&D своих моделей.

🦸‍♂️ Теперь по порядку)

TPU - тензорные процессоры, разработанные гугл изначально для ускорения ML-вычислений. Сейчас применяются также и для работы LLM, в данный момент уже выпущено 7 поколение Ironwood.

Инференс - это процесс работы уже обученных моделей без обучения.

В официальном анонсе Anthropic заявлена высокая производительность решений Google на 💵 доллар (что очень важно, учитывая дефицит энергии для дата центров ИИ).

Также это соответствует политике компании по диверсификации поставок ускорителей (чтобы не быть завязанными только на лидере рынка NVIDIA).

😑 Вот здесь я уже поднимал эту тему, так что хорошо, что предпринимаются шаги для уменьшения монополии NVIDIA.