AI EDAs: Is It Real?

В последнее время на канале мы всё чаще обсуждаем, как AI меняет индустрию. Мы уже разбирали достаточно уморительную статью, где авторы утверждали, что LLM якобы смогли спроектировать Linux-bootable ядро, а в итоге это оказался обычный 5-стадийник по Харрису.

Потом были последние новости про Astra от OpenAI, которая за один промпт якобы подготавливает schematic и полноценный PCB design. А в итоге оказывалось, что половина разъёмов вывернута внутрь платы, placement вызывает вопросы, а сам результат ещё требует довольно много работы со стороны инженера.

Так есть ли вообще что-то стоящее от AI в мире chip design или пока это в основном красивые демки и хайп в твиттере?
Мне кажется, это видео от Asianometry довольно хорошо отвечает на этот вопрос.

Спойлер - есть. Если грамотно построить цикл проектирования с постоянным feedback по PPA и другим QoR-метрикам, то уже сейчас можно получать неплохой буст в производительности труда.
Но до момента смены парадигмы с RTL2GDS на Prompt2GDS мы пока всё-таки не дошли.

К просмотру обязательно:

https://youtu.be/GzhfZy8-CjU

Jane Street запустили новый ASIC Challenge - на этот раз предлагают спроектировать настоящий open-source чип, а лучшие проекты обещают затейпаутить за свой счёт.

Задача довольно интересная: сделать general-purpose protocol emulator ASIC.

Идея в том, чтобы вместо отдельных UART, SPI и I2C контроллеров сделать универсальный программируемый контроллер, способный через GPIO реализовывать разные, в том числе кастомные, протоколы уже после изготовления чипа.

Первое, что тут приходит в голову, - PIO из Raspberry Pi RP2040. Собственно, сами Jane Street тоже приводят его в качестве одного из источников вдохновения.

https://rp2040pio-docs.readthedocs.io/en/latest/pio-programs.html

И тут, мне кажется, самое важное понять, где заканчивается FSM и начинается микроконтроллер 😁

Пару слов о формате. Когда задачка выходит за рамки одного дня, как мне кажется, она превращается из интересной головоломки в полноценный сайд-проект. Наверное, единственное, что подкупает в этом челлендже - Jane Street обещают затейпаутить самые интересные решения и отправить готовые чипы разработчикам. Честная это компенсация за такой объём работы или нет - решайте сами.

Если решили поучаствовать, в комментариях к посту можно найти единомышленников и организовать самосбор команд.

Основные правила: дедлайн - 18 января 2027 года, технода - IHP 130 nm CMOS5L, площадь - примерно 1 мм^2.

Остальные подробности смотрите в блоге Jane Street.
https://blog.janestreet.com/protocol-emulator-asic-competition/

Вышел новый формат от Истового Инженера - «Разгоны», где инженеры разных специальностей обсуждают какую-то тему. Тема же выпуска - скучное и очевидное «все профессии нужны, все профессии важны».

Формат прикольный, но как будто не хватает градуса накала, давайте исправлять.

Я как выпускник НИИшной школы проектирования заявляю: верификаторы не нужны в целом.

Всем давно известно, что маршрут называется RTL2GDS. RTL готовят, собственно, RTLщики, GDS - бэкендеры. А где тут верификаторы?

Правильно - 2. Та самая знаменитая формула, что на одного RTLщика нужно два верификатора. Ну согласитесь, что это безумие и пустое раздувание штата и бюджетов и явное принижение RTLщика как инженера, что якобы для проверки его работы нужно в 2 раза больше человеко-ресурса.

Для решения этих проблем давно придумали понятные паттерны дебага современных SoC, а именно - бут Linux на FPGA. Linux запустился? Ну всё: neofetch заранили, красивый скриншот сделали - и можно пилить лендос с успешным bring-up ядра.

Да и как RTLщик может называться RTLщиком, если сам не может раздебажить свой же код?

И давайте вспомним, что вообще такое верификация. Верификация - это проверка дизайна на соответствие спецификации.

Так а кто-то из вас эту самую документацию видел? На соответствие чему верификаторы проверяют дизайн? А если мы попросим RTLщика писать документацию, то кто будет писать RTL?

Замкнутый круг.

А вы что думаете? Я понимаю, что корпораты загоняют нас в рамки, но тут настоящая территория пост-разгонов. Приглашаю всех неравнодушных в комментарии.

https://youtu.be/I_Vg7Kog5TE

Люблю технологии

ASUS driver - https://github.com/torvalds/linux/blob/master/drivers/hid/hid-asus.c#L550

Оригинальный твит - https://x.com/soragoto/status/2098983783085318491

How OpenAI Used Its Own LLMs to Design Its Jalapeño Chip

https://spectrum.ieee.org/llms-for-chip-design

tldr: последними работу потеряют backend инженеры, а всем остальным осваивать xls

Нидерланды продолжают укреплять свои позиции как один из ключевых полупроводниковых хабов Европы. Помимо ASML и NXP, в стране появляются и новые игроки, ориентированные на быстрорастущий рынок AI-ускорителей.

Один из них - основанный в 2021 году стартап Axelera AI, который за несколько лет заметно расширил своё присутствие в Европе и теперь объявил о начале поставок нового AI-ускорителя Europa, предназначенного прежде всего для энергоэффективного инференса.

Заявленная производительность Europa достигает 629 TOPS INT8 при TDP 45 Вт. Ключевая технология Axelera - собственная архитектура Digital In-Memory Computing, позволяющая выполнять часть вычислений непосредственно в памяти, снижая затраты на перемещение данных.

Europa доступна как отдельный чип, а также в составе PCIe-карт.

По данным самой Axelera AI, её продукты уже используют более 600 клиентов, а sales pipeline компании превышает $1,5 млрд. При этом $1,5 млрд - именно потенциальный объём продаж, а не оценка компании или уже полученная выручка.

Подробнее об архитектуре Axelera AI и Europa:
https://axelera.ai/news/axelera-ai-launches-europa-delivers-physical-and-enterprise-ai-through-growing-partner-ecosystem-including-dell-and-supermicro

Уже влезли в долги, чтобы наскрести на подписку ChatGPT за 500$?

Пока убеждаете друзей занять вам денег, чтобы за две недели навайбить убийцу Nvidia, самое время разобраться, что же такое Cerebras и почему именно их железо внезапно оказалось настолько интересным для LLM-инференса.

Забавно, что изначально Cerebras в первую очередь пытались решить задачу обучения нейросетей.

И, если верить довольно жёсткому разбору Irrational Analysis, именно с training всё получилось не очень хорошо. Архитектура получилась сильно перекошенной: внутри самого WSE пропускная способность огромная, но канал обмена с внешней памятью и другими устройствами относительно узкий. Поэтому для обучения Cerebras приходилось дополнять WSE внешними системами MemoryX и SwarmX, а ограниченный внешний I/O становился одним из главных bottleneck'ов.

А что вообще такое WSE, MemoryX и SwarmX и как всё это устроено, читайте в отчёте Irrational Analysis.

А вот с инференсом всё оказалось гораздо интереснее.

Cerebras довольно самобытная архитектура. Вместо относительно классической связки GPU с расположенной рядом HBM они буквально делают процессор размером почти с целую кремниевую пластину, Wafer-Scale Engine. WSE-3 содержит около 900 тысяч маленьких ядер, у каждого из которых есть локальный SRAM и простые SIMD-блоки. В сумме получается примерно 44 GB SRAM прямо на wafer.

И вот для inference это оказалось очень интересной комбинацией. Обычный GPU при генерации токенов во многом упирается в необходимость постоянно читать веса модели из HBM.

У Cerebras веса и KV-cache можно держать прямо в SRAM рядом с вычислительными ядрами, а слои модели распределять по WSE. Если одного WSE не хватает, модель распределяется между несколькими. Каждый хранит свою часть модели и передаёт следующему только промежуточный результат вычислений, а не сами веса. Благодаря этому веса остаются в быстром локальном SRAM, а между WSE нужно передавать сравнительно небольшой объём данных. Отсюда и очень высокая скорость генерации.

То есть архитектура, которая довольно странно выглядела как конкурент Nvidia в training, неожиданно нашла свою сильную сторону именно там, где сегодня особенно ценится latency: ультрабыстрый LLM inference.

Но silver bullet из Cerebras всё равно не получился. Вопрос, как оптимальнее всего строить железо для LLM inference, сегодня всё ещё открыт. Одна из главных проблем Cerebras в том, что объём SRAM нельзя наращивать так же легко, как внешнюю память, а большие модели и длинный контекст требуют всё больше памяти. В итоге приходится использовать больше WSE, и впечатляющая скорость начинает обходиться всё дороже с точки зрения масштабирования всей системы. Сам отчёт отдельно отмечает, что KV-cache и веса конкурируют за один и тот же ограниченный SRAM, а с ростом размера модели экономика такого подхода становится всё сложнее.

Но сам инженерный подход всё равно совершенно безумный и очень интересный.

Кстати, если вы забыли, какого размера «чип» у Cerebras, приложу фотку в комментариях.

P.S. Пост чуть больше чем полностью построен на отчёте Irrational Analysis. Обязательно ознакомьтесь с ним, невероятно увлекательный и познавательный разбор.

А вот и результаты Jane Street ASIC Puzzle подъехали 👀

https://blog.janestreet.com/asic-puzzle-results/

Как скосить перед начальством за ответственного сотрудника и заставить всех коллег себя ненавидеть?

Продолжаю делиться инсайдами из индустрии.

Давайте представим следующую ситуацию. Вы застряли в своей карьере, работаете на троечку и считаетесь в коллективе середняком, скорее даже со знаком минус.

Как-то выгорели, сил не хватает ни инвестировать в повышение навыков, ни искать нишу в компании, где вы станете тем самым незаменимым винтиком. На 1:1 с лидом нечего сказать о своих успехах, с руководством вы тоже не на короткой ноге, а visibility в компании околонулевое. Отсюда отсутствие прогресса в карьере, грейдах и зарплате.

Но как это исправить?

Знайте, я предлагаю, конечно же, 100% рабочий метод, но, вступив на этот путь, прежним человеком вы уже не будете.

Алгоритм действий очень простой. Полностью забудьте про свои MR/PR. Ваша новая задача - стать ревнителем культуры чистого проектирования и ОСОЗНАННОГО использования ИИ.

Все, что вы делаете: скроллите открытые MR/PR. Причем неважно, ваши это реквесты, соседних команд или вообще других проектов.

Как только в комментарии, описании или тексте коммита находите типичный длинный dash вместо короткого тире или характерный вывод Claude Code с тонной форматирования, сразу же идете на этот сайт:

https://meatproxy.me/

Тут без задней мысли вписываете имя коллеги, который подозревается в недобросовестном использовании ИИ-ассистента в работе, и, представляя себя государственным обвинителем, выбираете наиболее подходящий Their primary offense.

Потом, главное, не стесняясь, оставляете ссылку с обвинением в виде комментария в открытом MR/PR. Тегаете тимлида этого бедолаги и, по возможности, какого-нибудь линейного менеджера проекта. Да кого только захотите. Можно даже CEO, чтобы выглядело увереннее.

И все. Вы уже не просто среднячок-кодер, а осознанный разработчик, который следит за качеством процессов и культурой проектирования. А дальше уже и до менеджера выслужиться будет несложно.

Из особенностей: лучше, чтобы вы работали удаленно, а не в офисе. Иначе возможны неприятные столкновения у кофе-тейбла. А если все-таки работаете в офисе и курите, то про курилку на время лучше вообще забыть. Поберегите здоровье. Конторе нужны здоровые и неравнодушные менеджеры.

За совет отблагодарить можно просто: как только повысят до манагера, с вас 50% первой менеджерской зарплаты и 50% последней.

Удачи!