Это было неизбежно: рано или поздно должны были появиться специализированные решения для инференса.
И вот, Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon.

Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип.

Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B.
Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии.
Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» (ссылка на демо внизу).
Upd: не все это волшебство и такая скорость достигается не без компромиссов — запеченные веса урезаны в от 3 до 6 бит точности, а контекст в демо ограничен тысячей токенов на вход и столько же на вывод.

Конечно, это ASIC, и тут есть нюанс: чип заточен под одну конкретную модель. Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается.

Сейчас у них готов чип с Llama 8B (HC1). Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.

У меня голова идет кругом от мыслей к чему это может привести.


Ссылки:
• Анонс
• Демо (скорость реально впечатляет)

Рубрика: «Ни дня без строчки»

Белград.

Провел пару дней, пользуясь безграничным гостеприимством моего хорошего друга! Веня, большой привет!

Что я увидел.

1. Сербы мне показались очень добрыми людьми. Гостеприимны. Безопасны. Один из многих примеров. Мы сегодня попали на митинг против нового закона о судах. По ощущениям — оказался на добром фестивале: играет музыка, машут флагами, разговаривают.

2. Русских, которые не дома. Уверен, что я не могу быть объективным, но много ощущения одиночества и неопределенности.

3. Конечно opentalks. Очень мощное впечатление от энергичных и прозорливых людей. Уже очевидно, что агенты и ИИ должен быть частью арсенала современника. Крутые разговоры о робокомунизме :)