Расчет по VRAM для более менее полноценных моделей LLM


Конфигурации для DeepSeek R1 671B
Минимум (с квантизацией Q4/AWQ):

8× H100 80ГБ = 640 ГБ суммарно → 671B в AWQ Q4 (~400 ГБ весов) влезает
Скорость: ~33 tok/s при одном пользователе, ~600 output tok/s при 100 concurrent users

Комфортный вариант (FP8 native):

8× H200 141ГБ = 1128 ГБ → 671B FP8 (~750 ГБ) с запасом на KV cache
Скорость: ~821 output tok/s (vLLM benchmark)

Альтернатива без GPU (экзотика):

Сервер с 768+ ГБ DDR5 RAM + llama.cpp → 671B Q2 работает, но ~1–2 tok/s

@DevsRoot

AI-модель запечена прямо в кремний


🚀 Taalas HC1: революционный чип, где ИИ-модель "выжжена" в кремнии как татуировка! Полный разбор ТТХ для всех

Мир ИИ меняется на глазах. Обычно модели типа Llama (как мини-ChatGPT) требуют огромных видеокарт NVIDIA — они жрут электричество как слоны, стоят бешеные бабки и греются как печки. А startup Taalas (основан экс-CEO Tenstorrent Ljubisa Bajic с командой) придумали гениальный хак: Direct-to-Silicon. Берут модель Llama 3.1 8B (8 млрд параметров — "нейронов"), кодируют её веса прямо в транзисторы чипа! Никакой внешней памяти (HBM или DDR) — всё внутри, как мозг в черепе. Это HC1 — первое поколение.

Технические характеристики от вендора (просто и по делу):

Процесс: TSMC 6 нм — супер-миниатюрные транзисторы, чип компактный.

Размер: 815 мм² (примерно 28x29 мм — как ноготь большого пальца, но мощнее сервера!).

Транзисторы: 53 миллиарда — большинство для "памяти" модели (ROM) + SRAM для динамики (кэш, тюнинг).

Энергия: 200 Вт TDP (на всю карту; чип сам энергоэффективен — модель "не ищет" данные, они уже на месте).

Скорость инференса: 14 357–17 000 токенов/сек (токен ~ слово). Пример: подробная история WWII за 0.138 сек! На RTX 3090 — ~1700 т/с, на H100 — 1500–2000. В 10 раз быстрее!

Производство: в 20 раз дешевле GPU (нет дорогой HBM, упрощённая упаковка; финальная кастомизация на 2 металлических слоях).

Гибкость: ASIC (заточен под Llama 8B), но с LoRA-адаптерами (маленькие "патчи" для доработки — добавь стиль, знания). Меняй контекстное окно (сколько помнит чат).

Демо на https://chatjimmy.ai/ — бесплатно, API тоже! Ответы мгновенные, скролл не поспевает. Реальное железо, не слайды инвесторов.


Весна 2026: Средняя модель (типа 70B) с улучшенным reasoning (логикой).

Зима 2026: Frontier-модель (супер-мощная) на 2-м поколении чипа (ещё быстрее/дешевле).

Это прорыв для edge-AI: ИИ в смартфонах, машинах, дронах, IoT без облака. Дешёвый, тихий, автономный. Представьте: твой Unity-игрушка с локальным ИИ за копейки! Голова кругом — ждём массовку?

Что думаете: купите такой чип или ждём Llama 405B-версию?

Анонс: https://taalas.com/the-path-to-ubiquitous-ai/
Демо/API: https://chatjimmy.ai/

@DevsRoot

#AI #Taalas #HC1 #Инференс #Чипы #Неросети #Моё

Как же ИИ облегчает работу дизайнерам игроделам. Это конечно бомба.

В примере у меня локально ComphyUI крутится панорамки для Unity Приложения генерит

@DevsRoot

Тут внезапно вышла работа про то, как делать точную 3D-печать крупных сложных объектов меньше, чем за секунду.

Если очень коротко, то вам нужно:
— Взять ведро
— Залить туда светочувствительный полимер
— Посветить туда фонариком через голографическую маску
— Научиться светить в ведро с жидким фотополимером с разных сторон, чтобы где лучи пересекаются, жидкость затвердевала
— Выкинуть ведро получившейся херни и заморочиться на очень точный подбор параметров света, собрать проектор и довести идею до инженерной реализации за пару лет. Через такую задницу, что вам даже не снилось.
— Повторить уже нормально и опубликоваться в журнале Природа с корабликом и солдатиком.

Солдатик на картинках выше.

Ну а товарищи 王旭康, 马远瞩, 牛一涵, 熊博, 张安科, 张国勋, 陈一帆, 魏威), 方璐, 吴嘉敏 и с примкнувшим к ним 戴琼海, похоже, взяли ещё один святой грааль — теперь мгновенную объёмную печать. Такими темпами взятия суперачивок в прикладной науке граалей на всех не напасёшься.

Известные проблемы:
— Самый старый метод работает примерно как компьютерная томография, только это синтеграфия — вместо нарезки там сборка. Если взять КТ-сканы и отдать на принтер, можно напечатать пациента послойно. Метод медленный и кривой, как и всё медленное и послойное.
— В методах с вёдрами, чтобы просветить ведро со всех сторон, сейчас обычно вращают саму ёмоксть с жидкостью. Это её взбалтывает. Тоже вопрос, нельзя ли наоборот, вращать источник.
— Деталь за время затвердевания может начать тонуть, поэтому надо было использовать очень густые гели типа мёда, чтобы удерживать фигуру. Это неудобно, особенно для медицины — клетки в густом геле живут хуже.
— Потом проблемы с линзами — высокая детализация означает, что у линз будет маленькая глубина резкости, пострадает точность.

Что сделали эти типы:
— Ведро неподвижно; вращается проектор, делает 10 оборотов в секунду.
— Лазерный луч формируется специальным чипом с микрозеркалами, который создает картинку.
— Они используют лазер и софт, который считает, как именно нужно исказить картинку на микрозеркалах, чтобы при прохождении через линзу и жидкость свет собрался в четкую структуру не только в центре, но и на глубине всего объекта (около 1 см). Это работает как голограмма.
— На такой скорости больше не нужны густые гели, можно в вязкости как у воды.

Звучит несколько безумно, да, но они напечатали сложную 3D-модель всего за 0,6 секунды. Воксель около 0,019 мм по всему объему объекта глубиной 1 см. Самая тонкая отдельная деталь, которую смогли напечатать — 11–12 микрометров толщиной. Это в 20 раз лучше по глубине резкости, чем даёт традиционная линза.

Дальше они напечатали всякие кораблики из тестов, медицинские модели, куски сосудов, тканевые каркасы и прочее. Сделали серийную установку — наливаем, бахаем, вымываем деталь, доливаем гель, самокалибруемся, бахаем... На текущей установке метод работает только для объектов около 1 см. Морской катамаран печатайте, пожалуйста, традиционными способами за пару месяцев.

Детали очень сложно и долго считать, и если они у вас разные, то узким местом может стать время подготовки шаблона действий для проектора. Нужна сверхточная электроника и механика, это дофига дорого.

Из-за того, что свет падает под углом, область печати похожа на два конуса, соединенных основаниями в веретено. Это ограничивает геометрию деталей.

Но у нас, кажется, есть первый промышленный репликатор — так что из киберпанка мы постепенно переезжаем в нормальную хардкорную научную фантастику!

Посмотрите первое видео, первые 5-6 секунд люто впечатляют.

--
Вступайте в ряды Фурье! | Самые быстрые посты
— Милая, помнишь, ты говорила, что я дарю тебе мало мягких зверюшек? Вот.
— Ааааа! Мёртвая крыса!
— Но я переломал ей кости, она мягкая!

Писал уже про Сервис MELLOW.
Вывод зарубежных доходов в рубли.

С 12 января лавочка с выводом на сбер прикрылась, однако список банков не под санкциями еще большой, я выбрал Райф.

Вон что прислали. Молодцы.
И разница курса у них немного улучшилась, сейчас за $ 75,1925руб.

В общем кому требуется получать оплату из-за рубежа, рекомендую.

@DevsRoot