А вот вам и просто айти пузырь

Я спросил GPT-5 как работает код, а она сгенерировала мне картинку с гайдом на социальную жизнь

https://chatgpt.com/share/68970994-d940-8003-93ac-16f4664d7182

Думаю релиз gpt-5 явно не оправдал всех ожиданий, это признал даже сама, сказав что они возвращают 4o в список моделей

https://x.com/sama/status/1953893841381273969

Хочу рассказать про Groq (не путать с Grok от Маска).
Около года назад он жутко хайпавали, а месяц назад компанию оценили в $6 млрд — примерно как NVIDIA 10 лет назад, хотя прошлый год они произвели всего несколько тысяч чипов.

Groq делает Language Processing Unit - специализированные процессоры для быстрого инференса LLM.
На больших моделях они выдают сотни токенов в секунду. Для примера — перевод моего прошлого поста на английский OSS 120b сгенерил за ~300 мс. У ChatGPT на это время даже не успевает рассчитаться KV-кеш и выйти первый токен.

Главная особенность — веса и KV-cache хранятся в большой SRAM прямо на чипе (~230 МБ на LPU) плюс небольшой объём сверхбыстрой регистровой памяти.
Модель разбивается на много LPU, и данные идут по стриминговому пайплайну — без постоянных обращений к внешней памяти.

Почему это важно: основное узкое место LLM — это доступ к памяти, а не вычисления.

На GPU:
1.Загрузить Q для нового токена из HBM
2.Загрузить K,V cache из HBM
3.Вычислить attention scores
4.Загрузить выходные проекции из HBM
5.Сохранить результат в HBM

На Groq LPU:
1.Q уже в SRAM в предопределённом месте
2.KV-cache тоже в SRAM, адреса известны заранее
3.Вычисления идут через streaming pipeline
4.Результат сразу передаётся в следующий слой без записи в память

Chat gpt мне привела интересную аналогию
• CPU — ресторан с поваром-универсалом
• GPU — кухня с несколькими поварами
• LPU — конвейер по сборке бургеров в McDonald’s, где каждый знает свою операцию и делает её за доли секунды.

Что бы все это попробовать не обязательно покупать/арендовать чип, есть облако, продающее токены
https://groq.com/

ВЫ БУДЕТЕ УМОЛЯТЬ МЕНЯ ПЕРЕСТАТЬ ПОСТИТЬ 🌒

К сожалению я немного непостоянный человек и часто забиваю на ведение канала. Что бы прибавить себе мотивации постить каждый день, я обьявляю себе челендж на ближайший 21 день - плачу 150 долларов (в виде кредитов на vast/ai/openrouter/любой другой сервис из аи пузыря) тому кто первый заметит что я пропустил постинг в какой то день и напишет это в коментарии под этим постом.
Игра началась!


P.S. Я живу по CET

Langchain стоит больше млрд долларов

import langchain

Неделю назад Langchain (да да, это та самая питон библиотека с попугайчиком который ни один вменяемый человек не пользуется) привлекла инвестиции по оценке в 1.1 млрд долларов. Это просто ошеломительная оценка для такого бизнеса, для примера - это почти как reddis год назад, но им пользуются вообще все)

Классический пример того, как в разгар AI-хайпа можно продать инвесторам даже обертку над обертками.

Вам тоже советую цепляться за ИИ хайп что бы урвать хотя бы кусочек эти этих миллиардов.

Решил немного поресерчить по тому, с чего вообще зарабатывает langchain. Глобально у него 2 продукта

1) LangSmith $12-16M ARR

Сервис для трейсинга ЛЛМок - что то типо datadog для ии. Можно смотреть "логи" вызовов моделей, системный промпты, тул колы итп. Это особенно важно когда у нас есть куча агентов которые вызывают друг друга, передают друг другу информацию, подставляют ответы друг друга к себе в контекст, и по обычным логом не разберешь почему оно иногда ломается.

2) LangGraph Platform <$1 M ARR

Думаю что все кто хоть раз писал агентов сталкивался с проблемой большого числа boiler plate кода

0) ретраи на все запросы к ллм
1) кастомные вызовы для всех моделей
2) передача контекста в цикле
3) достань положи историю переписки из бд
4) Написать очередное ветвление поведения по knowelage map


Они делают low code платформу, что бы вместо того что б написать if ... else ... ты пишешь что то типо

workflow.add_edge(START, "generate_query_or_respond")

# Decide whether to retrieve
workflow.add_conditional_edges(
    "generate_query_or_respond",
    # Assess LLM decision (call `retriever_tool` tool or respond to the user)
    tools_condition,
    {
        # Translate the condition outputs to nodes in our graph
        "tools": "retrieve",
        END: END,
    },
)

# Edges taken after the `action` node is called.
workflow.add_conditional_edges(
    "retrieve",
    # Assess agent decision
    grade_documents,
)
workflow.add_edge("generate_answer", END)
workflow.add_edge("rewrite_question", "generate_query_or_respond")

3) Еще есть магазин промптов LangChain Hub & LangChain Templates но это вообще не revenu driven продукт

Начинается начинается ранняя осень, самый активный сезон найма

Что бы вам было проще искать работу завайбкодил расширение hide_yandex которое скрывает вакансии одноименной компании на джобагрегатарах.

Самое интересное что оно было навайбкожено за один запрос в claude code. Opus-4.1 сам сходил на нужные сайты, изучил структуру их html и написал нужные фильтры. Думаю еще никогда раньше не было так же приятно кодить как сейчас)

Блин походу придется еще раз извиняться как год назад (((

Agi явно не наступил если опус за 100 долларов в месяц не может отличить забор от многоствольной пусковой установки для запуска салютов в полицию на улицах Тбилиси

Новый стартап Сема
Проблема фейков в интернете до сих пор не решена.
Любая соцсеть тонет в ботах, компании собирают целые ботнеты из тысяч «людей», которых на самом деле не существует.

Сейчас верификация обычно выглядит так: «загрузи фотку паспорта и покрути лицом на камеру».
Минусы:
– это тривиально подделать
– надо отдавать имя, фамилию и номер паспорта каждому приложению → привет, персональные данные и юр. риски

Wld пытается решить это радикально по-другому.
У них есть шар–сканер («orb»), который считывает сетчатку. Это доказывает, что ты живой человек, чем защищает от мультиаккаунтов.

Дальше WLD дает API, и любые сервисы могут подключить его для верификации реальности пользователей.

В США уже даже Tinder начал предлагать верификацию через world id. Пока оставили и старые методы, но похоже, что глобальная экспансия близко.

🏆 Наш SWE-rebench — ТОП-1 датасет в мире по скачиваниям на HuggingFace! 🚀

Рассказываю подробнее про эту новость из последнего месячного апдейта.

Есть такая платформа — HuggingFace. Самая популярная в мире площадка для релиза и хранения открытых моделей и датасетов.
В конце мая мы выложили туда свой датасет SWE-rebench вместе со статьей, про то, как собирали данные и как устроен наш бенчмарк для кодовых агентов. В день релиза статья стала #2 Paper of the day.

А дальше начался взрыв скачиваний самого датасета:
> за последние 30 дней ~ 2,7 млн скачиваний,
> всего с момента релиза ~ 3,5 млн.

У HuggingFace есть сортировка по количеству скачиваний за последние 30 дней — и там мы вышли на №1 из 467 930 датасетов. 🔥

Важно: под «скачиваниями» понимаются загрузки с уникального IP с интервалом не меньше 5 минут. На практике это значит, что несколько крупных ресёрч-лабораторий качают датасет и генерят себе данные для обучения на очень большом скейле, не сильно заморачиваясь с кэшированием. Про две такие лаборатории я знаю точно.
Короче, наш SWE-rebench реально используется для обучения кодовых агентов, и это очень круто видеть. 

Еще я решил чаще писать про то, что делаю на работе — благо мы все публикуем в открытый доступ. Хочу активнее вести твиттер/X, туда буду кидать короткие форматы. Поэтому добавляйтесь, если там сидите!

Ну и сюда тоже продолжу писать про кодовых агентов и данные для них: тема специфичная, но, кому-то будет полезно и интересно.

Думаю многие понимают что в современных LLM attention работает не как Attention(Q, K, V) = softmax(QK^T / √d_k)V

Решил покопаться в том, какие хаки используют в топовых моделях чтобы выжать максимум качества из внимания.

Multi-head Latent Attention (MLA)
Сжимают KV - проецируют в низкоразмерное пространство, а потом восстанавливают обратно когда нужно вычислять внимание.
Что дает: KV-cache меньше в 28 раз (с 213GB до 7.6GB), скорость +20x
Где: DeepSeek

Grouped Query Attention (GQA)
Вместо отдельных KV для каждой головы - шарят между группами. Типа 32 query головы делят 8 KV голов.

Что дает: Память меньше в 2-4 раза, инференс быстрее, можно дообучить существующую MHA модель за 5% compute
Где: Llama-2/3, Mistral, Gemma-2, Qwen

Multi-Query Attention (MQA)
Экстремальная версия GQA - всего 1 KV голова на все queries.
Что дает: Максимальная экономия памяти (до 8x), но качество страдает
Где: Falcon, PaLM, старые модели Google

Sliding Window Attention
Каждый токен смотрит только на n ближайших
Что дает: O(N) сложность вместо O(N²), можно обрабатывать бесконечные последовательности
Где: Mistral, Gemma-2 (чередует с полным), Longformer

Unmasked attention for prefix
Для системного сообщения в диалоге атеншн работает без маски, а для остальных сообщений в диалоге с. Таким образом ЛЛМ начинает напоминать encoer-decoder архитектуру.
Что дает: лучшее следование инструкциям
Где: эксперементировал гугл в 2021-23, но не вылилось ни во что большое. Сейчас в многих VLM атеншн по визуальным патчам работает именно так

Sparse Attention (H2O, Scissorhands)
На каждом шаге выкидываем из KV кеша те токены на которые мало смотрели на прошлыхх заменяя их 0.
Что дает: KV-cache меньше в 10-20 раз, но можно потерять важную информацию
Где: StreamingLLM, модели для длинного контекста, скорее экзотика

Linear Attention
Заменяют softmax на линейное ядро, позволяя формулировать как RNN.
Что дает: O(N) сложность, можно делать рекуррентный инференс с постоянной памятью
Где: RWKV, RetNet, Hyena, GLA - экзотика

Дифузионнки для текста

Пару месяцев назад gemini анонсировало gemini diffusion - первую дифузионную текстовую модель, которая по метрикам относительно близка к обычным LLM (и то и то трансформер, но один авторегерессионный а другой - дифузионный)

Как она работает

Обычная ллмка последовательно, токен за токеном генерирует последовательность. На запрос LLM(Какая сталица франции) результатом будет распределение вероятности следующего токена из которого сразу выберется самый вероятный кандидат

Gemini diffusion работает немного подругому. Вместо того что бы сразу определяться с токеном, она "постепенно" расшумляет его распределение вероятности. То есть на выходе из модели так же распределения вероятностей токенов, но мы не семплируем output сразу, а много раз вызываем одну и ту же модель, подавая output i го шага как вход i+1

И только после этого семплируем токен.

Такой подход позваляет генерировать не "токен за токеном", а сразу "разшумлять" весь ответ ллмки, так что скорости генерации таких моделей получаются ошеломительные

Continue posting job openings, this time for a small startup engaged in AI game generation. The founder is in my extended network, and they're working on some insanely cool things with a very good team. Strongly recommend reaching out

Roam is a an AI Lab training Viral World Models. We’re currently building a Super App where everyone can make studio-quality multiplayer games in minutes.

Looking for an Applied AI engineer to add to the team. $200-350K

We’ve signed 100s of Gaming Creators, just raised $4.5M from great investors (backed Bytedance, Deepmind, PokemonGo, SpaceX & Zuckerbergs). Team is Ex-NASA Applied AI/Voodoo/Supersonic, made 100+ games in the past.

www.roam.lol/ai