Фильтрация вместо саммаризации

Постоянно замечаю – есть большой кусок информации (например, пдфка с документацией, выгрузка переписки или текст закона), читать все не хочется, хочется как-то в сжатом виде пробежаться. Просим LLM сделать саммари.

Классика.

Что получаем? Общие слова, потеря важных деталей, смещение фокуса в сторону от того, что важно мне. Еще может что-то переврать в процессе "сжатия"

Вместо этого, все чаще прошу не сжимать информацию, а отфильтровать самую важную и показать как есть.

Проанализируй этот документ и вытащи 20 самых важных абзацев/строк, таких, что прочитав их я смогу сформировать 80% понимания исходного документа. Используй принцип MECE (mutually exclusive collectively exhaustive). 
Выпиши их в исходном виде, так, чтобы их можно было корректно использовать для поиска в документе (символы совпадали на 100%)

Оставаться "посередине" обычно полезнее по жизни, чем уходить в крайности

Знать разные точки зрения, их плюсы/минусы, области применения > пользоваться какой-то одной догмой.

Но в паблике это не работает. Никому не интересно потреблять усредненное мнение, где "все сложно, правы и те и другие". За интересным, и как автор, и как читатель – идешь к крайностям, поближе к границе.

Одна из крайностей, в которую мне нравится уходить в теме ИИ это:

RAG на эмбеддингах – мусор, не используйте их, а используйте старый дедовский ...

А что именно использовать – мы обсудим с ребятами из @r77_ai. Давно за ними слежу и восхищаюсь, как они строят корпоративные контакты и до каких нестандартных проектов дотягиваются (как вам Анализ поведения свинок для выявления идеального момента для их оплодотворения?)

Четверг, 14 августа, 15-00. Добавляйте напоминалку в календарь, делитесь с теми, кому может быть интересно

Мнение без ставки стоит 0

Можно говорить что угодно. Чтобы набрать подписчиков к себе в канал, выглядеть умным, оправдать свою картину мира. Но какая у этих слов цена?

Иногда ставка – репутация ("я тут эксперт, и если ошибаюсь – хреновый").

Иногда – деньги ("готов сделать в сроки X за сумму Y")

Иногда – это уже проигранная ставка в прошлом ("мы уже пробовали это, вот что вышло")

Вот и у нас в комментариях столкновение мнений вылилось в ставку – бескорыстный пиар одного из каналов. А вы, читатели, можете в этом поучаствовать.

Для этого нужно прочитать два варианта и выбрать, какие 5 строк лучше доносят смысл. Исходный текст – лонгрид Вастрика "Манифест среднего человека" (ссылка в комментах, для участия в опросе читать не обязательно)

Вариант1:

- «Дилетанты» vs «Диды» Каждый раз, когда я пишу новый лонгрид, передо мной встаёт дилемма: Я могу написать поверхностную колонку, где буду избегать любых технических деталей, зато навалю целую кучу мотивационной шняги про «машинное будущее» и «десять модных нейросетей этого лета».

- Получается полотно из бессвязных модных названий, ненужных деталей и случайных теорем, разделённых словами «очевидно, что» и «блять, ну короче», а в конце всё равно всё скатывается в локальный срач про «табы vs пробелы».

- Став сеньором уже в 23 года (как положено), он умеет хитро превращать JSON в красивые
формочки и помнит наизусть Cracking the Coding Interview, ведь полгода заучивал его вместо
работы, за что заслуженно хочет свои 300кк/сек.

- Рекрутер же всласть ебанулся на своих курсах по соционической йоге, видит везде лишь
«unbiased» метрики и KPI, и даже не попытается вникнуть в предметную область чтобы понять как строить команды и нанимать нормальных людей.

- У всей этой истории есть один существенный недостаток: Когда приходит время действовать, «оставаться посередине» — самое херовое, что можно делать. Чтобы запустить проект, набрать голоса на выборах, да даже просто написать этот сраный пост необходимо было НЕ оставаться посередине.

Вариант 2:

- Оставайся посередине.
Всеми силами держи дистанцию между крайностями.
Не видишь другой крайности — значит ты слишком близко к первой.

- Та середина, которая действительно нужна в жизни — когда тебя ненавидят с обеих сторон

- Правило: встретил мнение — найди противоположное

- Когда приходит время действовать, «оставаться посередине» — самое херовое, что можно делать

- Для себя — оставайтесь посередине. Для других — будьте самым отбитым психопатом, которого они только встречали

Эксперимент закончен, поболтаем про результаты:

Главный вывод, судя по комментам, что оба варианта так себе 😅

И это правда, но почему?

У меня тут две мысли

1. Заметили один интересный эффект – когда LLM вытаскивала текст, она взяла все 5 предложений из выделенных автором блоков

Если убрать выделение, отформатировав их как весь остальной текст, результат получается интереснее:

Ты просто говоришь, что любая новая идея провалится и в 98% случаев ты будешь прав. Потому что 98% идей действительно провалятся. Вот только ты так и останешься в жопе с таким критическим мышлением.

Оставайся посередине. Всеми силами держи дистанцию между крайностями. Не видишь другой крайности — значит ты слишком близко к первой.

Крайности всегда приятны и хорошо видны, но в долгосрочной перспективе не имеют смысла. Я всегда могу занять сначала одну позицию, потом другую, потом снова первую, и буду «жизой» для одних и «лол дурачком» для других.

Когда приходит время действовать, «оставаться посередине» — самое херовое, что можно делать

Для себя — оставайтесь посередине. Для других — будьте самым отбитым психопатом, которого они только встречали

То есть LLM как бы цепляется за авторскую семантику. В каких-то случаях полезно, а в каких-то, как тут – вредно – автор выделяет слишком базовый смысл, который актуален только когда есть остальной контекст

2. Ну а главная причина: 5 предложений – слишком мало.

Я не просто так в оригинальном посте писал про 20. Обычно первые результаты LLM всегда очень банальны. Поэтому часто вообще прошу что-то вроде:

Выдай 10 результатов. Потом выдай еще 10 менее очевидных и выходящих за рамки того, что было в первой пачке. А потом выдай последние 10, которые не попадают в первые две пачки, но тоже являются ответами на исходную задачу. Я это прошу, потому что LLM часто думают слишком шаблонно, особенно при первом заходе на задачу. А я хочу, чтобы ты вышла за рамки шаблонных ответов

———

Так что мы осознанно пошли с n = 5, чтобы уместить оба варианта в один пост и не перегружать "жюри"

Важно было понять не столько, хорошее ли саммари в абсолютном зачете, сколько, какое вариант лучше (пусть и в урезанной версии на 5 предложений).

Формально победил LLM вариант. Но с небольшим отрывом.

Неформально, я согласен с комментарием @nobilix – LLM выигрывает гибкостью.

Отдельное спасибо @izpodshtorki за готовность поучаствовать в такой активности

P.s. посмотреть результат работы с 20 предложениями можно в комментариях

Как хостить свои ИИ поделки не превращаясь в девопса

Сначала обозначим, что вообще нужно уметь:

1. Настраивать автодеплой, чтобы как только мы пушим код на гитхаб, продакшн обновлялся соответственно

2. Связывать доменные имена с конкретным контейнером на нашем сервере (привет, nginx)

3. Настраивать выдачу и обновление SSL сертификатов (привет, certbot)

4. Бэкапы 🫡

5. (Задача со звездочкой*) Деплоить разные окружения. Сделали экспериментальную ветку, захотели быстро протестить, как работает. Спустя два часа перехотели.

———

И тут у нас вариант идти к Vercel, но во-первых про них и так все знают, а во вторых, это облачное решение, со своими минусами. Self-hosted альтернатива – Coolify.

Для запуска нужен VPS (сервер, где будет крутиться и Coolify и всё, что он будет нам деплоить). Они у себя на сайте предлагают партнерскую скидку на Hetzner, а я по приколу предложу дешманский сервер в штатах за 10 баксов в год (можно платить криптой).

Что получаем:

Все 5 пунктов выше можно делать и руками – писать конфиги не сложно, но нужно знать и помнить как, куда и зачем. Еще и не полениться для каждого нового проекта пройти по всем стандартным шагам. А можно просто накликать в веб-интерфейсе, и все стандартные кубики соберутся за вас.

Очень удобно, когда много мелких проектов – можно ими жонглировать в пару кликов. Особенно, если вы не очень дружите с консолью и unix, а вайбкодить хочется и можется.

Короче, Coolify – неплохой компромисс между удобством облачных платформ и контролем self-hosting

Самый полезный пост за последний месяц

Потому что не один пост, а целая куча отборных постов – если бы нужно было поделиться каким-то одним каналом по ИИ, это был бы канал Рефата.

Не знаю, как он это делает, но на его постах я чаще всего ловлю себя на ощущении "блин, почему это написал не я?"

Короче, что мне нравится:

- Он кофаундер devstark.com и spreadsimple.com => гораздо ближе к реальности, чем просто технари

- При этом у него очень мощная техническая экспертиза и "чуйка". Он сам работает с технологиями, про которые пишет. А читать про ИИ сейчас нужно только таких авторов

- Поэтому в постах у него часто глубокие разборы инструментов, подходов и явлений, которые оказываются полезны либо напрямую мне, либо бизнесу моих заказчиков. Например, он недавно разобрал новый RAG фреймворк гугла, который сэкономил мне несколько недель работы. За такое кучу денег на консультациях платят вообще-то

- А еще у него офигенские недельные дайджесты с основными новостями по ИИ и не только. Нет ничего лишнего – собрана самая мякотка. Если вы не хотите как я мониторить миллион тематических чатиков и каналов, чтобы быть в курсе всего интересного, то вот решение

- Ну и Рефат – просто приятный человек в общении (почему-то мне такое очень важно)

———

Кстати, его канал органически растет быстрее всех похожих, включая мой – значит подписчики стабильно его репостят, а это для меня один из главных показателей качества.

В общем, если читаете меня, то его канал вам скорее всего тоже зайдет. Подписывайтесь, от души рекомендую

Напоминалка: через час будем обсуждать почему эмбеддинги сосут

Погнали
https://meet.google.com/cub-fqao-sjb

Мир ушел из точки, где ИИ в разработке использовали только энтузиасты . Я знаю все больше серьезных инженеров, которые перестроили свой процесс работы на кодинг с ИИ (не путаем с вайб-кодингом!)

Удивляет, что бизнес тоже очень активно пушит эту тему – закупают Cursor, меняют процессы внутри компании, проводят обучения для сотрудников

Но вообще-то есть пару проблем

Во первых, расплодилось огромное количество инструментов и теперь просто не понятно что использовать. Твиттер стабильно бомбит то на Github Copilot, то на Cursor, то на Claude Code и все по новой. И появляются все новые. А кто-то вообще делает инструменты под себя (спойлер)

А даже если с инструментом определились, то есть же куча разных подходов, хаков и дополнительных тулов, с которыми тоже ничего не понятно.

MCP это хорошо? А какие? А я слышал там что-то про task-master, мне это нужно? Агенты-агенты-агенты, ааааа. Субагенты?? А что такое spec-driven разработка? Может лучше TDD? Аааааааааааа

———

Короче, чтобы раскрутить этот клубок, я позвал авторов соседних каналов, с разными мнениями. Устроим дружеский срач неформальную дискуссию.

Будем разбираться с @gleb_pro_ai, @the_ai_architect, @ai_driven и @kdoronin_blog, как и зачем делать свою тулу для разработки, почему это может быть плохой идеей и какие есть альтернативы, а на сладкое оставим «50 оттенков проверки качества кода»

Но может быть все пойдет совсем по-другому

В любом случае, приходите в четверг 28 августа в 16:30 (мск). По плану где-то час на наши разгоны, пол часа на вопросы (мне кажется, это вообще самое ценное – будет время вытащить из ребят их уникальный опыт, а его достаточно)

Добавляйте напоминалку в календарь и делитесь с тем, кому может быть интересно

(Не)бесплатная реклама

Я тут буду проводить воркшоп для продактов на одной фэнси конфе по ИИ для продактов и дизайнеров. И орги мягко поинтересовались, могу ли я написать про конфу у себя в канале.

Просто пиарить было не интересно, так что я "выбил" своим подписчикам один бесплатный билет, чтобы разыграть его между самыми оригинальными:)

Пишите в комментах под этим постом забавные/интересные/креативные применения, которые вы придумали ИИшке. Устроим краудсорсинг. А вариант, который мне понравится больше всего к 14:00 понедельника, получит бесплатный билет:)

Ребятам пиар, моим подписчикам билетик за 10к, а мне веселье и лояльность подписчиков

———

А теперь про конфу, и что я там забыл:

Конфа от wannabe – судя по одобрительной реакции некоторых знакомых на мое участие – у оргов очень хороший бренд

Среди спикеров куча селеб айти телеграма, есть серьезные ребята из яндексов и тбанков, и много ребят, которые прям руками что-то делают. А мы такое любим.

Кстати, позвали Влада, к которому я не так давно гонял на эфир, он будет учить вайбкодить тг бота за час 🔥 Лайк оргам.

Что буду делать я?

Уже раз 5 получал вопрос, что делать с данными, когда не влезают в контекстное окно

Условно, выгрузка отзывов о товарах в экселе на несколько тысяч строк

Мало кто пойдет писать скрипты параллельных запросов в OpenAI API или разбираться с n8n.

А вот гугл-таблички – для многих основной рабочий инструмент. Поэтому, будем вместе собирать себе за час в них магию как на видосике выше

———

Конфа в сб 30 августа с 11 до 17. Билет стоит 9900.

Лендос

Делитесь в комментах ваши интересные/забавные/неочевидные применения ИИ. Выберу получателя бесплатного билетика в пн в 14:00

Запись эфира по RAGу без эмбеддингов (ссылка внизу поста)

Выписал самое важное и дополнил

Главные проблемы поиска на эмбеддингах:

1. Семантическая схожесть ≠ фактическая релевантность (слова те же, смысл другой)

2. Не учитывает "логические операции" в запросе ("и", "не")

3. Не умеет делать промежуточные шаги (сходить в другой кусок текста, чтобы посмотреть значение аббревиатуры или определение)

4. Ломается на агрегации

"вот тебе посты из канала, проанализируй слабые и сильные места автора"
→
найдет посты, где я автор сам что-то пишет про посты/канал и сильные/слабые места. Например, обзор чужого канала.

5. Короткие пользовательские запросы отличаются от длинных чанков документации. И по длине, и по формулировкам

6. Плохо работает с таблицами

———

Запрос пользователя:

"Какие отделы нашей компании, кроме отдела продаж, не выполнили KPI в последнем квартале?"

Догадаетесь, в чем будет проблема с эмбеддингами?

- "Отчет по итогам квартала: Отдел продаж блестяще выполнил KPI, показав рекордный рост!"
- "План на следующий квартал: всем отделам компании, включая отдел маркетинга, поставлена задача выполнить KPI."
- "В последнем квартале отдел разработки успешно выполнил все поставленные KPI."

———

Лечим симптомы (все еще эмбеддинги):

1. query rewriting/expansion и/или Instruction Awareness

2. Векторный поиск по саммари чанков, а для генерации ответа использовать их полный текст

3. Можно делать не просто саммари чанков, а генерировать возможные вопросы по ним и искать уже по вопросам

4. Добавлять текст соседних чанков на этапе Generation

5. reranking

6. Препроцессинг документов с сохранением структуры (marker-pdf, docling, unstructured)

———

Лечим причину:

1. Не используем эмбеддинги

2. В качестве search engine берем легковесную LLM. Прогоняем по страницам документа и выдаем им true/false в зависимости от релевантности вопросу (запросы к разным страницам идут в параллель => работает быстро)

3. Вместо 2 совсем наглеем и передаем в запросе сразу сотни страниц – просим выписать только номера релевантных (держим до 200-300к токенов на запрос, даже если окно 1м)

4. gemini-2.5-flesh круто с этим справляется, а главное – нативно кушает pdf без препроцессинга. Понимает таблицы и картинки 🔥

5. Релевантные страницы передаем в ризонинг модель для Generation как в "классическом RAG"

6. Не забываем Structured Output c промежуточными шагами размышлений (SGR)

———

Альтернативы (Для более структурированного поиска)

Для примера возьмем книгу рецептов и вопрос "что приготовить на ужин, если у меня есть лапша, фарш и 20 минут времени"

1. Сначала для каждого рецепта вычленить структурированные поля (ингредиенты, время приготовления, тип блюда – первое, второе, десерт и т.д.)

2. Сложить в SQL все извлеченные данные и исходный текст рецепта

3. Использовать text2sql, чтобы по запросу пользователя создавать search query

4. В Generation идут исходные текста рецептов

В реальности обычно создаем разные таблички в бд, потому что данные бывают разных типов с разными параметрами

В более простой версии этого подхода, тупо назначаем LLMкой "теги" разным кусочками текста и фильтруем по ним, а потом делаем классический RAG или сразу передаем в LLM

———

Общие мысли и ответы на вопросы

- Data preparation is a king

- Промежуточный вызов LLM – хороший reranker, даже для embedding-based подхода

- Всегда пытаемся передать ссылки на исходные блоки инфы. Увеличивает надежность и
тестируемость. Высший пилотаж – показывать не только страницы, но и конкретные строчки, на которые опиралась модель

- Иногда нужно вообще убрать этап Generation и просто показывать найденные куски информации

- LLM retrieval стоит сильно дороже, чем эмбеддинги, но для большого числа кейсов это ок. 1 доллар – все дешевле, чем пару часов сотрудника с зп в десятки баксов в час

Доп материалы:

Ссылка на сам эфир от @r77_ai (больше деталей, примеров и интересных вопросов от слушателей. сначала разгоняюсь, но потом жара начинается)

- Instruction Awareness
- Промежуточные шаги размышлений в Structured Output
- Кормим pdf в gemini через openai-compatible api

Победитель моего мини-розыгрыша билета на ИИ конфу от wannable – Иван Евдокимов. GPT помогла понять в чем проблема с его машиной. По звуку. Работы. Двигателя. 🤯

Вот еще претенденты, мб кого-то вдохновит:

* NPC в игре, который отвечает в свободной форме
* Тренажер-симулятор для отдела продаж

На конфе я буду показывать, как делать ИИ-магию в гугл табличках – потому что гугл таблички есть у всех

Приходите в субботу (онлайн)

Агент или Пайплайн?

Середина 25го года – хайп вокруг агентов начал перерастать в рабочие решения: claude code, perplexity labs, computer use и т.д.

Правда почему-то сейчас любые два запроса к API зовут агентом. А если еще с разными промптами, то, уууууу, аж система агентов.

Это бред. Большая часть того, что называют агентами – просто пайплайны – жестко заданные наборы шагов. Часть из них – запросы к LLM, часть – просто логика, например, запустить код, который сгенерировала LLM на прошлом шаге.

Агентность – способность системы самой принимать решения о типе следующего действия на основе результатов предыдущих.

Агентность – это шкала, а не бинарное значение. У системы ее может быть больше, а можем быть меньше. Как у людей.

Но для простоты, я использую вот такое разделение:

- Если заранее известно, что будет после шага X – это пайплайн.
- Если система сама решит после того, как шаг X выполнится, то это агент.
- Но если алгоритм выбора захардкожен извне – это все еще пайплайн (просто более гибкий).

———

Примеры

Задача – сделать систему, которая будет отвечать на запрос пользователя используя информацию из интернета.

1. Сначала ищем странички, потом делаем запрос к LLM, подставляя их в контекст

relevant_sites = await search_google(query)
response = await generate_response(query, relevant_sites)

Агент? Нет – шаги жестко зафиксированы

———

2. Усложняем. Смотрим, что если нашли слишком мало страниц, то пытаемся поменять запрос пользователя и искать еще

relevant_sites = await search_google(query)
if len(relevant_sites) < 10:
  optimized_query = await optimize_user_query(query)
  more_sites = await search_google(optimized_query)
  relevant_sites.extend(more_sites)

response = await generate_response(query, relevant_sites)

Вооо, теперь агент. Мы же не знаем заранее, по какому пути пойдем, да? Но решение принимает не ИИ, а программист, который написал if. Так что это тоже не агент.

———

3. Пишем агента. Теперь LLM сама определяет в check_enough_info, готовы ли генерировать ответ, или нужно добавить еще результатов.

relevant_sites = await search_google(query)

if not await check_enough_info(query, relevant_sites):
  optimized_query = await optimize_user_query(query)
  more_sites = await search_google(optimized_query)
  relevant_sites.extend(more_sites)

response = await generate_response(query, relevant_sites)

Уже лучше, но на самом деле это еще не полноценный агент. Все равно явная последовательность шагов – модель выбирает только одну ветку, а дальше все снова определено. Но мы уже близко

———

4. Настоящему агенту нужно прописать набор действий и дать их совершать (подсовывая ему после выполнения каждого действия новую информацию в контекст)

state["query"] = query
state["sites"] = []

while "response" not in state:
  next_step = await choose_next_step(state)
  if next_step == "search_google":
    state["sites"].extend(await search_google(query))
  elif next_step == "optimize_query":
    state["query"] = await optimize_user_query(query)
  elif next_step == "generate_response":
    state["response"] = await generate_response(query, state["sites"])

А чтобы делать такие системы надежными и масштабируемыми, нужно использовать Structured Output и определять шаги через pydantic/zod классы. Так задаем структуру размышлений для модели, чтобы она хорошо выбирала следующий шаг (SGR).

Почитать:

- Разгоняли с @neuraldeep в комментах про агентность, а через пару часов он сделал свой диприсерч всего в 600 строк кода. Особенно полезно посмотреть на pydantic классы
- База по SGR (structured guided reasoning) от @llm_under_hood
- Моя серия из 3 постов про structured_output

Через пол часа начинаем эфир про ИИ кодинг. Переехали в ютуб эфир, ссылочку можно получить тут

Со скоростью мысли

Сегодня первый раз поработал с Cerebras. Это ребята, который делают свои чипы чисто под очень быстрый запуск нейронок. И я чет все еще под впечатлением от скорости: ~1000 токенов в секунду на qwen3 coder. Для сравнения у тупенькой gemini-flash-lite – 600 токенов.

Мне кажется, это открывает какие-то принципиально новые возможности для UX.

Не удержался и навайбкодил демку интерфейса для вайбкодинга 😅 – любая команда применяется почти мгновенно, и это даже без умных диффов – код переписывается с нуля каждый раз.

Ну что, ждем приложений, которые в реальном времени перестраиваются под пользователя?

———

Тестить тут, нужен впн и API_KEY от OpenRouter

Если нет, а потестить хочется, то вот вам мой с лимитом в два бакса, не хулиганьте сильно:

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