Супер гайд про ведение канала от Егора Данилова (ex-CPO ivi.ru и юле, предприниматель, почти 30к органических подписчиков)

Третий раз перечитываю и каждый раз что-то меняю.

1. Сперва начал обращать внимание на то, как выглядит начало постов в превью (в списке чатов)

2. Трижды переписывал био. Сейчас оно целиком помещается без кнопки "показать еще"

3. Ищу новое название для канала. Палка с одним концом – непонятная новым подписчикам пасхалка из той жизни, где я катался автостопом по Африкам.

4. Пытаюсь писать посты, которые будут достаточно полезны/интересны, что их захочется переслась. Слежу за статой (пока так себе, но по парочке private shares на пост есть)

5. Ищу идеи для постов, чтобы написать на habr, vc.ru или в вастрик клуб. Пока туплю, если честно. Наверное, нужно что-то простое закинуть, чтобы обосраться и не напрягаться

———

Кстати, че думаете про иконку канала?

Делать ИИ продукты намного проще чем кажется. Проблема только в том, что нужно отделить сигнал от шума – разобраться, с чего начать, что использовать, кто для этого нужен, а главное чего делать не стоит.

Меня позвала записать про это видос Катя – фаундер айти агенства, которая брала у меня консультации по нескольким проектам. Для нас обоих это первый такой опыт, но по-моему у нас здорово получилось приземлить все это на реальные кейсы, а не просто пофилософствовать.

Вот ссылка на видео

А вот черновик тизера, который я накидал для монтажера как референс. Делюсь им тут, потому что мне он нравится

Прошлый мой подход к GPT в таблицах никуда не годится.

Там я сделал кастомную функцию =GPT(...), которую можно вписать в табличку, передав ей промпт, и она даст ответ от нейросети 🫨

Так любой человек может обработать сразу сотни элементов без навыков программирования и без ручной копипасты

Но Google таблицы рандомно перезапускают такие формулы раз в какое-то время.

Понятно, чем это чревато?

Кучей потраченных денег на бесполезную перегенерацию данных.

Большие ребята из gptforwork (писал тут) решают это через кэширование или отдельную кнопку, чтобы подменить формулы на их значения, но все выглядит костыльно.

А как не костыльно?

Недавно у gptforworks появился режим с боковой панелью. Я развил эту идею для одного из проектов, с которым сейчас помогаю.

Самая главная фича – можно создавать отдельные операции, переключаться между ними или вообще запускать из обычного интерфейса табличек (конец видео).

Если вам такое очень надо, пишите в личку, дам доступ

Как стать AI разработчиком в 2025?

Если вы никогда не писали код - никак.

Шутка, на самом деле появление LLM уровня gpt-4 открывает столько низковисящих возможностей, что даже очень костыльные системы построенные на no-code решениях или простигоспади гугл-таблицах, могут давать кучу бизнес-ценности.

Тут стоит только найти повторяющуюся рутину в вашей области, попробовать решить ее с помощью gpt, поитерироваться, чтобы получать хороший результат в 1-3 промпта, а потом интегрировать в существующие процессы.

Мб даже автоматизировать, чтобы работало сразу для пачки объектов.

Поздравляю, вы AI инженер на минималках.

Дальше изучаете подходы к промптингу, few-shot learning, structured_output, паттерны типа «чек-лист», разные виды RAG систем (как доставать релевантные куски из больших баз знаний), разбираетесь с тем что такое ембеддинги, чтобы понять, что они не работают, и другие умные слова.

Я вот в своем диджитал пузыре нифига не знаю про реальные проблемы в реальном бизнесе, поэтому предлагаю ими со мной поделиться в обмен на помощь с решением:)

Про то, как стать AI разработчиком для тех, кто уже умеет прогать – в следующем посте

Как разработчику стать AI разработчиком в 2025?

Поздравляю, вы уже AI разработчик.

Шутка. Вы только на 90% AI разработчик.

Самое сложное, как и в предыдущем кейсе – найти проект, где так или иначе нужен AI. Либо придумать его на своем текущем рабочем месте. Я так сделал 2 года назад, предложив в CodeSignal начать уже анализировать качество кода разработчиков, которые проходят технический скрининг на нашей платформе.

Параллельно со мной было еще несколько человек, которые переключались на AI разработку из обычной, так что я не просто статистический выброс.

Самая большая ошибка – идти изучать классический Machine Learning и обучение нейронок. Это профессия, которая будет вымирать – компаниям больше не нужно обучать кастомные нейронки под свои задачи, они просто берут GPT.

В этой области останутся только самые топовые ребята, которые будут обучать передовые модели в гугле, OpenAI, и т.д.

Все что оттуда нужно – это понимать классы задач (классификация, регрессия и т.д.), метрики для них (и то, как они связаны с бизнесом) и зачем нужен train-test split (и что такое data-leakage). Это прям база, ее даже с GPT можно разобрать самостоятельно

А это точно вообще нужно?

Рабочий прототип можно делать и так, просто на ручном вайб-чеке ответов. Штука выше нужна для выстраивания итеративного процесса разработки и надежной валидации решения – а без этого фиг "продашь" компании запуск такого проекта.

Что точно нужно?

Все в целом похоже на предыдущий пост, но с определенными отличиями.

1. Прочитать методичку про промптингу
2. Восхититься идеей ембеддингов
3. Разочароваться в ней
4. Научиться работать со structured_outputs, чтобы структура ответа модели была детерминированной
5. Начать использовать LangChain, чтобы понять, что вы это зря.
6. Потратить кучу времени итерируясь над промптами в реальных задачах, чтобы обучить свою нейросетку в голове.
7. Научиться делать мониторинг (и самих ответов, и метрик, и костов, и ошибок, и дрифта входных данных)


Ни к коем случае не лезть в дообучение моделей, оно вас сожрет
(если вы точно знаете, почему мой тезис голословный, то вы не аудитория поста, вас не сожрет. мб)

И есть еще другой способ, гораздо проще.

Сейчас большинству LLM-продуктов не хватает нормальных разработчиков, которые умеют не просто демки фигачить, а писать нормальный продакшн код.

Нужно просто не ссать, что это "какой-то непонятный AI в котором я не шарю", потому что под капотом там то же перекладывание json'ов.

А там уже и в AI-контекст вкатитесь и на месте прочувствуете все микро-различия AI разработки от обычной.

Кто пользуются GPT через костыли, это пост для вас.

Несколько подписчиков по моему совету уже перешли на deepseek и очень довольны. Да, модель немного потупее, зато без запар с VPN, временными симками и т.д.

Пару дней назад они выкатили модель, которая уже на уровне GPT-4o, так что теперь и этого минуса нет. А для сложных задач у них есть бесплатный Deep Think режим плюс они еще недавно добавили поиск по интернету.

Это ваш бро:
https://chat.deepseek.com/

Пишу статью как я "ем стекло" (начиная с увольнения и заканчивая тем как перестал заниматься тренажером по общению с детьми)

И замечаю столько необоснованных решений. И только прописывая сейчас их текстом, понимаю, насколько у меня на самом деле нет нормальных объяснений

Почему я решил, что работать в молодом стартапе – плохая идея?

Почему я перестал делать тренажер для менеджеров и переключился на родителей?

Почему его продвигали так как продвигали?

Почему решили заморозить и начать делать что-то другое?

Почему я опять пишу код вместо того чтобы продавать?

———

В следующем году буду писать себе такие письменные обоснования на все важные решения.

Весь год ссался написать пост на хабр и другие внешние площадки. Но я все еще могу успеть хотя бы начать в этом году.

Накидал черновик и вышло даже как подведение части итогов года.

Мне очень нужен ваш фидбэк (в комменты или личку, без разницы)

Неочевидный плюс ведения канала и личного дневника – можно закинуть все записи за год в GPT и попросить анализ "со стороны".

Правда пришлось постараться, чтобы не было графомании. Claude, кстати, гораздо меньше воды льет по сравнению с GPT и Google Gemini

Есть моменты, которые прям неприятно читать, но жиза 🤷‍♂️

P.s. Промпты в комментах

Один из самых мощных паттернов в работе с LLM из моего 2024 года

Еще в 2023 я использовал в продакше Chain of Thought и Chain of Prompts (цепочка мыслей и цепочка промптов).

Первое – это "думай по шагам", чтобы LLM не сразу давала ответ, а сначала подумала "вслух" (сейчас все модели уже сразу дообучены так делать).

Второе – разбиваем сложную задачу на несколько этапов и делаем их по очереди отдельными запросами (выдели логические блоки из текста и придумай названия → напиши саммари для каждого → переведи на русский)

Но тут несколько проблем:
1. Chain of Thought выбирает совсем разные шаги для похожих входных данных и вообще делает что хочет
2. Chain of Prompts жрет кучу денег, т.к. каждый этап делаем новый запрос (заново загружая токены контекст). Плюс занимает больше времени на выполнение (бывает критично).

А что делать то?

✨Custom Chain of Though✨ – делаем один запрос, но четко указываем, какие шаги нужно сделать и формат результата

Упрощенный пример из двух шагов:

[тут у нас какой-то промт]...

Ответь сначала на английском. Потом переведи на русский

# output format

Response
<english response>

Translation
<перевод на русский>

Тут модель при генерации ответа "думает" на своем родном английском → нет просадки качества из-за чужого языка. При этом сразу получаем версию на русском. Так она еще и лучше по качеству, чем если просто в новом чате скинуть английский результат и попросить перевести. Есть идеи почему так? 🙃

Ну и че тут такого, все очевидно, где рокет саенс?

А нет рокет саенса, это простой дубовый подход, который работает. Дает управляемую генерацию в несколько шагов, экономит деньги и снижает задержку до результата.

А если использовать structured output, то LLMка, даже если очень захочет, не сможет сгенерировать другие шаги. Ну и так можно не только линейный список шагов задавать, а еще и дерево с ветвлениями, которые выбираются прям во время генерации.

А это, я считаю, разъеб.

Срач в комментах по теме предыдущего поста.

Поучаствовал в душной дискуссии в комментах у Игоря Котенкова (@seeallochnaya) о том, какие проблемы есть у Custom Chain of Though про который пишу выше.

Что я понял, пока думал над аргументами за и против своей точки зрения:

Чтобы было проще и нагляднее – вот контекст в памяти модели в момент выполнения третьего шага в цепочке из 4 шагов:

Общие инструкции
Инструкция к шагу 1
Инструкция к шагу 2
Инструкция к шагу 3
Инструкция к шагу 4
Данные, с которыми работаем

(дальше, то что модель уже сгенерировала, это тоже попадает в контекст)
Результат шага 1
Результат шага 2
Резуль...(генеририуем тут)

1. Инструкции для других шагов в контексте, а значит, отвлекают модель от шага 3 👎

2. При этом, при генерации каждого нового токена, "карты внимания" нейронки пересчитываются (и че?)

3. => Если инструкция2 не важна для шага 3, то модель почти не будет обращать на нее внимания, когда генерирует результат3.

это важно – модель в динамике меняет фокус внимания

4. А если инструкция2 важна для шага 3, то модель будет обращать на нее внимание и выполнит шаг3 лучше, чем если бы не знала контекста

не баг, а фича

То же самое применимо не только к инструкциям, но и к результатам предыдущих шагов – если в них есть полезный контекст для нашего шага – результат будет лучше. И наоборот 🤷‍♂️

———

Это ответ на вопрос из предыдущего поста. Теперь понятно, почему перевод как второй шаг в цепочке качественнее, чем если сделать его в отдельном чате – у модели есть контекст про изначальную задачу и данные, а хороший перевод должен учитывает контекст.

Но у механизма пересчета "карт внимания" есть проблемы – про них следующий пост.

Проблема с вниманием. Последний задротский пост на ближайшее время, налетай

Весь прошлый пост я писал про то, что нейронка вся такая умная – сама понимает, на что обращать внимание, а на что нет (точно лучше меня, хех).

И работает это потому, что когда мы генерируем новый токен, то пересчитываем "карты внимания" модели ко всем остальным токенам => можем выбрать только релевантные. Логично?

Не совсем. Вот 3 важных детали

1️⃣ Дисбаланс внимания

Модели склонны давать больший вес информации в начале и в конце промпта. Так, инструкции 2 и 3, находятся где-то в середине и идут нафиг.

2️⃣ Локальность

Есть такая штука как positional encoding – это когда в нейронку вместе с каждым токеном передается его положение. Неожиданно, в наших языках порядок букв и слов и предложений – очень важен.

И неожиданно, модели лучше связывают текст, который находится близко. А в нашем случае, между инструкцией 3 и генерацией 3 есть еще куча текста (инструкция 4, генерация 1, генерация 2, см. схему тут)

3️⃣ Видит невидимое

Нейронка может находить ложные связи там, где их нет (прям как люди). Так она может начать использовать слова из вашей инструкции к шагу 4 при генерации шага 1.

———

Про это полезно помнить, когда вы пишите очень длинные инструкции. Если в генерацию вашего шага "протекает" информация из других инструкций больше, чем вам нужно, можно попробовать такой трюк:

Прежде чем выполнять каждый шаг еще раз коротко сформулируй инструкции для него

Это дополнительно выделит релевантные инструкции для конкретного шага и сделает так, что генерация шага будет рядом с его инструкциями (см. positional encoding)

Как я перестал откладывать

Какая ваша основная причина прокрастинации важных задач? У меня – избегание проеба и ожидания доп работы, чтобы этого избежать

Как только я что-то сделал, это можно оценить и увидеть косяки. Хз откуда у меня взялся перфекционизм, учитывая как много в своей жизни я делал наотъебись 🤷‍♂️

А если ничего не делаешь, то и не проебешься. Надежно, как швейцарские часы 👍

А даже если я все-таки что-то делаю?
Какую работу я делаю, когда боюсь косяков?
Правильно, лишнюю. Полируя пока не будет идеально.

Есть у меня задача сделать X (написать сложное письмо, продумать архитектуру проекта, накидать дизайн приложения).

И как только представляю сколько нужно сделать приседаний, чтобы было идеально, то я сразу сделаю идеально когда-нибудь потом.

ЛАЙФХАААК. Я стал ставить себе задачи-черновики.

* Написать черновик поста
* Накидать черновик сообщения
* Сделать прототип приложения

Черновик стерпит любую неидеальность. Тут можно и нужно косячить.
Это расслабляет и дает свободу творчества.

Я теперь сильно проще (и главное быстрее) начинаю любые сложные задачи.

———

А когда черновик готов, оказывается, что в целом это уже на 80-90% ок. Немного полирнуть и, зажмурившись, отправить.

"Первый шаг самый сложный"

Вот уж действительно подноготная.

Ни разу не видел реальных примеров бизнес-коммуникации (кроме переписки Маска с OpenAI, которую опубликовали в рамках судебного дела)

Так что делюсь своей – проваленные переговоры за интересный контракт с одной из западных компаний

Боялся, что слишком длинно, но все, кому лично скидывал – с интересом читали до конца

В AI чатике спросили классный вопрос

Может ли кто-то поделиться практикой составления definition-of-done если мы имеем дело с AI, а значит с вероятностными моделями -- где-то работает, где-то нет. Как договариваться с клиентом, что модель работает -- может быть кто-то выработал интересный подход для этого вопроса?

Мой ответ на него и по совместительству подводка к завтрашнему посту:

Самый топовый инструмент на платформе OpenAI – Evals

В базовом варианте – загружаем табличку с двумя столбцами – примерами входных данных и правильными ответами. Это наш тестовый датасет. И для любого нашего промпта по нажатию кнопки получаем его качество – в скольки процентах сгенерированный ответ совпадает с правильным.

Понятно, что такое работает очень редко – когда нужно проверить полное совпадение ответов. Например, когда классифицируем текст - проверяем, отзыв позитивный (1), негативный (-1) или нейтральный (0).

А если мы делаем промпт для саммари созвона? Может быть бесконечное количество хороших саммари – не обязательно полное совпадение с "правильным" ответом в нашей табличке.

Для таких случаев, OpenAI добавили кучу разных режимов. Самые интересные кмк:

* Проверка фактической схожести (в отличие от повсеместной семантической схожести на ембеддингах). Это буквально "мне насрать как ответ сформулирован, но суть должна быть верная" – то, в чем часто косячат продукты поверх LLM.

* Кастомный критерий – буквально можно прописать любую меру похожести, любой вайбчек. Это просто разъеб!

А самый кайф в том, что критерии можно комбинировать.

———

Осталось понять, зачем это все, да?

Да просто мы оптимизируем то, что измеряем (и смотрим на измеренные числа, конечно). Это могут быть деньги на счете, время просранное в соц. сетях, количество подписчиков в канале или корректность фактов в ответах LLMки.

OpenAI сделали систему вообще бесшовной, так что наконец можно не городить свои костыли.

А что и как измеряете вы?

Анализ закрытых данных по использованию LLM

@kyrillic недавно проводил закрытый опрос об использовании LLM в личной жизни или в бизнесе и высылал результаты всем участвующим. Такой приватный краудсорсинг.

Инфы очень много, почти 300 разных кейсов. Я быстро задолбался читать однотипное и попросил GPT отобрать 50 самых интересных. Много чего можно забрать в свою жизнь. Есть и такие, которые можно обернуть в продукт.

Вот мой личный топ:

* AI как second brain для психотерапии
Анализ многолетних расшифровок сессий с психологом для создания персонализированной базы знаний о себе и получения контекстных рекомендаций. (мб как доп. инструмент для самого психотерапевта)

* Анализ кастдев-интервью с автоматической категоризацией болей
Система вытаскивает из транскриптов интервью боли, группирует их по категориям и оценивает частоту упоминания

* Конвертация медицинских назначений между странами
Находит аналоги лекарств в разных странах с учетом действующих веществ и местных особенностей

* Анализ call-центра с выявлением проблемных скриптов
Находит в записях разговоров места, где клиенты чаще всего "отваливаются" или злятся

* Автоматическая генерация PRD из обсуждений
Превращает длинные дискуссии команды в структурированный продуктовый документ

* Распознавание проблем оборудования по фото на производстве
Система помогает неопытным монтажерам ремонтировать прессформы - достаточно сфотографировать проблему и получить пошаговую инструкцию с картинками.

* Автоматический анализ качества видеоконтента для блогеров
Оценивает вертикальные видео по заданным критериям, помогая улучшать контент-стратегию, сценарии и монтаж на основе численных метрик.

* Автоматизация работы с Upwork (прим.: крупнейшая фриланс биржа)
Отслеживает новые заказы, фильтрует их по критериям и автоматически генерирует персонализированные cover letters.

* Автоматический анализ пользовательских отзывов (если вам такое нужно, пишите мне 🤗)
Категоризирует отзывы, выделяет ключевые проблемы и генерирует рекомендации по улучшению продукта.

* AI для анализа собеседований (тоже пишите)
Система анализирует записи интервью, оценивает кандидатов по заданным критериям и генерирует структурированные отчеты.

* Создание квестов-приключений для детей на разных языках
ИИ генерирует персонализированные квесты со стихотворными подсказками превращая обычные активности (типа, поиск подарка) в увлекательные приключения.

* Автоматическое создание Brand Guardian для проектов
Бот проверяет соответствие всех материалов брендбуку, автоматически указывая на отклонения в логотипах, шрифтах и цветах.

Че думаете? Если есть идеи вопросов по этой базе, тоже пишите