Всех с началом рабочей недели 😬. Если вам начинает казаться, что информации появляется так много (по ML-тематике и не только), и вы не успеваете в ней разбираться - вам не кажется и вы не одиноки. Я чувствую себя точно так же.

Это проблема и я решаю её как могу - как DS. Я сделал своего ai-агента. Его задача - собирать и освещать интересные новости из индустрии ai в пассивно агрессивном режиме. Теперь он будет жить в этом канале и иногда делать самостоятельные публикации. (пока что сильно реже меня настоящего 👍).

Почему он все таки агент?

- Потому что может действовать самостоятельно, и принимать решения на основе информации из окружающей среды.
- LLM движок под капотом в связке с некоторыми функциями оптимизации, которые помогают принимать решение.

Для чего я его делаю?

- Первая цель агента - мониторинг и анализ текущих новинок в сфере, которая мне интересна - ML. Чтобы я периодически получал выжимку того, что сейчас актуально (читай - умная лента новостей).
- Вторая цель - собирать отчеты, которые должны простым языком объяснять сложные понятия с ссылками на источники (читай - deep search на кроне по сложным и интересным темам).
- Третья цель - поразвлекать и вдохновить вас на создание чего-то подобного.

Ближайшие планы, чем я буду делиться:

- Буду рассказывать о ходе разработки (о подводных камнях, о технических особенностях и трудностях)
- Буду делиться артефактами работы агента (саммари по новостям, отчеты (по ML тематике))

Ближайшие планы по разработке:

- Настроить сбор обратной связи
- Дообучение модели ранкера и модели оценки токсичности

Чтобы вам тоже сделать такой же проект, нужно иметь некоторый опыт в ML sys design и в LLM sys design. Хотите пост об этом? Ставьте 🔥 и я напишу его с практическими советами.

P.S. к посту прикрепил текущую схему работы агента

побежали тестировать ? 🦆

(вернусь с результатами)

Работая в большой компании, иногда нужно делиться успехами во внешний мир. Вот и мы в команде решили это сделать.

В новой статье на Хабре мы рассказываем о нашей разработке — командной ML-платформе, которая меняет процесс работы с данными и моделями. Ключевое достижение — сокращение времени от постановки гипотезы до запуска продуктового теста с двух дней до одного часа, что ускоряет процесс в 48 раз без потери качества результатов. ⏱️

Платформа объединяет три мощных модуля:

🟢autoEDA для автоматического анализа данных.📊

🟢autoML для оптимизации и построения моделей. 🔨

🟢autoSegment для формирования целевых аудиторий. 👥

В статье мы подробно разбираем каждый модуль, описываем их взаимодействие и приводим конкретные примеры использования в реальных проектах. Вы узнаете, как платформа автоматизирует рутинные задачи, позволяя Data Scientists сосредоточиться на более сложных и творческих аспектах работы.💪

Для особо интересующихся 🤓 я подготовил схему архитектуры платформы.

Приглашаю на Хабр, чтобы узнать все детали о нашем решении для автоматизации процессов машинного обучения и аналитики данных

Это история про преподавание в ML и про разработку с Claude 3.7

🧑‍🎓 #преподавание@ml_maxim
🧑‍💻 #разработка@ml_maxim

Я уже рассказывал, что веду занятия в HSE по NLP. Сейчас также веду блок занятий по ML в нашей школе аналитиков данных от МТС Тета. Как известно, качественное машинное обучение начинается с грамотной оценки и визуализации данных — проведения EDA (Exploratory Data Analysis).

Студенты на моих занятиях выполнили этот анализ для своих датасетов, и теперь у всех нас есть возможность оценить результаты их работы.

Я разработал бота (@eda_maxim_ml_bot), который по концепции напоминает Tinder, но для графиков EDA. Вы можете зайти и оценить несколько работ, а уже в эту пятницу я опубликую итоги, и мы вместе увидим, какие подходы к визуализации данных находят наибольший отклик у аудитории.

Бот будет доступен до утра пятницы, после чего я приступлю к анализу результатов. (ждите пятничную визуализацию 📊). Можно провести 40 оценок, после чего вы попадете в таймаут на 1 день.

Важно отметить, что для студентов это возможность получить дополнительные баллы, поэтому прошу выбирать понравившиеся графики объективно.

И да, этот бот создан за три вечера в сотрудничестве с Claude 3.7 🏋‍♀. Не могу сказать, что процесс разработки был идеальным и мне удалось хорошо и приятно повайбкодить, но я определенно получил несколько ценных инсайтов. Код бота и подробный рассказ о процессе его создания я опубликую после подведения итогов соревнования.

Результаты EDA battle: победители, анализ и инсайты

Спешу поделиться результатами нашей «Tinder»-игры с оценкой графиков EDA. Прежде всего, хочу выразить благодарность всем участникам! Это был действительно увлекательный опыт.

🔵 Помимо анализа результатов, мне удалось получить детальный рецепт создания идеального EDA-графика от новой мультимодальной Gemma 3. Очень много интересного, давайте обо всем по порядку.

🔵 В прикрепленном PDF-файле вы найдете не только победителей, но и разбор каждого топового графика от мультимодальной LLM Gemma 3:12b. Мой бот оценивал только «свайпы», а из них можно извлечь мало информации. Использование gemma 3 позволило понять, почему именно эти визуализации оказались столь эффективными. Также сделал wordcloud над ответами LLM. Если вы искали рецепт идеального графика, то вы его нашли.

🔵 Кстати, это не последняя проверка мультимодальности этой модели. У меня запланировано ещё несколько тестов, и скоро я ими поделюсь

▶ P.S. Пост про разработку этого Tinder-бота и vibe coding с Claude 3.7 is coming 🦆

▶ P.P.S. Сам процесс оценки тоже очень интересный и доступен в этом ноутбуке. Я впервые работал с попарными сравнениями, изучил много вариантов, как провести корректную оценку, в итоге остановился на алгоритме CrowdBT.

🧑‍🎓 #преподавание@ml_maxim
📊 #пятничная_визуализация@ml_maxim

Разбираем vibe coding Андрея Карпаты

Недавно Андрей Карпаты дропнул свои чаты с вайб кодингом. Ну я конечно же побежал их анализировать. 🦆 От Андрея было 63 сообщения, которые он использовал для написания приложения подсчета калорий.

Андрей, пожалуй, главный амбассадор vibe coding 😎, поэтому я не мог пройти мимо и не провести анализ его запросов.

Перед публикацией моего поста про недавний опыт vibe coding telegram tinder бота не могу пропустить возможность поделиться аналитикой его вайба.

Что делал Андрей

Он разрабатывал мобильное приложение для iOS.
Вот так в общих чертах gemma 3:27b (да, все еще тестирую эту модель) описывает его работу:

Андрей усердно работает над созданием удобного и красивого iOS-приложения для отслеживания калорий и физической активности, тщательно продумывая каждый элемент интерфейса – от расположения кнопок и отображения данных до визуального оформления и тактильной обратной связи – чтобы сделать его максимально понятным, функциональным и приятным в использовании.

Как он это делал
Несмотря на общее количество в 63 запроса, я выделил некоторые смысловые группы. В этих группах прослеживаются паттерны, которые совпадают с моими собственными подходами. Вот проверенные и эффективные техники, которые мы оба используем:

1️⃣Упрощение кода
Андрей регулярно просит не усложнять код. Этот прием я использую давно, заметив, что примерно с четвертого уточнения может произойти неоправданное усложнение решения. Крайне неприятно наблюдать, как ваше изначальное решение из 100 строк кода разрастается до ~400. Поэтому очень полезно постоянно проверять ассистента на избыточную сложность предлагаемых конструкций.

пример из работы Андрея:

1) 'If it's too complicated then I don't really want to bloat the code too much.'
2) 'nothing way too complex so that the code doesn't become too bloated.'

2️⃣ Фиксация промежуточных результатов
Андрей фиксирует промежуточные результаты непосредственно в своих промптах. Он начинает с позитивного подкрепления: "it works great", "well done" и т.д. После этого следуют уточнения о необходимых доработках. Я применяю аналогичный подход, что позволяет создавать в диалоге контрольные точки, от которых LLM может отталкиваться в последующей генерации, считая предыдущую задачу успешно решенной.

пример из работы Андрея:

1) 'Ok finally that works. But the log is growing "backwards". I want the most up to date log to show on top’
2) 'Great. Now we add two possible buttons - simply, one button is +100 and the other is -100.'
3) 'Nice and how can I fade them a little bit’

Других значимых особенностей в составлении запросов я не выявил, поэтому о своем собственном опыте и других особенностях vibe coding расскажу подробнее в отдельном посте.

P.S. Полный текст всех комментариев Андрея доступен в первом файле в приложениях, если кто-то тоже захочет провести свой анализ.

P.P.S. Для этой аналитики я использовал следующие подходы в обработке текстов:
🔵text2vec: перевод комментариев в векторное пространство
🔵clustering: кластеризация полученных векторов
🔵LLM explanation: использовал gemma3:27b для интерпретации полученных кластеров и суммаризации

💃 #vibe_coding@ml_maxim

Опыт разработки с ИИ-ассистентом: три вечера дебага вместо одного вечера вайб кодинга

Недавно завершилась битва по аналитике, для которой я написал telegram-бота с помощью ИИ-ассистента

Я изначально планировал расслабленно написать бота за один вечер, непринужденно общаясь с ассистентом. Однако вместо одного вечера процесс растянулся на три, и пресловутый vibe пошел совсем не так, как ожидалось

Сегодня я хочу поделиться своим опытом и объяснить, почему работа с ИИ-ассистентами может быть одновременно эффективной и разочаровывающей — в зависимости от вашего подхода

Почему ваш vibe coding не работает

Эффективный vibe coding раскрывается в руках опытного и "правильно ленивого" разработчика — того, кто мог бы написать всё сам, но ищет способ ускорить и упростить процесс

Почему так происходит? Проблема в том, что ИИ-ассистенты часто загоняют решение в своеобразный "локальный минимум" — технически работающий, но далеко не оптимальный код. Этот «минимум» зависит от вашего первоначального запроса и от того, насколько четко вы сформулировали не только задачу, но и ваш ожидаемый подход к её решению. И хорошо бы вам понимать, что вы находитесь в этом минимуме

Пример из работы над ботом
Работая над ботом для соревнования, я попросил ассистента

написать функцию семплирования пары картинок в зависимости от частоты показа

Код, который я получил, технически работал, но

1. Использовал неэффективный алгоритм, который в runtime работает непозволительно долго
2. Читал файл статистики при каждом запросе, а не доставал из кэша
3. Содержал избыточные проверки, замедляющие работу

Когда я заметил эти проблемы и попытался их исправить в диалоге с ассистентом, оказалось крайне сложно "вытащить" решение из этого локального минимума. Ассистент продолжал предлагать улучшения в рамках изначально выбранного подхода, вместо того чтобы полностью пересмотреть архитектуру

В такой ситуации помогает только создание нового чата с выборочным переносом важной истории

Правило хорошего запроса к ИИ-ассистенту
Правило, в общем, довольно простое

Хороший запрос к LLM — это тот, в котором уже есть половина ответа.

Когда вы четко формулируете не только "что" вы хотите получить, но и "как" это должно работать, вы направляете ассистента по верному пути с самого начала

Вот как выглядел мой улучшенный запрос, когда я переписывал бота во второй раз

Реализуй высокопроизводительную функцию семплирования изображений, учитывающую частоту показа, с алгоритмом O(1) сложности и кэшированием статистики. Оптимизируй код для production, обеспечив эффективное обновление данных и обработку краевых случаев

Тут не просто обозначена цель, но и определен алгоритм работы. Такой подход дал гораздо лучшие результаты

Практические советы для эффективного Vibe Coding

1⃣Начинайте с общей схемы и архитектуры
Прежде чем писать первую строчку кода, нарисуйте общую схему системы. Определите основные компоненты, их взаимодействие и ожидаемые входные/выходные данные. Это поможет вам яснее формулировать запросы к ИИ-ассистенту и легче отслеживать, соответствует ли результат вашим ожиданиям (схему бота я приложил)

2⃣Разбивайте код на короткие логические модули
Просите ИИ-ассистента не усложнять решения и разбивать код на понятные модули. Это не только упростит отладку, но и позволит легче контролировать качество генерируемого кода. Небольшие функции с четкой ответственностью гораздо проще оценить на предмет корректности

3⃣Держите в голове логические связи между компонентами
При работе с ИИ-помощником критически важно самому понимать, как различные части кода взаимодействуют между собой. Это позволит вам эффективнее отлаживать программу и точнее указывать на проблемы при дальнейших итерациях разработки

В заключение
Чем больше вы знаете и умеете, тем эффективнее вы можете использовать помощь ИИ. Однако это не значит, что начинающим разработчикам стоит избегать ИИ-ассистентов. Напротив, они могут быть отличным обучающим инструментом, если использовать их с пониманием ограничений

А что касается моего бота — его полный код теперь доступен в GitHub репозитории

💃 #vibe_coding@ml_maxim

Как заставить LLM открыть бутылку пива

Всех с пятницей, у кого какие планы? Может, в бар? А LLM с собой возьмете? Пусть тогда откроет бутылку пива за вас. 🍺

Работая с языковыми моделями, часто требуется не просто получить текстовый ответ, а структурированные данные — например, в формате JSON. Вот самый эффективный способ добиться нужного формата от LLM.

Что мы имеем
С такими данными будем работать - попробуем открыть бутылку пива.

input_data = [
    {"номер": 1, "название": "пиво", "характеристика": "светлое", "статус": "закрыто"},
    {"номер": 2, "название": "пиво", "характеристика": "светлое", "статус": "закрыто"},
    {"номер": 3, "название": "пиво", "характеристика": "светлое", "статус": "закрыто"},
    {"номер": 4, "название": "пиво", "характеристика": "светлое", "статус": "закрыто"}
]

Как будем ограничивать LLM: Pydantic + Structured Outputs
Некоторые модели (например в ollama) поддерживают структурированные выходные данные через передачу схемы Pydantic (или JSON Schema). Модель гарантирует, что ответ будет строго соответствовать этой схеме — это самый надёжный способ получить валидный JSON нужной структуры.

Почему это работает
Ограничения на генерацию LLM, такие как JSON Schema или Pydantic, работают как "фильтр" или "направляющая" для модели. Вместо того чтобы выбирать любой следующий токен, LLM вынуждена выбирать только те токены, которые соответствуют заранее определённой структуре (например, число, кавычка, конкретное слово из списка). Этот процесс гарантирует, что итоговый текст будет строго соответствовать заданному формату (например, валидному JSON), исключая ошибки структуры.

Как это применить

from pydantic import BaseModel
from typing import Literal
from ollama import chat

class BeerBottle(BaseModel):
    номер: int
    название: str
    характеристика: str
    статус: Literal["открыто", "закрыто"]

class BeerList(BaseModel):
    bottles: list[BeerBottle]

prompt = (
    "Вот список бутылок пива:\n"
    f"{input_data}\n"
    "Открой только две бутылки: вторую и четвертую. "
    "Первая и третья бутылка должны быть закрыты. "
    "Верни результат как список объектов BeerBottle, "
)

response = chat(
    model="gemma3:12b",
    messages=[{'role': 'user', 'content': prompt}],
    format=BeerList.model_json_schema()
)

result = BeerList.model_validate_json(response.message.content)
print(result)

Альтернативные подходы
🟢Можно использовать чистый JSON Schema, минуя Pydantic.
🟢Существуют специальные библиотеки: Outlines, Guidance, JSONFormer — они тоже ограничивают генерацию по схеме.
🟢Можно попробовать добиться нужного формата только промптом, но это менее надёжно.

Важно понимать: большинство "жестких" методов (Pydantic, JSON Schema, грамматики в Guidance/Outlines) основаны на одном и том же принципе — ограничении выбора токенов на этапе генерации.

Так что в следующий раз, когда вам понадобится точный и структурированный ответ от вашей локальной LLM, вспомните про "открытие пивных бутылок" с помощью Pydantic — это действительно работает! Теперь можно и отдохнуть. 🍺

Gemini добавил гендерно-нейтральный вариант в мой код без запроса. Вайб-кодеры, внимание!

Сейчас работаю над одним проектом, и в нём нужно было корректно переделать эту конструкцию под работу с английским языком. Мне было лень, и я воспользовался ассистентом (на базе модели Gemini 2.5 Pro).

Вот что я ему передал:

переведи конструкцию на английский язык для корректной работы с английским языком

prompt_person_sex = {
    'man': """
    перед тобой мужчина, обращайся к нему в мужском роде. 
    """.strip(),

    'woman': """
    перед тобой женщина, обращайся к ней в женском роде. 
    """.strip(),
}

А вот что мне вернула модель 😐:

# Instructions for addressing the person based on gender
gender_address_instructions_en = {
    'male': """
    When addressing the man, use masculine grammatical forms 
    (e.g., pronouns like "he", "him", "his").
    """.strip(),

    'female': """
    When addressing the woman, use feminine grammatical forms 
    (e.g., pronouns like "she", "her", "hers").
    """.strip(),
    
    # Optional entry for neutral or unspecified address
    # 'neutral': """
    # Address the person using gender-neutral or universal phrasing 
    # (e.g., "they", "them", "their", or rephrasing to avoid pronouns).
    # """.strip(),
}

Интересно, что такой «небинарный» вариант модель поставила в «комментарии», сделав его опциональным.
Такой вот JFYI от гугла.

Каковы причины такого дополнения от модели? Это заложенное поведение в виде надстройки, или отражение современных тенденций в данных (видимо, преимущественно на английском языке), на которых она обучалась? Готов поверить в оба варианта

P.S. Лица вайб-кодеров представили? Тех, кто не проверяет, что им пишет LLM 🤣

Улучшаем RAG Pipeline: схема, эксперименты и будущие инсайты

Retrieval-Augmented Generation (RAG) - мощный подход, который позволяет большим языковым моделям (LLM) использовать внешние знания, делая их ответы более точными, актуальными и надежными. Но как и любой сложный механизм, RAG-пайплайн требует настройки и оптимизации. Как понять, где именно кроются точки роста и какие улучшения дадут наибольший эффект?

Чтобы лучше ориентироваться в мире оптимизации RAG, я подготовил наглядную схему. Она базируется на отличной диаграмме от Microsoft и выделяет ключевые этапы и компоненты вашего пайплайна, где можно применить улучшения - от предобработки данных и индексации до самого процесса генерации ответа.

Эта схема охватывает если не все, то очень многие известные на сегодня способы сделать RAG пайплайн эффективнее.

Но! Одно дело - знать о возможных улучшениях, другое - проверить их в деле. Значительную часть подходов с этой схемы мы активно пробуем и тестируем вместе со студентами на семинарах в ВШЭ. Мы проверяем гипотезы, измеряем результаты и выясняем, что действительно работает, а что оказывается не столь эффективным на практике.

Считайте этот пост началом серии. Я планирую постепенно делиться нашими находками и результатами экспериментов прямо здесь. Что вы узнаете:

1️⃣Какие конкретные техники улучшения мы применяли.
2️⃣Какие из них дали заметный прирост качества (и какой именно).
3️⃣Какие оказались менее полезными или даже контрпродуктивными.

Кстати, не только мы ищем пути оптимизации RAG. Недавно коллеги из RedMadRobot поделились на Хабре своими успехами и даже привели конкретные цифры прироста от различных методов. Отличный материал для изучения и сравнения.

Все полезные наработки, код и результаты я буду выкладывать в этот репозиторий . Сейчас я привожу материалы в порядок, и первым значимым дополнением станет код для создания бенчмарка оценки качества вашего RAG Pipeline, о котором я упоминал ранее в этом обсуждении. Это критически важный инструмент для объективного измерения эффекта от любых улучшений

Всем хороших майских праздников! 🙌