Что я поменял в DS работе

Я не люблю Jupyter ноутбуки как результат DS работы 🔫 Отдельно можно поговорить почему. Но так или иначе раньше отказаться от них не получалось

Появление кодинговых агентов все поменяло. Мы с командой постепенно переходим на следующую схему

- Python скрипты
- Оформление выводов в маркдаун а затем сразу на конфлюенс
- Визуализация в streamlit

Почему

1. Выяснилось, что удобная механика «запустил ячейку, получил вывод» заменяется на «агент запустил скрипт и красиво оформил результат в markdown»

2. Клод нереально быстро клепает стримлит. А стримлит это полноценный дашборд / data app. Для каждого проекта я делаю свой стримлит, как полноценный сервис в кубере. Выкатывается одной командой и сразу доступен коллегам

Ноутбуки остаются только как средство вручную что-то покопать. Для чего они и нужны 😌

История блокировки не клода

Телеграм гудит от массовой блокировки аккаунтов клода россиян 🔫. Вот вам другая свежая история.

Мы какое-то время назад создали аккаунт OpenAI. Все официально, в белую, на рабочие почты. Компания у нас международная. Положили денег, стали использовать, подняли тир. И тут нас резко банят. Всем, кто был добавлен в организацию приходят отбивки о блокировке. Причина.. дистиляция. Деньги которые мы положили естественно не вернули 💸 (хотя честно говоря это последнее, что меня беспокоило).

Никакой дистиляции конечно мы не делали. Размечали релевантность поиска и тюнили промпты для переводов. Видимо за тюнинг промптов через DSPy нас и забанили.

Мы написали с двух аккаунтов аппеляцию, что мы ничего плохого не делали. Две недели ответа не было и мы уже думали куда писать дальше (например, чуваку на форуме в такой же ситуации помогло только публично пожаловаться, что ему не отвечают). Неожиданно через две недели на один аккаунт пришел ответ, что мы были заблокированы ошибочно и этот аккаунт разблокировали. Правда автоматика работает странно и все остальные аккаунты все равно не разбанили. Нужно теперь и с ними что-то делать 🦶

Мораль

Завязываться на внешних провайдеров LLM опасно. Однако использовать их все равно нужно. Поднимать топовые модели самим - нужно иметь вескую причину и огромный бюджет на железо. Не говоря уже о том, что закрытые модели сейчас работают реально лучше.

Не завязывайтесь на одного провайдера. Продумывайте план, если вас отключат, чтобы у вас не встал прод. Мы именно это и сделали.

OpenAI прекращают поддержку файнтюнинга моделей

Новость, которая отражает какие подходы побеждают, а какие проигрывают 💀

Насколько я вижу вокруг: вау решений на LLM, дообученных LoRa адаптерами не получается. Хотя я не настолько категоричен как автор LLM под капотом, который считает эту ветку тупиковой.

Дообучением занимаются, когда хотят получить хороший результат на маленькой модели. Но это трудозатратный и нестабильный метод.

Лучше сперва делать решение на больших моделях, а затем думать как удешевить.

Мы так и поступили на нескольких проектах. В одном кейсе экономика на самом деле уже сошлась. А если что, ее можно удешевить продуктово, ограничив тех, на кого раскатывается фича.

А в другом экономика тоже сходится, но хочется более быстрых ответов. Поэтому мы обучаем легкий декодер (не факт что на основе LLM). Интересно что получится. У нас оптимистичные ожидания 😎

Удивился решению Майкрософта срезать косты на Claude 😏. Не смогли найти 100 долларов в месяц на разработчика? В ту же сторону отреагировал убер

💬 Мысли по теме

- Факт, что при неаккуратном использовании на агентах можно сжигать нереальное количество денег. Я недавно пробовал запускать Hermes на Opus 4.7. Расхотелось 😅

- Просто подписка на курсор или клод код многократно себя окупает. Это видно невооруженным взглядом без всяких аб тестов

💬 Чтобы AI не стал только лишь дополнительным финансовым бременем 🔫, нужно делать две вещи.

1. Вводить политики на траты сверх обычных подписок. Например, включать бюджет на AI в бюджет проектов. У меня вот есть такой бюджет на DS функцию и я трижды думаю на что его тратить.

2. Закладывать сокращение количества сотрудников на тот же объем работы. Иначе это правда все бессмысленно.

Майкрософту сложно быстро отреагировать на такую смену парадигмы. Я думаю, что кран прикрыт временно. Либо они будут просто использовать не Антропик.

Какой алгоритм рекомендаций победил в Avito ML Cup

Пока на разных днях датафеста рассказывали про трансформерные рекомендации, интересно было посмотреть, что нарешали победители соревнования, про которое я писал. Напомню, что датасет был серьезный - 5kkk взаимодействий.

🔜 Как вы наверное догадались, это не трансформер. И самое интересное, что не ALS

Победил графовый кандидатогенератор. Базовая идея этого алгоритма очень простая. Это когда вы ходите по графу взаимодействий: юзер - айтем на который он кликал - другой юзер - новый айтем. И так при желании какое-то количество раз. Дальше у алгоритма есть усложнения, как ходить лучше, чем случайно. Примеры вариаций: Pixie от Pinterest аж 2017 года и RP3beta аж 2016 года.

🔜 Все топ решения использовали подобные кандидатогенераторы и ранжирование бустингом поверх

Интересно, почему получилось так? Может быть виной хитрая метрика, которая усредняет перформанс по разным вертикалям (товары, услуги итд). Может быть то, что оставили только прогретых пользователей, у которых был контакт. Может быть гэп в 12 часов между трейном и валидацией. А может быть было мало данных на такой объем пользователей и айтемов. Говорят, трансформер не выучивал item_id (хотя они уже были semantic id).

По итогу, соревнование показало пример, что хорошие рекомендации можно построить достаточно простым подходом.

YouTube - Запись разбора решений
Б/У ML - Канал Толи, автора сорева

Я заметил, что мало у кого в итоге прижились OpenClaw, Hermes и похожие агенты 🦀

Проблема OpenClaw как класса агентов, что люди им играются и бросают. Почему, можно описать одним примером.

Допустим, человек просит вести за него задачи и планировать время. Но до этого он что-нибудь делал? Есть ли у него привычка записывать задачи? Умеет ли вообще придерживаться расписания?

Поставит ему агент с 6 до 8 утра слот учить data science, он все равно не проснется. Дело не в инструментах, дело в человеке 🤷‍♂️

«Это Гулаг» - что происходит в Мете*

Эту историю на прошлой неделе мне рассказал один знакомый. Я честно говоря поделил на 10, но тут новости просто взорвались.

Мета принудительно отправила 6.5 тысяч инженеров размечать данные для AI на фул-тайм. Люди бунтуют.

Выглядит ооочень плохо. Принудиловка требует либо большой кредит доверия у компании, либо хорошую компенсацию взамен. Учитывая ситуацию с волнами сокращений, ни того ни другого нет.

Мета очевидно отстанет в AI гонке и хочет это изменить. Но вместо камбека пока получается саморазрушение 🏌️

* запрещенная организация в РФ

https://techcrunch.com/2026/06/12/metas-months-old-ai-unit-is-a-soul-crushing-gulag-say-the-engineers-stuck-inside-it/

Прохожу новый курс

Начал проходить Стэнфордский курс Language Modeling from Scratch

Моя цель - проходить по два курса в год. Зимой я проходил курс по программированию на CUDA, теперь вот учусь обучать LLM с нуля.

➡️ Мысль за этим следующая. Во-первых, чтобы хорошо делать свою работу, нужно иметь знания на 1-2 уровня глубже чем используешь в повседневной деятельности. Во-вторых, в части задач я все-таки рассчитываю, что мы начнем использовать легкие зафайнтюненные LLM-ки. Чтобы сэкономить, снизить лейтенси и главное - быть менее зависимыми от внешних API. Но тут хз, непонятно, что будет с областью через пару лет 🤷‍♂️

Прикольный курс. Я пока не смотрю лекции, только делаю домашки. Лекции буду смотреть по факту, когда сделаю. То, что ты не трогаешь руками - не откладывается. На этом курсе абсолютно шикарные домашки с хорошими тестами. Курс рассчитан в том числе и на самостоятельное прохождение.

Уже написал и обучил токенизатор с нуля, сейчас пишу компоненты LLM на торче.

➡️ Из интересного, с домашками идут настройки Клода и Кодекса, которые не дают агенту напрямую писать код за студента, но дают отвечать на вопросы и помогать искать ошибки. Супер полезно.

Буду делиться впечатлениями!