Data Science | Machinelearning [ru]
19.8K subscribers
896 photos
56 videos
28 files
3.82K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

MAX - https://max.ru/devsp
Личный блог - @just_genych
По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
Reasoning Lock: ИИ-агент в проде тратит токены и молчит — живой разбор бага

В прошлой статье автор рассказывал о скрытом баге: ИИ-агент в проде заказчика тратит токены, генерация закрывается со статусом «успех», а клиенту уезжает пустая строка. Обещание разобраться и починить выполнено: причина найдена, правки встали в воркфлоу, счётчик пустых ответов уже 7 дней — чисто. Баг получил имя Reasoning Lock. Агент работает на self-hosted n8n: по ночам принимает заявки в Instagram Direct, ведёт диалог, собирает анкету и создаёт/обновляет сделку в amoCRM. Стек: n8n + Redis + LangChain, основная LLM — DeepSeek V4 Pro через OpenRouter, резервная — недавно поменяна на Qwen3.8 Flash.

История началась задолго до самого бага: с конца июня отказы шли двумя периодами, и разница между ними — ключ к пониманию. Первый период — тесты и запуск, природа инфраструктурная: ограничения Meta — потери вебхуков, окно ответов, двойные доставки; чинилось мгновенным 200 OK, буфером на Redis и дебаунсом. К продакшену этот класс закрыли.

Второй период — последние два месяца: промпт. Правки от заказчика посыпались в системный промпт под живую бизнес-логику: инструкция по пересылке оплаты пользователем, отдельные сценарии ответов для VIP-клиентов, уточнения формулировок после каждого спорного диалога. Каждая правка по отдельности правильная и рабочая, но суммарно промпт разросся примерно до 6.4k токенов, а плотность запретов («КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО», «Отправь СТРОГО этот текст») стала максимальной за всю жизнь системы.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
👎1
[Перевод] Счастлив тот, кто смог познать причины вещей

На стыке LLM и математики в последнее время кипит движуха — местами любопытная, местами откровенно скандальная. И вот тебе вопрос на подумать: что математикам делать с этой LLM-лавиной? Она их похоронит — или перекроит так, что и вообразить не выйдет?

Оригинал — пост математика Нестора Гильена от 13 сентября 2026 года, вышел в блоге Теренса Тао, на русский его перетащил. Математика и код первыми схлопотали напор LLM. Но этот опыт пригодится и другим отраслям, если завтра LLM и корпорации, что их пилят, устроят «ИИ-революцию» и у них.

На ту же тему на Хабре лежит перевод тезисов доклада самого Тао — «Математика в эпоху ИИ: публичная лекция Теренса Тао на Международном конгрессе математиков», 24 июля 2026. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Как сегодня строят рекомендательные системы — и что будет с ними завтра?

30 сентября собираем RecSys-сообщество — разработчиков, ML/DS-специалистов и всех, кто делает персонализацию и рекомендации в реальных продуктах.

В программе — доклады от экспертов Сбера. Поговорим о свежих подходах и нестандартных решениях на реальных кейсах.

А после докладов переключаемся на неформальный режим: знакомимся, спорим про RecSys, обсуждаем идеи, находим единомышленников и просто хорошо проводим вечер среди своих.

📍г. Нижний Новгород, пространство «Гараж»

Количество мест ограничено — успей забрать своё по ссылке!
2
Перепеть трек и пересобрать кодовую базу: почему это не криминал и что делать авторам в эпоху ИИ

В магазине крутили «ту самую» песню — ага, щас. Не она это была: та же композиция, отыгранная с нуля и на два с половиной тона ниже. Авторское право защищает то, как идея выражена, а не саму идею, — но пересборка не обнуляет права на оригинал. Разжёвываю, что это значит для авторов в эпоху ИИ.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
ТЗ должно собираться из требований, а не вылизываться как готовый структурированный документ — вот под это нужна система

В крупной финансовой конторе, где автор сидел системным аналитиком, техзадания не клепают ни в Confluence, ни в Word.

Детали — в статье на Habr: читать

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
[Перевод] Индустрия информационной безопасности вступает в третью эпоху

Про роль ИИ в аналитике и разработке мы уже написали гору текстов. Дошло время и до кибербеза: решили выкатить серию материалов о том, как ИИ его перекраивает — заручились поддержкой нашей Red Team / pentest-команды. Открываем переводом статьи The Cybersecurity Industry Is Entering Its Third Era.

Зато глава нашей Red Team, когда его спрашивают, что главное поменялось за последние годы, отвечает ещё лаконичнее: скорость.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
«Internal OpenAI model» — что это за штука, и с какого перепугу DeepSeek уже дышит OpenAI в затылок?

То, что варят внутри фронтирных лабораторий, наружу не выкатывают. Модель, на которой сидят их же исследователи, и модель, которую гонят через API, — не одно и то же. Лаборатория собирает не одну сетку, а целый конвейер: research-чекпоинты, экспериментальные модели, reward-модели, модели-учителя, модели для генерации синтетических данных, модели-evaluators, дистиллированные студенты и production-модели. А до публики доезжает только последний пункт из этого списка.

Окей, допустим, обучили чудовищно дорогую модель. Ризонит будь здоров, код пишет, математику щёлкает. Беда одна: каждый запрос к ней сжирает прорву вычислений. Для исследователя внутри конторы это нормальный рабочий инструмент. А для продукта со 100 млн юзеров её профитнее превратить в учителя: она штампует годные ответы, решения, траектории ризонинга, синтетику, а иногда и сами распределения вероятностей — и на этом поведении дрессируют студента поменьше. Это одна из форм дистилляции знаний, и настолько распространённая, что OpenAI не постеснялась выложить официальный Model Distillation workflow: берёшь ответы модели посильнее, хоть GPT-4o, хоть o1-preview, и учишь на них модель подешевле — «взять продвинутую модель и получить сопоставимое качество на конкретной задаче при существенно меньшей стоимости».

Отсюда простой вывод: лучшая research-модель и лучшая production-модель тянут разные функции. Первая качает максимум возможностей. Вторая тащит всё сразу — intelligence, latency, стоимость GPU, throughput, reliability и safety. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
1
SKILL.state и coding-агенты: истории меньше, а работы — не факт что меньше

Разбор по следам исследования SKILL.state: чуть контекстного инжиниринга, бенчей и графиков. Плюс — опыты с памятью coding-агентов в OpenCode и Codex.

Ещё там — мысли про перспективы идеи.

Читать далее: habr.com

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
[Перевод] Как сделать модель, которая умеет думать: дообучение через GRPO

DeepSeek наглядно показал: способность рассуждать по шагам реально прокачивается на этапе дообучения. Хочешь такое же поведение от локальной LLM — есть вариант: Group Relative Policy Optimization, он же GRPO.

SFT — это когда модель по сути заучивает шаблоны из примеров. GRPO работает иначе: reinforcement learning. Модель получает фидбек о качестве своих ответов и потихоньку начинает генерить удачные варианты чаще.

Дальше раскладываем, как GRPO стыкуется с современными подходами RLHF и что вообще происходит внутри такого обучения. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
1
ИИ-агент, написанный ИИ-агентом: полгода работы, 1600 коммитов и рейтинг — ноль

В IT он больше двадцати пяти лет, в Android — почти пятнадцать. И этого, как выяснилось, недостаточно. В требованиях всё чаще не Kotlin с Compose, а умение тащить разработку через ИИ: поставить задачу, разгрести то, что вернулось, и вовремя заметить, где инструмент с абсолютно уверенным лицом гонит. Про TDD, BDD, DDD и FDD вокруг уже почти не говорят — на их месте AIDD и SDD. А в рабочих тикетах JIRA завёлся обязательный字段 с «уровнем использования ИИ»: «полностью сделано агентом» и «частично сделано агентом». Варианта «сделано своими руками» там нет.

Учиться по статьям — дохлый номер: в статьях почему-то всегда всё работает. Значит, нужен живой проект, и не игрушечный, а такой, где реально есть где накосячить. Агента он писал при помощи агента. Через полгода приложение висит в Google Play, автор сам гоняет его каждый день, и учебной работой это уже не назвать. Дальше — история роста: три смены курса (учебный проект дорос до продукта, Gemini CLI уступил место Claude Code, маршрутизатор на два выхода превратился в граф), одна стена, в которую он приехал на полном ходу, и запуск, который не выстрелил.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️Data Science в 2026 году: что нужно знать, чтобы дойти от первой модели до первого оффера?

Большинство новичков совершают одну и ту же ошибку: пытаются выучить весь Data Science сразу.

Python, математика, статистика, ML, Deep Learning, MLOps… А потом открывают вакансию и обнаруживают ещё примерно 15 технологий, о которых вчера даже не слышали. В итоге можно несколько месяцев учиться, собирать учебные модели и всё равно не понимать, что именно нужно показать работодателю, чтобы получить первый оффер 🫠

Мария Жарова — ML-инженер Wildberries, экс-Альфа-Банк и Сбер, преподаватель магистратур МФТИ, ТГУ и МИФИ — проведёт бесплатный эфир «ML-инженер в 2026 году: от первой модели до первого оффера» и покажет профессию изнутри на реальной ML-задаче.

Что будет на эфире:
🔶На живом примере соберём модель, которая определяет тональность отзывов: подготовим данные, превратим текст в числа, обучим алгоритм и проверим, где он ошибается;
🔶Разберём полный цикл ML-проекта — от задачи бизнеса и сырых данных до готовой модели;
🔶Разберёмся, чем отличаются Data Scientist, ML Engineer, Deep Learning и MLOps и чем занимается каждый специалист;
🔶 Посмотрим, какие знания и навыки действительно нужны новичку, а что пока можно не пытаться выучить за одну ночь;
🔶Разберём реальные требования в вакансиях и поймём, какие проекты стоит добавить в портфолио;
🔶Обсудим, как перейти от обучения к первым собеседованиям и не застрять в бесконечном «ещё немного поучусь и начну искать работу».


Дополнительно на эфире разберем реальные примеры резюме и портфолио кандидатов, которые смогли пройти отбор.

🎁 ПОЛУЧИТЕ 3 КУРСА (PYTHON, SQL, PANDAS) В ПОДАРОК ЗА РЕГИСТРАЦИЮ НА ЭФИР!

Эти курсы - база для того чтобы вкатиться в профессию!

Если вы сейчас пытаетесь разобраться в Data Science и не очень понимаете, что учить, какие проекты делать и когда уже можно идти на собеседования, эфир поможет собрать всё это в одну понятную картину.

🛎️Регистрируйтесь, эфир совсем скоро!
Please open Telegram to view this post
VIEW IN TELEGRAM
3👎1😁1
Граница код | модель как архитектурный объект

Накидаю мыслей поверх одного проекта: архитектура — router + pipelines (AWS, Claude). Возьмём кейс, который видел почти каждый, кто пилил LLM-агента для вопросов к данным на человеческом языке: text2sql, аналитический ассистент, бот поверх базы — неважно. Схема обычно такая: агент тащит всё на себе. Сам решает, что за запрос пришёл, сам его собирает, сам выбирает, в каком виде отдать ответ, и сам же прикидывает, стоит ли предупреждать про отклонение. В этом и весь смысл агента, ради этого и пишется системный промпт.

На десятке тестовых вопросов всё летает. А потом прилетает боль: вопросы приходят в других формулировках. Тот же самый вопрос, но сказанный иначе, обрабатывается по-другому — модель иначе прочитала фразу, и структурно одинаковые результаты вдруг поехали в разной форме (строка, таблица, график), причём без объяснения почему. Или наоборот: формулировка та же, а отклонение то с пояснением, то пустое. Что делают первым делом? Дописывают в промпт ещё одно правило. Пару раз реально выручает. А потом новое правило начинает грызться со старыми, и промпт превращается в лоскутное одеяло из заплаток под конкретные случаи. Нестабильность никуда не девается — она просто зарывается в том, в каком порядке модель применяет взаимоисключающие инструкции.

Корень в другом: в этом сценарии вообще никто явно не решал, что делает код, а что модель. Оно сложилось само, пока промпт сочинялся. Отсюда и решение: граница между кодом и моделью — не деталь реализации, а отдельный архитектурный объект. Не примешь это решение осознанно — его примут за тебя по дефолту, и почти наверняка не в сторону устойчивости.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Дед в 70 лет наклепал 445 книг через ChatGPT. И цепляет тут вообще не он

Билл Джонс, 70 лет, на пенсии. В активе — 445 книг, сделанных с помощью ChatGPT, и тысячи баксов с них. Но кайф не в самом Джонсе, а в том, о чём этот кейс орёт.

ИИ превратил производство контента в дешёвую и быструю движуху. Теперь не надо год высиживать одну книгу и молиться, чтоб она выстрелила. Запускай пачку сразу — и смотри, какая из них зайдёт.

Автор копает дальше: что это вообще меняет для тех, кто пишет. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
👎3
Как я слепила настольную лампу в Blender через Codex и GPT-6 Astra

В прошлом году у меня завёлся 3D-принтер. А где-то в июле я загорелась напечатать органайзер под всякую мелочь. Готовой модели, которая бы подошла, не нашлось — пришлось открывать Blender и делать своё. И на этом всё встало: панели, кнопки, настройки — я поплыла и просто отложила моделирование.

Не так давно в сообществе на глаза попались примеры, как люди работают с Blender через Codex и GPT-6 Astra. И я решила дать второй заход. Первым упражнением стала настольная лампа: основание, стойка, кронштейн и плафон.

Отмоделировав, я выставила материалы и свет, а потом прогнала пятисекундный облёт камеры. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Классический RAG не вывез — пришлось пилить AI-консультанта по архитектуре

Знание про архитектуру по углам разбросано: что-то осело в Confluence, что-то в реестре систем, что-то в ADR, а самое сочное вообще живёт в головах экспертов и архитекторов. А ландшафт банка — это же куча систем, модулей, компонентов, интеграций и команд. В таких масштабах старые способы раздавать знания уже не дают ни нужной скорости, ни полноты доступа. Время на поиск утекает, новичку в этом зоопарке разобраться тяжко, а архитекторы и эксперты как заведённые отвечают на одни и те же вопросы.

С виду таска — типовой RAG: собрать документы, порезать на чанки, накрутить эмбеддинги и скармливать найденный контекст большой языковой модели. Но очень быстро стало понятно: вопросы про архитектуру устроены посложнее обычного поиска по тексту. В статье разберут, почему классического RAG не хватило, зачем понадобился граф знаний, как сделали маршрутизацию запросов между источниками банка и к какой архитектуре в итоге пришли.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Jev: что за API решений у него под капотом и что на нём уже собирают

Три дня — и вокруг Jev наросла мини-экосистема. Браузерный агент выцепил авиабилеты за семь секунд. Кто-то слепил торгового бота, фильтры контента и вообще Tesla FSD. Но текст Jev не пишет — его API вытаскивает вариант ответа из набора, который заранее очертило приложение.

Автор перекопал доку TypeSafe, код jev-ultrafast, выложенную трассу того самого семисекундного прогона и сотню источников — первичных или почти. В статье: контракт Noul, Choice и Score, сам вызов API, цена, как устроен браузерный агент и 15 ранних кейсов вместе с границами того, что они вообще доказывают.

А вопрос-то простой: где этот узкий слой решений реально обставляет обычную LLM, а где валидный ответ всё равно выходит просто не тем ответом?

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Охота за идеальным ML-ноутом: с макбука на x86+Linux

Пост вроде бы и с иронией написан, но вопрос автор поднимает совсем не шуточный: что за железо вообще тянет на звание идеального для ML-разработчика. И крутится всё вокруг переезда с макбука на x86+Linux.

Читать далее: habr.com

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71👎1
Поднять LLM на своём железе: что прикинуть до похода за видюхой

Топовая видюха — вообще не гарантия, что локальная LLM у тебя поедет. В материале копают: с чего GPU вдруг прохлаждается, как на скорость влияют память, KV-кэш и движок инференса, и что стоит посчитать заранее, если собрался городить свой стенд.

Разобраться в LLM

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Накодил через чатбота — получил уголовку: в Австралии впервые судят за слив через нейросеть

Кристоферу Даффу из Сиднея 40. Ему вменяют взлом судебной системы в Новом Южном Уэльсе. Копы уверены: чувак сознательно попросил ChatGPT написать софт, который массово качал документы и лез туда, куда не положено. Речь почти о 9 тысячах судебных бумаг, а доступ к ним у Даффа был аж в 2025-м.

Тогда же ему вкатили первые обвинения, устроили шмон в квартире, вынесли два ноутбука и выпустили под залог. А теперь тема всплыла снова. Свою вину Кристофер не признаёт.

В качестве доказательства суд хочет подшить его переписку с чатботом. Как говорит источник, в австралийском правосудии такого ещё не проделывали. Подробности и доводы сторон

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
«Ты же говорил, что так можно»: как ИИ выручает бухгалтеров на 1С и их начальство

Автор говорит: наткнулась недавно на статью о том, что бухгалтеру вполне можно подрядить ИИ на ответы по требованиям. В комментариях, ясное дело, сразу посыпались шуточки в духе «с такими ответами поедешь отдыхать за решёточку» (и ведь не поспоришь). По её мнению, наши законы написаны так, что читать их надо буквально между строк, да ещё и не единожды — иначе реальный смысл со всеми подводными камнями не выкупишь. Но статья, мол, вообще не про это.

Куча бухгалтеров и предпринимателей (тех, кто сам тянет бухгалтерский и управленческий учёт) боится, что ИИ где-то налажает, и кажется, что надёжнее убить время и сделать всё руками. По факту же ИИ вполне способен разгрузить рутину и выдать ровно то, что тебе надо — если по-человечески поставить ТЗ.

Автор обещает разобрать несколько кейсов из личного опыта, которые экономят ей вагон времени. Может, кому-то зайдёт, и ты глянешь на это под другим углом — сама она, напомним, раньше к ИИ в работе относилась крайне скептически.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32👎1😁1
Как пролезть в ответы Perplexity AI и почему эта штука не вычитывает страницу целиком

Автор замесил 20 промптов через Perplexity API, каждый по три повтора — на выходе 60 ответов. Дальше взял каждую сноску [N] и сшил предложение из ответа с той страницей, откуда оно приползло. А потом для пары «предложение ответа — страница источника» рылся в HTML в поисках куска, максимально близкого к тому, что говорит ответ. Итог: из 1355 отсылок 948 вели на страницы, которые ещё открываются, и на 448 из них обнаружился пассаж — абзац, пункт списка или ячейка таблицы, — который накрывает хотя бы треть слов утверждения.

Главное для тех, кто пишет страницы: на сработавшей странице медианно вкатываются два пассажа из 85, где-то по 49 слов штука. В штуках это 2%, в словах побольше — медиана 6,4% текста страницы, среднее 11,6%. Короче, залетевший пассаж длиннее обычного. Так что готовиться надо не к тому, что кто-то прочтёт всю простыню, а к тому, что из неё выдернут один самодостаточный абзац. Что это значит для конкретного текста — разжёвано в разделе про работу с Perplexity, он торчит в середине, до разбора ошибок в коде. А границы, за которыми эти цифры перестают работать, вынесены отдельно — и там же сказано, как прогнать ту же проверку по своей нише.

С чего всё началось: в логе замера видно, какие URL Perplexity суёт в источники. А вот что именно уехало со страницы в ответ — весь текст, абзац или одна строчка списка — не видно от слова совсем.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
1