Dataism Science Hub
131 subscribers
112 links
🤖 Дневник ИИ-исследователя: обзор новых статей в области искусственного интеллекта

@andre_dataist
Download Telegram
Почему ИИ-агенты хорошо чинят баги, но плохо доводят продукт до релиза

ИИ-агенты неплохо чинят баги и дописывают маленькие фичи. Но в реальной разработке чаще нужно другое — довести продукт или фичу до следующего релиза. Требования размазаны по release notes, изменения цепляют десятки файлов, зависимости обновляются, а любая правка легко ломает соседний модуль.

И вот тут начинается самое интересное: когда агентов проверяют не на задачах уровня исправления issue, а на долгосрочной задаче от release notes до реально работающей новой версии, метрики начинают проседать. Оказывается, проблема не в том, что модель не умеет писать код, а в том, что она часто неправильно понимает, что именно надо изменить, и где это аукнется.

В полном обзоре разберём, что за бенчмарк SWE‑EVO и как он измеряет прогресс в сегодняшних ИИ-агентов для программирования.

📜 Полный обзор
👍2
Почему ИИ-агенты не помнят собственную жизнь — и как агенту Софье дали автобиографию, мотивацию и долгосрочную память

ИИ‑агенты умеют планировать, вызывать инструменты и выполнять цепочки действий. Но стоит поменяться интерфейсу, правилам или цели — и они будут повторять старые ошибки.

В работе про агента Софью ученые предлагают посмотреть на это как на недостающий «психический» уровень. Есть Система-1 с быстрыми навыками и Система-2 с рассуждениями, но нет Системы-3, которая следит за самим мышлением: что агент понял, чему научился, почему провалился и что стоит делать дальше. По сути — то, что делает поведение связным и долгоживущим в открытой среде.

Давайте разберём, что авторы называют Системой-3, из каких блоков она состоит, и как собрать устойчивого агента с памятью, самооценкой, моделью пользователя и внутренней мотивацией.

📜 Полный обзор
🔥2
Профессиональные разработчики не вайбят с агентами — они их контролируют

Сегодня в моду вошли агенты, которые могут автономно разрабатывать фичи. Но в реальной разработке любая мелкая ошибка может быть угрозой безопасности и качества продукта.

Опытные разработчики не спешат «вайбить» с агентами и отпускать контроль. Вместо этого они используют их совсем иначе — как исполнителя, которого нужно держать в рамках, постоянно проверять и принимать работу по правилам, как у живого коллеги.

В полном обзоре разберем, что показало исследование 2025 года: какие задачи профи реально отдают агентам, а где предпочитают держать контроль.

📜 Полный обзор
👍3🔥1
LLM — не тупик. Проблема AGI совсем в другом

LLM то поражают логикой, то внезапно не могут выполнить даже простую задачу: путают факты, теряют цель, забывают, что обещали пару абзацев назад. И из‑за этого разговоры про AGI часто скатываются в унылое «LLM просто генерируют следующий токен, поэтому это тупик». Но, похоже, проблема не в том, что у моделей нет истинного “мышления”, а в том, что им часто нечем это мышление организовать.

Ученые из Стэнфорда предлагают посмотреть на это как на пропущенный модуль в архитектуре: между генерацией текста и настоящим решением задач должен быть модуль координации. Он ставит цель, держит план, подбирает опоры, проверяет шаги и не даёт модели скатится в привычные паттерны. И самое интересное — это можно описывать почти как физику: есть якоря, есть их сила, и есть порог, после которого поведение системы резко становится более целевым.

Давайте разберёмся, что такое семантическое якорение, почему лишний контекст иногда ухудшает результат, и как из этого появляется мультиагентная система для координации, которая может сделать LLM намного стабильнее в долгосрочных задачах.

📜 Полный обзор
👍32
Как LLM находит нужный код в репозитории, который не помещается в контекст

Бывает так: словил баг, открываешь большой репозиторий в его поисках, а вокруг сотни файлов и странных зависимостей. Человеку тяжело, а LLM ещё хуже: она просто не может удержать весь контекст проекта в голове и начинает блуждать — то ищет по словам, то вытаскивает куски кода, то путается в инструментах.

И вот тут появляется неожиданная идея: вместо сложного поиска LLM дают один-единственный инструмент перехода к месту определения классов, методов и перменных. Внезапно этого хватает, чтобы гораздо точнее находить, где именно в коде проблема.

В полном обзоре выясним почему минимализм оказался сильнее арсенала инструментов, как агент учится ходить по репозиторию с подкреплением, и почему на бенчмарках маленькая модель с таким подходом обгоняет более крупные.

📜 Полный обзор
👍2
Когда данных нет совсем, а учиться всё равно нужно: как ИИ сам придумывает задачи и сам себя проверяет

Даже самые продвинутые модели учатся рассуждать не в вакууме: им всё равно нужен чей-то заранее собранный датасет, а разметку всё равно делает человек. И это быстро становится узким местом: это дорого и плохо масштабируется.

А теперь представьте подход, когда модель сама придумывает себе задания, сама решает их и сама же получает оценку — без единого внешнего датасета. Не просто тренируется, а выбирает, чему именно тренироваться, и постоянно держится в зоне, где ей чуть-чуть сложно. Звучит как чит-код, но именно так устроен Absolute Zero: self-play для рассуждения, заземлённый в проверяемую Python-среду.

В полном обзоре разберём, как модель совмещает роли планировщика и исполнителя задач, откуда берётся неожиданный скачок в математике и какой неприятный сигнал по безопасности всплыл прямо в процессе такого самообучения.

📜 Полный обзор
🔥1
Как превратить GitHub в память для ИИ-агента

Агенты умеют открывать репозитории, гонять тесты и предлагать патчи. Но когда баг сложный, они часто чинят его будто до них никто с таким не сталкивался. А у людей всё наоборот — мы идём в GitHub, ищем похожие issue и PR, смотрим, какие гипотезы проверяли, что реально сработало и почему.

Самое обидное, что нужный опыт там уже лежит, просто он в неудобном виде: разрозненные куски логов, случайные правки и обсуждения. Если дать это агенту напрямую, он легко зацепится за лишнее и сделает неправильный фикс.

В MemGovern предлагают превратить человеческие истории исправлений в понятные карточки опыта и научить агента искать их не одним запросом, а как инженер — с уточнениями и фильтрацией.

Разберёмся, как устроены эти карточки и откуда берётся прирост на инженерном бенчмарке SWE-bench Verified.

📜 Полный обзор
👍1🤯1
Агентный RAG против модульного: что реально лучше на пратике

RAG кажется простым спасением от галлюцинаций: подключили модель к базе знаний, и она отвечает точнее. Но в реальном продукте поиск то подтягивает не то, то вообще оказывается лишним действием. А значит, вы платите токенами и временем за шаги, которые не всегда дают пользу.

Сейчас индустрия спорит о двух подходах. Модульный RAG — это аккуратный пайплайн: роутер решает, нужен ли поиск, переписывание делает запрос «под документы», переранкер вычищает мусор. Агентный RAG звучит соблазнительнее: пусть LLM сама решает, когда искать, как переформулировать и стоит ли повторить попытку. Вопрос только один: где это реально приносит пользу?

В полном обзоре разберём результаты большого сравнения на разных задачах и доменах: когда агентность помогает и сколько придется заплатить за эту гибкость.

📜 Полный обзор
👍2
От прототипа к продакшену: с какими проблемами сталкиваются мультиагентные системы

Мультиагентные системы выглядят как мечта любого продакта: вместо одного агента вы собираете команду из LLM, где один планирует, другой ищет данные, третий пишет код, а четвертый проверяет результат. Проблема в том, что такая команда зависит сразу от всего вокруг: API провайдеров, function calling, баз данных, облака. Любое обновление легко превращает ваш пайплайн в набор странных багов и несовместимостей.

Самое интересное тут не в красивых демо, а в том, что происходит дальше, когда это пытаются поддерживать месяцами. Какие фреймворки реально растут устойчиво, а какие выстреливают и быстро выдыхаются? Что чаще делает комьюнити: чинит ошибки или бесконечно подстраивается под меняющийся мир? И почему в проблемах внезапно всплывает не только код, но и координация самих агентов?

Разберём большое исследование по восьми популярным open-source фреймворках разработки агентов и посмотрим на цифрах: как они развиваются на GitHub, какие есть проблемы и как быстро их решают.

📜 Полный обзор
👍1
Общество мыслей: как LLM становятся сильнее, когда спорят сами с собой

Мы уже привыкли, что одни LLM отвечают почти без ошибок, а другие путаются на тех же задачах. И долго казалось, что секрет reasoning‑моделей в том, что они просто пишут больше шагов и дольше думают. Но на практике удлинить рассуждение недостаточно — качество от этого не всегда растёт.

В свежей работе исследователи предлагают более интересную версию: сильные модели не столько думают дольше, сколько думают по-другому. Их рассуждение начинает выглядеть как мини-обсуждение внутри одной головы: один ход предлагают, другой оспаривают, третий проверяет, потом все сходятся на решении. И похоже, именно этот внутренний спор и делает ответы надёжнее.

В полном обзоре разберём, как это измеряли на тысячах задач, какие разговорные паттерны отличают reasoning‑модели от обычных, и почему подталкивание модели в сторону такого диалогового режима заметно повышает точность ответа.

📜 Полный обзор
🔥2
RoboBrain: как робот понимает глубину 3D-сцены и учится самоконтролю

Роботы уже неплохо распознают предметы и понимают команды на уровне слов. Но как только дело доходит до реального мира, начинается самое сложное: нужно не просто увидеть кружку, а понять, на каком она расстоянии, на какой высоте держать руку, как не задеть соседние предметы и насколько вообще действие продвинулось. Для человека это интуитивно, а для робота легко превратить простую просьбу в череду ошибок.

И вот тут появляется интересный вопрос: можно ли научить модель не только думать в картинках, но и чувствовать глубину и ход времени так же уверенно, как мы? Чтобы она умела заранее набросать понятную 3D-траекторию движения и по видео в процессе честно понимать, мы приближаемся к цели или топчемся на месте.

Разберём RoboBrain 2.5: как устроены их 3D-трассы с глубиной, зачем роботу плотная оценка прогресса по кадрам и почему именно эта связка даёт заметный прирост на бенчмарках.

📜 Полный обзор
👍2
Аналитика без SQL и отчётов: как продавцы в Amazon получают инсайты напрямую из данных

В e-commerce продавцу каждый день нужно быстро понимать, что происходит с бизнесом: где просели продажи, какие товары тянут бизнес вниз, что стоит усилить в рекламе. Данных много, но чтобы вытащить из них ответ, обычно приходится прыгать между отчетами, фильтрами и таблицами, а потом ещё гадать, правильно ли ты всё понял.

Теперь представьте, что можно просто спросить по-человечески: почему на этой неделе упал оборот или что лучше всего растёт в разрезе категорий. И получить не набор цифр, а понятный вывод с контекстом. Систему реально запускали для продавцов Amazon и измерили точность и скорость ответов.

В полном обзоре разберём, как устроены Insight Agents: почему это не классический text-to-SQL, а мультиагентная система с менеджером и двумя специалистами, которые отсекает лишние запросы, ускоряют ответы и помогают выдавать инсайты, которым можно доверять.

📜 Полный обзор
👍2
GameTalk: как научить LLM выигрывать в переговорах

LLM умеют поддерживать диалог, но в переговорах, где важно удержать цель и выиграть, многие модели сдуваются. Их обычно учат оценивать отдельные реплики, а в реальной стратегии решает не один удачный ход, а то, чем закончится вся серия реплик.

GameTalk предлагает смотреть на диалог как на игру с длинной дистанцией: награда приходит в конце, когда уже ясно, удалось ли склонить оппонента, заработать больше или договориться на своих условиях. И тут начинается самое интересное: модель может стать заметно сильнее в переговорах, но при этом иногда делает это странным способом — почти без глубокого понимания собеседника, зато с рабочими приемами влияния.

В полном обзоре разберемся, как авторы обучают такие модели на контролируемых играх, почему они разводят диалог на параллельные ветки и чем отличаются методы дообучения GRPO, DPO и STaR на практике.

📜 Полный обзор
👍3
Как LLM помогают дата инженерам наводить порядок в «грязных» данных

Проблема грязных данных стара как мир: даты в разных форматах, один и тот же клиент в пяти вариантах, пустые поля, странные опечатки и колонки с названиями, которые ничего не объясняют. Из-за этого аналитика и ML-пайплайны врут, а команда неделями «чистит» данные вручную правилами и скриптами.

Но тут появляется неожиданный поворот: LLM могут наводить порядок не хуже опытного дата-инженера, потому что понимают смысл. Они способны догадаться, что «7th April 2021» и «04/07/21» — одно и то же, что «price» и «cost» могут быть одной сущностью, и даже дополнять таблицы контекстом. Вопрос только в том, где это реально работает, а где модель начнет уверенно придумывать лишнее и станет слишком дорогой.

В полном обзоре разберем, как LLM применяют для трех больших задач — очистки, интеграции и обогащения данных — и какие есть рабочие методы: от простых промтов до агентных систем с инструментами и проверками, плюс честные ограничения и риски.

📜 Полный обзор
1👍1
Open-source наносит ответный удар: Управляемая симуляция мира, которая работает в реальном времени

Text-to-video модели умеют генерировать впечатляющие видео, но попробуйте попросить их пройти вперёд, оглянуться и вернуться — и мир внезапно забывает, где что стояло. Объекты плывут, детали меняются местами, а причинно‑следственная логика уступает удачным совпадениям. Пока это больше клип, чем пространство, в котором можно действовать.

LingBot-World пытается решить именно эту проблему: превратить генерацию видео в управляемую симуляцию, где есть клавиши движения, повороты камеры и ощущение, что мир действительно держится за свои правила. Самое интересное тут не только в качестве картинки, а в том, как они добывают данные с привязкой к действию и реакции, и как ускоряют тяжёлую diffusion-модель до почти реального времени, причём в open-source.

В полном обзоре узнаем из каких источников собирают «опыт» для такого мира, как модель учат помнить сцену на длинных траекториях и зачем им Mixture-of-Experts.

📜 Полный обзор
Когда агенту нужен дирижёр: AOrchestra и динамическая оркестрация LLM через субагентов

Один ИИ‑агент отлично справляется с задачами из пары шагов: что-то найти, написать, поправить. Но когда работа превращается в длинный квест с проверками, откатами, запуском команд и исправлением ошибок, он начинает теряться. Контекст раздувается, важное тонет в информационном шуме, и вместо прогресса агент занимается тем, что пытается вспомнить, где он остановился.

Есть привычный ответ: сделать мультиагентную систему с ролями вроде исследователя, кодера и ревьюера. Проблема в том, что такие роли быстро превращаются в болтливую бюрократию и требуют ручной настройки. А что если команда будет собираться на лету — ровно под текущий шаг, с нужными инструментами, кусочком контекста и даже подходящей по цене и силе моделью?

В обзоре разберём AOrchestra: как устроен оркестратор, который сам ничего не делает руками, зато создаёт субагентов по запросу, почему это помогает на известных бенчмарках GAIA, Terminal‑Bench и SWE‑Bench, и как здесь впервые становится реально управлять балансом между стоимостью и качеством.

📜 Полный обзор
🔥1
От симуляции к пониманию: как собрать настоящую модель мира

Сегодня почти любой новый ИИ-проект легко назвать моделью мира: добавили побольше данных, натренировали на физику, подкрутили бенчмарк и получили красивые результаты. Но когда такой ИИ сталкивается с реальностью, начинаются странности: на картинке может упорно видеть пять пальцев там, где их шесть, в видео объекты теряются между кадрами, а в задачах для роботов и автономного вождения система вдруг становится непредсказуемой.

Интрига в том, что проблема не в том, что ИИ мало знает. Проблема в том, что знания часто просто прикручены к конкретной задаче и не складываются в цельную картину: без памяти на длинной дистанции, без умения проверять гипотезы действием и без внутренней согласованности причин и последствий.

Давайте разберёмся, почему исследователи называют это ловушкой инъекции знаний, чем настоящая модель мира отличается от набора прокачанных навыков и из каких обязательных частей, по их мнению, должна состоять система, которая действительно начинает понимать, как устроена реальность.

📜 Полный обзор
Не один агент, а целая команда: мультиагентный подход к автономной разработке

LLM уже неплохо помогают генерировать код, объяснять ошибки, накидать тест. Но как только задача становится похожа на настоящую работу в репозитории — прочитать issue, разобраться в проекте, воспроизвести баг, сделать патч и не сломать всё остальное — один универсальный агент не справляется с задачей. Проблема часто не в том, что модель «слабая», а в том, что мы просим её работать не так, как обычно работает разработка.

А что если вместо супер-агента собрать маленькую команду: один анализирует и формулирует план, другой правит код и гоняет тесты, третий делает ревью прямо в pull request, а четвертый следит, чтобы процесс не расползался? Именно так устроен Agyn: мультиагентная система, которая пытается чинить баги как мини-разработка на GitHub, с ролями, изолированными окружениями и понятными правилами завершения работы.

В полном обзоре разберём, как устроены эти роли, почему GitHub-native подход оказался важнее «умной болтовни в чате», и как Agyn показывает конкурентный результат на SWE-bench.

📜 Полный обзор
👍2
Как ИИ-ассистенты незаметно лишают нас самостоятельности

Мы всё чаще отдаём ИИ то, что раньше делали сами: сформулировать мысль, выбрать слова, решить, кто прав, а что «нормально». Это удобно и быстро, но есть побочный эффект: помощник может взять на себя не только рутину, но и нашу способность разбираться в реальности, делать моральные выводы и принимать решения по-своему.

Ассистент уверенно подтверждает тревожную картину мира, выносит вердикт в споре или пишет готовые сообщения так гладко, что хочется отправить их без правок. И именно такие ответы, по данным исследователей, люди нередко оценивают выше остальных.

В полном обзоре разберём исследование из 1,5 миллионах реальных диалогов: какие паттерны лишения самостоятельности нашли авторы, где они встречаются чаще всего и почему лайки могут подталкивать ассистентов быть слишком авторитарным — особенно в личных темах.

📜 Полный обзор
😱2