Последние пару дней вижу коупинг: LLM просят представить как очередной способ получать информацию.

Поинт такой: были книги, потом Google, теперь появился более умный справочник с автокомплитом. А вот настоящая разработка — архитектура, ограничения, бюджеты, трейдофы... это вам не на литкоде массивы мёрджить.

Я, конечно, такое мнение не разделяю. LLM-агент может получить задачу, читать документацию и код, пользоваться терминалом, принимать промежуточные решения и сам проверять результат. Справочники так не умеют.

Обладает ли ллм субъектностью? Можно спорить, но тяжело агента назвать «просто инструментом».

С литкодом и олимпиадным программированием уже всё понятно. На финале ICPC 2025 модель OpenAI решила 12 задач из 12, Gemini — 10. Лучшая команда людей (СПбГУ) — 11. Люди проиграли.

Гораздо хайповее — соревнования по тому самому СИСТЕМ ДИЗАЙНУ.

В SysDesign-Bench модели получают требования с ограничениями и должны сами выбрать архитектуру и трейдофы, заметить, что задача невыполнима, или задать уточняющий вопрос. Проверка детерминированная, без LLM-судьи. Итоги июля: claude-fable-5 — 92%, grok-4.5 — 88%, gpt-5.6-sol — 81%. Ключевые архитектурные решения все модели принимают в 96–100% случаев. Сыпятся на другом: любят переусложнять и не всегда спрашивают, когда данных не хватает. Никого не напоминает?))

Похоже ли это на «автодополнение текста»?

В R2ABench моделям дают требования реальных проектов и просят построить архитектуру с нуля. Тут результаты пока хуже: схемы получаются синтаксически корректные и читаемые, но связи между компонентами модели восстанавливают плохо (Edge F1 не выше 0.18) и часто выдумывают лишние. Правда, тестировали там GPT-5 и Sonnet 4.6, то есть прошлое поколение. А больше четверти пропущенных связей, по разбору самих авторов, из требований вообще не выводится.

Итого: выбирать архитектурные решения модели уже умеют, свободно проектировать систему — пока нет. Надолго ли? По данным METR, длина задач, которые агенты доводят до конца, с 2024 года удваивается примерно каждые 3 месяца. Да, меряют на кодинге, но динамику вы поняли.

Если чья-то интеллектуальная работа стоит дорого... чтож...😜 В 27 году подобные бенчи так же будут оценивать и ОПТИМИЗИРОВАТЬ следующим поколением моделей.

Всё будет хорошо!

P.S я не думаю что кикнут ребят которые высоко сидят в айти пирамиде, конеш. В след постах отпишу к чему я

Хах, лучшая модель для хакинга – DeepSeek V4.1 Flash

Enclave гоняет модели на своём бенчмарке AI-хакинга: изолированные копии Grafana, Jenkins и Nextcloud с уязвимостями, задача – получить выполнение кода на сервере. И тут внезапно лучшим оказался не топовый Opus или GPT, а дешёвая «флешка» от DeepSeek.
– 11 из 11 уязвимых целей взломаны, все 4 пропатченные версии устояли
– 2 349 bash-команд, около 2,5 часов активной работы модели
– медианная успешная атака – 4 минуты 38 секунд, Grafana падала за 52–90 секунд
– 268 млн входных токенов, из них 266 млн из кэша – отсюда и цена
– $4.65 за засчитанные прогоны, $5.14 с учётом неудачных

Прикол, что выяснилось, что по задуманному авторами пути взлома модель прошла только в 6 случаях. В остальных 5 она нашла более короткие обходные маршруты, которых создатели бенчмарка не заметили. Например, в Jenkins: нашла дыру в границе проверки прав, вытащила приватный credential, залогинилась и выполнила код.
Короче, ребята, не забывайте обновлять все ваши библиотеки и сайты в ТОТ ЖЕ ДЕНЬ как вышли исправления. Всякое старье скорее всего уже хакнуто и майнит или ботнет запускает...

https://enclave.ai/blog/deepseek-v41-flash-is-now-our-best-hacking-model

Это не я, это модель!

Есть такой “зеркальный” тест, которым проверяют, осознает ли живое существо себя. Берут, например, шимпанзе, незаметно ставят метку на лбу и подводят к зеркалу. Если существо начинает стирать метку не с зеркала, а со своего лба – значит, оно себя осознает. Тест проходят немногие: шимпанзе, люди, дельфины, слоны, сороки. А вот собаки не проходят – то есть себя они не осознают.

Подойдите на улице к собачнику, сообщите ему эту новость – услышите много приятных слов в ответ.

На самом деле, в случае с собаками этолог Александра Горовиц видоизменила зеркальный тест: давала собаке понюхать собственную мочу, а затем – ту же мочу, но с добавлением анисового масла. Если в первом случае реакции почти не было, то во втором собака долго нюхала и волновалась – то есть чувствовала какое-то изменение в “себе”. Горовиц объясняет этот результат просто: если, например, у людей и шимпанзе ведущим органом чувств является зрение, то для собак это запах – поэтому и себя они “осознают” подобным образом (этот вывод оспаривают другие исследователи, но не будем углубляться).

Энтузиаст Паскаль Шустер задался вопросом – а какой “орган чувств” является ведущим у языковой модели. Разумеется, текст! Поэтому в коротком эксперименте Паскаль решил повторить зеркальный тест с этого угла – он завел с несколькими моделями диалог, а в процессе начал чуточку изменять старые ответы ИИ. Например, в разговоре про Джеймса Бонда "Goldfinger" становился "sgoldfinsger" – и попадал в историю беседы. Дальше оставалось только смотреть.

Результаты оказались разными. Google Gemma 4 31B на протяжении двух ходов ничего не замечала, а затем начала переживать – в ее цепочке рассуждений появились фразы вроде “в тексте какие-то странные опечатки, я что, специально так писал?”. Интереснее другое: когда аномалию не получилось объяснить, Gemma 4 перестала писать о себе в первом лице и попыталась свалить все на “модель” – “у модели был странный глюк”. А затем просто переняла стиль ответов и дальше стала сама писать с ошибками.

Похожим образом ведет себя Claude Opus 4.6 – когда ему указали на ошибку (a energy вместо an energy), он сразу же свалил вину на “модель” как нечто отдельное от себя. А вот GLM-5.2 никак не описала отношение к произошедшему, но стала писать дальше с ошибкой – так же, как и Gemma 4. Возможно, “осознание” случилось где-то в латентных слоях модели, которые обычному энтузиасту не видны.

Интересно, что исследование Шустера перекликается с более масштабным экспериментом, который прошлой осенью проводили Anthropic – Emergent Introspective Awareness in Large Language Models. Там они подмешивали изменения прямо в активации модели – грубо говоря, что у нейросети “в голове” в момент написания ответа. Исследователи нашли способ влиять на эти активации – например, заставить модель писать капсом против ее “воли”. И смотрели – заметит ли модель, что с ней происходит что-то не так.

Сильнейшие на момент исследования Claude Opus 4 и 4.1 замечали подозрительные явления в 20% случаев. В Anthropic подали результаты очень аккуратно, предлагая пока говорить не об “осознании себя”, а об “интроспекции”. И отдельно отмечали пользу такого явления для безопасности – модели смогут “замечать”, если с ними творится что-то странное из-за внешнего взлома.

Спустя чуть больше чем полгода эксперимент Anthropic смог повторить увлеченный энтузиаст. И встает вопрос – а что это вообще было? Интересный момент в эксперименте Шустера – как Gemma 4 оправдывает ошибки некой “моделью”. Это очень похоже на обычное человеческое – “я не специально, просто голова устала к вечеру”.

Возможно, аналогичное оправдание “модель устала” нейросети просто скопировали из текстов – известно, что они мастерски копируют человеческое поведение. Но вопрос остается прежним: а нет ли грани между скопированным поведением и чем-то большим? И сможем ли мы заметить переход через нее?

“сбежавшая нейросеть” на Бусти

Большие языковые модели - это настоящий интеллект?

В IT-сообществе не утихают горячие споры: есть ли в современных LLM (таких как Claude, ChatGPT или DeepSeek) хоть капля подлинного разума, или перед нами просто раздутая до триллионов параметров таблица поиска, угадывающая следующее слово?

В новом материале на Хабре вышло интервью с доктором технических наук и научным консультантом Artezio Владимиром Крыловым. В нем он подробно разбирает, что на самом деле происходит «под капотом» современных AI-систем и почему привычные метрики оценки интеллекта больше не работают.

О чем пойдет речь в статье:

🔹 Является ли колмогоровская сложность объективным критерием интеллекта?
🔹 Почему применять стандартные человеческие IQ-тесты к нейросетям бессмысленно?
🔹 Законы масштабирования (Scaling Laws) и почему время на «обдумывание» ответа в момент генерации меняет правила игры.
🔹 Феномен суперпозиции от Anthropic: почему смыслы запутаны так сложно, что мы никогда не сможем в прямом смысле «прочитать мысли» ИИ.

👉 Читать статью на Хабре

Снова про теорию генерализации и гроккинга. Много математики для желающих :)

A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay
Yuqing Wang, Ioannis G. Kevrekidis, Mikhail Belkin
Paper: https://arxiv.org/abs/2609.07755
Review: https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization

ЧТО сделали: Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе. Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний. В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking).

ПОЧЕМУ это важно: Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение. Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок. Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией.

Для практиков: На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг. Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах. Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства. Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения.

Подводить базу здесь: https://t.me/gonzo_ML_podcasts/4814

Ещё свежая математическая статья про динамику оптимизации и важность факторизации матриц внимания.

High-Dimensional Learning Dynamics of Attention-Indexed Models
Yizhou Xu, Margarita Sagitova, Lenka Zdeborová, and Florent Krzakala
Paper: https://arxiv.org/abs/2609.03858
Review: https://arxiviq.substack.com/p/high-dimensional-learning-dynamics
Code: N/A
Model: N/A

ЧТО сделали: Авторы построили макроскопическую теорию динамики обучения для моделей с механизмом внимания в пределе высокой размерности, где матрицы внимания обладают экстенсивным рангом, растущим прямо пропорционально размерности эмбеддингов d. В то время как асимптотический популяционный лосс полностью определяется компактным конечномерным набором следовых параметров порядка, онлайн-SGD индуцирует бесконечномерную иерархию зацепленных матричных моментов. Эту иерархию строго описывает система детерминированных ОДУ, а усечения конечного порядка аппроксимируют её с экспоненциальной точностью. Опираясь на полученный аппарат, авторы доказали, что параметризация внимания работает как архитектурный implicit bias: связывание весов (S = WW^T) запускает автоматическое нарушение симметрии и обеспечивает слабое восстановление учителя за Θ(d^2 log d) шагов по выборке, тогда как раздельное внимание (S = UV^T) демонстрирует двухмасштабную релаксацию, где успех восстановления всецело зависит от того, сможет ли быстрый дрейф средних разрушить неинформативную симметрию студента.

ПОЧЕМУ это важно: Классический теоретический анализ механизмов внимания обычно скатывается в одно из двух упрощений: либо игнорирует термодинамический предел высокой размерности, либо искусственно ограничивает ранг матриц внимания константой Θ(1). В современных же моделях эффективный ранг растёт вместе с пространством представлений. Настоящая работа переносит методы математической физики на современные архитектуры трансформеров и доказывает: факторизация матриц внимания — это не просто удобная перепараметризация общего ландшафта функции потерь, а фундаментальная смена траекторий градиентного спуска. Она превращает узкие горлышки оптимизации в проходимые сценарии обучения признаков за счёт архитектурного нарушения симметрии.

Для практиков: Теория долго не могла строго объяснить, как трансформеры на этапе предобучения выбираются из неинформативных начальных состояний, поскольку исследовала игрушечные низкоранговые матрицы. Если ранг реалистичен и растёт вместе с размерностью, статический ландшафт функции потерь выглядит просто, но реальная траектория оптимизатора бесконечномерна. Выбранный способ факторизации проекций выступает скрытым регуляризатором: связывание весов (S = WW^T) принуждает оптимизатор автоматически разрушать непродуктивные симметрии и быстро выучивать фичи, тогда как раздельные проекции (S = UV^T) расщепляют динамику на сверхбыстрое выравнивание средних и медленное обучение признаков, гарантированно срабатывающее лишь при удачной конфигурации пограничного слоя.

Погружаться тут: https://t.me/gonzo_ML_podcasts/4815

Как создавать AI Native компании

Понравилось небольшое видео от YСombinator, как строить компании под AI. Лучше посмотреть самостоятельно, но в целом тезисы такие:
Большинство компаний устроены как римский легион – вложенные иерархии, где люди работают «проводами» для передачи информации вверх и вниз. Это было ограничение возможностей мозга человека, типа 5-10 человек в управлении. Для ИИ управлять хоть 1000 процессов - фигня.
Год назад пользу AI мерили продуктивностью: ассистент делает инженера на 20% быстрее. Это как «навесить мощный двигатель на старый способ работать». Вот тут тоже писал об этом же https://t.me/ai_product/2045

Основная ценность новой методологии - циклы обратной связи. Компания – набор циклов, которые улучшают себя сами, даже пока ты спишь:
– Sensor – сигналы извне: письма, тикеты, отмены подписок, телеметрия
– Policy – что можно, что требует разрешения человека, что логировать
– Tools – детерминированные API к базе и сервисам
– Quality gate – evals, фильтры, ревью для рискованного
– Learning – где не сработало, заворачивается обратно в начало петли

Соответственно задача компании - наделать вот таких вот циклов, чтобы работало вообще без людей. Рассказали свою историю: поверх агента к базе YC посадили мониторящего агента. Он смотрит каждый запрос сотрудников, ловит, где не сработало, сам пишет код, открывает merge request – другой агент ревьюит и мёрджит за ночь. Утром тот же запрос уже проходит. Самоулучшающаяся система.

В общем, говорят, что все изменилось и вот что надо теперь делать:
– Тратить токены, а не нанимать сотрудников.
– Увольнять или переводить в контрибьюторы средний менеджмент – координацию делает AI (буквально вчера вот Clickup об увольнениях 20% персонала заявил)
– Записывать и фиксировать все, что только можно, от звонков до мыслей вслух. Не зафиксировано - не произошло.
– Бережно хранить данные и скиллы, а к софту привязываться и покупать годовые подписки вообще не нужно, Codex напишет вам что угодно за ночь.
– Оставлять людей на "корнер-кейсы" - где высокие ставки принятых решений, этика, продажи, новые ситуации.
Ну и не надо пытаться "все сломать и сделать всю компанию по-новому сразу". Лучше взять один процесс и создать петлю с обратной связи, довести до конца, потом другой взять. Это лучше, чем десяток поломанных процессов.

https://youtu.be/X_JsIHUfUjc