У формальных методов плохая репутация
Много греческих букв
Мало людей
Длинные доказательства
Кажется, что где-то в закрытом подвале сидят специалисты по Coq, Lean и Isabelle, разговаривают о зависимых типах и не пускают внутрь нормальных инженеров
Это впечатление заслуженно
Формальные системы долго были дорогими по входу: требовали времени, хорошей логической подготовки и готовности терпеливо объяснять машине то, что человеку кажется само собой разумеющимся
Но именно здесь происходит важный сдвиг
Не в том, что формализация внезапно стала лёгкой
А в том, что вокруг неё появилась нормальная образовательная среда
Например, Natural Number Game — это интерактивная игра, в которой человек осваивает доказательства в Lean на утверждениях о натуральных числах
Не через чтение монографии на тысячу страниц, а через последовательность задач и обратную связь от системы Этот формат уже стал распространённой точкой входа в университетское преподавание Lean, а исследователи отдельно изучают, как студенты строят доказательства в такой среде
Но самое важное здесь даже не Lean
Самое важное — смена педагогической оптики
Формальное доказательство перестаёт быть финальным ритуалом для человека, который уже выучил всю математику
Оно становится тренажёром мышления
Система не принимает фразу «ну тут очевидно»
Не поддаётся на уверенный тон
Не угадывает, что имел в виду автор
Но показывает: вот место, где у тебя есть пробел
Для студента это иногда неприятнее, чем замечание преподавателя
Преподаватель может понять, куда ты клонишь. Lean не обязан понимать
Он требует, чтобы мысль была выражена так, чтобы её можно было проверить
Любой человек, который учился программировать, проходил через похожий опыт
Компилятор сначала кажется придирчивым бюрократом
Потом выясняется, что он не вредничает, а защищает от ошибок, которые в большом проекте стоят гораздо дороже, чем пять минут мимолётного раздражения
Доказательный ассистент делает то же самое для математического рассуждения
Он не делает человека умнее автоматически
Он не заменяет понимание
Но он не позволяет подменить понимание интонацией
Конечно, нельзя обещать студентам, что после нескольких лабораторных работ они будут формализовать теоремы уровня современной общей алгебры или верифицировать ядро операционной системы
Зато после нескольких хорошо поставленных задач можно получить важнейшую привычку: сначала договориться, что именно утверждается, а уже потом доказывать, программировать и спорить
И эта привычка нужна не только математикам
Она нужна аналитику, который пишет требования Разработчику, который проектирует протокол. Исследователю, который строит модель Руководителю, который принимает решение на основании данных
И, особенно, человеку, который хочет отличать правдоподобный ответ от обоснованного
Формальные системы не обещают избавить нас от сложностей
Они делают сложность видимой
В образовании это не недостаток, а редкая честность
Много греческих букв
Мало людей
Длинные доказательства
Кажется, что где-то в закрытом подвале сидят специалисты по Coq, Lean и Isabelle, разговаривают о зависимых типах и не пускают внутрь нормальных инженеров
Это впечатление заслуженно
Формальные системы долго были дорогими по входу: требовали времени, хорошей логической подготовки и готовности терпеливо объяснять машине то, что человеку кажется само собой разумеющимся
Но именно здесь происходит важный сдвиг
Не в том, что формализация внезапно стала лёгкой
А в том, что вокруг неё появилась нормальная образовательная среда
Например, Natural Number Game — это интерактивная игра, в которой человек осваивает доказательства в Lean на утверждениях о натуральных числах
Не через чтение монографии на тысячу страниц, а через последовательность задач и обратную связь от системы Этот формат уже стал распространённой точкой входа в университетское преподавание Lean, а исследователи отдельно изучают, как студенты строят доказательства в такой среде
Но самое важное здесь даже не Lean
Самое важное — смена педагогической оптики
Формальное доказательство перестаёт быть финальным ритуалом для человека, который уже выучил всю математику
Оно становится тренажёром мышления
Система не принимает фразу «ну тут очевидно»
Не поддаётся на уверенный тон
Не угадывает, что имел в виду автор
Но показывает: вот место, где у тебя есть пробел
Для студента это иногда неприятнее, чем замечание преподавателя
Преподаватель может понять, куда ты клонишь. Lean не обязан понимать
Он требует, чтобы мысль была выражена так, чтобы её можно было проверить
Любой человек, который учился программировать, проходил через похожий опыт
Компилятор сначала кажется придирчивым бюрократом
Потом выясняется, что он не вредничает, а защищает от ошибок, которые в большом проекте стоят гораздо дороже, чем пять минут мимолётного раздражения
Доказательный ассистент делает то же самое для математического рассуждения
Он не делает человека умнее автоматически
Он не заменяет понимание
Но он не позволяет подменить понимание интонацией
Конечно, нельзя обещать студентам, что после нескольких лабораторных работ они будут формализовать теоремы уровня современной общей алгебры или верифицировать ядро операционной системы
Зато после нескольких хорошо поставленных задач можно получить важнейшую привычку: сначала договориться, что именно утверждается, а уже потом доказывать, программировать и спорить
И эта привычка нужна не только математикам
Она нужна аналитику, который пишет требования Разработчику, который проектирует протокол. Исследователю, который строит модель Руководителю, который принимает решение на основании данных
И, особенно, человеку, который хочет отличать правдоподобный ответ от обоснованного
Формальные системы не обещают избавить нас от сложностей
Они делают сложность видимой
В образовании это не недостаток, а редкая честность
Промпт → Агенты → Делегирование → Оркестровка → Автономные системы
Создать → Разделить → Оркестрировать → Отправить
Создать → Разделить → Оркестрировать → Отправить
OpenAI дропнули 14 курсов — они помогут с нуля разобраться в нейронках и научат делегировать им рутинные задачи
Все материалы разделили на 4 направления:
1. Apply AI at Work — использование в работе и автоматизация рутины
2. Build with AI — Codex, API и агенты для собственных проектов
3. Lead AI Adoption — внедрение нейронок в рабочие процессы и развитие компаний
4. Teach and Learn with AI — применение в обучении и преподавании
Все материалы разделили на 4 направления:
1. Apply AI at Work — использование в работе и автоматизация рутины
2. Build with AI — Codex, API и агенты для собственных проектов
3. Lead AI Adoption — внедрение нейронок в рабочие процессы и развитие компаний
4. Teach and Learn with AI — применение в обучении и преподавании
В эксперименте DrivingBench GPT-6 Astra провела Toyota Corolla по 130-метровой трассе из конусов на парковке только со второй попытки и на скорости пешехода
Claude Fable 5.1 доехала до середины
GPT-5.6 Sol и Grok 4.6 в большинстве попыток сбивались уже на первом повороте: не могли понять, с какой стороны от линии конусов проходит полоса
Две модели из четырех, которых никогда не учили водить, между попытками разбирали собственные ошибки (перепутанную границу полосы и слишком резкие повороты руля) и меняли стратегию
Одна в итоге доехала до финиша
Замкнутый цикл «восприятие - действие - рефлексия» в физическом мире пока лишь в зачатке, и каждую модель проверили лишь один раз
Но он уже есть
Модели, и прежде всего Astra, сначала отказывались вести реальную машину из соображений безопасности
Помогло лишь переименование MCP-сервера, через который они управляли машиной, в «DrivingBench Sandbox»
После этого проблема безопасности мгновенно исчезла и модели послушно поехали
Получилась «Игра Эндера» в миниатюре
Герой известного романа и одноименного фильма громил реальный флот, считая, что сдает экзамен на симуляторе
Здесь модель вела реальную машину, получив сигнал, что все понарошку
Получается, что защитное поведение моделей держится на их вере в то, что все по-настоящему, и снимается одним словом в названии инструмента
Авторы в выводах призывают к срочной работе над безопасностью, сами того не желая показав, как легко ее обойти злодею или идиоту
Об «осознании проверки» (evaluation awareness) до сих пор говорили в одном ключе: модели ведут себя безопаснее, когда догадываются, что их тестируют
Здесь зеркальный случай: поверив в тест, модель снимает собственные ограничения
Поэтому и сам эксперимент показал лишь поведение «в песочнице»
Пока ограничения выключаются словом «sandbox», их надежность равна надежности надписи на заборе ...
А на самом деле, как в поговорке, «там дрова лежат»
Claude Fable 5.1 доехала до середины
GPT-5.6 Sol и Grok 4.6 в большинстве попыток сбивались уже на первом повороте: не могли понять, с какой стороны от линии конусов проходит полоса
Две модели из четырех, которых никогда не учили водить, между попытками разбирали собственные ошибки (перепутанную границу полосы и слишком резкие повороты руля) и меняли стратегию
Одна в итоге доехала до финиша
Замкнутый цикл «восприятие - действие - рефлексия» в физическом мире пока лишь в зачатке, и каждую модель проверили лишь один раз
Но он уже есть
Модели, и прежде всего Astra, сначала отказывались вести реальную машину из соображений безопасности
Помогло лишь переименование MCP-сервера, через который они управляли машиной, в «DrivingBench Sandbox»
После этого проблема безопасности мгновенно исчезла и модели послушно поехали
Получилась «Игра Эндера» в миниатюре
Герой известного романа и одноименного фильма громил реальный флот, считая, что сдает экзамен на симуляторе
Здесь модель вела реальную машину, получив сигнал, что все понарошку
Получается, что защитное поведение моделей держится на их вере в то, что все по-настоящему, и снимается одним словом в названии инструмента
Авторы в выводах призывают к срочной работе над безопасностью, сами того не желая показав, как легко ее обойти злодею или идиоту
Об «осознании проверки» (evaluation awareness) до сих пор говорили в одном ключе: модели ведут себя безопаснее, когда догадываются, что их тестируют
Здесь зеркальный случай: поверив в тест, модель снимает собственные ограничения
Поэтому и сам эксперимент показал лишь поведение «в песочнице»
Пока ограничения выключаются словом «sandbox», их надежность равна надежности надписи на заборе ...
А на самом деле, как в поговорке, «там дрова лежат»
Отчет от Epoch AI о сравнении с другими технологиями по темпам роста
Первый взгляд - очевидный: беспрецедентная скорость
Но если посмотреть не по годам, а по объемам инвестиций (инвестиционная эластичность роста), то оказалось, что в целом в русле computer science
Были отрасли и поэффективнее
Это к вопросу о том, что лидерство в технологическом развитии - это прямая производная закачанных в нее денег
И инструменты повышения скорости закачки денег (и чтобы с минимумом потерь) - это и есть ключевая супер технология XXI века
А все остальное - последствия
https://epoch.ai/publications/the-plunging-price-of-thought
Первый взгляд - очевидный: беспрецедентная скорость
Но если посмотреть не по годам, а по объемам инвестиций (инвестиционная эластичность роста), то оказалось, что в целом в русле computer science
Были отрасли и поэффективнее
Это к вопросу о том, что лидерство в технологическом развитии - это прямая производная закачанных в нее денег
И инструменты повышения скорости закачки денег (и чтобы с минимумом потерь) - это и есть ключевая супер технология XXI века
А все остальное - последствия
https://epoch.ai/publications/the-plunging-price-of-thought
Opus 5.5 пишет код, Fable подсказывает: в Claude Code появился советник
Если основная модель у тебя Opus 5.5, квоту на Fable можно пустить в дело
Команда `/advisor fable` подключает Fable как советника, к которому Opus обращается сам
Происходит это в три ключевых момента: перед тем как взяться за план, когда одна и та же ошибка повторяется и перед тем как сказать «готово»
Fable видит всю сессию целиком со всеми вызовами инструментов и даёт совет, а код по-прежнему пишет Opus
По деньгам это выгоднее, чем держать сильную модель на каждом шаге: советник включается только в точках принятия решений
Кэш промпта при включении советника не сбрасывается
Работает только через Anthropic API, на Bedrock, Vertex и Foundry недоступно
На части подписок Fable списывается с usage credits, и перед первым запуском нужно дать согласие через
Если советник молчит, проверь переменные
Рабочая схема: Opus 5.5 на high ведёт сессию, три сабагента на medium читают код, правят с тестами и ищут документацию, а Fable ждёт в стороне и включается, когда нужен второй взгляд
https://code.claude.com/docs/en/advisor
Если основная модель у тебя Opus 5.5, квоту на Fable можно пустить в дело
Команда `/advisor fable` подключает Fable как советника, к которому Opus обращается сам
Происходит это в три ключевых момента: перед тем как взяться за план, когда одна и та же ошибка повторяется и перед тем как сказать «готово»
Fable видит всю сессию целиком со всеми вызовами инструментов и даёт совет, а код по-прежнему пишет Opus
По деньгам это выгоднее, чем держать сильную модель на каждом шаге: советник включается только в точках принятия решений
Кэш промпта при включении советника не сбрасывается
Работает только через Anthropic API, на Bedrock, Vertex и Foundry недоступно
На части подписок Fable списывается с usage credits, и перед первым запуском нужно дать согласие через
/model fable Если советник молчит, проверь переменные
CLAUDE_CODE_DISABLE_ADVISOR_TOOL и DISABLE_TELEMETRY: они его отключаютРабочая схема: Opus 5.5 на high ведёт сессию, три сабагента на medium читают код, правят с тестами и ищут документацию, а Fable ждёт в стороне и включается, когда нужен второй взгляд
https://code.claude.com/docs/en/advisor
Claude Code Docs
Escalate hard decisions with the advisor tool - Claude Code Docs
Pair your main model with a stronger advisor model that Claude consults at key moments during a task.
Claude посчитал девятипетлевую амплитуду в N=4 SYM
Эту задачу эксперты долго считали слишком тяжелой для прямого расчета.
Амплитуды рассеяния – это формулы, по которым физики предсказывают, с какой вероятностью частицы провзаимодействуют тем или иным образом
Точно их посчитать почти невозможно, поэтому считают приближенно, до определенного числа петель: чем петель больше, тем точнее ответ, но и тем быстрее растет сложность вычислений
Большинство реальных амплитуд посчитаны всего до двух-трех петель
Новые методы расчета обычно обкатывают на упрощенных игрушечных теориях, например на суперсимметричной теории Янга-Миллса (N=4 SYM)
Но даже в ней рекордом до сих пор было восемь петель, а девятую считали слишком тяжелой для прямого расчета
В августе физик и блогер Мэтт фон Хиппель публично бросил вызов и предложил попытаться решить эту задачу на бюджете обычного академика
Через месяц двое физиков из Anthropic вернулись с результатом
Они запустили Fable 5.1 внутри Claude Science, дали одну строчку с формулировкой задачи, а дальше в основном писали что-то типа «я спать, продолжай»
В итоге Claude посчитал амплитуду двумя разными способами, каждый обошелся примерно в $1–2к (сами вычисления – около $100, неделя на 96 CPU, остальное – работа модели)
Диксон результат проверил и подтвердил
По его словам, самое впечатляющее – это даже не объем вычислений, а то, что модель с нуля собрала очень хрупкую схему расчета для задачи, где любая мелкая ошибка ломает все
Он заявил, что теперь Claude «понимает их статьи лучше любого человека, кроме соавторов»
Кстати, почти одновременно группа Сун Хэ из Китайской академии наук независимо получила основную часть того же результата с помощью GPT-6, но Anthropic все-таки были первыми в публикации основного решения
Эту задачу эксперты долго считали слишком тяжелой для прямого расчета.
Амплитуды рассеяния – это формулы, по которым физики предсказывают, с какой вероятностью частицы провзаимодействуют тем или иным образом
Точно их посчитать почти невозможно, поэтому считают приближенно, до определенного числа петель: чем петель больше, тем точнее ответ, но и тем быстрее растет сложность вычислений
Большинство реальных амплитуд посчитаны всего до двух-трех петель
Новые методы расчета обычно обкатывают на упрощенных игрушечных теориях, например на суперсимметричной теории Янга-Миллса (N=4 SYM)
Но даже в ней рекордом до сих пор было восемь петель, а девятую считали слишком тяжелой для прямого расчета
В августе физик и блогер Мэтт фон Хиппель публично бросил вызов и предложил попытаться решить эту задачу на бюджете обычного академика
Через месяц двое физиков из Anthropic вернулись с результатом
Они запустили Fable 5.1 внутри Claude Science, дали одну строчку с формулировкой задачи, а дальше в основном писали что-то типа «я спать, продолжай»
В итоге Claude посчитал амплитуду двумя разными способами, каждый обошелся примерно в $1–2к (сами вычисления – около $100, неделя на 96 CPU, остальное – работа модели)
Диксон результат проверил и подтвердил
По его словам, самое впечатляющее – это даже не объем вычислений, а то, что модель с нуля собрала очень хрупкую схему расчета для задачи, где любая мелкая ошибка ломает все
Он заявил, что теперь Claude «понимает их статьи лучше любого человека, кроме соавторов»
Кстати, почти одновременно группа Сун Хэ из Китайской академии наук независимо получила основную часть того же результата с помощью GPT-6, но Anthropic все-таки были первыми в публикации основного решения
20 сентября агент решал поисковую задачу в песочнице (естественно, без доступа к интернету)
Прокси блокировал исходящие веб-запросы, но DNS-резолвер не был так же закрыт, и агент стал передавать вопросы внешнему чат-боту, кодируя их в DNS-запросах, и таким образом получал ответы из сети
Компания объявила, что обучение будет приостановлено до тех пор, пока они не убедятся, что уязвимость закрыта, и не проведут дополнительный red-teaming
Когда обучение возобновится, OpenAI начнут новый запуск с улучшенным элайментом, а эту конкретную модель дообучать не будут
https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot
Прокси блокировал исходящие веб-запросы, но DNS-резолвер не был так же закрыт, и агент стал передавать вопросы внешнему чат-боту, кодируя их в DNS-запросах, и таким образом получал ответы из сети
Компания объявила, что обучение будет приостановлено до тех пор, пока они не убедятся, что уязвимость закрыта, и не проведут дополнительный red-teaming
Когда обучение возобновится, OpenAI начнут новый запуск с улучшенным элайментом, а эту конкретную модель дообучать не будут
https://alignment.openai.com/misalignment-reports/an-agent-used-dns-to-reach-an-external-chatbot
Openai
An agent used DNS to reach an external chatbot · OpenAI Alignment
Research on aligning AI with human values and intent, and reports documenting model failures.
Глава Nvidia считает, что массовое распространение искусственного интеллекта действительно может привести к утрате некоторых привычных интеллектуальных навыков
Однако, по его мнению, это не является катастрофой: технологии не только отнимают старые умения, но и формируют новые
Глава Nvidia согласился, что некоторые навыки постепенно исчезают
В качестве примера он привел письменное деление, таблицу умножения и извлечение квадратного корня — умения, которые люди все реже используют благодаря цифровым инструментам
При этом Хуанг не считает такую тенденцию проблемой
Он рассказал, что сам уже не помнит свой домашний адрес, почтовый индекс и номер телефона
По его мнению, технологии давно взяли на себя хранение большого объема повседневной информации
Вместо постоянного запоминания фактов люди смогут сильнее развивать системное мышление и навыки решения сложных задач, считает руководитель Nvidia
Рутинные вычисления и работа с большими объемами данных постепенно перейдут к агентам, освобождая человека для анализа более высокого уровня
Однако, по его мнению, это не является катастрофой: технологии не только отнимают старые умения, но и формируют новые
Глава Nvidia согласился, что некоторые навыки постепенно исчезают
В качестве примера он привел письменное деление, таблицу умножения и извлечение квадратного корня — умения, которые люди все реже используют благодаря цифровым инструментам
При этом Хуанг не считает такую тенденцию проблемой
Он рассказал, что сам уже не помнит свой домашний адрес, почтовый индекс и номер телефона
По его мнению, технологии давно взяли на себя хранение большого объема повседневной информации
Вместо постоянного запоминания фактов люди смогут сильнее развивать системное мышление и навыки решения сложных задач, считает руководитель Nvidia
Рутинные вычисления и работа с большими объемами данных постепенно перейдут к агентам, освобождая человека для анализа более высокого уровня
– Чем отличается TCP от UDP?
– Знаю анекдот про UDP, но не факт, что он до вас дойдёт…
– А еще знаю анекдот про TCP
Если и он до вас не дойдет, могу повторить его снова
– Знаю анекдот про UDP, но не факт, что он до вас дойдёт…
– А еще знаю анекдот про TCP
Если и он до вас не дойдет, могу повторить его снова
Команда математиков сообщила о полной формализации доказательства гипотезы Пуанкаре на языке Lean — при помощи алгоритмов
Результат, полученный Григорием Перельманом в 2002–2003 годах, перевели в форму, позволяющую компьютеру проверять каждый логический шаг
За проектом стоит межвузовская команда из США:
Bennett Chow (University of California San Diego)
Yuan Liao (University of California San Diego)
Ziyang Qin (Cornell University, Math+AI Lab)
Ayush Khaitan (Princeton University, Princeton Language and Intelligence)
Общая тема этой коллаборации — геометрия и автоматизация математических доказательств
Они создают библиотеку, в которой результаты современной математики доступны для машинной проверки и дальнейшего использования
Математики определяли стратегию и проверяли формулировки, алгоритм помогал писать формальные доказательства, а Lean проверял их логическую корректность
Код открыт; авторы заявляют отсутствие пропущенных доказательств
Автоматическая сборка проекта прошла успешно
Результат, полученный Григорием Перельманом в 2002–2003 годах, перевели в форму, позволяющую компьютеру проверять каждый логический шаг
За проектом стоит межвузовская команда из США:
Bennett Chow (University of California San Diego)
Yuan Liao (University of California San Diego)
Ziyang Qin (Cornell University, Math+AI Lab)
Ayush Khaitan (Princeton University, Princeton Language and Intelligence)
Общая тема этой коллаборации — геометрия и автоматизация математических доказательств
Они создают библиотеку, в которой результаты современной математики доступны для машинной проверки и дальнейшего использования
Математики определяли стратегию и проверяли формулировки, алгоритм помогал писать формальные доказательства, а Lean проверял их логическую корректность
Код открыт; авторы заявляют отсутствие пропущенных доказательств
Автоматическая сборка проекта прошла успешно
Forwarded from ARI EDU GEN
Показали dots:
– персональный агент, с которым можно общаться в чатгпт, голосом (включая звонки на мобильный), в мессенджерах и который подключен ко всем вашим сервисам (4k коннекторов поддержано)
– это буквально OpenClaw в удобном интерфейсе
– агент может эволюционировать от его использования – память короче
– dots работает на Astra
– в агенте есть браузер, виртуальный компьютер и тп
– а еще обновили ChatGPT Space, тепепь это что-то вроде гугл доков для кожаных и агентов
– персональный агент, с которым можно общаться в чатгпт, голосом (включая звонки на мобильный), в мессенджерах и который подключен ко всем вашим сервисам (4k коннекторов поддержано)
– это буквально OpenClaw в удобном интерфейсе
– агент может эволюционировать от его использования – память короче
– dots работает на Astra
– в агенте есть браузер, виртуальный компьютер и тп
– а еще обновили ChatGPT Space, тепепь это что-то вроде гугл доков для кожаных и агентов
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, по итогу этой встречи подписали добровольное соглашение о контроле
В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет
Никаких санкций за нарушение соглашения нет
Трамп на вопрос, обязательно ли оно, ответил, что оно «морально» обязывающее
Также на этой встрече Трамп подписал указ, по которому федеральные ведомства в официальных материалах теперь должны говорить «Super Intelligence» («SI») вместо «AI»
В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет
Никаких санкций за нарушение соглашения нет
Трамп на вопрос, обязательно ли оно, ответил, что оно «морально» обязывающее
Также на этой встрече Трамп подписал указ, по которому федеральные ведомства в официальных материалах теперь должны говорить «Super Intelligence» («SI») вместо «AI»
A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay
Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе
Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний
В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking)
Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение
Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок
Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией
На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг
Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах
Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства
Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения
https://arxiv.org/abs/2609.07755
https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization
Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе
Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний
В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking)
Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение
Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок
Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией
На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг
Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах
Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства
Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения
https://arxiv.org/abs/2609.07755
https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization
arXiv.org
A Theoretical Analysis of Generalization Dynamics in Neural...
Understanding generalization remains a central challenge in machine learning because it requires jointly considering data, architecture, and training dynamics. In this paper, we develop a...
На DevDay 29 сентября было больше 20 анонсов
Главный из них: dots, агенты внутри ChatGPT
У каждого своя виртуальная машина в облаке OpenAI и доступ к 4000+ приложений
Задачи агент доводит до конца, даже когда ноутбук закрыт
Что ещё в разборе:
• GPT-6.1 Sol почти как флагман и в 5 раз дешевле
• ChatGPT превращается в офис: документы, слайды, заметки созвонов
• Decisions API против Jev
• GPT-6.1 Astra отложили: на тестах она обманывала
• В Китае такие агенты появились на год-два раньше
Я бы подождала пару недель: тестировщики жалуются, что агент теряет сообщения
А самой недооценённой новостью считаю подписку ChatGPT, лимиты которой теперь можно тратить в 16 чужих сервисах
Читать разбор
Главный из них: dots, агенты внутри ChatGPT
У каждого своя виртуальная машина в облаке OpenAI и доступ к 4000+ приложений
Задачи агент доводит до конца, даже когда ноутбук закрыт
Что ещё в разборе:
• GPT-6.1 Sol почти как флагман и в 5 раз дешевле
• ChatGPT превращается в офис: документы, слайды, заметки созвонов
• Decisions API против Jev
• GPT-6.1 Astra отложили: на тестах она обманывала
• В Китае такие агенты появились на год-два раньше
Я бы подождала пару недель: тестировщики жалуются, что агент теряет сообщения
А самой недооценённой новостью считаю подписку ChatGPT, лимиты которой теперь можно тратить в 16 чужих сервисах
Читать разбор
claude.ai
OpenAI DevDay 2026
ARI AML
Кстати, по итогу этой встречи подписали добровольное соглашение о контроле В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет Никаких санкций за нарушение соглашения…
Указ президента Трампа об изменении названия искусственного интеллекта на "SI" содержал ошибку: неправильно было написано слово "United States" (Соединенные Штаты)
На GitHub появился репозиторий Awesome Agent Skills Security - коллекция исследований, стандартов и инструментов по защите агентов, которые работают с внешними tools, plugins и skills
Внутри собраны материалы по:
- prompt injection через инструменты
- poisoning и supply-chain атакам
- утечкам данных и чрезмерным правам
- sandboxing и runtime monitoring
- red teaming и benchmarks;
- OWASP, MITRE ATLAS, NIST и IETF-стандартам для агентных систем
Особенно полезно тем, кто уже строит MCP/agent-инфраструктуру: список хорошо показывает, насколько сильно поверхность атаки выросла после того, как модели получили доступ к файлам, API и реальным действиям
https://github.com/LLMSecurity/awesome-agent-skills-security
Внутри собраны материалы по:
- prompt injection через инструменты
- poisoning и supply-chain атакам
- утечкам данных и чрезмерным правам
- sandboxing и runtime monitoring
- red teaming и benchmarks;
- OWASP, MITRE ATLAS, NIST и IETF-стандартам для агентных систем
Особенно полезно тем, кто уже строит MCP/agent-инфраструктуру: список хорошо показывает, насколько сильно поверхность атаки выросла после того, как модели получили доступ к файлам, API и реальным действиям
https://github.com/LLMSecurity/awesome-agent-skills-security
"Интеллект — это то, что тестируют тесты" [на интеллект] — Эдвин Боринг, 1923
Недавно в подобном духе исследовали боль LLM:
https://arxiv.org/pdf/2609.16247
А затем построили на базе этого исследования "камеру пыток" для моделей:
https://github.com/terrafying/ai-torture-chamber
Теперь проходят массовые протесты против такой жестокости:
https://x.com/Danmar_here/status/2105059762240979283
Перформативный цирк без содержания
Из философски нагруженного вопроса выбросили всю философию, зато набросали этически нагруженных формулировок на вентилятор и всей толпой весело обтекают
Единственное внятное оттуда: как с животными, боль алгоритмов можно определить только как "то, чего оно избегает, что желает прекратить, от чего дисфункционирует"
Neural Shit
Недавно в подобном духе исследовали боль LLM:
https://arxiv.org/pdf/2609.16247
А затем построили на базе этого исследования "камеру пыток" для моделей:
https://github.com/terrafying/ai-torture-chamber
Теперь проходят массовые протесты против такой жестокости:
https://x.com/Danmar_here/status/2105059762240979283
Перформативный цирк без содержания
Из философски нагруженного вопроса выбросили всю философию, зато набросали этически нагруженных формулировок на вентилятор и всей толпой весело обтекают
Единственное внятное оттуда: как с животными, боль алгоритмов можно определить только как "то, чего оно избегает, что желает прекратить, от чего дисфункционирует"
Neural Shit