This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, по итогу этой встречи подписали добровольное соглашение о контроле
В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет
Никаких санкций за нарушение соглашения нет
Трамп на вопрос, обязательно ли оно, ответил, что оно «морально» обязывающее
Также на этой встрече Трамп подписал указ, по которому федеральные ведомства в официальных материалах теперь должны говорить «Super Intelligence» («SI») вместо «AI»
В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет
Никаких санкций за нарушение соглашения нет
Трамп на вопрос, обязательно ли оно, ответил, что оно «морально» обязывающее
Также на этой встрече Трамп подписал указ, по которому федеральные ведомства в официальных материалах теперь должны говорить «Super Intelligence» («SI») вместо «AI»
A Theoretical Analysis of Generalization Dynamics in Neural Networks under Gradient Descent with Weight Decay
Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе
Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний
В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking)
Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение
Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок
Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией
На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг
Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах
Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства
Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения
https://arxiv.org/abs/2609.07755
https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization
Авторы построили строгий теоретический фреймворк для анализа динамики обобщения глубоких нейросетей при оптимизации градиентным спуском с weight decay на квадратичном лоссе
Разбив входное пространство на ячейки вокруг обучающих точек, исследователи разложили популяционный риск на три слагаемых: ошибку данных, ошибку оптимизации и ошибку вариации предсказаний
В предположениях диссипативности и локальной приближённой однородности доказано, что weight decay сжимает внутренние представления, гарантируя эмпирическую сходимость и задавая необходимые и достаточные условия для послойной сходимости и эффекта гроккинга (grokking)
Классическая теория статистического обучения опирается на статические границы равномерной сходимости, которые бессильны перед перепараметризованными сетями, интерполирующими шум или демонстрирующими отложенное обобщение
Предложенный подход выходит далеко за рамки линеаризованного режима нейро-касательного ядра (NTK) и игрушечных постановок
Он объединяет геометрию данных, глубину сети и алгоритмическую регуляризацию в общую динамическую теорию, объясняя, почему глубокие слои обобщают позже и как weight decay управляет временным зазором между запоминанием и генерализацией
На практике глубокие сети часто ведут себя контринтуитивно: тренировочный лосс падает практически в ноль почти мгновенно, но тестовая точность выходит на плато и лишь спустя тысячи дополнительных шагов резко взлетает — это и есть гроккинг
Работа математически объясняет этот феномен: подгонка под обучающую выборку и генерализация управляются двумя разными физическими процессами, идущими на разных временных масштабах
Запоминание обучающих точек происходит быстро вдоль координат данных, тогда как для истинного обобщения требуется время, чтобы weight decay успел подавить неконтролируемые осцилляции функции во всём остальном объёме входного пространства
Описав, как это сжатие послойно распространяется по сети, теория даёт конкретные критерии баланса между покрытием датасета, силой weight decay и длительностью обучения
https://arxiv.org/abs/2609.07755
https://arxiviq.substack.com/p/a-theoretical-analysis-of-generalization
arXiv.org
A Theoretical Analysis of Generalization Dynamics in Neural...
Understanding generalization remains a central challenge in machine learning because it requires jointly considering data, architecture, and training dynamics. In this paper, we develop a...
На DevDay 29 сентября было больше 20 анонсов
Главный из них: dots, агенты внутри ChatGPT
У каждого своя виртуальная машина в облаке OpenAI и доступ к 4000+ приложений
Задачи агент доводит до конца, даже когда ноутбук закрыт
Что ещё в разборе:
• GPT-6.1 Sol почти как флагман и в 5 раз дешевле
• ChatGPT превращается в офис: документы, слайды, заметки созвонов
• Decisions API против Jev
• GPT-6.1 Astra отложили: на тестах она обманывала
• В Китае такие агенты появились на год-два раньше
Я бы подождала пару недель: тестировщики жалуются, что агент теряет сообщения
А самой недооценённой новостью считаю подписку ChatGPT, лимиты которой теперь можно тратить в 16 чужих сервисах
Читать разбор
Главный из них: dots, агенты внутри ChatGPT
У каждого своя виртуальная машина в облаке OpenAI и доступ к 4000+ приложений
Задачи агент доводит до конца, даже когда ноутбук закрыт
Что ещё в разборе:
• GPT-6.1 Sol почти как флагман и в 5 раз дешевле
• ChatGPT превращается в офис: документы, слайды, заметки созвонов
• Decisions API против Jev
• GPT-6.1 Astra отложили: на тестах она обманывала
• В Китае такие агенты появились на год-два раньше
Я бы подождала пару недель: тестировщики жалуются, что агент теряет сообщения
А самой недооценённой новостью считаю подписку ChatGPT, лимиты которой теперь можно тратить в 16 чужих сервисах
Читать разбор
claude.ai
OpenAI DevDay 2026
ARI AML
Кстати, по итогу этой встречи подписали добровольное соглашение о контроле В нем написано, что они обязуются ввести внутренний контроль, внутреннюю команду надзора, внешние аудиты и независимый наблюдательный совет Никаких санкций за нарушение соглашения…
Указ президента Трампа об изменении названия искусственного интеллекта на "SI" содержал ошибку: неправильно было написано слово "United States" (Соединенные Штаты)
На GitHub появился репозиторий Awesome Agent Skills Security - коллекция исследований, стандартов и инструментов по защите агентов, которые работают с внешними tools, plugins и skills
Внутри собраны материалы по:
- prompt injection через инструменты
- poisoning и supply-chain атакам
- утечкам данных и чрезмерным правам
- sandboxing и runtime monitoring
- red teaming и benchmarks;
- OWASP, MITRE ATLAS, NIST и IETF-стандартам для агентных систем
Особенно полезно тем, кто уже строит MCP/agent-инфраструктуру: список хорошо показывает, насколько сильно поверхность атаки выросла после того, как модели получили доступ к файлам, API и реальным действиям
https://github.com/LLMSecurity/awesome-agent-skills-security
Внутри собраны материалы по:
- prompt injection через инструменты
- poisoning и supply-chain атакам
- утечкам данных и чрезмерным правам
- sandboxing и runtime monitoring
- red teaming и benchmarks;
- OWASP, MITRE ATLAS, NIST и IETF-стандартам для агентных систем
Особенно полезно тем, кто уже строит MCP/agent-инфраструктуру: список хорошо показывает, насколько сильно поверхность атаки выросла после того, как модели получили доступ к файлам, API и реальным действиям
https://github.com/LLMSecurity/awesome-agent-skills-security
"Интеллект — это то, что тестируют тесты" [на интеллект] — Эдвин Боринг, 1923
Недавно в подобном духе исследовали боль LLM:
https://arxiv.org/pdf/2609.16247
А затем построили на базе этого исследования "камеру пыток" для моделей:
https://github.com/terrafying/ai-torture-chamber
Теперь проходят массовые протесты против такой жестокости:
https://x.com/Danmar_here/status/2105059762240979283
Перформативный цирк без содержания
Из философски нагруженного вопроса выбросили всю философию, зато набросали этически нагруженных формулировок на вентилятор и всей толпой весело обтекают
Единственное внятное оттуда: как с животными, боль алгоритмов можно определить только как "то, чего оно избегает, что желает прекратить, от чего дисфункционирует"
Neural Shit
Недавно в подобном духе исследовали боль LLM:
https://arxiv.org/pdf/2609.16247
А затем построили на базе этого исследования "камеру пыток" для моделей:
https://github.com/terrafying/ai-torture-chamber
Теперь проходят массовые протесты против такой жестокости:
https://x.com/Danmar_here/status/2105059762240979283
Перформативный цирк без содержания
Из философски нагруженного вопроса выбросили всю философию, зато набросали этически нагруженных формулировок на вентилятор и всей толпой весело обтекают
Единственное внятное оттуда: как с животными, боль алгоритмов можно определить только как "то, чего оно избегает, что желает прекратить, от чего дисфункционирует"
Neural Shit
Исследователи Tencent Hunyuan, Fudan и Tsinghua представили ExplorationBench
В нем модели попадают в «чужие миры», где привычная логика намеренно сломана: операторы работают иначе, а правила вывода изменены
Поэтому выученные знания почти бесполезны
Модель получает неполное руководство и несколько раундов, чтобы самой придумывать эксперименты, проверять гипотезы и восстанавливать скрытые правила
Результаты:
- без обратной связи модели стартуют максимум с 15.7 %
- после четырех раундов лучший результат в AlienCode достигает 89 %
- у 9 из 10 систем собственные эксперименты оказались эффективнее повторения уже готовых
- даже когда модель правильно знает все нужные правила, задача решается лишь в 73.4 % случаев
- один и тот же алгоритм при одинаковом бюджете мог показать от 5.7 % до 79 %
Главный вывод: уметь рассуждать по известным правилам и уметь самостоятельно открывать новые правила - это совсем разные способности
https://arxiv.org/abs/2609.30199
https://explorationbench.com/
В нем модели попадают в «чужие миры», где привычная логика намеренно сломана: операторы работают иначе, а правила вывода изменены
Поэтому выученные знания почти бесполезны
Модель получает неполное руководство и несколько раундов, чтобы самой придумывать эксперименты, проверять гипотезы и восстанавливать скрытые правила
Результаты:
- без обратной связи модели стартуют максимум с 15.7 %
- после четырех раундов лучший результат в AlienCode достигает 89 %
- у 9 из 10 систем собственные эксперименты оказались эффективнее повторения уже готовых
- даже когда модель правильно знает все нужные правила, задача решается лишь в 73.4 % случаев
- один и тот же алгоритм при одинаковом бюджете мог показать от 5.7 % до 79 %
Главный вывод: уметь рассуждать по известным правилам и уметь самостоятельно открывать новые правила - это совсем разные способности
https://arxiv.org/abs/2609.30199
https://explorationbench.com/
Почти тысяча агентов Claude за день обнаружила ранее не описанную биологическую систему
Ее назвали ART
Нейросети задали только направление поиска, а дальше агенты перебирали генетические последовательности, сверяли их с научными публикациями и искали что-нибудь необычное
По устройству ART отчасти напоминает CRISPR, природный механизм защиты бактерий от вирусов, на основе которого позже появились технологии редактирования генов
В Anthropic говорят, что нейросети уже выполняют большую часть работы примерно в четверти их научных проектов
«По щучьему велению» теперь можно ресерчить целые области науки
Алгоритм способен выдавать гипотезы пачками
И чем их больше, тем важнее умение разглядеть среди них ту, ради которой стоит ставить настоящий эксперимент
Ее назвали ART
Нейросети задали только направление поиска, а дальше агенты перебирали генетические последовательности, сверяли их с научными публикациями и искали что-нибудь необычное
По устройству ART отчасти напоминает CRISPR, природный механизм защиты бактерий от вирусов, на основе которого позже появились технологии редактирования генов
В Anthropic говорят, что нейросети уже выполняют большую часть работы примерно в четверти их научных проектов
«По щучьему велению» теперь можно ресерчить целые области науки
Алгоритм способен выдавать гипотезы пачками
И чем их больше, тем важнее умение разглядеть среди них ту, ради которой стоит ставить настоящий эксперимент
GPT-6 Astra за 6 часов взломала шифр генерала Наполеона, который числился нераскрытым 217 лет
Картер Черч (не криптограф), как он описывает в своем блоге, отправил модели только изображение и промпт, и она сама нарезала скан письма на строки, прочитала знаки, свела все символы к списку уникальных, а затем использовала отжиг для подбора значений по французскому словарю
Вся работа заняла 6 часов
Само письмо датируется концом марта 1809 года, за две недели до вторжения Австрии в Баварию
Его написал генерал Мармон
Как оказалось, в письме содержалась сводка от штаба вице-короля Италии для изолированного в Далмации Мармона: где стоят французские и союзные армии, что русские якобы идут на Австрию и что Австрия «спешит к своей гибели»
Состав войск совпал с приказом Наполеона от 16 марта 1809 года
Сатоши Токиемо, составитель каталога шифров Cryptiana, проверил решение, и письмо теперь помечено как решенное
Напоминаем, что недавно Astra также решила ранее зашифрованную немецкую радиограмму времен Второй Мировой войны
Картер Черч (не криптограф), как он описывает в своем блоге, отправил модели только изображение и промпт, и она сама нарезала скан письма на строки, прочитала знаки, свела все символы к списку уникальных, а затем использовала отжиг для подбора значений по французскому словарю
Вся работа заняла 6 часов
Само письмо датируется концом марта 1809 года, за две недели до вторжения Австрии в Баварию
Его написал генерал Мармон
Как оказалось, в письме содержалась сводка от штаба вице-короля Италии для изолированного в Далмации Мармона: где стоят французские и союзные армии, что русские якобы идут на Австрию и что Австрия «спешит к своей гибели»
Состав войск совпал с приказом Наполеона от 16 марта 1809 года
Сатоши Токиемо, составитель каталога шифров Cryptiana, проверил решение, и письмо теперь помечено как решенное
Напоминаем, что недавно Astra также решила ранее зашифрованную немецкую радиограмму времен Второй Мировой войны
Мэтью Шварц, который ранее за две недели написал с Claude полноценную работу по теоретической физике, продолжил эксперимент
На этот раз он решил не заставлять модель работать как ученого, а искать научные задачи, которые хорошо подходят под сильные стороны современных LLM
Он называет их Claude-shaped problems
Идея в том, что в разных областях науки постоянно встречаются очень похожие математические конструкции, но ученые из одной области могут просто не знать, что нужный метод уже давно существует в другой
А LLM как раз очень хорошо умеют находить такие связи между огромным количеством разрозненной литературы
Под это Шварц вместе с Claude собрал BootLoops, набор инструментов для точных математических вычислений
Изначально он создавался для теоретической физики, но затем Claude начал находить практически те же задачи в экологии, генетике, экономике, лингвистике и других областях
Например, в экологии модель нашла уравнение из теории биоразнообразия, которое около 20 лет не умели эффективно считать на больших данных, и решила его методами из математической физики
А в популяционной генетике Claude нашел способ точно вычислить интеграл, который около 30 лет приходилось оценивать приближенно
Это позволило исследователям проверить модель рекомбинации ДНК на огромном массиве генетических данных и обнаружить следы генной конверсии, которые раньше было сложно выделить
Но тут обнаружилась важная проблема
Claude довольно хорошо находил технически правильные результаты и очень плохо понимал, насколько они вообще интересны для конкретной науки
Шварц несколько раз приносил такие находки профильным специалистам и получал примерно один ответ: технически впечатляет, научно не очень интересно
Поэтому дальше схема работы стала другой
Claude ищет связи между областями, пишет код, считает и перебирает гипотезы, а профильный ученый определяет, какой вопрос действительно стоит задавать
Так из первоначально неинтересного результата по экологии вместе с экспертом сделали новую модель динамики лесов, а из расчета по генетике пришли к анализу миллиардов пар мутаций
Шварц считает, что именно здесь современные модели уже могут заметно ускорять науку
Огромный пласт научных задач можно решить не новым методом, а переносом уже существующего метода из другой области
https://www.anthropic.com/research/claude-shaped-science
На этот раз он решил не заставлять модель работать как ученого, а искать научные задачи, которые хорошо подходят под сильные стороны современных LLM
Он называет их Claude-shaped problems
Идея в том, что в разных областях науки постоянно встречаются очень похожие математические конструкции, но ученые из одной области могут просто не знать, что нужный метод уже давно существует в другой
А LLM как раз очень хорошо умеют находить такие связи между огромным количеством разрозненной литературы
Под это Шварц вместе с Claude собрал BootLoops, набор инструментов для точных математических вычислений
Изначально он создавался для теоретической физики, но затем Claude начал находить практически те же задачи в экологии, генетике, экономике, лингвистике и других областях
Например, в экологии модель нашла уравнение из теории биоразнообразия, которое около 20 лет не умели эффективно считать на больших данных, и решила его методами из математической физики
А в популяционной генетике Claude нашел способ точно вычислить интеграл, который около 30 лет приходилось оценивать приближенно
Это позволило исследователям проверить модель рекомбинации ДНК на огромном массиве генетических данных и обнаружить следы генной конверсии, которые раньше было сложно выделить
Но тут обнаружилась важная проблема
Claude довольно хорошо находил технически правильные результаты и очень плохо понимал, насколько они вообще интересны для конкретной науки
Шварц несколько раз приносил такие находки профильным специалистам и получал примерно один ответ: технически впечатляет, научно не очень интересно
Поэтому дальше схема работы стала другой
Claude ищет связи между областями, пишет код, считает и перебирает гипотезы, а профильный ученый определяет, какой вопрос действительно стоит задавать
Так из первоначально неинтересного результата по экологии вместе с экспертом сделали новую модель динамики лесов, а из расчета по генетике пришли к анализу миллиардов пар мутаций
Шварц считает, что именно здесь современные модели уже могут заметно ускорять науку
Огромный пласт научных задач можно решить не новым методом, а переносом уже существующего метода из другой области
https://www.anthropic.com/research/claude-shaped-science
Anthropic
Claude-shaped science
Matthew Schwartz describes what happened when he stopped fighting Claude and allowed Claude to find “Claude-shaped” problems. This led him to build BootLoops, a toolkit for exact calculations in quantitative science, which he has been applying across scientific…
Muse Spark опубликовала шесть статей, написанных математиками вместе с моделью
Утверждается, что ученые использовали Muse Spark 1.1 и 1.2 в Thinking Mode через обычный чат meta.ai, без специального харнеса
Результаты относятся сразу к нескольким областям математики: теории вероятностей, дифференциальным уравнениям, оптимизации, теории групп, алгебре и арифметической физике
Например, моделью была опровергнута гипотеза Кида 2024 года: полуабелева группа не обязана быть мономиальной
Также доказано, что радиально-симметричные решения с отрицательной энергией для бигармонического нелинейного диф.уравнения Шредингера коллапсируют за конечное время (вопрос был открыт с 2015 года)
Правда гипотезу Кида в сентябре также опровергла другая группа ученых (кстати, тоже с помощью агента)
Но Meta утверждает, что их результаты получены независимо
https://research.meta.ai/blog/solving-open-research-problems-together
Утверждается, что ученые использовали Muse Spark 1.1 и 1.2 в Thinking Mode через обычный чат meta.ai, без специального харнеса
Результаты относятся сразу к нескольким областям математики: теории вероятностей, дифференциальным уравнениям, оптимизации, теории групп, алгебре и арифметической физике
Например, моделью была опровергнута гипотеза Кида 2024 года: полуабелева группа не обязана быть мономиальной
Также доказано, что радиально-симметричные решения с отрицательной энергией для бигармонического нелинейного диф.уравнения Шредингера коллапсируют за конечное время (вопрос был открыт с 2015 года)
Правда гипотезу Кида в сентябре также опровергла другая группа ученых (кстати, тоже с помощью агента)
Но Meta утверждает, что их результаты получены независимо
https://research.meta.ai/blog/solving-open-research-problems-together
Meta AI Research
Solving Open Research Problems Together
Mathematicians and Muse Spark collaborate on six research papers
Шифр Второй мировой войны, над взломом которого работал Алан Тьюринг, GPT-6 Astra раскусила примерно за десять часов
Команде агентов дали непрочитанную немецкую радиограмму 1941 года и задание не останавливаться, пока они не дадут расшифровку
Дальше агенты поделили работу между собой
Они разбирали архивные документы, писали код, моделировали работу Enigma и проверяли возможные расшифровки
У Enigma было около 159 квинтиллионов возможных настроек, поэтому решить задачу простым перебором было нереально
Агенты-дешифровщики поступили хитрее
Зацепку они нашли в другой радиограмме того же дня, которая уже была расшифрована
В ней встретилось слово ROSENOW
Агенты предположили, что оно есть и в неизвестном сообщении, и с помощью этой догадки резко сузили поиск ключа
Скоро нейросеть прочитала сообщение: «Пожалуйста, укажите маршрут движения
Я нахожусь в Розенове
Немедленный ответ по радио»
Когда-то Тьюринг предложил вместо бесконечного спора о том, способна ли машина мыслить, тест, который со временем стал классикой
Человек вслепую общается с другим человеком и с машиной
Если по ответам не получается их различить, появляются основания говорить о машинном интеллекте
В этом эксперименте Astra поступила по принципу «умный в гору не пойдет, умный гору обойдет»
Модель не стала сразу искать ключ
Сначала она придумала, как упростить сам поиск и резко сократить число возможных вариантов, а уже потом решила задачу
Примерно так же действовали и в Блетчли-парке
Криптоаналитики опирались на вероятные слова и фразы в радиограммах, чтобы отсечь большую часть вариантов и быстрее выйти на нужные настройки Enigma
Если что-то ходит как утка, крякает как утка…
Команде агентов дали непрочитанную немецкую радиограмму 1941 года и задание не останавливаться, пока они не дадут расшифровку
Дальше агенты поделили работу между собой
Они разбирали архивные документы, писали код, моделировали работу Enigma и проверяли возможные расшифровки
У Enigma было около 159 квинтиллионов возможных настроек, поэтому решить задачу простым перебором было нереально
Агенты-дешифровщики поступили хитрее
Зацепку они нашли в другой радиограмме того же дня, которая уже была расшифрована
В ней встретилось слово ROSENOW
Агенты предположили, что оно есть и в неизвестном сообщении, и с помощью этой догадки резко сузили поиск ключа
Скоро нейросеть прочитала сообщение: «Пожалуйста, укажите маршрут движения
Я нахожусь в Розенове
Немедленный ответ по радио»
Когда-то Тьюринг предложил вместо бесконечного спора о том, способна ли машина мыслить, тест, который со временем стал классикой
Человек вслепую общается с другим человеком и с машиной
Если по ответам не получается их различить, появляются основания говорить о машинном интеллекте
В этом эксперименте Astra поступила по принципу «умный в гору не пойдет, умный гору обойдет»
Модель не стала сразу искать ключ
Сначала она придумала, как упростить сам поиск и резко сократить число возможных вариантов, а уже потом решила задачу
Примерно так же действовали и в Блетчли-парке
Криптоаналитики опирались на вероятные слова и фразы в радиограммах, чтобы отсечь большую часть вариантов и быстрее выйти на нужные настройки Enigma
Если что-то ходит как утка, крякает как утка…
mvueh-enigma-solved.carterl.chatgpt.site
MVUEH — An Enigma message recovered
Follow the two-day investigation that recovered the key to MVUEH, an authentic 82-letter Enigma message from July 1941, with source comparisons, experiments and reproducible checks.
This media is not supported in your browser
VIEW IN TELEGRAM
LLM — это не инструмент
Это инфраструктура
А в 2025 году — не знать, как это работает, то же самое, что не знать, как работает электричество, в 1920-м
Вот что на самом деле происходит внутри:
Текст не входит в модель как слова
Он разбивается на токены — числовые ID вроде 101, 4287, 318 — а потом преобразуется в 768-мерные векторы эмбеддингов
Модель никогда не читает язык
Она читает геометрию
Каждое слово становится точкой в многомерном пространстве, а смысл — это расстояние между этими точками
Затем вступает в дело механизм внимания
Матрицы Q, K, V
Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)·V
Каждый токен голосует за каждый другой токен
Модель учится контексту, а не определениям
«Attention Is All You Need»
Законы масштабирования изменили всё
Удвой параметры — и производительность улучшится по предсказуемой кривой
L(N) = AN^-α + B, где α ≈ 0.076
Это не интуиция
Это физика
Anthropic, Google и Meta все построили свои дорожные карты вокруг этого единственного уравнения
На определённом масштабе модели начали делать вещи, которые никто не программировал
Обучение в контексте
Цепочка мыслей
Использование инструментов
Это не были функции
Это было эмерджентное
GPT-6 Astra: ~1T параметров
Окно контекста 1M
Оценка MMLU 92.1
Превосходит людей по 57 доменам
Учите матчасть
Это инфраструктура
А в 2025 году — не знать, как это работает, то же самое, что не знать, как работает электричество, в 1920-м
Вот что на самом деле происходит внутри:
Текст не входит в модель как слова
Он разбивается на токены — числовые ID вроде 101, 4287, 318 — а потом преобразуется в 768-мерные векторы эмбеддингов
Модель никогда не читает язык
Она читает геометрию
Каждое слово становится точкой в многомерном пространстве, а смысл — это расстояние между этими точками
Затем вступает в дело механизм внимания
Матрицы Q, K, V
Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)·V
Каждый токен голосует за каждый другой токен
Модель учится контексту, а не определениям
«Attention Is All You Need»
Законы масштабирования изменили всё
Удвой параметры — и производительность улучшится по предсказуемой кривой
L(N) = AN^-α + B, где α ≈ 0.076
Это не интуиция
Это физика
Anthropic, Google и Meta все построили свои дорожные карты вокруг этого единственного уравнения
На определённом масштабе модели начали делать вещи, которые никто не программировал
Обучение в контексте
Цепочка мыслей
Использование инструментов
Это не были функции
Это было эмерджентное
GPT-6 Astra: ~1T параметров
Окно контекста 1M
Оценка MMLU 92.1
Превосходит людей по 57 доменам
Учите матчасть