This media is not supported in your browser
VIEW IN TELEGRAM
LLM — это не инструмент
Это инфраструктура
А в 2025 году — не знать, как это работает, то же самое, что не знать, как работает электричество, в 1920-м
Вот что на самом деле происходит внутри:
Текст не входит в модель как слова
Он разбивается на токены — числовые ID вроде 101, 4287, 318 — а потом преобразуется в 768-мерные векторы эмбеддингов
Модель никогда не читает язык
Она читает геометрию
Каждое слово становится точкой в многомерном пространстве, а смысл — это расстояние между этими точками
Затем вступает в дело механизм внимания
Матрицы Q, K, V
Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)·V
Каждый токен голосует за каждый другой токен
Модель учится контексту, а не определениям
«Attention Is All You Need»
Законы масштабирования изменили всё
Удвой параметры — и производительность улучшится по предсказуемой кривой
L(N) = AN^-α + B, где α ≈ 0.076
Это не интуиция
Это физика
Anthropic, Google и Meta все построили свои дорожные карты вокруг этого единственного уравнения
На определённом масштабе модели начали делать вещи, которые никто не программировал
Обучение в контексте
Цепочка мыслей
Использование инструментов
Это не были функции
Это было эмерджентное
GPT-6 Astra: ~1T параметров
Окно контекста 1M
Оценка MMLU 92.1
Превосходит людей по 57 доменам
Учите матчасть
Это инфраструктура
А в 2025 году — не знать, как это работает, то же самое, что не знать, как работает электричество, в 1920-м
Вот что на самом деле происходит внутри:
Текст не входит в модель как слова
Он разбивается на токены — числовые ID вроде 101, 4287, 318 — а потом преобразуется в 768-мерные векторы эмбеддингов
Модель никогда не читает язык
Она читает геометрию
Каждое слово становится точкой в многомерном пространстве, а смысл — это расстояние между этими точками
Затем вступает в дело механизм внимания
Матрицы Q, K, V
Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)·V
Каждый токен голосует за каждый другой токен
Модель учится контексту, а не определениям
«Attention Is All You Need»
Законы масштабирования изменили всё
Удвой параметры — и производительность улучшится по предсказуемой кривой
L(N) = AN^-α + B, где α ≈ 0.076
Это не интуиция
Это физика
Anthropic, Google и Meta все построили свои дорожные карты вокруг этого единственного уравнения
На определённом масштабе модели начали делать вещи, которые никто не программировал
Обучение в контексте
Цепочка мыслей
Использование инструментов
Это не были функции
Это было эмерджентное
GPT-6 Astra: ~1T параметров
Окно контекста 1M
Оценка MMLU 92.1
Превосходит людей по 57 доменам
Учите матчасть
OpenAI представила: 722 препринта, объединённые в 372 семейства результатов Среди них — заявленные доказательства и контрпримеры к известным математическим гипотезам
https://openai.com/index/sharing-ai-progress-in-mathematics/
https://github.com/openai/math/blob/main/overview.pdf
Гипотеза Капланского о делителях нуля ложна
Группа Томпсона неаменабельна
Порожденные группы с разрешимой проблемой слов это в точности группы которые вкладываются в простые конечно представленные группы
Существует гиперболичная не CAT(0) группа
Не конечно аппроксимируемая гиперболичная группа без кручения
Бесконечная конечно представленная простая аменабельная группа
Бесконечная конечно представленная конечно аппроксимируемая 2-группа
И еще из других областей рандомное:
Любая замкнутая гладкая риманова поверхность изометрично погружается в R^4
Константа Каталана иррациональна
Быстрое преобразование Фурье быстрее чем за n log n
Плоскость нельзя покрасить в 5 цветов так чтобы точки лежащие на расстоянии 1 имели разные цвета
Существуют связные замкнутые асферичные 4-многообразия, которые гомотопически эквивалентны, но не гомеоморфны
10 проблема Гильберта над Q ложна
https://github.com/openai/math/tree/main/preprints — список результатов пунктов где-то на семьсот, при беглой прикидке (там список ненумерованный)
Включая (!!!) вторую часть 16-й проблемы Гильберта (оценку на число предельных циклов полиномиального векторного поля данной степени; они доказывают, что равномерная оценка существует, при том, что раньше это не было известно даже для квадратичных векторных полей):
https://github.com/openai/math/blob/main/preprints/uniform-bounds-for-planar-polynomial-limit-cycles-September-24-2026/uniform-bounds-for-planar-polynomial-limit-cycles-September-24-2026.pdf
...и многое многое другое https://github.com/openai/math/blob/main/overview.pdf
https://openai.com/index/sharing-ai-progress-in-mathematics/
https://github.com/openai/math/blob/main/overview.pdf
Гипотеза Капланского о делителях нуля ложна
Группа Томпсона неаменабельна
Порожденные группы с разрешимой проблемой слов это в точности группы которые вкладываются в простые конечно представленные группы
Существует гиперболичная не CAT(0) группа
Не конечно аппроксимируемая гиперболичная группа без кручения
Бесконечная конечно представленная простая аменабельная группа
Бесконечная конечно представленная конечно аппроксимируемая 2-группа
И еще из других областей рандомное:
Любая замкнутая гладкая риманова поверхность изометрично погружается в R^4
Константа Каталана иррациональна
Быстрое преобразование Фурье быстрее чем за n log n
Плоскость нельзя покрасить в 5 цветов так чтобы точки лежащие на расстоянии 1 имели разные цвета
Существуют связные замкнутые асферичные 4-многообразия, которые гомотопически эквивалентны, но не гомеоморфны
10 проблема Гильберта над Q ложна
https://github.com/openai/math/tree/main/preprints — список результатов пунктов где-то на семьсот, при беглой прикидке (там список ненумерованный)
Включая (!!!) вторую часть 16-й проблемы Гильберта (оценку на число предельных циклов полиномиального векторного поля данной степени; они доказывают, что равномерная оценка существует, при том, что раньше это не было известно даже для квадратичных векторных полей):
https://github.com/openai/math/blob/main/preprints/uniform-bounds-for-planar-polynomial-limit-cycles-September-24-2026/uniform-bounds-for-planar-polynomial-limit-cycles-September-24-2026.pdf
...и многое многое другое https://github.com/openai/math/blob/main/overview.pdf
OpenAI
Sharing AI progress in mathematics
OpenAI publishes new results on open problems in mathematics from an internal frontier model and shares Lean proof formalizations and research details on GitHub.
OpenAI, Anthropic и другие — это не технологические компании, а биотехнологические компании
Конкуренция сместится в область чтения и записи человеческого мозга
Эта идея согласуется с будущим, описанным Курцвейлом, — прямым соединением мозга и сверхразума
Те, кто считает Meta, OpenAI, Anthropic, Neuralink компаниями по LLM или AML, могут удивиться этому прогнозу
И именно к этому стремятся эти компании
Это и есть настоящая “гонка вооружений”
Конкуренция сместится в область чтения и записи человеческого мозга
Эта идея согласуется с будущим, описанным Курцвейлом, — прямым соединением мозга и сверхразума
Те, кто считает Meta, OpenAI, Anthropic, Neuralink компаниями по LLM или AML, могут удивиться этому прогнозу
И именно к этому стремятся эти компании
Это и есть настоящая “гонка вооружений”
Модель может быть полезным собеседником — быстрым, начитанным, терпеливым, но не судьёй
Формальная система — тоже не судья: она не знает, хорошо ли поставлена задача, верно ли описание реального объекта, интересно ли получившееся утверждение, но она честно проверяет, что из заданных предпосылок действительно следует заявленный вывод
В этом контуре появляется новая компетенция: не «уметь спросить модель», а построить логический путь
Между этими режимами очень большая разница
На задачах Lean-IMO-Bench обычные большие языковые модели в одношаговом режиме решали мало задач
Агентный подход LEAP, разбивает работу на шаги и используя проверку компилятором Lean как обратную связь, довёл результат до 70 %
Модель не научилась мыслить как математик, но строгая среда проверки радикально меняет качество работы модели
Ошибка перестаёт быть финалом ответа — она становится продолжением решения, строит надёжные артефакты: доказательства, спецификации, фрагменты кода, модели
И это касается не одной чистой математики
В августе была представлена EconCSLib — библиотека и рабочий процесс для формализации исследований в экономике и вычислениях
Схема предельно инженерная: модель переводит определения и утверждения статьи в Lean, Lean проверяет код, а человек и дополнительные процедуры контроля проверяют, не исказился ли смысл исходного текста
В открытом репозитории проекта к июлю было почти миллион строк Lean-кода и 24 формализации работ — 20 полных и 4 частичных
Вот где проходит реальная граница будущей грамотности
Не между «гуманитариями» и «технарями»
И даже не между теми, кто пишет код, и теми, кто его не пишет
А между теми, кто принимает правдоподобный ответ на веру, и теми, кто умеет спросить: какие здесь предпосылки, что именно проверено, где границы модели и каким механизмом мы ловим ошибку?
Алгоритмы не отменяют необходимость думать
Они делают цену недуманья заметно выше
Впереди разговор о том, почему автоматическое доказательство меняет не только математику, но и темп инженерной работы
А в какой задаче вы уже сегодня готовы доверить алгоритмам черновую работу, но ни за что не доверите ему финальную проверку?
Формальная система — тоже не судья: она не знает, хорошо ли поставлена задача, верно ли описание реального объекта, интересно ли получившееся утверждение, но она честно проверяет, что из заданных предпосылок действительно следует заявленный вывод
В этом контуре появляется новая компетенция: не «уметь спросить модель», а построить логический путь
Между этими режимами очень большая разница
На задачах Lean-IMO-Bench обычные большие языковые модели в одношаговом режиме решали мало задач
Агентный подход LEAP, разбивает работу на шаги и используя проверку компилятором Lean как обратную связь, довёл результат до 70 %
Модель не научилась мыслить как математик, но строгая среда проверки радикально меняет качество работы модели
Ошибка перестаёт быть финалом ответа — она становится продолжением решения, строит надёжные артефакты: доказательства, спецификации, фрагменты кода, модели
И это касается не одной чистой математики
В августе была представлена EconCSLib — библиотека и рабочий процесс для формализации исследований в экономике и вычислениях
Схема предельно инженерная: модель переводит определения и утверждения статьи в Lean, Lean проверяет код, а человек и дополнительные процедуры контроля проверяют, не исказился ли смысл исходного текста
В открытом репозитории проекта к июлю было почти миллион строк Lean-кода и 24 формализации работ — 20 полных и 4 частичных
Вот где проходит реальная граница будущей грамотности
Не между «гуманитариями» и «технарями»
И даже не между теми, кто пишет код, и теми, кто его не пишет
А между теми, кто принимает правдоподобный ответ на веру, и теми, кто умеет спросить: какие здесь предпосылки, что именно проверено, где границы модели и каким механизмом мы ловим ошибку?
Алгоритмы не отменяют необходимость думать
Они делают цену недуманья заметно выше
Впереди разговор о том, почему автоматическое доказательство меняет не только математику, но и темп инженерной работы
А в какой задаче вы уже сегодня готовы доверить алгоритмам черновую работу, но ни за что не доверите ему финальную проверку?
Даже если самые передовые модели завершены, они не публикуются сразу, а используются внутри для разработки моделей следующего поколения
Это «пересечением горизонта событий»
Это не то, что каузуэйлловская сингулярность в смысле технологической сингулярности, но в смысле того, что из петли самоускорения уже трудно вернуться, это может быть вполне справедливо
На Fellows Forum в конце сентября, руководитель прикладных исследований OpenAI, заявил, что сейчас 90 % исследований компании направлены на обучение GPT-7 и GPT-8 — там наибольшая ценность
И постепенные обновления внутри одного поколения, такие как 5.1 или 5.2, считаются краткосрочной ставкой и крайне недальновидными
То есть исследователи работают на два поколения вперед по сравнению с тем, что используется сейчас
Самые передовые модели уже разработаны, но не публикуются и удерживаются
Скоро такие модели следующего поколения перестанут быть общедоступными и начнут использоваться только для специфических целей внутри исследовательских институтов
Самое большое вознаграждение за токен в текущих фронтир-моделях, по крайней мере то, что генерирует наибольшую дисконтированную текущую стоимость в будущем, — это разработка еще более мощных моделей через рекурсивное самоулучшение
По этому пункту «горизонт событий» уже пересечён, именно поэтому это и называют сингулярностью
Это «пересечением горизонта событий»
Это не то, что каузуэйлловская сингулярность в смысле технологической сингулярности, но в смысле того, что из петли самоускорения уже трудно вернуться, это может быть вполне справедливо
На Fellows Forum в конце сентября, руководитель прикладных исследований OpenAI, заявил, что сейчас 90 % исследований компании направлены на обучение GPT-7 и GPT-8 — там наибольшая ценность
И постепенные обновления внутри одного поколения, такие как 5.1 или 5.2, считаются краткосрочной ставкой и крайне недальновидными
То есть исследователи работают на два поколения вперед по сравнению с тем, что используется сейчас
Самые передовые модели уже разработаны, но не публикуются и удерживаются
Скоро такие модели следующего поколения перестанут быть общедоступными и начнут использоваться только для специфических целей внутри исследовательских институтов
Самое большое вознаграждение за токен в текущих фронтир-моделях, по крайней мере то, что генерирует наибольшую дисконтированную текущую стоимость в будущем, — это разработка еще более мощных моделей через рекурсивное самоулучшение
По этому пункту «горизонт событий» уже пересечён, именно поэтому это и называют сингулярностью