200 subscribers
164 photos
90 videos
171 files
708 links
ALGORITHMS MACHINE LEARNING
Download Telegram
Шифр Второй мировой войны, над взломом которого работал Алан Тьюринг, GPT-6 Astra раскусила примерно за десять часов

Команде агентов дали непрочитанную немецкую радиограмму 1941 года и задание не останавливаться, пока они не дадут расшифровку

Дальше агенты поделили работу между собой
Они разбирали архивные документы, писали код, моделировали работу Enigma и проверяли возможные расшифровки

У Enigma было около 159 квинтиллионов возможных настроек, поэтому решить задачу простым перебором было нереально
Агенты-дешифровщики поступили хитрее

Зацепку они нашли в другой радиограмме того же дня, которая уже была расшифрована
В ней встретилось слово ROSENOW
Агенты предположили, что оно есть и в неизвестном сообщении, и с помощью этой догадки резко сузили поиск ключа

Скоро нейросеть прочитала сообщение: «Пожалуйста, укажите маршрут движения
Я нахожусь в Розенове
Немедленный ответ по радио»

Когда-то Тьюринг предложил вместо бесконечного спора о том, способна ли машина мыслить, тест, который со временем стал классикой
Человек вслепую общается с другим человеком и с машиной
Если по ответам не получается их различить, появляются основания говорить о машинном интеллекте

В этом эксперименте Astra поступила по принципу «умный в гору не пойдет, умный гору обойдет»
Модель не стала сразу искать ключ
Сначала она придумала, как упростить сам поиск и резко сократить число возможных вариантов, а уже потом решила задачу

Примерно так же действовали и в Блетчли-парке
Криптоаналитики опирались на вероятные слова и фразы в радиограммах, чтобы отсечь большую часть вариантов и быстрее выйти на нужные настройки Enigma

Если что-то ходит как утка, крякает как утка…
This media is not supported in your browser
VIEW IN TELEGRAM
LLM — это не инструмент
Это инфраструктура

А в 2025 году — не знать, как это работает, то же самое, что не знать, как работает электричество, в 1920-м

Вот что на самом деле происходит внутри:

Текст не входит в модель как слова
Он разбивается на токены — числовые ID вроде 101, 4287, 318 — а потом преобразуется в 768-мерные векторы эмбеддингов

Модель никогда не читает язык
Она читает геометрию
Каждое слово становится точкой в многомерном пространстве, а смысл — это расстояние между этими точками

Затем вступает в дело механизм внимания
Матрицы Q, K, V
Формула: Attention(Q,K,V) = softmax(QK^T/√d_k)·V

Каждый токен голосует за каждый другой токен
Модель учится контексту, а не определениям

«Attention Is All You Need»

Законы масштабирования изменили всё
Удвой параметры — и производительность улучшится по предсказуемой кривой

L(N) = AN^-α + B, где α ≈ 0.076
Это не интуиция
Это физика

Anthropic, Google и Meta все построили свои дорожные карты вокруг этого единственного уравнения

На определённом масштабе модели начали делать вещи, которые никто не программировал

Обучение в контексте
Цепочка мыслей
Использование инструментов
Это не были функции
Это было эмерджентное

GPT-6 Astra: ~1T параметров
Окно контекста 1M
Оценка MMLU 92.1
Превосходит людей по 57 доменам

Учите матчасть
ARI AML
Video
Please open Telegram to view this post
VIEW IN TELEGRAM
OpenAI представила: 722 препринта, объединённые в 372 семейства результатов Среди них — заявленные доказательства и контрпримеры к известным математическим гипотезам

https://openai.com/index/sharing-ai-progress-in-mathematics/

https://github.com/openai/math/blob/main/overview.pdf
Гипотеза Капланского о делителях нуля ложна
Группа Томпсона неаменабельна
Порожденные группы с разрешимой проблемой слов это в точности группы которые вкладываются в простые конечно представленные группы
Существует гиперболичная не CAT(0) группа
Не конечно аппроксимируемая гиперболичная группа без кручения
Бесконечная конечно представленная простая аменабельная группа
Бесконечная конечно представленная конечно аппроксимируемая 2-группа
И еще из других областей рандомное:
Любая замкнутая гладкая риманова поверхность изометрично погружается в R^4
Константа Каталана иррациональна
Быстрое преобразование Фурье быстрее чем за n log n
Плоскость нельзя покрасить в 5 цветов так чтобы точки лежащие на расстоянии 1 имели разные цвета
Существуют связные замкнутые асферичные 4-многообразия, которые гомотопически эквивалентны, но не гомеоморфны
10 проблема Гильберта над Q ложна
https://github.com/openai/math/tree/main/preprints — список результатов пунктов где-то на семьсот, при беглой прикидке (там список ненумерованный)
Включая (!!!) вторую часть 16-й проблемы Гильберта (оценку на число предельных циклов полиномиального векторного поля данной степени; они доказывают, что равномерная оценка существует, при том, что раньше это не было известно даже для квадратичных векторных полей):
https://github.com/openai/math/blob/main/preprints/uniform-bounds-for-planar-polynomial-limit-cycles-September-24-2026/uniform-bounds-for-planar-polynomial-limit-cycles-September-24-2026.pdf

...и многое многое другое https://github.com/openai/math/blob/main/overview.pdf
OpenAI, Anthropic и другие — это не технологические компании, а биотехнологические компании
Конкуренция сместится в область чтения и записи человеческого мозга
Эта идея согласуется с будущим, описанным Курцвейлом, — прямым соединением мозга и сверхразума

Те, кто считает Meta, OpenAI, Anthropic, Neuralink компаниями по LLM или AML, могут удивиться этому прогнозу

И именно к этому стремятся эти компании
Это и есть настоящая “гонка вооружений”
Модель может быть полезным собеседником — быстрым, начитанным, терпеливым, но не судьёй

Формальная система — тоже не судья: она не знает, хорошо ли поставлена задача, верно ли описание реального объекта, интересно ли получившееся утверждение, но она честно проверяет, что из заданных предпосылок действительно следует заявленный вывод

В этом контуре появляется новая компетенция: не «уметь спросить модель», а построить логический путь

Между этими режимами очень большая разница

На задачах Lean-IMO-Bench обычные большие языковые модели в одношаговом режиме решали мало задач

Агентный подход LEAP, разбивает работу на шаги и используя проверку компилятором Lean как обратную связь, довёл результат до 70 %

Модель не научилась мыслить как математик, но строгая среда проверки радикально меняет качество работы модели
Ошибка перестаёт быть финалом ответа — она становится продолжением решения, строит надёжные артефакты: доказательства, спецификации, фрагменты кода, модели

И это касается не одной чистой математики

В августе была представлена EconCSLib — библиотека и рабочий процесс для формализации исследований в экономике и вычислениях

Схема предельно инженерная: модель переводит определения и утверждения статьи в Lean, Lean проверяет код, а человек и дополнительные процедуры контроля проверяют, не исказился ли смысл исходного текста

В открытом репозитории проекта к июлю было почти миллион строк Lean-кода и 24 формализации работ — 20 полных и 4 частичных

Вот где проходит реальная граница будущей грамотности

Не между «гуманитариями» и «технарями»
И даже не между теми, кто пишет код, и теми, кто его не пишет

А между теми, кто принимает правдоподобный ответ на веру, и теми, кто умеет спросить: какие здесь предпосылки, что именно проверено, где границы модели и каким механизмом мы ловим ошибку?

Алгоритмы не отменяют необходимость думать
Они делают цену недуманья заметно выше

Впереди разговор о том, почему автоматическое доказательство меняет не только математику, но и темп инженерной работы

А в какой задаче вы уже сегодня готовы доверить алгоритмам черновую работу, но ни за что не доверите ему финальную проверку?