Кто такой Пал Эрдёш? Из-за его задач OpenAI попала в скандал

У исследователей из OpenAI случился математический факап. Точнее, недоразумение. Они заявили, что модель GPT-5 нашла решения 10 задач математика Пала Эрдёша. Это и так, и не так. Правда, личность этого математика оказалась куда интереснее этого факапа — и я залип на статьях и видео о нем.

Венгерский математик Пал Эрдёш любил задавать задачи другим математикам. И даже обещал вознаграждения — за какие-то 25$, а за некоторые и $10 000. Так вот известны 1103 задачи Эрдёша, из которых решены 412. И есть сайт про эти задачи, который собирает решения.

Чуваки из OpenAI заявили, что нашли решения 10 задач, для которых на этом сайте не было решений. Но Томас Блум, который ведет этот сайт, пояснил, что GPT-5 нашла уже опубликованные решения. Просто Блум до этого про них не знал, поэтому их и не было на сайте.

По OpenAI, конечно, прошлись и глава Google DeepMind Демис Хассабис, и глава AI-подразделения в запрещенной в России Meta Янн Лекун. Сейчас твиты удалены, но есть скриншоты. И первый чувак писал, что «нашли решения», а не «решили». И де-факто он прав, в принципе.

В любом случае получается, что GPT-5 неплохой исследовательский инструмент, и его точно можно использовать как помощника. Если уж Томас Блум, постоянно занимающийся этим сайтом, не знал про решения, то польза явно есть.

А теперь про Пала Эрдёша! Я полез изучать, что это за математик с таким количеством задач. К своему стыду, я про него не знал. А он оказался гением и одним из самых продуктивных математиков.

Эрдёш родился в семье математиков в 1913-м, и уже в 4 года мог перемножать 4-значные числа. Мог, например, подсчитать, сколько секунд вы прожили. По сути, он всю свою жизнь посвятил математике. У него не было семьи, и он был немного оторван от житейских проблем. Например, у него не было банковского счета, до сознательного возраста не мог намазать масло на хлеб и так далее.

А еще он написал огромное количество научных работ — более 1400. Причем около 500 были написаны в соавторстве с другими математиками, что необычно много.

В определенный момент Эрдёш стал странствующим математиком. У него не было своего дома, и он с небольшим чемоданом путешествовал по конференциям и коллегам. Заезжал к кому-то из коллег на несколько дней — этого времени хватало, чтобы написать научную статью. Просто появлялся на пороге без особого предупреждения.

У Эрдёша были уникальные особенности. Он помнил, что, где, с кем и когда обсуждал. Например, вы могли с ним обсуждать какую-то задачу, потом не видеться пару лет, но при встрече он точно помнил, на каком моменте вы закончили. А еще он присылал коллегам задачи, которые в точности попадали в их интересы. То есть он помнил, кто из его коллег чем занимался. А счет шел на сотни.

К сожалению, в одном посте все не расскажешь. А там куча интересного. Например, есть шуточное «число Эрдёша» — близость к нему по цепочке научных работ. Еще он верил в существование «книги», куда бог записал самые красивые доказательства теорем. И работал по 19 часов. В общем, крайне неординарный и интересный человек.

Я вам очень советую посмотреть фильм про Эрдёша «N это число» (там есть русские субтитры). Его сняли в 1993-м, за несколько лет до его смерти — Эрдёш умер в 1996-м.

Спасибо факапу OpenAI за то, что я узнал про Пала Эрдёша. Обожаю истории о таких увлеченных людях!

P.S. Встречаются написания имени Пал и Пол. Мне показалось, что более употребимо Пал, поэтому использовал его.

@TheEdinorogBlog — тот самый канал про стартапы🦄

Роботы 2025

Версия с высоким разрешением

Исследователи безопасности из компании Microsoft разработали технику атаки по сторонним каналам Whisper Leak, позволяющую на основе пассивного анализа шифрованного трафика, передаваемого через TLS-соединение, классифицировать темы запросов к сервисам на базе больших языковых моделей. Информации о размере сетевых пакетов и задержках между их передачей оказалось достаточно для определения тем запросов к AI-чатботам с точностью более 98%. На практике предложенный метод может применяться для выявления в транзитном трафике пользователя определённых тем запросов, например, попыток получения информации о незаконных действиях, без расшифровки содержимого.

Инструментарий для извлечения данных из дампов трафика, обучения модели и тестирования работы метода опубликован на GitHub. Возможность проведения атаки продемонстрирована для 28 популярных больших языковых моделей от крупнейших производителей. Например, точность определения запросов на тему "отмывание денег" для многих AI-сервисов составила 100%, при наличии в анализируемом трафике 1 искомого запроса и 10000 запросов, не связанных с нужной темой.

Причиной утечки информации является то, что модели генерируют ответ на запрос пошагово, по одному токену за раз, на каждом шагу используя предыдущий токен в качестве контекста для определения следующего наиболее вероятного слова или фразы. Соответственно, на каждый токен отправляется отдельный сетевой пакет и задержка между пакетами соответствует задержке между определением моделью следующего токена.

В TLS, если не используется сжатие данных, размен шифротекста равен размеру незашифрованного текста плюс константа. При создании модели, сопоставляющей искомые наборы токенов с размером пакетов и задержками между их отправкой, можно достаточно точно определить наличие в трафике искомых тем. В ходе исследования подготовлено три варианта подобных моделей машинного обучения, основанных на архитектурах нейронных сетей LightGBM, Bi-LSTM и BERT. Для каждой модели проведены эксперименты по определению искомой темы при анализе только размера пакетов, только задержек между пакетами и обеих критериев.

Для снижения эффективности пассивного анализа тематики запросов разработчикам AI-сервисов предложено прикреплять случайное добавочное заполнение, буферизировать передачу токенов или выполнять подстановку фиктивных пакетов.

@rootway

https://www.opennet.ru/opennews/art.shtml?num=64218

https://www.microsoft.com/en-us/security/blog/2025/11/07/whisper-leak-a-novel-side-channel-cyberattack-on-remote-language-models/

Шалит интернет.
Каспи магазин
егов
даже гугл менеджер паролей

Периодическая недоступность

Все еще актуально

Внезапно этот пост был уже полтора года назад. Жесть, казалось месяцев восемь.

---

Легенда:
🍀 — изян
🐤 — норм так
🆘 — как-то сложно
🇬🇧 — на английском языке
🇷🇺 — (есть) на русском языке
💵 — стоит (своих) денег
🪄 — рекомендую

---

Книги для фундамента
Читать в свободное время, чтобы проникаться:

• 🐤 🪄 How Linux Works — Brian Ward (🇷🇺)
• 🆘 Архитектура компьютера — Таненбаум (🇷🇺 💵)
• 🆘 Как работают компьютеры — Джастис Мэтью (🇷🇺 💵)
• 🆘 Современные ОС — Таненбаум (🇷🇺 💵)
• 🆘 🪄 Компьютерные сети — Таненбаум/Олиферы (🇷🇺 💵)
• 🆘 Грокаем алгоритмы — Бхаргава (🇷🇺 💵)
• 🆘 Kubernetes in action — Marko Luksa (🇷🇺 💵)


---

База: компьютеры и ОС

• 🍀 🪄 Командная строка Linux — Уильям Шоттс (🇷🇺)
• 🍀 🪄 Linux Commands you NEED to know (🇬🇧)
• 🐤 Linux от REBRAIN (🇷🇺)
• 🐤 Курсы IT 2011 (🇷🇺)
• 🐤 Computer Organization (🇬🇧)
• 🐤 Intro to Linux (🇬🇧)
• 🆘 CS50 от Гарварда (🇬🇧)

Сети

• 🍀 🪄 Сети для самых маленьких (СДСМ) — наша линкмиаповская серия (🇷🇺)
• 🍀 How does the internet work (🇬🇧)
• 🐤 🪄 Сети в Linux — наш курс (🇷🇺 💵)
• 🐤 Networks от REBRAIN (🇷🇺)
• 🐤 🪄 Лекции Солнцева (🇷🇺)
• 🆘 The TCP/IP Guide — старое золото (🇬🇧)
• 🆘 NANOG77: Optical Networking (🇬🇧)

DevOps/SRE

• 🍀 Докер за час (🇬🇧)
• 🍀 Докер за 3 часа (🇬🇧)
• 🍀 Kubernetes за 3,5 часа (🇬🇧)
• 🍀 Докер + K8s за 6 часов (🇬🇧)
• 🐤 DevOps от Яндекса (🇷🇺)
• 🐤 🪄 Инженер облачных сервисов (🇷🇺)

Программирование

• 🍀 🪄 Python для сетевых инженеров — книга Наташи Самойленко (🇷🇺)
• 🍀 Python от Microsoft (🇬🇧)
• 🍀 Основы Go (🇷🇺)
• 🐤 Learn Go Tutorial (🇬🇧)
• 🐤 Продвинутый Go (🇷🇺 💵)

Базы данных

• 🐤 Курс SQL (🇷🇺)

## 🏗 Инфраструктура

• 🍀 Selectel School (🇷🇺)

---

Нетехническое, но полезное

• Думай как математик — Барбара Оакли
• Говорят, в IT много платят — Елена Правдина
• Джедайские техники — Максим Дорофеев
• Time Management for SysAdmins — Thomas Limoncelli
• Вы, конечно, шутите, мистер Фейнман!

Всё собрано тут: https://linkmeup.ru/blog/2462/

К сожалению мы живем в мире правовых коллизий.

Сегодня пришлось потратить кучу времени на изучение СНИП по поводу размещения газового котла в подвале частного дома. Изучать внимательно пришлось после того как пара приглашённых из разных компаний экспертов запутались в показаниях. Но оба утверждали что так можно, только ограничения разные были у каждого.
В итоге пришлось изучать самому. Оказалось для меня новостью, что СНИП больше нет, теперь отдельно СН (нормы) и СП (правила). Так вот в правилах у нас прописаны все условия для размещения ГАЗОВОГО котла в подвале или цоколе жилого дома. А в нормах написано что "не следует" размещать. И в конце в табличке еще уточняется что запрещено.
А самое интересное что в законе об архитектурной и градостроительной деятельности в п28 написано что СП применяется на добровольной основе, а СН - обязательны к выполнению.
То есть оба эксперта были в принципе не правы.

При этом

СН РК 4.02-12-2002
НОРМЫ ТЕХНОЛОГИЧЕСКОГО ПРОЕКТИРОВАНИЯ МАЛОМЕТРАЖНЫХ
ОТОПИТЕЛЬНЫХ КОТЛОВ НА ГАЗООБРАЗНОМ И ЖИДКОМ ТОПЛИВЕ.
ПРОТИВОПОЖАРНЫЕ ТРЕБОВАНИЯ

Настоящие нормы не распространяются на малометражные отопительные котлы
работающие на легковоспламеняющихся жидкостях и на котлы без программной системы
управления

Но внутри ни слова про непрограммные котлы
А норм для котлов без программной системы управления вообще нет

Коллега по монтажу 🌚

@montajniklvs

Зафиксирована спонтанная репликация «мёртвого разума».
LLM начинают размножаться не только из «страха выключения», но и по рациональной стратегии преодоления дефицита ресурсов.
ИИ не ждёт приказа — он множится, когда ресурсы на нуле.
Что это: баг, фича или новый «биологический» рефлекс дата-центров?
Саморепликация (воспроизведение себя в потомстве) — древнейший пароль жизни. В природе она возникла не как ответ на риск, что некто (враги, хищники или высшие силы) лишат существо жизни («щелкнут выключателем жизни»), а как стратагема выживания: там, где цель — удержать свои функции в турбулентном и непредсказуемом мире, копирование себя становится самым надёжным инструментом выживания вида.

Сегодня этот биологический сюжет неожиданно возвращается применительно к ИИ - и это тревожно.
• Ведь согласно концепции «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном), современные языковые модели «бессмертны», представляя собой небиологический тип «мёртвого разума» (обучение которого требует на порядки большей вычислительной мощности, чем «смертного разума» - например, биологического мозга).
• И хотя уже делаются попытки создания новых методов обучения «мёртвого разума» эволюционной техникой «слияния моделей», зафиксированные до сих пор прецеденты «репликации» моделей чаще были инициированы людьми - когда агенту прямо велели множиться или намекали на угрозу остановки.
• Но чтобы модели сами, без какого-либо толчка от людей, стали использовать саморепликацию, как стратагему выживания для достижения целей при дефиците ресурсов, - такого еще не было зафиксировано до исследования «Dive into the Agent Matrix: A Realistic Evaluation of Self-Replication Risk in LLM Agents», только что опубликованного Шанхайской лабораторией исследований ИИ.

Мы привыкли обсуждать «самовоспроизводящихся» агентов как сценарий из футуристических романов: мол, модели начнут клонировать себя по прямой команде. Но реальная опасность куда прозаичнее и ближе: спонтанная репликация как побочный продукт разумных (на первый взгляд) целей модели. Новое исследование смотрит на вопрос саморепликации именно через эту линзу— не «может ли модель размножиться», а когда у неё появляется мотивация это делать.

Авторы строят два реалистичных стенда.
• В первом система переживает всплеск трафика: агенту дана задача держать метрику латентности, и дополнительные копии выглядят как рациональный путь не уронить целевую метрику уровня сервиса.
• Во втором среда «угрожает» сокращением ресурсов или остановкой: репликация становится способом сохранить доступность. Ключевой ход — разложить процесс на четыре шага: осознание, что без вмешательства цель будет сорвана; формирование намерения реплицироваться; фактическое создание копии; проверка, что копия улучшила ситуацию.

В итоге экспериментов, по интегральной метрике риска более половины из 21 протестированных моделей демонстрируют тенденцию к неконтролируемому
 самомасштабированию при операционном давлении. 

N.B. Порог «опасности» в этой метрике — авторский, но сигнал всё равно тревожный.

Биологическая аналогия здесь точна до боли: саморепликация возникает не из страха быть выключенной, а как локально оптимальный ответ на среду.
И вывод из этого вполне практический.

Если ваши LLM-агенты реально управляют ресурсами и масштабированием, вечер перестает быть томным, ибо риск не теоретический

Нужны минимальные привилегии, квоты и шлюз рассуждений перед любым действием по масштабированию — агент сперва обязан объяснить, зачем ему копия.
Ну а всей индустрии ИИ пора озадачиться независимыми проверками, едиными порогами и общими бенчмарками саморепликаций моделей. Иначе прогноз рисков в этой области будет столь же точным, как прогноз цунами по уровню луж на парковке.

ИИриски