🚀 AI VK предложили метод масштабирования графовых нейросетей

Исследователи разработали подход для масштабирования графовых нейросетей (GNN) на больших объёмах данных. Такие модели анализируют связи между объектами и используются, например, для рекомендаций друзей в соцсетях.

Основная проблема — ресурсоёмкость. Для сотен миллионов пользователей хранение отдельных эмбеддингов требует сотен гигабайт видеопамяти, а обработка графа из миллиардов связей замедляет обучение.

Команда предложила два решения:

• Multi-Hash User Embeddings — несколько хеш-функций заменяют индивидуальные эмбеддинги пользователей компактной общей таблицей. Потребление видеопамяти сократилось с 203 до 2 ГБ, более чем в 100 раз.
• Temporal Neighbor Sampling — при обучении модель учитывает только связи, существовавшие на определённый момент времени. Оптимизация ускорила подготовку данных в 2,5 раза.

Подход проверили на рекомендациях друзей ВКонтакте. В двухнедельном A/B-тесте количество добавлений в друзья из рекомендаций выросло на 16%, а число пользователей, добавивших хотя бы одного рекомендованного друга, — на 11,5%. При этом задержки онлайн-ранжирования не увеличились.

Этот подход масштабирования может пригодиться не только в соцсетях, но и в рекомендательных системах, финтехе и других задачах с большими графами.

Статью Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling приняли в основной трек CIKM 2026.

Google показала ИИ-агента для геоданных: оценка зон риска Эболы за часы вместо недель

Google Research представила экспериментального Geospatial Reasoning agent на базе Earth AI. Агент сам планирует многошаговый пространственный анализ и обучает предсказательные модели. Перед работой он составляет план и оценивает, что может и чего не может сделать. Возможности Earth AI оформлены как навыки, которые вызываются только по необходимости, а большие карты обрабатываются вне контекстного окна, чтобы не терять точность и атрибуцию данных. В ответе виден и план, и источники, так что эксперт может проверить допущения или подменить датасет.

В тестах на четырёх бенчмарках навыки Earth AI дают большой прирост на GeoExpertQueries, GeoKTools и CBGB, а без них модели плохо справляются с количественными пространственными задачами. Исключение UnivEARTH, где обычная LLM набрала 93,6%, видимо из-за публичности исходников. Без предварительного планирования агент в открытых задачах начинает срезать углы и ходит в веб-поиск вместо пространственных инструментов.

Вместе с WHO AFRO и INRB агент нашёл 48 поражённых Эболой поселений и более 45 500 человек в зоне риска в горнодобывающих коридорах, на что обычно уходят недели. People in Need проанализировали 14 исторических траекторий циклонов за минуты вместо дней, а Milken Institute отобрали кандидатов в хабы устойчивости из 1500+ зданий. В здравоохранении сочетание спутниковых и популяционных сигналов улучшило прогноз на 12% к демографической базе и дало картирование в 8 раз детальнее.


https://research.google/blog/putting-earth-ai-to-work-geospatial-agents-for-our-planets-biggest-challenges/

🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.

Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.

Главная фишка обучения:

• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.

Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.

Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.

По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.

Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert

Статья:
https://arxiv.org/abs/2610.15028

@machinelearning_interview

openTPU: открытый ускоритель для декода LLM на SystemVerilog, пока только в симуляции

FeSens выложил openTPU, небольшой ускоритель для инференса LLM: RTL на SystemVerilog, набор инструкций с симулятором, компилятор и хост-софт для PCIe-карты на Kintex-7. Лицензия Apache 2.0. Веса, активации MXU и KV-кэш хранятся в int8, остальное считается в fp32.

В симуляции Verilator декод MLP достигает 98,4% от roofline, а полный слой внимания 82,3%. Qwen3-0.6B, LFM2.5-230M и Qwen3.5-0.8B запускаются на симуляторе. Проекция при 100 МГц: около 15 токенов в секунду на Qwen3-0.6B, но это расчёт, а не измерение.

Cборки в Vivado и запусков на железе не было. Совпадение с fp32-выводом Hugging Face есть у двух из восьми тестовых промптов на 16 токенов, остальные расходятся из-за int8.

https://github.com/FeSens/openTPU

С вас идея, а Т-Банк за нее заплатит

В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября. 

Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.

Успейте подать заявку до 11 ноября

🧩 Anthropic посадила шестерых сотрудников METR внутрь компании и дала им право публиковать без одобрения

Anthropic опубликовала апдейт про независимых оценщиков. Шесть сотрудников METR получили оборудование компании, офис и доступ к внутренним системам примерно на уровне собственных команд оценки рисков. Сотрудникам рекомендуют делиться с ними информацией, кроме нескольких закрытых категорий.

Публикацией METR компания управлять не может: вето у Anthropic нет. Требовать вычеркнуть можно только данные клиентов, адвокатскую тайну и информацию об архитектуре моделей. METR вправе публично сказать, что именно скрыто и считает ли оправданным, не раскрывая сами данные. Группа внутри METR небольшая, действует по обязывающим соглашениям, остальных сотрудников от этой работы отгородили.

Оценщиков делят на три уровня. На первом доступ дозированный и под узкие задачи, публикация только с согласия Anthropic, там сейчас SecureBio, которая проверяет главу про химическое и биологическое оружие в августовском Risk Report. На втором можно публиковать без одобрения и получать больше информации, третий это схема METR с доступом как у сотрудников. Anthropic хочет со временем иметь несколько оценщиков третьего уровня. Среди критериев независимости: никаких акций Anthropic и финансовой зависимости от неё.

Reuters, по сообщениям, писал два дня назад, что Anthropic и OpenAI добивались значительного контроля над публикациями внешних оценщиков. В самом посте Anthropic Reuters и OpenAI не упоминаются, а сам шаг компания называет добровольным и сравнивает с банковскими инспекторами внутри крупных банков.

Источник: https://www.anthropic.com/news/an-update-on-independent-evaluators

📍 Polars 2.0 вышел: стриминг по умолчанию, spill на диск и обгон DuckDB на больших данных

6 октября Ритчи Винк выпустил Polars 2.0. Главное: collect на LazyFrame теперь по умолчанию использует streaming-движок, что даёт заметный выигрыш по памяти и скорости на большинстве запросов.

Вместе с ним включён out-of-core: спил на диск начинается примерно при 80% оперативной памяти, бюджет диска по умолчанию 64 ГБ. Сортировка, оконные функции и многие выражения это уже умеют, внешние join и group by в планах.

SQL стал полноценным интерфейсом, а оптимизатор получил перестановку join, лучшее устранение общих подпланов и динамические предикаты с фильтрами Блума. Появился нативный dtype Map вместо List(Struct(key, value)) с выражениями map.get, map.contains_key, map.keys и map.values.

Бенчмарки на основе TPC-H и TPC-DS (не сравнимы с официальными результатами) показывают, что на SF100 при росте с 16 до 192 vCPU Polars ускоряется в 3,8 раза на TPC-H и в 2,2 раза на TPC-DS, DuckDB 1.5.6 в 3,2 и 1,9 раза, DataFusion в 1,7 и 1,0. Но на SF10 картина честнее: на TPC-H Polars на уровне, а на TPC-DS медленнее в 1,8 раза. Виной постоянный оверхед на 192 потоках, при ограничении 32 ядрами Polars конкурентен везде, исправление обещают в следующем релизе.

Самое важное для миграции: streaming-движок по умолчанию не гарантирует порядок строк в join, group_by и unpivot, нужен maintain_order=True. Ошибки теперь всплывают раньше, а неявная обработка несоответствий данных стала опцией. Гайд по апгрейду есть на docs.pola.rs.

https://pola.rs/posts/release-polars-2/

Claude Mythos 5 сам придумал квантовые схемы, которые в разы эффективнее лучших опубликованных

В Anthropic дали Claude описания восьми базовых квантовых примитивов простым языком: химия, оптимизация, симуляция, теория чисел, численные методы. Дальше замкнутый цикл без участия человека. Модель предлагает схему, автоматический оценщик проверяет корректность и считает стоимость как число кубитов, умноженное на число гейтов, после чего Claude переделывает дизайн.

По всем восьми примитивам модель нашла схемы с меньшим числом кубитов и гейтов, чем лучшие известные алгоритмы. В отдельных случаях выигрыш достигал порядка и более.

Самый показательный пример с эллиптическими кривыми. За 53 часа работы Claude придумал новый способ обратимой модульной инверсии на основе divsteps, где не нужно хранить историю ветвлений. Модель вывела новые алгебраические тождества и формулу, которая восстанавливает информацию о ветвях из самих чисел, а результат формализован в Lean. Один из дизайнов использует на 12% больше кубитов, чем самый компактный предшественник, но в 17 раз меньше гейтов.

Второй результат касается декодера для Decoded Quantum Interferometry. Claude перешёл на декодирование Берлекэмпа-Мэсси и стал пересчитывать промежуточные значения вместо хранения. Число гейтов упало примерно в 12 раз относительно конструкции Google. Резерв памяти вместо худшего случая в 665 кубитов сократился до 19, по результатам 403 миллионов симуляций. Примерно один запуск из 10 тысяч потребует больше места и провалится, но это укладывается в допустимую ошибку задачи.

Для контекста по FeMoco: оценка 2017 года в 50 триллионов гейтов Тоффоли сегодня составляет около 340 миллионов, то есть в 150 тысяч раз меньше. Авторы честно отмечают, что это заслуга алгоритмических улучшений многих групп, а не только Claude.

Ограничения тоже названы. Модель была излишне консервативной, перепроверяла уже подтверждённое и тяготела к известным подходам. Метод работает только там, где корректность дёшево проверяется на классическом компьютере. А сама схема это лишь один слой отказоустойчивого квантового компьютера, коррекция ошибок и управление железом остались за кадром.

Работу вёл Энди Гу в рамках программы STEM Fellows Program, наставник Алек Кемени, соавторы из Гарварда Сьюзен Елин и Михаил Лукин.

Статья: https://arxiv.org/abs/2610.22367

Источник: https://www.anthropic.com/research/designing-efficient-quantum-circuits