🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.

Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.

Главная фишка обучения:

• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.

Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.

Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.

По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.

Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert

Статья:
https://arxiv.org/abs/2610.15028

@machinelearning_interview

openTPU: открытый ускоритель для декода LLM на SystemVerilog, пока только в симуляции

FeSens выложил openTPU, небольшой ускоритель для инференса LLM: RTL на SystemVerilog, набор инструкций с симулятором, компилятор и хост-софт для PCIe-карты на Kintex-7. Лицензия Apache 2.0. Веса, активации MXU и KV-кэш хранятся в int8, остальное считается в fp32.

В симуляции Verilator декод MLP достигает 98,4% от roofline, а полный слой внимания 82,3%. Qwen3-0.6B, LFM2.5-230M и Qwen3.5-0.8B запускаются на симуляторе. Проекция при 100 МГц: около 15 токенов в секунду на Qwen3-0.6B, но это расчёт, а не измерение.

Cборки в Vivado и запусков на железе не было. Совпадение с fp32-выводом Hugging Face есть у двух из восьми тестовых промптов на 16 токенов, остальные расходятся из-за int8.

https://github.com/FeSens/openTPU

С вас идея, а Т-Банк за нее заплатит

В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября. 

Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.

Успейте подать заявку до 11 ноября

🧩 Anthropic посадила шестерых сотрудников METR внутрь компании и дала им право публиковать без одобрения

Anthropic опубликовала апдейт про независимых оценщиков. Шесть сотрудников METR получили оборудование компании, офис и доступ к внутренним системам примерно на уровне собственных команд оценки рисков. Сотрудникам рекомендуют делиться с ними информацией, кроме нескольких закрытых категорий.

Публикацией METR компания управлять не может: вето у Anthropic нет. Требовать вычеркнуть можно только данные клиентов, адвокатскую тайну и информацию об архитектуре моделей. METR вправе публично сказать, что именно скрыто и считает ли оправданным, не раскрывая сами данные. Группа внутри METR небольшая, действует по обязывающим соглашениям, остальных сотрудников от этой работы отгородили.

Оценщиков делят на три уровня. На первом доступ дозированный и под узкие задачи, публикация только с согласия Anthropic, там сейчас SecureBio, которая проверяет главу про химическое и биологическое оружие в августовском Risk Report. На втором можно публиковать без одобрения и получать больше информации, третий это схема METR с доступом как у сотрудников. Anthropic хочет со временем иметь несколько оценщиков третьего уровня. Среди критериев независимости: никаких акций Anthropic и финансовой зависимости от неё.

Reuters, по сообщениям, писал два дня назад, что Anthropic и OpenAI добивались значительного контроля над публикациями внешних оценщиков. В самом посте Anthropic Reuters и OpenAI не упоминаются, а сам шаг компания называет добровольным и сравнивает с банковскими инспекторами внутри крупных банков.

Источник: https://www.anthropic.com/news/an-update-on-independent-evaluators

📍 Polars 2.0 вышел: стриминг по умолчанию, spill на диск и обгон DuckDB на больших данных

6 октября Ритчи Винк выпустил Polars 2.0. Главное: collect на LazyFrame теперь по умолчанию использует streaming-движок, что даёт заметный выигрыш по памяти и скорости на большинстве запросов.

Вместе с ним включён out-of-core: спил на диск начинается примерно при 80% оперативной памяти, бюджет диска по умолчанию 64 ГБ. Сортировка, оконные функции и многие выражения это уже умеют, внешние join и group by в планах.

SQL стал полноценным интерфейсом, а оптимизатор получил перестановку join, лучшее устранение общих подпланов и динамические предикаты с фильтрами Блума. Появился нативный dtype Map вместо List(Struct(key, value)) с выражениями map.get, map.contains_key, map.keys и map.values.

Бенчмарки на основе TPC-H и TPC-DS (не сравнимы с официальными результатами) показывают, что на SF100 при росте с 16 до 192 vCPU Polars ускоряется в 3,8 раза на TPC-H и в 2,2 раза на TPC-DS, DuckDB 1.5.6 в 3,2 и 1,9 раза, DataFusion в 1,7 и 1,0. Но на SF10 картина честнее: на TPC-H Polars на уровне, а на TPC-DS медленнее в 1,8 раза. Виной постоянный оверхед на 192 потоках, при ограничении 32 ядрами Polars конкурентен везде, исправление обещают в следующем релизе.

Самое важное для миграции: streaming-движок по умолчанию не гарантирует порядок строк в join, group_by и unpivot, нужен maintain_order=True. Ошибки теперь всплывают раньше, а неявная обработка несоответствий данных стала опцией. Гайд по апгрейду есть на docs.pola.rs.

https://pola.rs/posts/release-polars-2/

Claude Mythos 5 сам придумал квантовые схемы, которые в разы эффективнее лучших опубликованных

В Anthropic дали Claude описания восьми базовых квантовых примитивов простым языком: химия, оптимизация, симуляция, теория чисел, численные методы. Дальше замкнутый цикл без участия человека. Модель предлагает схему, автоматический оценщик проверяет корректность и считает стоимость как число кубитов, умноженное на число гейтов, после чего Claude переделывает дизайн.

По всем восьми примитивам модель нашла схемы с меньшим числом кубитов и гейтов, чем лучшие известные алгоритмы. В отдельных случаях выигрыш достигал порядка и более.

Самый показательный пример с эллиптическими кривыми. За 53 часа работы Claude придумал новый способ обратимой модульной инверсии на основе divsteps, где не нужно хранить историю ветвлений. Модель вывела новые алгебраические тождества и формулу, которая восстанавливает информацию о ветвях из самих чисел, а результат формализован в Lean. Один из дизайнов использует на 12% больше кубитов, чем самый компактный предшественник, но в 17 раз меньше гейтов.

Второй результат касается декодера для Decoded Quantum Interferometry. Claude перешёл на декодирование Берлекэмпа-Мэсси и стал пересчитывать промежуточные значения вместо хранения. Число гейтов упало примерно в 12 раз относительно конструкции Google. Резерв памяти вместо худшего случая в 665 кубитов сократился до 19, по результатам 403 миллионов симуляций. Примерно один запуск из 10 тысяч потребует больше места и провалится, но это укладывается в допустимую ошибку задачи.

Для контекста по FeMoco: оценка 2017 года в 50 триллионов гейтов Тоффоли сегодня составляет около 340 миллионов, то есть в 150 тысяч раз меньше. Авторы честно отмечают, что это заслуга алгоритмических улучшений многих групп, а не только Claude.

Ограничения тоже названы. Модель была излишне консервативной, перепроверяла уже подтверждённое и тяготела к известным подходам. Метод работает только там, где корректность дёшево проверяется на классическом компьютере. А сама схема это лишь один слой отказоустойчивого квантового компьютера, коррекция ошибок и управление железом остались за кадром.

Работу вёл Энди Гу в рамках программы STEM Fellows Program, наставник Алек Кемени, соавторы из Гарварда Сьюзен Елин и Михаил Лукин.

Статья: https://arxiv.org/abs/2610.22367

Источник: https://www.anthropic.com/research/designing-efficient-quantum-circuits

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

🌍 Четыре агента на Gemini прошли Minecraft за 27 часов и победили Эндер-дракона

Исследователи Максанс Фальдор, Сатиндер Сингх и Роберта Райляну опубликовали на arXiv эксперимент: четыре обычных кодинг-агента на базе Gemini 4 Argon прошли Minecraft в режиме выживания и убили дракона. Никакой специализированной игровой системы, ролей и готовых инструментов не было. Партия заняла 27 часов 14 минут и 2783 написанные агентами программы.

Агенты не видели экрана и не нажимали клавиш. Каждый управлял персонажем через библиотеку Mineflayer: писал короткую программу, запускал и читал вывод, то есть позицию, здоровье, инвентарь или ошибку. Общались через игровой чат и общую память. Мир случайный, сложность Easy, мобы враждебные.

Уже через 10 минут агенты сами распределили роли: инструменты, еда, алмазы, портал в Нижний мир. Для поиска крепости один бросил предмет-указатель из двух точек, отследил траектории в коде и вычислил пересечение. Крепость была в 1,3 км, ошибка составила 43 метра.

Дракон стал самым тяжёлым этапом: агенты возрождались 69 раз и между попытками записывали выводы. Один заметил, что дракона лечат кристаллы на башнях, насыпал землю у башни, разбил кристалл рукой и спустился. Финальный удар нанёс игрок, у которого оставалось 2,5 единицы здоровья из 20.

Для честности добавили пятого агента, Observer, который искал читы и обход условий. Программы могли управлять только своим персонажем, без запуска процессов, записи файлов и серверных команд. Нарушений не нашли ни он, ни ручная проверка логов.

Ограничения авторы называют сами. Агенты получали точные данные о блоках и существах через API, а не картинку, маршруты прокладывал плагин поиска пути, а сложность была низкой. Ошибок хватало: 605 смертей за игру и 22% программ завершились сбоем. Следующий шаг, игра по пикселям через виртуальные клавиатуру и мышь.

Общий файл заметок, растущая библиотека переиспользуемых функций (одна из них использовалась в 655 программах), разбор неудач перед новой попыткой и отдельный агент-наблюдатель, проверяющий честность решения.

Отчёт: https://arxiv.org/abs/2610.22319

Источник: https://uproger.com/gemini-agenty-minecraft/

🧬 ИИ научился расшифровывать сигналы, которые определяют судьбу клеток

Как стволовая клетка становится частью сердца, мозга или лёгких? В этом ей помогают химические сигналы от соседних клеток.

Исследователи MIT и Института Уайтхеда создали IRIS, модель, которая по активности генов определяет, какие сигналы получала клетка. Каждый сигнальный путь оставляет характерный «отпечаток», который ИИ учится распознавать.

Модель обучили на человеческих эмбриональных стволовых клетках, а затем применили к клеткам эмбрионов мышей, включая типы, которых она раньше не видела.

IRIS предсказала, что активация определённого сигнального пути поможет сформировать клетки, важные для развития лёгких. Эксперименты на мышиных эмбрионах подтвердили прогноз.

В перспективе это поможет точнее выращивать органоиды, лабораторные модели органов, для изучения болезней и проверки лекарств. Восстановление повреждённых тканей остаётся дальнейшей целью.

https://news.mit.edu/2026/ai-model-decodes-language-cells-use-communicate-1015