🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.

Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.

Главная фишка обучения:

• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.

Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.

Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.

По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.

Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert

Статья:
https://arxiv.org/abs/2610.15028

@machinelearning_interview

С вас идея, а Т-Банк за нее заплатит

В Т-Банке ищут трейдеров, разработчиков и тех, кто просто увлекается инвестициями. Зарегистрируйтесь на программу «Инвест. Премаркет» до 11 ноября. 

Ваши AI-сценарии для бизнеса смогут побороться за призовой фонд программы — 2 500 000 ₽. А сами идеи Т-Банк поможет масштабировать и сделать частью бизнеса.

Успейте подать заявку до 11 ноября

🤖 600 млрд параметров и миллион токенов контекста: StepFun открыла веса Step-5-Preview.

Модель заточена под длинные агентные задачи: искать информацию, разбирать данные, писать и исправлять код, собирать готовые отчёты, таблицы и сайты.

Что внутри:

• MoE-архитектура: 600 млрд параметров, из которых на каждый токен активируются 27 млрд.
• Контекст 1 млн токенов, поддержка изображений и сценариев с тысячами взаимодействий.
• 49% на StepCodeBench: первое место среди открытых моделей в сравнении разработчиков. Тест охватывает генерацию кода, исправление багов, рефакторинг и оптимизацию.
• Веса доступны под StepFun Community License.

Главный интерес здесь в том, насколько уверенно модель доводит длинную задачу до готового результата.

https://www.modelscope.cn/models/stepfun-ai/Step-5-Preview

🔥 Модель на 125 млрд параметров на игровой видеокарте с 12 ГБ памяти.

Strata позволяет запускать Qwen3.8-Flash-Next локально на обычном ПК.

По замерам разработчиков, RTX 5070 выдаёт:

• 94 токена/с с квантизацией Q2_0.
• 53 токена/с с IQ3_S.

Есть нюанс: тестировали на компьютере с 64 ГБ оперативной памяти. Минимальные требования проекта начинаются с 32 ГБ, но доступные варианты модели зависят от объёма RAM.

И ещё: Q2 сильно сжимает веса, поэтому скорость стоит оценивать вместе с качеством ответов на своих задачах.

Поддерживаются Windows и Linux, есть локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов.

https://github.com/Niko1221/Strata

🦥 816 млрд параметров на Mac Studio: Unsloth выпустила GGUF для Muse Spark Open

Модель получила динамическую 2-битную квантизацию, с которой её можно запускать локально на машине с 256 ГБ памяти.

Что внутри:

• 816 млрд параметров, около 42,7 млрд активны на токен.
• Вход: текст, изображения, видео и аудио. Выход: текст.
• Контекст до 1 млн токенов.
• Обучение на длинных задачах программирования, работе с инструментами и исследованиях.

256 ГБ хватает для самой компактной 2-битной версии, а увеличение контекста требует дополнительной памяти. Для агентных задач Unsloth рекомендует квантизацию не ниже UD-IQ2_S: самые маленькие варианты заметнее теряют качество.

GGUF: https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF

Гайд: https://unsloth.ai/docs/models/muse-spark-open

🔥 Полный гайд по локальному запуску DeepSeek на русском: от домашнего ПК до сервера с 8 GPU

В открытом доступе появился репозиторий с руководством из 18 частей о том, как запустить DeepSeek V4, R1 и дистилляты у себя, без облака и интернета. Бесплатно, приватно и офлайн.

Внутри весь путь: выбор модели и расчёт железа, установка и настройка Ollama, llama.cpp, LM Studio, Open WebUI, vLLM и SGLang, работа через API и Python, подключение к IDE. Дальше промптинг, ускорение, RAG, агенты и fine-tuning, а в конце топ-30 приёмов, разбор ошибок, FAQ и готовые конфиги.

Для домашнего ПК основной вариант это R1-дистилляты от 1.5B до 70B. Запуск одной командой: ollama run deepseek-r1:8b. По таблицам гайда в кванте Q4 модель на 8B занимает 5-6 ГБ памяти, на 14B около 9-10 ГБ, на 32B около 20 ГБ, на 70B около 43 ГБ.

Старшие модели уже про серверное железо. DeepSeek-V4-Flash на 284B параметров, из них 13B активных, с контекстом 1M требует около 103 ГБ в 3-битном кванте. DeepSeek-V4-Pro на 1.6T параметров с 49B активными нужны 800 ГБ и больше, то есть сервер с 8 GPU.

Несколько практичных советов из гайда. Для русского языка брать модели от 14B, на меньших дистиллятах качество заметно проседает. Квант Q4_K_M считается стандартным выбором, а большая модель в низком кванте обычно лучше маленькой в высоком. Температура около 0.6 для R1 и 1.0 для V4. Проверять через ollama ps, что модель целиком на GPU. И не открывать порт Ollama 11434 в интернет: у API нет пароля.

Репозиторий: https://github.com/justxor/deepseek-local-guide-ru

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_ci
Java: t.me/java_library
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

🤖 Маск: госдолг США спасут роботы и ИИ. Сэкономить не получилось

В интервью Уолтеру Айзексону Илон Маск признал, что работа DOGE не решила проблему бюджетного дефицита. По его словам, у президента, Конгресса и других ветвей власти нет достаточной готовности сокращать расходы.

Теперь предприниматель называет ИИ и роботизацию единственным выходом из долговой проблемы.

Масштаб задачи: в августе совокупный госдолг США впервые превысил $40 трлн. По прогнозу бюджетного управления Конгресса, долг в руках инвесторов, без внутригосударственных обязательств, достигнет 108% ВВП к 2030 году. Это разные показатели, которые важно не смешивать.

Ставка Маска понятна: автоматизация должна резко увеличить производство и доходы экономики. Но что этот рост окажется достаточным для решения долговой проблемы, ещё предстоит доказать.

https://www.axios.com/2026/10/17/elon-musk-doge-walter-isaacson-podcast

🛠 Claude Code забывает контекст и расходует токены? 5 репозиториев в закладки.

1. claude-mem
Сохраняет историю работы между сессиями, сжимает её и возвращает релевантные детали. Помогает продолжать работу без повторного объяснения проекта.
https://github.com/thedotmack/claude-mem

2. Context Mode
Обрабатывает большие ответы инструментов вне контекстного окна. Вместо целых логов и JSON модель получает отобранный результат.
https://github.com/mksglu/context-mode

3. XERJ
Индексирует код, документацию, логи и PDF. Агент может находить нужные фрагменты через поиск, сокращая чтение файлов целиком.
https://github.com/xerj-org/xerj

4. gstack
Набор инструментов от Гарри Тана для планирования, дизайна, ревью, тестирования и выпуска изменений. Помогает выстроить процесс разработки с Claude Code.
https://github.com/garrytan/gstack

5. Orca
Среда для управления несколькими coding-агентами с доступом с компьютера и телефона. Поддерживает работу через собственные подписки.
https://github.com/stablyai/orca

Для памяти, контекста и поиска присмотритесь к первым трём. gstack и Orca пригодятся для организации работы, но сами по себе экономию токенов не гарантируют.