Машинное обучение digest
57 subscribers
1.69K photos
224 videos
925 links
Download Telegram
✔️ Sakana AI выпустили RePo - LLM, которые умеют “наводить порядок” в контексте

Обычные языковые модели читают текст как одну длинную ленту.

Что ближе к началу внимания - то “важнее”.
Что дальше - то модель видит хуже.

И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать.

Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном.

Sakana AI предложили решение - RePo (Context Re-Positioning).

Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст.

Примерно как человек:
ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её , а лишнее игнорируешь.

Что делает RePo
- подтягивает важные куски информации ближе
- отодвигает шум и лишний текст
- помогает вниманию модели фокусироваться на нужном

В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают:
- когда контекст длинный
- когда много шума
- когда важные детали раскиданы далеко друг от друга
- когда данные структурированные (таблички, списки, правила)

Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество.

▶️ Устойчивость к шуму (Noisy Context)
Средний результат по 8 noisy-бенчмаркам:

- Обычный RoPE: 21.07
- RePo: 28.31

🟡 Прирост: +7.24 пункта (сильно)

Авторы отдельно фиксируют ключевую цифру:
на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта.

🔥 Примеры прироста на конкретных задачах
(везде RePo > RoPE)

- TriviaQA: 61.47 → 73.02 (+11.55)
- GovReport: 6.23 → 16.80 (+10.57)
- 2WikiMultihopQA: 23.32 → 30.86 (+7.54)
- MuSiQue: 7.24 → 13.45 (+6.21)

Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память.

🟡Подробности: pub.sakana.ai/repo/
🟡Статья: arxiv.org/abs/2512.14391

@ai_machinelearning_big_data

#RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌍 DeepSeek захватывает рынки там, где западные AI-сервисы недоступны

Microsoft собрали оценку глобальной доли DeepSeek - и картина очень показательная.

В Северной Америке и Европе adoption остаётся низким.
Зато в регионах, где доступ к американским сервисам ограничен (или где зарубежные технологии стоят слишком дорого), DeepSeek резко набирает популярность:

- Китай
- Россия
- Иран
- Куба
- Беларусь
- страны Африки (там использование оценивают в 2-4 раза выше, чем в других регионах)

DeepSeek оказался идеальным продуктом для “недообслуженных” рынков:
- больше открытости
- ниже цена
- проще доступ
- лучше адаптация под локальные реалии

И главный вывод тут не про “кто сильнее по бенчмаркам”.
Глобальное распространение ИИ определяется не только качеством модели.

А ещё:
- доступностью
- стоимостью
- языком
- политическими и инфраструктурными ограничениями

Люди выбирают не “самый хайповый AI”, а тот, который реально работает в их стране и подходит по условиям.

microsoft.com/en-us/corporate-responsibility/topics/ai-economy-institute/reports/global-ai-adoption-2025/
⚡️ Финляндия научилась передавать “электричество по воздуху” - без проводов

Учёные из Финляндии (в том числе Университет Хельсинки) показали очень необычную штуку: они смогли управляемо передавать электрический разряд через воздух, используя… звук.

Идея выглядит как sci-fi, но логика простая.

Обычно электрическая искра ведёт себя хаотично - разветвляется и летит туда, где ближе металл. Её почти невозможно “направить”, как провод.

А тут исследователи сделали “невидимый провод” в воздухе:
мощные ультразвуковые волны создают в воздухе стабильный канал (как дорожку), по которому искра идёт в нужном направлении.

Эту технологию называют acoustic wire - “акустический провод”.
Она пока экспериментальная, но потенциально может дать:
- бесконтактные соединения (без вилок и кабелей)
- управление искрами в промышленности (сварка/разряд)
- новые “умные интерфейсы”, где питание может подключаться буквально через воздух

Параллельно финны развивают и другие варианты беспроводной энергии:
- power-by-light - питание лазером на удалённый приёмник (важно для опасных мест: АЭС, высоковольтные станции)
- harvesting радиоволн - сбор энергии из окружающих сигналов (почти “Wi-Fi для питания”) для IoT-датчиков, чтобы не менять батарейки

Главная мысль
Тренд двигается к миру, где питание становится более гибким:
меньше проводов, больше “доставки энергии” под задачу.

Источник (University of Helsinki): направляли искры ультразвуком, фактически создавая “невидимый электрический провод”.
⚡️ В одном месте собрали инфу о 925 (!) провалившихся венчурных стартапах.

Да, это буквально кладбище проектов - но невероятно полезное.

Внутри не просто список, а полноценные разборы:
почему взлетели/упали, сколько денег сожгли, какие решения их убили, где была критическая ошибка - и главное: что из этого можно безопасно забрать себе, а что повторять нельзя ни при каких условиях.

А ещё там встроенный ИИ, который берёт провалившийся проект и делает “версию 2.0”:
придумывает название, концепт, рынок, техстек, план запуска и монетизацию, но уже с учётом прошлых ошибок.

Как минимум - очень залипательно.

Стартаперы, вам точно стоит изучить
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 China Telecom выкатили TeleChat3-36B-Thinking - и самое интересное тут даже не размер модели, а инфраструктура, на которой её сделали.

TeleChat3-36B-Thinking обучали на отечественных китайских ускорителях Huawei Ascend (NPU) и в экосистеме MindSpore.

Что интересного :
- модель нативно заточена под экосистему Ascend + MindSpore
- дизайн вдохновлён архитектурными идеями DeepSeek
- упор на стабильность обучения и эффективность

Китай всё активнее уходит в полный собственный (суверенный) стек AI:
“свои чипы → свой фреймворк → свои модели”.

То есть даже при ограничениях на доступ к NVIDIA, они продолжают выпускать большие модели и развивать экосистему - уже без зависимости от западного железа.

Ссылка на модель:
https://huggingface.co/Tele-AI/TeleChat3-36B-Thinking
🚀 STEP3-VL-10B - мультимодальная модель, которая бьёт гигантов (и весит всего 10B)

StepFun выпустили STEP3-VL-10B - компактную open multimodal модель, которая по метрикам догоняет и местами обгоняет монстров в 10-20 раз больше.

Что заявляют по качеству
- держит SOTA/near-SOTA по визуальному восприятию + reasoning
- на ряде тестов конкурирует с GLM-4.6V, Qwen3-VL и даже Gemini 2.5 Pro
- сильна в OCR, понимании GUI, пространственном мышлении (важно для embodied AI)

Ключевые цифры
- обучена на 1.2T токенов
- 1400+ RL-раундов (RLHF + RLVR)
- поддержка PaCoRe (parallel collaborative reasoning) и контекст до 128K
- в классе <10B лидирует в STEM-задачах:
94.43% на AIME 2025 (с PaCoRe)

Архитектура
- PE-lang visual encoder (1.8B)
- Qwen3-8B decoder
- multi-crop high-res: 728×728 global + локальные кропы

Почему это важно
Тренд очевиден: индустрия уходит от “просто больше параметров”.
Теперь выигрывает тот, кто:
- грамотно собирает архитектуру
- делает сильный RL
- и выжимает максимум из маленькой модели


Base: https://modelscope.cn/models/stepfun-ai/Step3-VL-10B-Base
Chat: https://modelscope.cn/models/stepfun-ai/Step3-VL-10B
⚡️ Китай уже генерирует/потребляет электричества больше, чем США и ЕС вместе - и это становится главным “оружием” в гонке ИИ

Есть сильный факт, который многие недооценивают:
Китай уже вышел на уровень 10+ трлн кВт·ч годового потребления электричества (в 2025) - это рекорд для одной страны.

И именно поэтому возникает тезис:
энергия становится главным bottleneck для ИИ - даже важнее, чем сами чипы.

Почему?
ИИ - это не только “GPU”.
Это ещё и:
- мегаватты питания
- охлаждение
- сетевые мощности
- стабильная инфраструктура 24/7

США активно расширяют дата-центры и энергосистему, но упираются в то, что:
даже при деньгах и технологиях электричество, линии и подключение становятся узким горлышком.

Европа - отдельная история: рынок солнечной энергетики когда-то пытались развивать, но в итоге лидерство в solar полностью ушло Китаю, и сейчас Китай доминирует по производству и установке мощностей.

Главный вывод
Гонка ИИ всё больше выглядит так:

**США меряют мощность в compute (GPU/TPU).
Китай меряет мощность в энергии (TWh + инфраструктура).**

И, похоже, победит тот, кто быстрее масштабирует не “модели”, а базовую физику - электричество.
⚡️ GLM-4.7-Flash - “быстрый” MoE-монстр, который вывозит coding и агентов локально

Z.ai (семейство ChatGLM) выложили GLM-4.7-Flash на Hugging Face - и это один из тех релизов, которые прям приятно тащить к себе на сервер.

Что это за модель
GLM-4.7-Flash - это MoE 30B-A3B:
то есть у неё “много параметров”, но активных на шаге всего ~3B, поэтому она:
- быстрее в инференсе
- легче в деплое
- дешевле в эксплуатации, чем плотные 30B

По бенчмаркам выглядит очень бодро:
- AIME 2025: 91.6
- GPQA: 75.2
- SWE-bench Verified: 59.2 (очень сильный показатель для coding-агентов)
- BrowseComp: 42.8

Почему это важно
Это “рабочая лошадь” под:
- локальные агентные пайплайны
- автокодинг / рефакторинг
- web-browsing задачи
- длинный контекст и быстрый inference

Плюс - уже заявлена поддержка vLLM и SGLang (на main ветках).

Ссылка: https://huggingface.co/zai-org/GLM-4.7-Flash

@data_analysis_ml
🔥1
⚡️ Google: проблема дата-центров уже не в “купить электричество”. Проблема - подключиться к сети

Google признались в очень показательной вещи:

Самое сложное в запуске новых дата-центров - не подписать контракт на электроэнергию.
Самое сложное - физически подключиться к магистральной электросети (transmission grid).

И там ад:
в некоторых регионах ожидание подключения растягивается до 10+ лет, а один оператор вообще называл 12 лет только на исследования interconnection.

То есть AI-бум упёрся не в модели и не в GPU…
а в бумажки, согласования, кабели и подстанции.

Что теперь главный bottleneck: чипы, электричество или подключение?
Сейчас всё чаще выигрывает третий вариант:

1) Чипы - уже не единственная проблема
GPU можно купить (дорого, но можно).

2) Электричество - можно законтрактовать
BigTech подписывает долгосрочные power deals, строит генерацию, даже заходит в атомку.

3) А вот grid connection - это настоящий стоп-кран
Потому что:
- мало линий передач
- всё перегружено
- долгие разрешения и стройка
- interconnection очереди на годы

Вывод
В 2026 bottleneck для ИИ всё чаще звучит так:

не “где взять GPU”, а “как подключить мегаватты к дата-центру”.

И это меняет игру: тот, кто быстрее строит энергетику + сеть, будет масштабировать AI быстрее всех.
🚀 10B параметров — производительность уровня 200B+!

STEP3-VL-10B - новая open-source SOTA vision-language модель.

🥊 При размере всего 10B она переопределяет эффективность: сопоставима или даже лучше, чем модели масштаба 100B/200B.

SOTA результаты:
STEM / мультимодальность: обходит GLM-4.6V (106B-A12B) и Qwen3-VL (235B-A22B) на MMMU, MathVision, MathVerse и других бенчмарках
Математика: почти идеальные результаты на AIME 24/25 — уровень “элитного” reasoning
2D/3D пространственное понимание: лучше моделей своего масштаба на BLINK / CVBench / OmniSpatial
Кодинг: доминирует на LiveCodeBench в задачах реального динамического программирования

Ключевые характеристики:
🔹 1.2T токенов pre-training с полным обновлением параметров
🔹 1400+ RL итераций для усиления reasoning
🔹 инновационная технология PaCoRe для динамического распределения вычислений

С качественными данными для обучения и системным post-training 10B модель может на равных драться с гигантами индустрии.


Base и Thinking версии доступны на HuggingFace!

Homepage: https://stepfun-ai.github.io/Step3-VL-10B/
Paper: https://arxiv.org/abs/2601.09668
HuggingFace: https://huggingface.co/collections/stepfun-ai/step3-vl-10b
ModelScope: https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B
🇨🇳 Почему Китай может быстрее всех внедрять ИИ в повседневную жизнь

В Китае отношение общества к ИИ-продуктам необычно позитивное - заметно более тёплое, чем во многих других странах.

И это важно, потому что:
меньше страхов и сопротивления
ниже “трение” при внедрении
ИИ проще массово встраивать в сервисы, которыми люди пользуются каждый день

Когда у аудитории нет сильного отторжения, внедрение идёт быстрее:
от платежей и поддержки клиентов до медицины, образования и госуслуг.

Но есть и второй фактор 👇

🌍 “Гравитация разработчиков” уходит в сторону Китая
В open-source всё сильнее заметен сдвиг:
доля скачиваний и активности постепенно перетекает от США и Европы к Китаю.

Если тренд сохранится, это означает:
- больше новых библиотек и фреймворков будет рождаться там
- больше tooling и инфраструктуры будет заточено под китайскую экосистему
- и в целом - Китай может стать центром притяжения для dev-сообщества в ИИ
🤖 ИИ превращает учёных в “конвейеры по выпуску статей”

Интересное наблюдение: AI-инструменты реально ускоряют карьеру учёных, но могут убить научное любопытство.

Что показало исследование (анализ 40+ миллионов научных работ): учёные, которые внедряют ИИ, в среднем:

📈 публикуют в 3 раза больше статей
получают почти в 5 раз больше цитирований
🏁 становятся тимлидами на 1-2 года раньше, чем те, кто ИИ не использует

То есть AI - это прямой буст:
скорость, видимость, карьера.

Но есть обратная сторона.

Минус:
наука может становиться менее “живой”.
AI-подход приводит к тому, что исследователи чаще:
- уходят в более узкие темы
- крутятся вокруг одних и тех же data-heavy задач
- вызывают меньше follow-up исследований (меньше новых веток и продолжений)

Итог парадоксальный:
👤 карьера учёного ускоряется
🧪 а научное открытие в среднем становится более “плоским”

ИИ увеличивает производительность.
Но вопрос остаётся: не снижает ли он разнообразие идей и риск ради настоящих прорывов?

spectrum. ieee.org/amp/ai-science-research-flattens-discovery-2674892739
🚨 Похоже найдены следы DeepSeek V4?.

В репозитории/ветках заметили MODEL1 - и самое интересное, что он выглядит как отдельная независимая ветка, параллельная V3.2.

То есть это не “патч” внутри линейки V3,
а похоже на:

новый модельный ряд
с другими архитектурными параметрами
потенциально flagship-апдейт

Если следовать неймингу DeepSeek:
после V3.2 крупный архитектурный скачок логично назывался бы V4.

Пока без официального подтверждения, но сигнал жирный:
если MODEL1 действительно новая архитектура, нас ждёт большой релиз.

https://x.com/nopainkiller/status/2013522059662614653
🌟 GenRobot RealOmni-OpenData: апдейт датасета для Embodied AI

RealOmni - это не просто каталог видео, где роборука хватает кубик на белом столе. Это мультимодальный подарок с траекториями, аннотациями и движениями суставов.

🟡Сенсоры
Картинка с Fisheye-камер, данные IMU (инерциалка), энкодеры и данные с тактильных датчиков с разрешением 1 мм.

🟡Сценарии
Снимали в 3000 реальных домах, никаких стерильных лабораторий: складывание одежды, завязывание шнурков, разбор посуды и сортировка всякого хлама.

🟡Bimanual manipulation
Почти все таски двурукие.

🟡Long-horizon
Медианная длина клипа ~ 210 секунд. То есть это не "схватил-положил", а полноценные процессы "достать, сложить, убрать в ящик".

В свежем обновлении добавили 35 тыс. клипов с фокусом на разгребание куч разнородных предметов. Это именно та задача, на которой сыпется большинство моделей.

Немного цифр о всем датасете

🟢Объем (заявленный): 95 ТБ (об этом ниже).
🟢Количество клипов: 1M+ (в планах).
🟢Разрешение: 1600x1296 @ 30fps.
🟢Формат: .mcap (стандарт для ROS, внутри сжатый H.264).

Весть проект запланирован объемом 95 ТБ и хронометражем 10,000 часов. Но если посчитать, то что уже залито (Stage 1 + Stage 2), то суммарно около 5.4 ТБ и ~1600 часов. Остальное обещают догрузить as soon as possible.

🟡Важно знать

Данные собраны специфическим гриппером GenDAS, так что если у вас другой сенсорный массив (или его нет), transfer learning может стать болью. Ассеты заточены под железку GenRobot.

Это все еще телеоперация. То есть мы учим робота копировать движения человека-оператора и если он тупил или руки дрожали сетка это тоже выучит.

Тем не менее, это очень крутой релиз для тех, кто пилит домашних роботов. Данные по завязыванию шнурков и разбору предметов в open-source редкость.



📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Robotics #Dataset #RealOmni #GenRoborAI
Please open Telegram to view this post
VIEW IN TELEGRAM
💼 5 AI-репозиториев, которые реально помогут устроиться на работу в 2026

Сохрани себе - это готовые идеи, которые можно собрать в портфолио и показать на собесе.

1) RAG с нуля (RAG from Scratch)
Поймёшь, как устроены retrieval, embeddings, чанкинг, ранжирование и ответы LLM.
GitHub: https://github.com/langchain-ai/rag-from-scratch

2) AI-агент для соцсетей (Social Media Agent)
Автоматизация контента: генерация постов, планирование, работа с трендами.
GitHub: https://github.com/langchain-ai/social-media-agent

3) Анализ медицинских изображений (Medical Image Analysis)
Компьютерное зрение + реальные кейсы: классификация, сегментация, пайплайны.
GitHub: https://github.com/databricks-industry-solutions/pixels

4) MCP Tool-Calling агенты
Агенты, которые умеют вызывать инструменты и внешние сервисы (LangGraph + MCP).
Notebook: https://docs.databricks.com/aws/en/notebooks/source/generative-ai/langgraph-mcp-tool-calling-agent.html

5) AI-ассистент с памятью (Assistant with Memory)
Персонализация: хранение контекста, long-term memory, улучшение диалогов со временем.
GitHub: https://github.com/Makememo/MemoAI

Если хочешь войти в AI - собирай не “игрушки”, а проекты, которые показывают реальные навыки.
📜 Anthropic опубликовала “новую конституцию” Claude - самое интересное (и зачем это нужно)

Anthropic выложила обновлённую “конституцию” Claude - документ, который задаёт ценности и поведение модели. Это не просто PR: такие принципы реально используются при обучении, чтобы Claude действовал предсказуемо в сложных ситуациях.

Вот самое важное:

1) Это больше не список запретов, а логика мышления
Раньше конституция больше походила на набор правил.
Теперь идея другая: модель должна понимать “почему так”, а не просто следовать инструкциям. Иначе она будет ломаться в нестандартных кейсах.

2) Жёстко прописан порядок приоритетов
Anthropic прямо фиксирует, что важнее всего для Claude (по убыванию):
- безопасность
- этичность
- следование политике Anthropic
- полезность

“Быть полезным” для модели - важно, но никогда не ценой безопасности.

3) Есть неснимаемые запреты (hard constraints)
Один из ключевых моментов: одних принципов недостаточно.
В самых рискованных темах у модели есть жёсткие линии - например, она не должна усиливать опасные направления вроде создания биологического оружия.

4) Самый обсуждаемый блок: “природа Claude”
В документе есть отдельный раздел, где Anthropic честно говорит: что разработчики Клода не уверены, может ли ИИ когда-то иметь форму сознания или морального статуса.

И важная мысль: даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли, идентичности и границах - чтобы быть безопасной и устойчивой.

5) Документ написан не для людей, а для модели
Конституция сделана так, чтобы Claude мог использовать её как “внутреннюю систему координат”: принимать решения, балансировать честность и сочувствие, избегать манипуляций и вреда.

6) Конституцию отдали в public domain (CC0)
То есть её можно свободно копировать, переиспользовать и адаптировать - хоть для своих моделей, хоть для исследований.

Anthropic позиционируют Клода не как “бота с фильтрами”, а как модель, у которой есть понятная система ценностей и объяснённые принципы поведения - и всё это максимально прозрачно.

https://www.anthropic.com/news/claude-new-constitution

@ai_machinelearning_big_data