Машинное обучение digest
58 subscribers
1.69K photos
224 videos
925 links
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Демис Хассабис (CEO Google DeepMind) на интервью сказал важную вещь -

Вопрос уже не в том, умеет ли ИИ решать задачи.
Это мы уже видим каждый день.

Настоящий вопрос другой:
сможет ли ИИ изобретать новую науку?


И вот тут ответ пока честный - нет.

Причина не в том, что “мало данных” или “не хватает GPU”.
Проблема фундаментальная: у современных моделей нет модели мира.

LLM могут генерировать гениальные тексты, картинки, код.
Но они почти не понимают причинно-следственные связи.
Они не знают, почему событие A приводит к результату B.
Они просто очень хорошо предсказывают, что обычно идёт дальше.

А настоящая научная работа - это не про угадывание.
Это про построение гипотез, проверку, ошибки, итерации.
Про понимание того, как устроена реальность:
физика, биология, химия, причинность.

Хассабис говорит: чтобы ИИ начал открывать новое, ему нужны:
- сильное рассуждение, а не только генерация
- долгосрочное планирование
- внутренняя модель мира, которая позволяет “думать”, а не продолжать текст

И только тогда ИИ сможет проводить собственные мысленные эксперименты.
Не пересказывать знания.
А создавать их.

Вот где начинается путь к настоящему “цифровому учёному”.

И когда это случится - наука ускорится в разы.
✔️ Sakana AI выпустили RePo - LLM, которые умеют “наводить порядок” в контексте

Обычные языковые модели читают текст как одну длинную ленту.

Что ближе к началу внимания - то “важнее”.
Что дальше - то модель видит хуже.

И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать.

Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном.

Sakana AI предложили решение - RePo (Context Re-Positioning).

Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст.

Примерно как человек:
ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её , а лишнее игнорируешь.

Что делает RePo
- подтягивает важные куски информации ближе
- отодвигает шум и лишний текст
- помогает вниманию модели фокусироваться на нужном

В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают:
- когда контекст длинный
- когда много шума
- когда важные детали раскиданы далеко друг от друга
- когда данные структурированные (таблички, списки, правила)

Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество.

▶️ Устойчивость к шуму (Noisy Context)
Средний результат по 8 noisy-бенчмаркам:

- Обычный RoPE: 21.07
- RePo: 28.31

🟡 Прирост: +7.24 пункта (сильно)

Авторы отдельно фиксируют ключевую цифру:
на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта.

🔥 Примеры прироста на конкретных задачах
(везде RePo > RoPE)

- TriviaQA: 61.47 → 73.02 (+11.55)
- GovReport: 6.23 → 16.80 (+10.57)
- 2WikiMultihopQA: 23.32 → 30.86 (+7.54)
- MuSiQue: 7.24 → 13.45 (+6.21)

Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память.

🟡Подробности: pub.sakana.ai/repo/
🟡Статья: arxiv.org/abs/2512.14391

@ai_machinelearning_big_data

#RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌍 DeepSeek захватывает рынки там, где западные AI-сервисы недоступны

Microsoft собрали оценку глобальной доли DeepSeek - и картина очень показательная.

В Северной Америке и Европе adoption остаётся низким.
Зато в регионах, где доступ к американским сервисам ограничен (или где зарубежные технологии стоят слишком дорого), DeepSeek резко набирает популярность:

- Китай
- Россия
- Иран
- Куба
- Беларусь
- страны Африки (там использование оценивают в 2-4 раза выше, чем в других регионах)

DeepSeek оказался идеальным продуктом для “недообслуженных” рынков:
- больше открытости
- ниже цена
- проще доступ
- лучше адаптация под локальные реалии

И главный вывод тут не про “кто сильнее по бенчмаркам”.
Глобальное распространение ИИ определяется не только качеством модели.

А ещё:
- доступностью
- стоимостью
- языком
- политическими и инфраструктурными ограничениями

Люди выбирают не “самый хайповый AI”, а тот, который реально работает в их стране и подходит по условиям.

microsoft.com/en-us/corporate-responsibility/topics/ai-economy-institute/reports/global-ai-adoption-2025/
⚡️ Финляндия научилась передавать “электричество по воздуху” - без проводов

Учёные из Финляндии (в том числе Университет Хельсинки) показали очень необычную штуку: они смогли управляемо передавать электрический разряд через воздух, используя… звук.

Идея выглядит как sci-fi, но логика простая.

Обычно электрическая искра ведёт себя хаотично - разветвляется и летит туда, где ближе металл. Её почти невозможно “направить”, как провод.

А тут исследователи сделали “невидимый провод” в воздухе:
мощные ультразвуковые волны создают в воздухе стабильный канал (как дорожку), по которому искра идёт в нужном направлении.

Эту технологию называют acoustic wire - “акустический провод”.
Она пока экспериментальная, но потенциально может дать:
- бесконтактные соединения (без вилок и кабелей)
- управление искрами в промышленности (сварка/разряд)
- новые “умные интерфейсы”, где питание может подключаться буквально через воздух

Параллельно финны развивают и другие варианты беспроводной энергии:
- power-by-light - питание лазером на удалённый приёмник (важно для опасных мест: АЭС, высоковольтные станции)
- harvesting радиоволн - сбор энергии из окружающих сигналов (почти “Wi-Fi для питания”) для IoT-датчиков, чтобы не менять батарейки

Главная мысль
Тренд двигается к миру, где питание становится более гибким:
меньше проводов, больше “доставки энергии” под задачу.

Источник (University of Helsinki): направляли искры ультразвуком, фактически создавая “невидимый электрический провод”.
⚡️ В одном месте собрали инфу о 925 (!) провалившихся венчурных стартапах.

Да, это буквально кладбище проектов - но невероятно полезное.

Внутри не просто список, а полноценные разборы:
почему взлетели/упали, сколько денег сожгли, какие решения их убили, где была критическая ошибка - и главное: что из этого можно безопасно забрать себе, а что повторять нельзя ни при каких условиях.

А ещё там встроенный ИИ, который берёт провалившийся проект и делает “версию 2.0”:
придумывает название, концепт, рынок, техстек, план запуска и монетизацию, но уже с учётом прошлых ошибок.

Как минимум - очень залипательно.

Стартаперы, вам точно стоит изучить
Please open Telegram to view this post
VIEW IN TELEGRAM
🚀 China Telecom выкатили TeleChat3-36B-Thinking - и самое интересное тут даже не размер модели, а инфраструктура, на которой её сделали.

TeleChat3-36B-Thinking обучали на отечественных китайских ускорителях Huawei Ascend (NPU) и в экосистеме MindSpore.

Что интересного :
- модель нативно заточена под экосистему Ascend + MindSpore
- дизайн вдохновлён архитектурными идеями DeepSeek
- упор на стабильность обучения и эффективность

Китай всё активнее уходит в полный собственный (суверенный) стек AI:
“свои чипы → свой фреймворк → свои модели”.

То есть даже при ограничениях на доступ к NVIDIA, они продолжают выпускать большие модели и развивать экосистему - уже без зависимости от западного железа.

Ссылка на модель:
https://huggingface.co/Tele-AI/TeleChat3-36B-Thinking
🚀 STEP3-VL-10B - мультимодальная модель, которая бьёт гигантов (и весит всего 10B)

StepFun выпустили STEP3-VL-10B - компактную open multimodal модель, которая по метрикам догоняет и местами обгоняет монстров в 10-20 раз больше.

Что заявляют по качеству
- держит SOTA/near-SOTA по визуальному восприятию + reasoning
- на ряде тестов конкурирует с GLM-4.6V, Qwen3-VL и даже Gemini 2.5 Pro
- сильна в OCR, понимании GUI, пространственном мышлении (важно для embodied AI)

Ключевые цифры
- обучена на 1.2T токенов
- 1400+ RL-раундов (RLHF + RLVR)
- поддержка PaCoRe (parallel collaborative reasoning) и контекст до 128K
- в классе <10B лидирует в STEM-задачах:
94.43% на AIME 2025 (с PaCoRe)

Архитектура
- PE-lang visual encoder (1.8B)
- Qwen3-8B decoder
- multi-crop high-res: 728×728 global + локальные кропы

Почему это важно
Тренд очевиден: индустрия уходит от “просто больше параметров”.
Теперь выигрывает тот, кто:
- грамотно собирает архитектуру
- делает сильный RL
- и выжимает максимум из маленькой модели


Base: https://modelscope.cn/models/stepfun-ai/Step3-VL-10B-Base
Chat: https://modelscope.cn/models/stepfun-ai/Step3-VL-10B
⚡️ Китай уже генерирует/потребляет электричества больше, чем США и ЕС вместе - и это становится главным “оружием” в гонке ИИ

Есть сильный факт, который многие недооценивают:
Китай уже вышел на уровень 10+ трлн кВт·ч годового потребления электричества (в 2025) - это рекорд для одной страны.

И именно поэтому возникает тезис:
энергия становится главным bottleneck для ИИ - даже важнее, чем сами чипы.

Почему?
ИИ - это не только “GPU”.
Это ещё и:
- мегаватты питания
- охлаждение
- сетевые мощности
- стабильная инфраструктура 24/7

США активно расширяют дата-центры и энергосистему, но упираются в то, что:
даже при деньгах и технологиях электричество, линии и подключение становятся узким горлышком.

Европа - отдельная история: рынок солнечной энергетики когда-то пытались развивать, но в итоге лидерство в solar полностью ушло Китаю, и сейчас Китай доминирует по производству и установке мощностей.

Главный вывод
Гонка ИИ всё больше выглядит так:

**США меряют мощность в compute (GPU/TPU).
Китай меряет мощность в энергии (TWh + инфраструктура).**

И, похоже, победит тот, кто быстрее масштабирует не “модели”, а базовую физику - электричество.
⚡️ GLM-4.7-Flash - “быстрый” MoE-монстр, который вывозит coding и агентов локально

Z.ai (семейство ChatGLM) выложили GLM-4.7-Flash на Hugging Face - и это один из тех релизов, которые прям приятно тащить к себе на сервер.

Что это за модель
GLM-4.7-Flash - это MoE 30B-A3B:
то есть у неё “много параметров”, но активных на шаге всего ~3B, поэтому она:
- быстрее в инференсе
- легче в деплое
- дешевле в эксплуатации, чем плотные 30B

По бенчмаркам выглядит очень бодро:
- AIME 2025: 91.6
- GPQA: 75.2
- SWE-bench Verified: 59.2 (очень сильный показатель для coding-агентов)
- BrowseComp: 42.8

Почему это важно
Это “рабочая лошадь” под:
- локальные агентные пайплайны
- автокодинг / рефакторинг
- web-browsing задачи
- длинный контекст и быстрый inference

Плюс - уже заявлена поддержка vLLM и SGLang (на main ветках).

Ссылка: https://huggingface.co/zai-org/GLM-4.7-Flash

@data_analysis_ml
🔥1
⚡️ Google: проблема дата-центров уже не в “купить электричество”. Проблема - подключиться к сети

Google признались в очень показательной вещи:

Самое сложное в запуске новых дата-центров - не подписать контракт на электроэнергию.
Самое сложное - физически подключиться к магистральной электросети (transmission grid).

И там ад:
в некоторых регионах ожидание подключения растягивается до 10+ лет, а один оператор вообще называл 12 лет только на исследования interconnection.

То есть AI-бум упёрся не в модели и не в GPU…
а в бумажки, согласования, кабели и подстанции.

Что теперь главный bottleneck: чипы, электричество или подключение?
Сейчас всё чаще выигрывает третий вариант:

1) Чипы - уже не единственная проблема
GPU можно купить (дорого, но можно).

2) Электричество - можно законтрактовать
BigTech подписывает долгосрочные power deals, строит генерацию, даже заходит в атомку.

3) А вот grid connection - это настоящий стоп-кран
Потому что:
- мало линий передач
- всё перегружено
- долгие разрешения и стройка
- interconnection очереди на годы

Вывод
В 2026 bottleneck для ИИ всё чаще звучит так:

не “где взять GPU”, а “как подключить мегаватты к дата-центру”.

И это меняет игру: тот, кто быстрее строит энергетику + сеть, будет масштабировать AI быстрее всех.
🚀 10B параметров — производительность уровня 200B+!

STEP3-VL-10B - новая open-source SOTA vision-language модель.

🥊 При размере всего 10B она переопределяет эффективность: сопоставима или даже лучше, чем модели масштаба 100B/200B.

SOTA результаты:
STEM / мультимодальность: обходит GLM-4.6V (106B-A12B) и Qwen3-VL (235B-A22B) на MMMU, MathVision, MathVerse и других бенчмарках
Математика: почти идеальные результаты на AIME 24/25 — уровень “элитного” reasoning
2D/3D пространственное понимание: лучше моделей своего масштаба на BLINK / CVBench / OmniSpatial
Кодинг: доминирует на LiveCodeBench в задачах реального динамического программирования

Ключевые характеристики:
🔹 1.2T токенов pre-training с полным обновлением параметров
🔹 1400+ RL итераций для усиления reasoning
🔹 инновационная технология PaCoRe для динамического распределения вычислений

С качественными данными для обучения и системным post-training 10B модель может на равных драться с гигантами индустрии.


Base и Thinking версии доступны на HuggingFace!

Homepage: https://stepfun-ai.github.io/Step3-VL-10B/
Paper: https://arxiv.org/abs/2601.09668
HuggingFace: https://huggingface.co/collections/stepfun-ai/step3-vl-10b
ModelScope: https://modelscope.cn/collections/stepfun-ai/Step3-VL-10B
🇨🇳 Почему Китай может быстрее всех внедрять ИИ в повседневную жизнь

В Китае отношение общества к ИИ-продуктам необычно позитивное - заметно более тёплое, чем во многих других странах.

И это важно, потому что:
меньше страхов и сопротивления
ниже “трение” при внедрении
ИИ проще массово встраивать в сервисы, которыми люди пользуются каждый день

Когда у аудитории нет сильного отторжения, внедрение идёт быстрее:
от платежей и поддержки клиентов до медицины, образования и госуслуг.

Но есть и второй фактор 👇

🌍 “Гравитация разработчиков” уходит в сторону Китая
В open-source всё сильнее заметен сдвиг:
доля скачиваний и активности постепенно перетекает от США и Европы к Китаю.

Если тренд сохранится, это означает:
- больше новых библиотек и фреймворков будет рождаться там
- больше tooling и инфраструктуры будет заточено под китайскую экосистему
- и в целом - Китай может стать центром притяжения для dev-сообщества в ИИ