Forwarded from Machinelearning
Обычные языковые модели читают текст как одну длинную ленту.
Что ближе к началу внимания - то “важнее”.
Что дальше - то модель видит хуже.
И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать.
Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном.
Sakana AI предложили решение - RePo (Context Re-Positioning).
Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст.
Примерно как человек:
ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её , а лишнее игнорируешь.
Что делает RePo
- подтягивает важные куски информации ближе
- отодвигает шум и лишний текст
- помогает вниманию модели фокусироваться на нужном
В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают:
- когда контекст длинный
- когда много шума
- когда важные детали раскиданы далеко друг от друга
- когда данные структурированные (таблички, списки, правила)
Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество.
Средний результат по 8 noisy-бенчмаркам:
- Обычный RoPE: 21.07
- RePo: 28.31
Авторы отдельно фиксируют ключевую цифру:
на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта.
(везде RePo > RoPE)
- TriviaQA: 61.47 → 73.02 (**+11.55**)
- GovReport: 6.23 → 16.80 (**+10.57**)
- 2WikiMultihopQA: 23.32 → 30.86 (**+7.54**)
- MuSiQue: 7.24 → 13.45 (**+6.21*
Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память.
@ai_machinelearning_big_data
#RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍4🔥2
📌 Новая работа Microsoft + University of Pennsylvania показывает, как LLM могут решать более сложную математику **короче и точнее** - за счёт семплирования и “слияния” вариантов мысли.
Метод называется Multiplex Thinking.
Обычный Chain-of-Thought работает так:
модель расписывает шаги рассуждений текстом, и это:
- быстро раздувает длину ответа
- заставляет рано выбрать один путь решения (и ошибиться)
Multiplex Thinking меняет сам механизм шага:
на каждом шаге модель семплирует K вариантов следующего токена, а затем объединяет их в один “внутренний токен”.
Как это устроено:
- токены - это маленькие куски текста, которые предсказывает модель
- вместо выбора одного варианта сразу, берутся K предположений
- затем их эмбеддинги (внутренние векторы модели) смешиваются в один токен
- итог: неопределённость “упаковывается” без увеличения длины рассуждения
Если модель уверена - варианты совпадают, и поведение почти как обычное.
Если не уверена - сомнения сохраняются внутри шага, не раздувая цепочку мыслей.
Ключевой плюс:
так как варианты берутся как реальные случайные выборки из распределения вероятностей модели, обучение через reward может направлять модель к более сильным траекториям рассуждений.
Авторы проверили метод на двух размерах DeepSeek R1 Distill Qwen:
- 6 сложных математических бенчмарков
- сравнение с обычным пошаговым CoT и другими continuous-token методами
Результат:
✅ точность выше (от 1 до 1024 семплов)
✅ при этом генерируется меньше токенов, что критично, когда дорого прогонять много попыток решения
arxiv.org/abs/2601.08808
Метод называется Multiplex Thinking.
Обычный Chain-of-Thought работает так:
модель расписывает шаги рассуждений текстом, и это:
- быстро раздувает длину ответа
- заставляет рано выбрать один путь решения (и ошибиться)
Multiplex Thinking меняет сам механизм шага:
на каждом шаге модель семплирует K вариантов следующего токена, а затем объединяет их в один “внутренний токен”.
Как это устроено:
- токены - это маленькие куски текста, которые предсказывает модель
- вместо выбора одного варианта сразу, берутся K предположений
- затем их эмбеддинги (внутренние векторы модели) смешиваются в один токен
- итог: неопределённость “упаковывается” без увеличения длины рассуждения
Если модель уверена - варианты совпадают, и поведение почти как обычное.
Если не уверена - сомнения сохраняются внутри шага, не раздувая цепочку мыслей.
Ключевой плюс:
так как варианты берутся как реальные случайные выборки из распределения вероятностей модели, обучение через reward может направлять модель к более сильным траекториям рассуждений.
Авторы проверили метод на двух размерах DeepSeek R1 Distill Qwen:
- 6 сложных математических бенчмарков
- сравнение с обычным пошаговым CoT и другими continuous-token методами
Результат:
✅ точность выше (от 1 до 1024 семплов)
✅ при этом генерируется меньше токенов, что критично, когда дорого прогонять много попыток решения
arxiv.org/abs/2601.08808
❤3🔥1🥰1
Ты научишься делать те, которые живут в проде.
Это не про BeautifulSoup ради галочки.
Это про системы сбора данных, которые:
• не падают от мелких правок на сайте
• собирают данные в разы быстрее
• обновляют всё сами по расписанию
• обходят ограничения и баны
• выглядят как сервис, а не хаос из файлов
Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключиться.
В итоге ты сможешь:
• забирать данные для своих проектов
• автоматизировать чужую рутину
• делать инструменты для аналитики
• брать коммерческие заказы на сбор данных
Это навык, который напрямую превращается в деньги.
Не “знаю Python”, а умею добывать данные из интернета профессионально.
🎁 48 часов скидка 50% на Stepik: https://stepik.org/a/269942/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥2👍1
QAD vs QAT - как правильно учить 4-bit модели
Quantization-aware distillation (QAD) помогает сохранить поведение сильной teacher-модели,
а QAT остаётся привязан к обычной задаче предсказания следующего токена.
🧠 QAD - Quantization-Aware Distillation
- Есть teacher - большая модель высокой точности (заморожена)
- Есть student - квантованная 4-bit модель
Студент учится копировать всё распределение вероятностей следующего слова,
а не только один правильный ответ.
Используется KL divergence - метрика различия двух распределений вероятностей.
Она заставляет student делать свои выходы максимально похожими на teacher.
Почему это важно:
Teacher даёт "мягкие цели" (soft targets) - показывает, какие ответы близки к правильному, а какие совсем мимо.
Это особенно полезно, когда 4-bit квантование вносит шум и искажения в обучение.
QAD учит модель вести себя как большая, даже если она сильно ужата.
⚙️ QAT - Quantization-Aware Training
Справа на схеме:
- 4-bit модель обучается напрямую
- Используются обычные метки токенов
- Лосс - cross entropy
Модель получает награду только за то, что ставит высокую вероятность на один правильный следующий токен.
Что значит "shift + mask"
- Shift - модель предсказывает следующий токен по предыдущим (стандартный autoregressive режим)
- Mask - некоторые позиции не учитываются в лоссе (padding, служебные токены и т.д.)
Главное различие
| QAD | QAT |
|------|------|
| Есть teacher | Учителя нет |
| Копируем распределение вероятностей | Угадываем один правильный токен |
| Используется KL divergence | Используется cross entropy |
| Лучше сохраняет поведение большой модели | Проще, но теряет "тонкие знания" |
| Стабильнее при сильном квантовании | Сильнее страдает от шума 4-bit |
Вывод:
QAD помогает перенести "интеллект" большой модели в сильно сжатую версию.
QAT - это обычное обучение, но с учётом того, что модель уже квантована.
research.nvidia.com/labs/nemotron/nemotron-qad
Quantization-aware distillation (QAD) помогает сохранить поведение сильной teacher-модели,
а QAT остаётся привязан к обычной задаче предсказания следующего токена.
🧠 QAD - Quantization-Aware Distillation
- Есть teacher - большая модель высокой точности (заморожена)
- Есть student - квантованная 4-bit модель
Студент учится копировать всё распределение вероятностей следующего слова,
а не только один правильный ответ.
Используется KL divergence - метрика различия двух распределений вероятностей.
Она заставляет student делать свои выходы максимально похожими на teacher.
Почему это важно:
Teacher даёт "мягкие цели" (soft targets) - показывает, какие ответы близки к правильному, а какие совсем мимо.
Это особенно полезно, когда 4-bit квантование вносит шум и искажения в обучение.
QAD учит модель вести себя как большая, даже если она сильно ужата.
⚙️ QAT - Quantization-Aware Training
Справа на схеме:
- 4-bit модель обучается напрямую
- Используются обычные метки токенов
- Лосс - cross entropy
Модель получает награду только за то, что ставит высокую вероятность на один правильный следующий токен.
Что значит "shift + mask"
- Shift - модель предсказывает следующий токен по предыдущим (стандартный autoregressive режим)
- Mask - некоторые позиции не учитываются в лоссе (padding, служебные токены и т.д.)
Главное различие
| QAD | QAT |
|------|------|
| Есть teacher | Учителя нет |
| Копируем распределение вероятностей | Угадываем один правильный токен |
| Используется KL divergence | Используется cross entropy |
| Лучше сохраняет поведение большой модели | Проще, но теряет "тонкие знания" |
| Стабильнее при сильном квантовании | Сильнее страдает от шума 4-bit |
Вывод:
QAD помогает перенести "интеллект" большой модели в сильно сжатую версию.
QAT - это обычное обучение, но с учётом того, что модель уже квантована.
research.nvidia.com/labs/nemotron/nemotron-qad
❤3👍2
💡 Новое исследование предупреждает о преступном использовании тысяч развертываний открытых моделей ИИ.
В ходе 293-дневного наблюдения выяснилось, что 7,5 % системных промптов пропускают вредоносную активность, а хосты сосредоточены в основном в Китае и США.
Многие установили Ollama для локального запуска ИИ и оставили его доступным из сети.
Сканирование в течение 293 дней выявило 175 108 публичных серверов Ollama в 130 странах.
Это означает, что незнакомцы в сети могли отправлять им подсказки и иногда делать больше, чем просто получать текст.
Ollama должна слушать только 127.0.0.1, то есть быть доступной только на том же компьютере.
Если стоит 0.0.0.0, она слушает всю сеть и может случайно стать публичной.
Исследователи зафиксировали 7,23 млн появлений таких хостов, при этом 13 % хостов дают 76 % всех появлений, то есть небольшая группа работает почти постоянно.
Около 48 % рекламировали вызов инструментов, что позволяет подсказкам запускать действия, например выполнять функции, а не только генерировать текст.
Некоторые публичные установки также используют ретривал, и внедрение подсказок может заставить систему раскрывать данные, которые она подтягивает.
Открытые конечные точки могут быть захвачены как бесплатные вычислительные ресурсы для спама или фишинга, и группа из 5 000 хостов в среднем работала 87 % времени.
Недавний завирусившийся ИИ-агент OpenClaw (Clawdbot) спровоцировал новый кризис безопасности.
С проектом OpenClaw (который сначала был Clawdbot, а потом Moltbot) творится классический хайп-экзит. То, что задумывалось как удобный инструмент для управления компьютером через мессенджеры, на деле превратилось в огромную дыру в безопасности. Идея дать ИИ-агенту привилегированные права изначально выглядела так себе, и теперь мы видим последствия.
Из-за того, что Anthropic заставила автора менять название из-за прав на бренд, возникла путаница. Хакеры этим вовсю пользуются: воруют названия и плодят фейковые репозитории с вирусами внутри. Тем временем сотрудники компаний ставят себе OpenClaw без ведома айтишников. В итоге исследователи находят в сети сотни открытых панелей управления, где лежат чужие API-ключи и истории переписки.
reuters.com/technology/open-source-ai-models-vulnerable-criminal-misuse-researchers-warn-2026-01-29/
В ходе 293-дневного наблюдения выяснилось, что 7,5 % системных промптов пропускают вредоносную активность, а хосты сосредоточены в основном в Китае и США.
Многие установили Ollama для локального запуска ИИ и оставили его доступным из сети.
Сканирование в течение 293 дней выявило 175 108 публичных серверов Ollama в 130 странах.
Это означает, что незнакомцы в сети могли отправлять им подсказки и иногда делать больше, чем просто получать текст.
Ollama должна слушать только 127.0.0.1, то есть быть доступной только на том же компьютере.
Если стоит 0.0.0.0, она слушает всю сеть и может случайно стать публичной.
Исследователи зафиксировали 7,23 млн появлений таких хостов, при этом 13 % хостов дают 76 % всех появлений, то есть небольшая группа работает почти постоянно.
Около 48 % рекламировали вызов инструментов, что позволяет подсказкам запускать действия, например выполнять функции, а не только генерировать текст.
Некоторые публичные установки также используют ретривал, и внедрение подсказок может заставить систему раскрывать данные, которые она подтягивает.
Открытые конечные точки могут быть захвачены как бесплатные вычислительные ресурсы для спама или фишинга, и группа из 5 000 хостов в среднем работала 87 % времени.
Недавний завирусившийся ИИ-агент OpenClaw (Clawdbot) спровоцировал новый кризис безопасности.
С проектом OpenClaw (который сначала был Clawdbot, а потом Moltbot) творится классический хайп-экзит. То, что задумывалось как удобный инструмент для управления компьютером через мессенджеры, на деле превратилось в огромную дыру в безопасности. Идея дать ИИ-агенту привилегированные права изначально выглядела так себе, и теперь мы видим последствия.
Из-за того, что Anthropic заставила автора менять название из-за прав на бренд, возникла путаница. Хакеры этим вовсю пользуются: воруют названия и плодят фейковые репозитории с вирусами внутри. Тем временем сотрудники компаний ставят себе OpenClaw без ведома айтишников. В итоге исследователи находят в сети сотни открытых панелей управления, где лежат чужие API-ключи и истории переписки.
reuters.com/technology/open-source-ai-models-vulnerable-criminal-misuse-researchers-warn-2026-01-29/
❤5👍4🔥1
Forwarded from AI инвестиции
🌟 Вот 20 лучших аккаунтов X в AI, на которые стоит подписаться:
• [Machinelearrn] (https://x.com/Machinelearrn) — Машинное обучение, ИИ и аналитика на русском
• [karpathy](https://x.com/karpathy) — король LLM
• [steipete](https://x.com/steipete) — создатель openclaw
• [gregisenberg](https://x.com/gregisenberg) — король идей для стартапов
• [rileybrown](https://x.com/rileybrown) — король vibecode
• [corbin_braun](https://x.com/corbin_braun) — король Cursor
• [jackfriks](https://x.com/jackfriks) — король solo-приложений
• [levelsio](https://x.com/levelsio) — король solo-стартапов
• [marclou](https://x.com/marclou) — король solo-стартапов
• [EXM7777](https://x.com/EXM7777) — король AI ops и систем
• [eptwts](https://x.com/eptwts) — король AI-денег в Twitter
• [godofprompt](https://x.com/godofprompt) — король промптов
• [vasuman](https://x.com/vasuman) — король AI-агентов
• [AmirMushich](https://x.com/AmirMushich) — король AI-рекламы
• [0xROAS](https://x.com/0xROAS) — король AI-UGC
• [egeberkina](https://x.com/egeberkina) — король AI-изображений
• [MengTo](https://x.com/MengTo) — король AI-лендингов
• [rryssf_](https://x.com/rryssf_) — король автоматизаций
• [kloss_xyz](https://x.com/kloss_xyz) — король системной архитектуры
• [emollick](https://x.com/emollick) — король науки об AI
• [Hesamation](https://x.com/Hesamation) — король AI/ML
• @FinanceStable
• [Machinelearrn] (https://x.com/Machinelearrn) — Машинное обучение, ИИ и аналитика на русском
• [karpathy](https://x.com/karpathy) — король LLM
• [steipete](https://x.com/steipete) — создатель openclaw
• [gregisenberg](https://x.com/gregisenberg) — король идей для стартапов
• [rileybrown](https://x.com/rileybrown) — король vibecode
• [corbin_braun](https://x.com/corbin_braun) — король Cursor
• [jackfriks](https://x.com/jackfriks) — король solo-приложений
• [levelsio](https://x.com/levelsio) — король solo-стартапов
• [marclou](https://x.com/marclou) — король solo-стартапов
• [EXM7777](https://x.com/EXM7777) — король AI ops и систем
• [eptwts](https://x.com/eptwts) — король AI-денег в Twitter
• [godofprompt](https://x.com/godofprompt) — король промптов
• [vasuman](https://x.com/vasuman) — король AI-агентов
• [AmirMushich](https://x.com/AmirMushich) — король AI-рекламы
• [0xROAS](https://x.com/0xROAS) — король AI-UGC
• [egeberkina](https://x.com/egeberkina) — король AI-изображений
• [MengTo](https://x.com/MengTo) — король AI-лендингов
• [rryssf_](https://x.com/rryssf_) — король автоматизаций
• [kloss_xyz](https://x.com/kloss_xyz) — король системной архитектуры
• [emollick](https://x.com/emollick) — король науки об AI
• [Hesamation](https://x.com/Hesamation) — король AI/ML
• @FinanceStable
❤4👍2🤡1
Новое исследование сравнило 5 семестров до появления ChatGPT и 5 после, анализируя:
• количество попыток сдачи
• итоговую длину кода
• сколько строк менялось между попытками
Что обнаружили:
Студенты стали менять примерно в 10 раз больше строк кода между сабмитами.
Но прирост оценки за одну попытку стал меньше.
При этом финальные оценки по заданиям остались почти идеальными.
То есть:
• решения стали длиннее
• правки стали крупнее
• пошаговое улучшение между попытками стало слабее
Раньше студенты чаще двигались маленькими шагами: исправил — стало лучше — ещё немного подкрутил.
Теперь правки стали более «скачкообразными» — большие куски кода меняются за раз, но без чёткого постепенного прогресса.
Это похоже на смену стиля разработки: от итеративного мышления к модели «перегенерировать и поправить».
Исследование:
Changes in Coding Behavior and Performance Since the Introduction of LLMs
arxiv.org/abs/2601.11835
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍2🔥1
Вместо одной огромной модели используется группа более простых моделей, которые критикуют друг друга и по кругу улучшают общий ответ.
Идея из исследования *Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation*.
В чём суть
Систему строят не как один “мозг”, а как команду моделей:
1. Несколько разных LLM дают первоначальные ответы
2. Они читают ответы друг друга
3. Критикуют, дорабатывают и предлагают улучшения
4. Лучшие идеи проходят дальше
5. Процесс идёт раундами, пока качество растёт
Это называется N-Way Self-Evaluating Deliberation — многостороннее самооценивание с повторным обсуждением.
Почему это работает
- Плохие ранние ответы можно исправить на следующих раундах
- Ошибки одной модели подхватываются другими
- Идеи не “залипают” в первой версии
Чтобы ни одна модель не доминировала:
- используется анонимная оценка
- применяется квадратичное голосование, чтобы лучшая идея побеждала честно
Роль брокера
Специальный “брокер” выбирает, какие модели лучше подходят под конкретную задачу, а дальше они работают как команда, перепроверяя друг друга.
Главный вывод
Исследователи показывают, что consumer-модели могут конкурировать с сильнейшими LLM, если:
- есть структурированная система раундов
- есть механизм критики
- есть правила отбора лучших ответов
Система меняет вычисления на “память”:
вместо огромной модели используется больше раундов текстовой обратной связи.
Чуть больше времени — но гораздо дешевле железо.
Что это означает на практике
Можно временно собрать “сильную” модель из набора разных LLM:
- без дообучения
- без гигантских GPU
- просто через правильную организацию взаимодействия
Это способ усилить интеллект системы за счёт структуры, а не размера.
Статья: arxiv.org/abs/2601.16863
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3🔥3
📊 Прогноз Forrester: как ИИ повлияет на рынок труда к 2030 году
Аналитики Forrester оценили влияние искусственного интеллекта на занятость в США в период 2025–2030.
Главные цифры:
— ИИ может стать причиной 6% всех потерь рабочих мест
— Это примерно 10.4 млн позиций к 2030 году
Но есть важный нюанс.
В отчёте подчёркивается:
массовое вытеснение людей ИИ маловероятно, если только производительность не начнёт расти значительно быстрее текущих темпов.
Другими словами:
— Да, часть задач будет автоматизирована
— Да, некоторые роли исчезнут
— Но полного «замещения людей» в ближайшие годы не ожидается
Почему:
— Бизнес внедряет ИИ постепенно
— Многие процессы требуют человеческого контроля
— Производительность растёт, но не настолько быстро, чтобы резко сокращать штат
Что это значит на практике:
ИИ скорее меняет структуру работы, чем массово уничтожает рабочие места:
- меньше рутинных задач
- больше автоматизации
- больше ролей, связанных с управлением и использованием ИИ
Полный прогноз: forrester.com/press-newsroom/forrester-impact-ai-jobs-forecast/
Аналитики Forrester оценили влияние искусственного интеллекта на занятость в США в период 2025–2030.
Главные цифры:
— ИИ может стать причиной 6% всех потерь рабочих мест
— Это примерно 10.4 млн позиций к 2030 году
Но есть важный нюанс.
В отчёте подчёркивается:
массовое вытеснение людей ИИ маловероятно, если только производительность не начнёт расти значительно быстрее текущих темпов.
Другими словами:
— Да, часть задач будет автоматизирована
— Да, некоторые роли исчезнут
— Но полного «замещения людей» в ближайшие годы не ожидается
Почему:
— Бизнес внедряет ИИ постепенно
— Многие процессы требуют человеческого контроля
— Производительность растёт, но не настолько быстро, чтобы резко сокращать штат
Что это значит на практике:
ИИ скорее меняет структуру работы, чем массово уничтожает рабочие места:
- меньше рутинных задач
- больше автоматизации
- больше ролей, связанных с управлением и использованием ИИ
Полный прогноз: forrester.com/press-newsroom/forrester-impact-ai-jobs-forecast/
❤4👍2🔥1
⚡️ ИИ как финансовый советник? Польза есть, но есть и риск
Профессор MIT Sloan Эндрю Ло предупреждает: современные AI-модели могут звучать как надёжные финансовые консультанты, но у них нет юридической обязанности защищать интересы пользователя.
И это важно учитывать, потому что люди всё чаще доверяют ИИ деньги.
По данным опроса 11 000 инвесторов из 13 стран:
- 19% уже используют ChatGPT-подобные инструменты для управления портфелем
- В 2024 году таких было 13%
То есть доверие к AI в финансах быстро растёт.
Парадокс ситуации
С одной стороны:
- Модели не несут ответственности
- Могут ошибаться или «уверенно галлюцинировать»
- Не учитывают ваш риск-профиль, цели и ограничения
С другой стороны — потенциал огромный.
Сам профессор Ло считает, что в будущем LLM смогут сильно помочь:
- начинающим инвесторам
- людям с небольшими счетами
- тем, у кого нет доступа к профессиональным консультантам
Где AI уже реально полезен
- Анализ годовых отчётов компаний
- Поиск рисков в финансовых договорах
- Налоговое планирование
- Сравнение инвестиционных сценариев
- Быстрый deep-research по компаниям и рынкам
За последние 1–1.5 года AI стал мощным инструментом финансового анализа: он находит детали и риски, на которые у человека ушли бы часы или дни.
Главная мысль
ИИ - это аналитик, а не финансовый советник.
Используйте его для исследований и проверки гипотез,
но финальные решения всегда должны оставаться за вами.
Источник: wsj.com/tech/ai/ai-chatbot-financial-advice-mit-2dc76348
Профессор MIT Sloan Эндрю Ло предупреждает: современные AI-модели могут звучать как надёжные финансовые консультанты, но у них нет юридической обязанности защищать интересы пользователя.
И это важно учитывать, потому что люди всё чаще доверяют ИИ деньги.
По данным опроса 11 000 инвесторов из 13 стран:
- 19% уже используют ChatGPT-подобные инструменты для управления портфелем
- В 2024 году таких было 13%
То есть доверие к AI в финансах быстро растёт.
Парадокс ситуации
С одной стороны:
- Модели не несут ответственности
- Могут ошибаться или «уверенно галлюцинировать»
- Не учитывают ваш риск-профиль, цели и ограничения
С другой стороны — потенциал огромный.
Сам профессор Ло считает, что в будущем LLM смогут сильно помочь:
- начинающим инвесторам
- людям с небольшими счетами
- тем, у кого нет доступа к профессиональным консультантам
Где AI уже реально полезен
- Анализ годовых отчётов компаний
- Поиск рисков в финансовых договорах
- Налоговое планирование
- Сравнение инвестиционных сценариев
- Быстрый deep-research по компаниям и рынкам
За последние 1–1.5 года AI стал мощным инструментом финансового анализа: он находит детали и риски, на которые у человека ушли бы часы или дни.
Главная мысль
ИИ - это аналитик, а не финансовый советник.
Используйте его для исследований и проверки гипотез,
но финальные решения всегда должны оставаться за вами.
Источник: wsj.com/tech/ai/ai-chatbot-financial-advice-mit-2dc76348
❤3👍1👎1🔥1
Открыта регистрация на главную конференцию этой весны по технологиям ИИ и анализу данных — Data Fusion 2026! 💙
Шестая ежегодная конференция Data Fusion пройдет 8–9 апреля в Москве в инновационном кластере «Ломоносов».
60+ актуальных сессий, докладов, кейсов, дискуссий по теме анализа данных/ DS/ ML. Среди тем – ИИ-агенты, RL, CV, NLP, Open Source, Embodied AI и робототехника, рекомендательные системы, применение ИИ в кибербезопасности, AI+ естественные науки, AgentOps и многое другое! Всю программу ищите на сайте (подавайте ваши доклады, welcome!).
Конференция объединит лидов ML-команд, DS-специалистов, молодых ученых, инженеров, аналитиков и руководителей, принимающих решения о внедрении технологий в бизнес и государственные сервисы.
Среди спикеров конференции: Суржко Денис (ВТБ), Оселедец Иван (AIRI), Райгородский Андрей (МФТИ), Бурнаев Евгений (Сколтех,AIRI), Саркисов Тигран (Х5), Крайнов Александр (Яндекс), Зима Андрей (Ростелеком) и другие эксперты из науки и индустрии.
Все мы любим конференции не только ради знаний, но и, конечно, ради нетворкинга и новых знакомств! Живое общение в кругу коллег, друзей и единомышленников – важная часть Data Fusion!
➡ Не пропустите, регистрируйтесь.
Информация о рекламодателе
Шестая ежегодная конференция Data Fusion пройдет 8–9 апреля в Москве в инновационном кластере «Ломоносов».
60+ актуальных сессий, докладов, кейсов, дискуссий по теме анализа данных/ DS/ ML. Среди тем – ИИ-агенты, RL, CV, NLP, Open Source, Embodied AI и робототехника, рекомендательные системы, применение ИИ в кибербезопасности, AI+ естественные науки, AgentOps и многое другое! Всю программу ищите на сайте (подавайте ваши доклады, welcome!).
Конференция объединит лидов ML-команд, DS-специалистов, молодых ученых, инженеров, аналитиков и руководителей, принимающих решения о внедрении технологий в бизнес и государственные сервисы.
Среди спикеров конференции: Суржко Денис (ВТБ), Оселедец Иван (AIRI), Райгородский Андрей (МФТИ), Бурнаев Евгений (Сколтех,AIRI), Саркисов Тигран (Х5), Крайнов Александр (Яндекс), Зима Андрей (Ростелеком) и другие эксперты из науки и индустрии.
Все мы любим конференции не только ради знаний, но и, конечно, ради нетворкинга и новых знакомств! Живое общение в кругу коллег, друзей и единомышленников – важная часть Data Fusion!
Информация о рекламодателе
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Пользователи Windows теперь могут использовать все возможности Cowork: прямой доступ к файлам, выполнение многошаговых задач, поддержку плагинов и всех коннекторов MCP. Ранее этот функционал был эксклюзивом для яблочной платформы.
Попутно Anthropic представила гибкую систему инструкций. Вы можете задать глобальные предпочтения: тон, формат ответов или описание своей роли, они будут применяться ко всем чатам.
Также появились инструкции уровня папок: они активируются автоматически, когда вы работаете в конкретной директории. Обновлять эти настройки можно прямо в ходе диалога, не копаясь в меню.
Инструмент все еще в стадии research preview и открыт для всех пользователей платных тарифов. Для доступа достаточно скачать свежую версию клиента с сайта.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
📘 На Stepik вышел курс — «AI Agents PRO: LangGraph, AutoGen и LLMOps в продакшне»
Хотите собирать AI-агентов и RAG-сервисы так, чтобы это стабильно работало в эксплуатации: с метриками, оценкой качества, контролем стоимости и нормальным деплоем? Этот курс — полный путь от прототипа к прод-сервису.
• Агенты: LangGraph/AutoGen, роли/состояния, FSM/DAG, параллелизм
• RAG: hybrid retrieval + rerank (Qdrant/FAISS/Weaviate)
• Надёжность: таймауты, ретраи, идемпотентность, DLQ
• Eval/качество: golden-сеты, LLM-judge, pass@k, quality-гейты
• Observability: логи/трейсы, OpenTelemetry, Prometheus/Grafana
• Security: строгий JSON (Pydantic), guardrails, PII, RBAC/ABAC
🎓 Сертификат Stepik — добавьте в резюме или LinkedIn
🚀 Скидка 25% по ссылке — действует 48ч
👉 Забрать курс на Stepik
Реклама: Ип Малышкин А.А.
ИНН: 402571325199, Erid: 2Vtzqw45X5m
Хотите собирать AI-агентов и RAG-сервисы так, чтобы это стабильно работало в эксплуатации: с метриками, оценкой качества, контролем стоимости и нормальным деплоем? Этот курс — полный путь от прототипа к прод-сервису.
• Агенты: LangGraph/AutoGen, роли/состояния, FSM/DAG, параллелизм
• RAG: hybrid retrieval + rerank (Qdrant/FAISS/Weaviate)
• Надёжность: таймауты, ретраи, идемпотентность, DLQ
• Eval/качество: golden-сеты, LLM-judge, pass@k, quality-гейты
• Observability: логи/трейсы, OpenTelemetry, Prometheus/Grafana
• Security: строгий JSON (Pydantic), guardrails, PII, RBAC/ABAC
🎓 Сертификат Stepik — добавьте в резюме или LinkedIn
🚀 Скидка 25% по ссылке — действует 48ч
👉 Забрать курс на Stepik
Реклама: Ип Малышкин А.А.
ИНН: 402571325199, Erid: 2Vtzqw45X5m
👎5❤3👍2
LLaDA 2.1 - модель, которая умеет переписывать себя на ходу
Классическая проблема всех autoregressive-моделей:
если в начале генерации появилась ошибка — она тянется до самого конца.
Модель не может “передумать”.
Токены уже выданы — исправить их нельзя.
LLaDA 2.1 предлагает другой подход.
Это 100B diffusion-LLM с архитектурой *draft → edit*.
Как это работает:
- Сначала модель создаёт черновик
- Затем возвращается к тексту и редактирует его
- Может переписывать ранние слова, если они ухудшают результат
- Ошибки не накапливаются, а исправляются по ходу генерации
Почему это важно:
В autoregressive-LLM:
- одна ранняя ошибка → ухудшение всего ответа
- особенно критично для кода, рассуждений и длинных задач
В LLaDA:
- модель может пересмотреть решение
- улучшить структуру ответа
- повысить стабильность генерации
Производительность:
- До 892 токенов/с на сложных задачах по программированию
- Один из самых быстрых подходов среди альтернативных архитектур
Главная идея:
Будущее генерации — не просто писать токен за токеном,
а думать, проверять и переписывать результат.
Diffusion-LLM - один из самых интересных кандидатов на архитектуру следующего поколения.
🤗 HuggingFace: https://huggingface.co/collections/inclusionAI/llada21
Классическая проблема всех autoregressive-моделей:
если в начале генерации появилась ошибка — она тянется до самого конца.
Модель не может “передумать”.
Токены уже выданы — исправить их нельзя.
LLaDA 2.1 предлагает другой подход.
Это 100B diffusion-LLM с архитектурой *draft → edit*.
Как это работает:
- Сначала модель создаёт черновик
- Затем возвращается к тексту и редактирует его
- Может переписывать ранние слова, если они ухудшают результат
- Ошибки не накапливаются, а исправляются по ходу генерации
Почему это важно:
В autoregressive-LLM:
- одна ранняя ошибка → ухудшение всего ответа
- особенно критично для кода, рассуждений и длинных задач
В LLaDA:
- модель может пересмотреть решение
- улучшить структуру ответа
- повысить стабильность генерации
Производительность:
- До 892 токенов/с на сложных задачах по программированию
- Один из самых быстрых подходов среди альтернативных архитектур
Главная идея:
Будущее генерации — не просто писать токен за токеном,
а думать, проверять и переписывать результат.
Diffusion-LLM - один из самых интересных кандидатов на архитектуру следующего поколения.
🤗 HuggingFace: https://huggingface.co/collections/inclusionAI/llada21
👍6👎3🔥3❤1😁1
🔥На Stepik вышел курс: Linux: полный апгрейд твоих скиллов
Хочешь реально понимать, что происходит под капотом твоей системы, а не просто кликать по GUI?
Без глубокого знания базы ты не инженер - ты просто пользователь.
🔹 В курсе ты:
- Освоишь bash, grep, sed, awk - инструменты, которыми живут админы.
- Разберёшь права, процессы, сеть, файловую систему и научишься чинить всё, что падает.
- Настроишь SSH, firewall, systemd, crontab, демоны и автозапуск.
- Научишься анализировать логи, следить за нагрузкой, и не паниковать при 100% CPU.
💡 Формат: пошаговое объяснение базы и разбор важных практик по работе с Linux.
🎯 После курса ты: будешь чувствовать Linux как родную среду и забудешь, что такое “permission denied”.
🚀 24 часа действует скидка 30%
👉 Учиться со скидкой
Хочешь реально понимать, что происходит под капотом твоей системы, а не просто кликать по GUI?
Без глубокого знания базы ты не инженер - ты просто пользователь.
🔹 В курсе ты:
- Освоишь bash, grep, sed, awk - инструменты, которыми живут админы.
- Разберёшь права, процессы, сеть, файловую систему и научишься чинить всё, что падает.
- Настроишь SSH, firewall, systemd, crontab, демоны и автозапуск.
- Научишься анализировать логи, следить за нагрузкой, и не паниковать при 100% CPU.
💡 Формат: пошаговое объяснение базы и разбор важных практик по работе с Linux.
🎯 После курса ты: будешь чувствовать Linux как родную среду и забудешь, что такое “permission denied”.
🚀 24 часа действует скидка 30%
👉 Учиться со скидкой
❤3👍1🔥1
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
В меморандуме для Комитета Палаты представителей по Китаю OpenAI пожаловалась, что DeepSeek обучала свои модели на выходных данных чужих моделей для воспроизведения возможностей американских ИИ-систем.
По данным компании, сотрудники DeepSeek применяли сторонние роутеры и программный доступ к API, чтобы обойти защитные механизмы. OpenAI также указала на теневых реселлеров своих сервисов. Заблокировать их активность пока безрезультатны: методы обфускации становятся все изощреннее.
Помимо бизнес-угрозы, китайские модели бесплатны, тогда как американские ИИ-гиганты инвестировали миллиарды в инфраструктуру.
bloomberg.com
Минобороны США ведет переговоры с OpenAI и Anthropic о размещении их моделей на всех уровнях секретности. При этом военные требуют снять большинство ограничений и этических фильтров.
Пока прогресс неравномерный. OpenAI уже запустила ChatGPT на платформе genai.mil, которой пользуются свыше 3 млн. сотрудников Пентагона. Компания сняла часть стандартных ограничений, но гарантии безопасности сохранилась. Похожие сделки ранее заключили Google и xAI.
С Anthropic сложнее. Они настаивают на соблюдении собственных политик использования и категорически против применения Клода для боевых и разведывательный целей.
reuters.com
Новинка построена на архитектуре MoE и получила 10 млрд. активных параметров при 229 млрд. общих. Она обучалась в сотнях тысяч сложных сред и умеет самостоятельно планировать действия без явных инструкций от пользователя.
По заявленным бенчмаркам, M2.5 превосходит GPT-5.2, Gemini 3 Pro и Claude в веб-поиске, агентных тасках и по офисными задачами. В кодинге модель в ряде тестов обходит Claude Opus 4.6. Веса опубликованы под лицензией MIT.
Закрытый вариант, M2.5-Lightning, выдает 100 токенов в секунду - это вдвое быстрее топовых аналогов. Час ее непрерывной работы стоит 1 доллар, а 4 инстанса можно гонять параллельно круглый год за 10 тыс. долларов.
API и тариф для разработчиков доступны на платформе Minimax.
minimax.io
WebMCP — это реализация протокола MCP для браузерной среды, чтобы сделать агентов быстрее и надежнее за счет предсказуемого интерфейса вместо хрупкого парсинга страниц.
С помощью него сайты получат возможность предоставлять агентам структурированные инструменты: бронирование билетов, создание тикетов поддержки, поиск товаров и т.д. В основе архитектуры два API: декларативный для простых действий через HTML-формы и императивный для сложных сценариев на JavaScript.
Пока WebMCP доступен как превью для разработчиков через программу раннего доступа Google. В перспективе интеграция с Chrome и Gemini позволит агентам напрямую совершать действия прямо из браузера без участия пользователя.
developer.chrome.com
В честь 250-летия США Forbes опубликовал рейтинг America's Greatest Innovators. Верхушка списка пестрит основателями и руководителями ИИ-компаний.
Первое место занял Илон Маск, следом идут Дженсен Хуанг и Сэм Альтман. В топ-20 также вошли сооснователи Google Ларри Пейдж и Сергей Брин.
По словам редакторов издания, критерием отбора стала способность превращать сложные технологии в повсеместно используемые инструменты.
forbes.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
⚡️ Microsoft Research и Salesforce проанализировали 200 000+ диалогов с ИИ и подтвердили то, о чём многие догадывались.
Все модели деградируют в длинных диалогах.
GPT-4, Claude, Gemini, Llama - без исключений.
Чем дольше разговор, тем выше вероятность:
- ошибок в фактах
- потери контекста
- противоречий самому себе
- «галлюцинаций»
-
Почему это происходит
Контекст переполняется шумом: старые сообщения, уточнения, исправления.
Модель начинает опираться на неточные или устаревшие части диалога — и качество падает.
Практический вывод
Если задача сложная — перезапускайте диалог и давайте чистый контекст.
Один новый чат часто работает лучше, чем длинная переписка.
Главный тренд
Контекстное окно растёт, но проблема не в размере.
Будущее за управлением памятью и «чистым контекстом», а не просто за миллионами токенов.
Исследование: http://arxiv.org/abs/2505.06120
Все модели деградируют в длинных диалогах.
GPT-4, Claude, Gemini, Llama - без исключений.
Чем дольше разговор, тем выше вероятность:
- ошибок в фактах
- потери контекста
- противоречий самому себе
- «галлюцинаций»
-
Почему это происходит
Контекст переполняется шумом: старые сообщения, уточнения, исправления.
Модель начинает опираться на неточные или устаревшие части диалога — и качество падает.
Практический вывод
Если задача сложная — перезапускайте диалог и давайте чистый контекст.
Один новый чат часто работает лучше, чем длинная переписка.
Главный тренд
Контекстное окно растёт, но проблема не в размере.
Будущее за управлением памятью и «чистым контекстом», а не просто за миллионами токенов.
Исследование: http://arxiv.org/abs/2505.06120
👍6❤4🥰1
Учёные из Tsinghua и UC Berkeley ускорили видеодиффузию в 18,6 раза - без потери качества.
В некоторых случаях результат даже лучше.
Ключевой результат:
- 97% разреженности attention
- качество на уровне полного attention
- быстрее и дешевле
Метод называется SLA2.
Главая идея
В видеомоделях большая часть вычислений attention просто не нужна.
Раньше использовали гибрид:
- sparse attention
- linear attention
Но в этой схеме была скрытая проблема — математическая ошибка.
Sparse-ветка была масштабирована неправильно (фактор α),
и linear-ветке приходилось компенсировать эту неточность.
Что делает SLA2
- исправляет формулировку attention
- добавляет обучаемый роутер
- модель сама решает:
- где нужен полный attention
- где можно использовать упрощённый
Дополнительно:
- применяется quantization-aware training
- низкобитный attention обучается во время fine-tuning, а не просто добавляется на этапе инференса
Результаты (Wan2.1 — 1.3B и 14B):
- 97% sparsity
- 18,6× ускорение вычислений
- 4,35× снижение общей задержки (14B)
Самое интересное:
При 97% разреженности SLA2 показывает лучшее качество,
чем все базовые методы при 90%.
Настоящий прогресс в AI - это не только новые модели,
а умение сохранять качество, радикально снижая вычисления.
https://arxiv.org/abs/2602.12675
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥3👎1
Forwarded from Machinelearning
Трансляция длилась час и содержала много риторики в сторону Индии. Мы собрали ключевые и наиболее интересные высказывания:
Скорость развития моделей от базовых задач к решению научных проблем не имеет аналогов в истории технологий.
Глубокое обучение уникально тем, что небольшая группа исследователей нашла единый алгоритм, способный обучаться чему угодно, и его эффективность непрерывно растет.
Год назад ИИ справлялся только с математикой на уровне старшей школы, испытывая трудности с программой начальных классов за пару лет до этого.
Летом модели начали конкурировать в сложнейших математических олимпиадах, а на прошлой неделе проект First Proof ИИ решил 7 из 10 математических проблем, ответы на которые ранее не были известны ученым.
Codex полностью изменили профессию программиста. Текстовый запрос теперь позволяет сгенерировать приложение целиком.
Требования к вычислительным мощностям для достижения AGI выходят за рамки существующих физических и экономических возможностей планеты.
Индустрия ИИ представляет собой «пятислойный пирог»: энергетика, дата-центры, чипы, базовые модели и конечные приложения.
Развертывание инфраструктуры станет самым дорогим и сложным проектом за всю историю человечества. Для его реализации невозможно использовать традиционные методы - потребуется массовое привлечение ИИ и промышленных роботов для строительства.
Концепция размещения дата-центров в космосе абсурдна. Стоимость запуска оборудования несоизмеримо выше затрат на наземную электроэнергию, а починить сломанный GPU в космосе физически некому. Орбитальные дата-центры не обретут смысл в текущем десятилетии.
Технологическая индустрия, зародившаяся в Кремниевой долине на принципах либертарианства, должна радикально изменить подход. Для достижения AGI потребуется беспрецедентный уровень интеграции с правительствами.
В гонке ИИ Китай обладает подавляющим преимуществом в смежных физических отраслях: производстве промышленных роботов, электромоторов, магнитов и развертывании энергетической инфраструктуры.
Крайне опасен сценарий, при котором AGI будет монополизирован одной компанией или одним государством. Распределение мощностей должно быть демократизировано для соблюдения баланса сил на международной арене.
Уже наблюдается децентрализация: команды из 1-3 человек, используя ИИ-агенты, создают стартапы с феноменальным уровнем успеха и капитализации, что было невозможно еще несколько лет назад.
ИИ-системы уже могут применяться правительствами для анализа массивов разведывательных отчетов. Категорически недопустимо использование ненадежных open-source моделей для принятия критических военных решений.
Оценка экологического следа дата-центров сопровождается дезинформацией.
Утверждения о том, что ChatGPT расходует 17 галлонов воды на каждый поисковый запрос, являются фейком. Современные дата-центры отказываются от систем испарительного охлаждения.
Общее потребление энергии дата-центрами абсолютно реально и огромно. Миру необходимо экстренно переходить на ядерную, ветровую и солнечную энергетику.
Данные Билла Гейтса о том, что один запрос к ChatGPT эквивалентен разрядке 10 батарей iPhone, сильно завышены.
Альтман предложил сравнение энергетических затрат на тренировку ИИ-модели с затратами на обучение человека. Специалисту требуется 20 лет потребления пищи и ресурсов планеты, прежде чем он сможет выполнять сложные когнитивные задачи. ИИ с этой точки зрения уже выигрывает по энергоэффективности.
При гипотетическом выборе ИИ-ассистента из чужих моделей (Grok, Claude, Gemini, DeepSeek), Сэм отдаст предпочтение Gemini.
Отказ от доли в капитале при создании OpenAI Альтман называет одним из самых глупых решений.
Самый дорогой и значимый найм в истории компании - Илья Суцкевер.
OpenAI не станет отказываться от рекламной модели монетизации, если это потребуется.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5👎3❤2🤮2💩1