337K subscribers
4.61K photos
942 videos
17 files
5.04K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 BitDance: авторегрессионная генерация изображений с бинарными токенами.

Генеративные модели делятся на 2 лагеря: диффузионные и авторегрессионные. Вторые концептуально ближе к LLM - генерируют изображение токен за токеном, как текст. Проблема в том, что это очень медленно, а качество проигрывает диффузии.

BitDance - экспериментальная 14B AR-модель, которая пытается решить оба этих вопроса разом.

Этим проектом группа китайских рисёчеров показала, что правильный бинарный токенизатор + diffusion head + параллельный патчинг закрывает большинство претензий.

Они локализовали 3 проблемы дискретных AR-моделей и закрыли каждую отдельным решением.

🟡Плохая реконструкция токенизатора

Вместо VQ-кодбука тут используется бинарный токенизатор на основе квантования с групповым разбиением каналов. Словарь вырастает до 2²⁵⁶ (для сравнения: у Cosmos - 65536), при этом модель держит PSNR 25.29 против 24.81 у непрерывного DC-AE, то есть бинарные токены реконструируют изображение лучше, чем VAE у SANA.

🟡Нестабильный сэмплинг

А как вообще выбирать из словаря в 2²⁵⁶ вариантов? Обучить классификатор на все возможные токены тут не вариант: такой слой не поместится ни в какую память. В качестве решения - прикрутили diffusion head, которая моделирует биты на непрерывном гиперкубе. То есть, модель предсказывает структуру битов через velocity-matching, что и позволяет сэмплить из гигантского пространства состояний.

🟡Скорость

AR генерирует по одному токену за шаг. BitDance за один шаг выдает сразу 64 токена (или 16), при этом модель понимает, как они связаны между собой внутри этого блока. Громко заявленный результат: 30x ускорение относительно next-token AR при сопоставимом качестве. об этом в конце

🟡Тесты

На мелкой версии ImageNet BitDance-H достигает FID 1.24 (лучший результат среди AR-моделей, наравне с xAR-H).

На DPG-Bench (text-to-image) полноценная BitDance набирает 88.28 - это выше FLUX.1-Dev, SD3, Janus-Pro, но уступает Seedream 3.0 и Qwen-Image.

В релизе 2 версии 14B модели, с предикшеном на 16 и 64 токена и макс. разрешением 1Мpx.

Остается вопрос: насколько бинарный токенизатор + diffusion head добавляет латентности на каждом шаге, даже если самих шагов стало меньше из-за патчинга.

30x по скорости - это сравнение не с диффузионными моделями, которые уже умеют генерировать за 4–8 шагов.

14B - это не про "взял и запустил". Есть конечно версии на ImageNet с разрешением 256х256 для воспроизведения эксперимента, но не за этим мы сюда пришли.



📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Arxiv
🟡Модель
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #AR #T2I #BitDance
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤓103🔥43👀27👍2623🤷20😈17😐16😭15🤔13
⚡️ Anthropic выпустили Claude Sonnet 4.6

В коде улучшения особенно заметны:
- модель лучше понимает большие проекты
- аккуратнее вносит правки
- реже ломает существующую логику

Anthropic также отмечает рост производительности в долгих сессиях - модель меньше «теряет нить» и держит цель задачи до конца.

Большой скачок по сравнению с Sonnet 4.5
Почти во всех задачах рост:
• Terminal coding: 59% → 51%
• Computer use: 72.5% → 61.4%

Поиск и работа с инструментами: сильный прирост.

Novel problem solving: 58% → 13.6% - огромный скачок

Это значит: модель стала гораздо лучше работать как агент.

Разработчики с ранним доступом:
зачастую выбирают Sonnet 4.6, вместо более мощной Claude Opus 4.5

То есть уровень задач, который раньше требовал Opus-модели, теперь доступен в более дешёвом классе.

И всё это - без изменения цены:
$3 / $15 за миллион токенов (как у Sonnet 4.5).

Модель уже стала стандартной в Claude для пользователей Free и Pro.

https://www.anthropic.com/news/claude-sonnet-4-6

@ai_machinelearning_big_data

#Claude
👨‍💻10097👍47😢32🔥26❤‍🔥23🎉2220💘19🤷19😍17
Media is too big
VIEW IN TELEGRAM
✔️ Релиз паблик-беты Grok 4.20.

xAI начала раскатывать Grok 4.20, которую Илон Маск описал как значительный апгрейд по сравнению с 4.1. Внутри работают сразу 4 агента: Grok, Harper, Benjamin и Lucas. Вместо одиночной генерации они устраивают дебаты: агенты спорят, перепроверяют факты друг друга и выдают согласованный ответ.

По цифрам: контекст 256 тыс. токенов, полная мультимодальность (текст, фото, видео). Ризонинг оценивается в 1505–1535 пунктов ELO.

Grok 4.20 под видом анонимной модели успела проявить себя в торговом соревновании Alpha Arena, показав доходность до 35% на крипторынках. Обновление уже доступно в X и через API.
Elon Musk в сети X

✔️ Mistral AI покупает облачный стартап Koyeb.

Koyeb делал serverless-платформу для развертывания ИИ. Цель предсказуема - интегрировать технологии стартапа в экосистему Mistral. Главный трофей - технология Koyeb Sandboxes, которая создает изолированные среды для безопасного запуска ИИ-агентов.

Mistral планирует внедрить эти наработки в свои продукты и использовать опыт команды для развития платформы Mistral Compute (той самой, что работает на серверах с водяным охлаждением). В марте вся команда Koyeb из 16 инженеров переходит в штат Mistral. Цену сделки не раскрыли.
reuters.com

✔️ OpenAI добавила режим Lockdown Mode в ChatGPT.

Новая настройка безопасности, Lockdown Mode, это "кнопка паники" для корпоративных клиентов, которые боятся утечек и промпт-инъекций.

Работает жестко: при активации система отрубает потенциально опасные инструменты и блокирует внешние запросы за периметр OpenAI. Админы могут включить этот режим принудительно и настроить белые списки для проверенных приложений.

Еще в интерфейсах (ChatGPT, Atlas, Codex) появятся метки Elevated Risk, которые будут предупреждать о функциях, несущих потенциальные риски. OpenAI говорит, что полагаться на мягкие программные фильтры уже нельзя и требуются жесткие архитектурные блокировки.
openai.com

✔️ Unity обещает создание игр через текстовые команды.

CEO Unity Мэтт Бромберг определил "AI-driven authoring" как приоритетное направление развития компании на 2026 год. Компания готовит инструмент, который сможет собирать казуальные игры с нуля, используя только естественный язык.

Бета-версию Unity AI покажут на GDC в марте 2026 года. Технология будет работать нативно внутри платформы, Unity возьмет топовые внешние модели и доучит их понимать контекст движка.

В компании уверены, что такой подход даст результат лучше, чем попытки заставить универсальные LLM писать сложный игровой код. Цель - окончательная демократизация геймдева, порог входа в который, похоже, скоро исчезнет совсем.
wccftech.com

✔️ Western Digital уже распродала все объемы на 2026 год.

По словам генерального директора Ирвинга Тана, почти весь производственный пул выбрали 7 главных клиентов для своих ИИ-проектов. С тремя из них уже подписаны контракты даже на 2027 и 2028 годы..

Бизнес WD меняется на глазах: доля потребительского рынка в выручке упала до 5%. В условиях, когда дата-центры требуют все больше ресурсов для обучения и работы ИИ, производителям становится невыгодно ориентироваться на рядовых пользователей. Деньги теперь там, где нейросети.
mashable.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
68🐳44👍20🔥85🤔5😢3🏆2😐1
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ Реклама в Японии - это не просто маркетинг, а часть культуры.

Станция Рёгоку считается священным местом сумо, здесь проходят главные турниры и живёт дух этого спорта.

И даже реклама PlayStation оформлена так, чтобы визуально вписаться в атмосферу района и показать уважение к его традициям.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
84👍36🔥36🥰7👏6🤩6😍6😁2🌚1🤗1
⚡️ Врываемся на студкемп по аппаратной разработке умных устройств от Яндекс Образования. Осталось 5 дней на регистрацию!

Две насыщенные недели обучения в Москве, с 13 по 24 апреля. В программе — лекции и домашние задания, практические задания и командный проект. Среди спикеров: разработчики Яндекса, участвовавшие в создании Алисы и других умных устройств, а также преподаватели ФПМИ МФТИ, ФКН ВШЭ и эксперты ШАД.

Что даст студкемп:

1. Понимание цикла разработки умного устройства: от идеи до готового продукта.
2. Навыки интеграции машинного обучения в устройства с сохранением их скорости и предсказуемости, даже при ограниченных ресурсах.
3. Знакомство с современными подходами в исследованиях и разработках.
4. Новые знакомства и обмен опытом с профессионалами.

Участие бесплатное. Организаторы покрывают расходы на проезд и проживание для тех, кто прошел отбор. Для тестового потребуются знания C++ или Java/Kotlin, умение работать с командной строкой.

Регистрация открыта только до 22 февраля. Узнать подробности студкемпа и зарегистрироваться можно по ссылке.
26👍128🎉5🤩5😈2🤗2
This media is not supported in your browser
VIEW IN TELEGRAM
2024: Промпт-инженер
2025: Вайб-кодер
2026: Менеджер ИИ-агентов
2027: Безработный
2028: ваш вариант

🙂

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍117😭58😁36🤣23😐11😍8💯8🤨53🔥2😴1
🌟 От ETA к вероятностной модели: новое ML-ранжирование маршрутов.

Мы привыкли, что навигация = минимизация ETA. Но в реальности пользователь сходит с неудобного маршрута, даже если тот экономит 30 секунд. Команда маршрутизации Яндекс Карт пересобрала ранжирование. Теперь варианты оцениваются не только по времени в пути, но и по совокупности факторов, влияющих на удобство поездки.

🟡Как это работает

Ранжированием занимается ML-модель, обученная на обезличенных данных поведения пользователей - агрегированных паттернах, таких как плотность сходов или предпочтения на перекрестках. В качестве метрики было выбрано совпадение фактического трека пользователя с предложенным маршрутом. Этот показатель и стал новым таргетом для ML-модели.

🟡От времени - к портрету маршрута

Раньше маршруты ранжировались в первую очередь по ETA. Теперь каждый вариант описывается сотнями признаков: от времени в пути до сложности манёвров и исторических данных о сходах. На основе этого «признакового портрета» модель рассчитывает скор - вероятность того, что водитель успешно доедет без отклонений.

🟡Как именно учится модель

Акцент при обучении модели сместился: теперь она оптимизируется в первую очередь на то, чтобы первый предложенный маршрут оказался тем, по которому человек действительно доедет до конца. Именно топ-1 получает максимальное внимание, при этом остальные варианты никуда не исчезают и доступны для выбора.

В поездке человек не строит рейтинг маршрутов - он выбирает один, а все остальные варианты для него в этот момент перестают существовать. Поэтому мы перешли от классического «ранжирования» к задаче «выбора», используя функцию потерь на основе Softmax с one‑hot‑таргетом.


🟡Что на практике

Долгое время порядок формировался простой сортировкой по ETA - удобные и предсказуемые маршруты не всегда были на первом месте и иногда вовсе выпадали из топ-3.

- Синий маршрут - результат старого ранжирования (ETA-first);
- Красный - новое ML‑ранжирование, он чуть медленнее по времени, но с него реже сходят.

Модель начала чаще поднимать такие варианты наверх, обходя сложные участки или центр города. В итоге первым оказывается не самый быстрый путь, а тот, который на практике понятнее и чаще проезжаем. При этом пользователю предлагаются и другие варианты и выбор всегда остается за ним.

Такой подход позволяет учитывать реальные сценарии движения и легко масштабируется: модель может учитывать новые факторы - от персонализации до адаптации под локальные дорожные особенности.

Технические детали и логику работы модели команда разложила на Хабре.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍103🤷‍♂2619🤔16🙏15🍾15🤷12👌11🏆8😎8🔥7
Tiny Aya: семейство мультиязычных SLM.

Cohere Labs выкатили семейство моделей Tiny Aya на 3 млрд. параметров с контекстным окном 8К, которое поддерживает 70+ языков.

Семейство заявляется как достойный кандидат для локальных переводчиков, чат-ботов и образовательных тулзов в оффлайн-режиме. Если необходимо, чтобы было быстро, локально и переводить суахили или кхмерский лучше, чем Llama - это вот оно.

🟡Фишка релиза в дата-инжиниринге.

Tiny Aya учили на 6 трлн. токенов, а проблему нехватки данных для редких языков решали через синтетику от моделей-учителей (своя Command R + DeepSeek-V3).

Вместо того чтобы учить одну модель всему сразу, разбили данные на языковые кластеры (Европа, Азия, Африка и т.д.) и дотюнивали отдельные ветки, после чего смержили эти региональные чекпоинты в глобальную модель Tiny Aya Global.

🟡Состав семейства

Tiny Aya Global: Универсальный чекпоинт для всех языков.

Tiny Aya Earth: Африка и Западная Азия.

Tiny Aya Fire: Южная Азия.

Tiny Aya Water: Азиатско-Тихоокеанский регион и Европа. Мы тут

GGUF: Есть к каждой версии в 4, 8 и 16-бит.

iOS и Android: модели доступны в PocketPal

🟡Результаты тестов

Global-версия бьет Gemma 3-4B в 46 языках из 61 на бенче WMT24++.

На iPhone 17 Pro выдает 32 токена/сек, на стареньком iPhone 13 - около 10 токенов/сек в квантовании Q4_k_m.

Самый высокий показатель безопасности (91.1%) среди конкурентов (Qwen3-4B, Ministral-3-3B).

🟡Капля реализма

Это 3B модель. В сложных задачах она очевидно хуже или где-то рядом с одноклассниками, чудес ждать не стоит.

Несмотря на заявленное разнообразие, английский язык занимает львиную долю датасета во всех кластерах.

При сильном сжатии (ниже Q4) качество начинает заметно страдать, особенно на редких языках.



📌Лицензирование: CC-BY-NC-4.0 License.


🟡Блогпост
🟡Набор моделей
🟡Техотчет
🟡Demo


@ai_machinelearning_big_data

#AI #ML #SLM #TinyAya #Cohere
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤓60💯36🥱33🤩2724🦄20🔥19😴17🙈16😇14👍13
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI и Paradigm представили инструмент для оценки навыков ИИ в защите смарт-контрактов.

EVMbench - специализированный фреймворк, который проверяет, насколько хорошо языковые модели справляются с 3 задачами: находят баги в коде смарт-контрактов, эксплуатируют их в контролируемой среде и исправляют без нарушения логики контракта.

Тестовая база построена на реальных примерах багов, найденных ранее в ходе аудитов и профильных соревнований.

Авторы рассчитывают, что EVMbench станет отраслевым стандартом, что важно для защиты активов в секторе децентрализованных финансов, где исправить ошибку после деплоя уже невозможно.
openai.com

✔️ Google обновила NotebookLM.

Теперь в NotebookLM сгенерированные презентации можно дорабатывать прямо в диалоге с ИИ, без ручной правки каждого слайда. Достаточно написать, что изменить, и модель перестроит контент сама.

Второе обновление - экспорт в PPTX. Готовую презентацию можно скачать и открыть в Microsoft PowerPoint. Поддержка Google Slides анонсирована, но пока не запущена.
NotebookLM в сети Х

✔️ Perplexity полностью отказывается от рекламы.

ИИ-поисковик прекратил эксперименты с рекламной монетизацией, посчитав, что она фундаментально противоречит миссии сервиса. Несмотря на то, что стартап одним из первых начал тестировать спонсорские ответы в 2024 году, сейчас руководство решило свернуть эту инициативу.

Представители компании пояснили, что их главная ценность - это точность и объективность информации. Даже если промо-блоки четко маркированы и технически не влияли на генерацию текста, сам факт их наличия заставляет людей сомневаться в честности ответов.

В Perplexity пришли к выводу, что для удержания платных подписчиков пользователь должен быть уверен, что получает лучший возможный ответ, не искаженный коммерческими интересами рекламодателей.
ft.com

✔️ Gemini теперь может генерировать музыку.

В чат-бот добавили модель Lyria 3 от DeepMind. На вход она принимает текст, картинку или видео, а если указать в запросе имя исполнителя, Gemini создаст трек в похожем стиле (но скопировать артиста напрямую не получится).

Инструмент в бете, но уже пишет полноценные треки на английском, немецком, испанском, французском, хинди, японском, корейском и португальском языках. Вся музыка, созданная через Lyria 3, получает метку SynthID.
blog.google

✔️ В MIT приспособили языковую модель для удешевления производства лекарств.

Команда инженеров-химиков института адаптировала архитектуру LLM для нужд биотехнологий. Созданный алгоритм помогает промышленным дрожжам Komagataella phaffii эффективнее производить сложные белки, используемые в вакцинах и препаратах от рака.

Суть разработки - решении проблемы генетических синонимов. Одна и та же аминокислота может кодироваться разными триплетами ДНК (кодонами), но на классических методах оптимизации выбор самых часто встречающихся вариантов нередко приводит к дефициту ресурсов клетки и снижению выработки.

Инженеры обучили модель на геноме дрожжей, заставив ее воспринимать ДНК как текст. ИИ не просто запомнил частоту кодонов, но и усвоил скрытый контекст — «синтаксис» их взаимодействия. В тестах на реальных белках, включая человеческий гормон роста и моноклональные антитела, последовательности от ИИ превзошли результаты лучших коммерческих инструментов в 5 случаях из 6.
Технология обещает сократить расходы на разработку новых лекарств, которые на этапе подготовки производства сейчас составляют до 20% от общего бюджета.
news.mit.edu


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
37👏27👍13🔥10🤩8🤔5😎5🎉3🤝1🆒1
✔️ Яндекс сократил затраты на обучение LLM на 4,8 млрд рублей в год без потери качества и темпов разработки

Компания сообщила о масштабной оптимизации инфраструктуры обучения больших языковых моделей: качество и объёмы разработки сохранены, а годовая экономия составила 4,8 млрд ₽ (≈ 400 млн ₽ в месяц).

🟡Ключевое решение — библиотека YCCL
YCCL (Yet Another Collective Communication Library) — собственная разработка Яндекса для ускорения коллективных операций и межпроцессорного взаимодействия в кластерах.

С её помощью удалось:
- в 2 раза ускорить обмен данными между GPU,
- сократить объём передаваемой информации
- перенести часть управляющей логики с GPU на CPU, снизив нагрузку на графические процессоры.

Сопоставимые по уровню решения есть только у крупнейших игроков рынка (Meta, AMD и ряд китайских бигтех-компаний).

🟡 Переход на FP8
Компания внедрила вычисления в формате FP8, что дало:
ускорение обучения до 30%, двукратное снижение коммуникаций между GPU.

🟡 Масштабирование и эффективность кластеров
Размер батча увеличен до 16–32 млн токенов, что уменьшило простой GPU и повысило загрузку и эффективность использования кластеров.

Дополнительно улучшили стабильность инфраструктуры и сократили затраты, связанные с перезапусками обучения.

@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍67🤣60🔥2215😁5👏3🤩3🤬2😢2🤔1🎉1
📌Большое интервью создателя Claude Code.

Y Combinator выложил на Youtube почти часовой выпуск подкаста Lightcone Podcast с Борисом Черным, создателем Claude Code в Anthropic. Мы собрали для вас ключевые темы, цитаты и утверждения.

🟡Философия разработки

Стратегия Anthropic при создании инструментов заключается в опережении текущих возможностей ИИ.

Главный совет фаундерам: не подстраивайте продукт под ограничения сегодняшних моделей. Стройте его для модели, которая выйдет через полгода. Если сегодня модель глупая, через 6 месяцев она поумнеет, и ваш продукт должен быть к этому готов.

Принцип "Scaffolding" : обвязка вокруг модели может улучшить производительность на 10-20%, но следующая версия модели часто нивелирует этот выигрыш. Либо вы строите обвязку для временного прироста, либо ждете новую модель и получаете прирост бесплатно.

CLAUDE.md часто переусложняют. Борис рекомендует удалять его и начинать заново, так как с каждой новой моделью требуется меньше инструкций.

🟡Продуктивность

Внутренняя статистика Anthropic показывает радикальное изменение в процессах разработки.

Инженер Anthropic сейчас в 1000 раз продуктивнее инженера Google на пике их формы.

После внедрения Claude Code продуктивность внутри Anthropic выросла на 150% (измеряется по количеству PR, коммитов и их жизненному циклу). Ранее годовой рост на 2% считался успехом (личный опыт Бориса у Цукерберга).

CEO Anthropic предсказывал, что 90% кода будет писать ИИ. Борис утверждает, что с выходом Opus 4.5 эта цифра достигла 100%.

Борис удалил свою IDE. Он не редактирует ни одной строчки кода вручную. Весь процесс идет через Claude Code в терминале.

🟡Технические возможности и кейсы Claude Code

Первый инструмент, который дали модели был bash.

Инженер Anthropic Крис нашел утечку памяти, просто попросив Claude Code: "Найди утечку". Агент снял heap dump, написал инструмент для анализа дампа, нашел утечку и предложил фикс быстрее человека.

Рекурсивная отладка: можно загрузить транскрипт сессии кодинга обратно в Claude, чтобы отладить самого агента.

🟡CLAUDE.md и контекст проекта

Идея CLAUDE.md родилась из наблюдения скрытого спроса: инженеры сами писали markdown-файлы с контекстом для скармливания модели.

Личный CLAUDE.md Бориса содержит всего две строки:
1. При создании PR включать auto-merge.
2. Постить ссылку на PR во внутренний канал Slack.

Если Claude совершает ошибку, команда тегает его в PR (командой /add claude), чтобы он исправил код и обновил правила в CLAUDE.md для предотвращения рецидивов.


🟡Агенты, Plan Mode и мультиагентность

Эволюция идет от простого выполнения команд к сложному планированию и роям агентов.

Plan Mode: Режим, где модель сначала расписывает шаги, а потом выполняет.

Промпт для Plan Mode технически прост: к запросу добавляется фраза "Пожалуйста, не пиши код, а сначала спланируй".

Функция "Plugins" была написана роем агентов за выходные без участия человека: инженеры дали спецификацию и доступ к Asana. Главный агент спавнил субагентов, раздавал задачи из доски, а те писали код.

Стратегия "Mama Claude": основной инстанс Claude Code рекурсивно вызывает субагентов (другие инстансы Claude Code) для решения подзадач.

🟡Инсайты о найме и типах инженеров

Биомодальное распределение эффективных сотрудников:

Гипер-специалисты: кандидаты с глубоким знанием devtools, runtime, оптимизаций.

Гипер-дженералисты: люди, совмещающие роли Product, Infra, Design.


Product Engineer исчезает как термин, все становятся "Builders".

В Anthropic код пишут все: дизайнеры, финансисты и менеджеры.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👏2619👍11😁6🤓4💯3🎉2🔥1