Data Science | Machinelearning [ru]
19.8K subscribers
950 photos
58 videos
28 files
3.87K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

MAX - https://max.ru/devsp
Личный блог - @just_genych
По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA открыла исходники PersonaPlex-7B

Голосовой ИИ давно упирался в одно жирное ограничение — и NVIDIA его, похоже, снесла: код болталки PersonaPlex-7B теперь лежит в опенсорсе. Фишка в полнодуплексном режиме — она слушает и говорит одновременно.

Хватит тупо ждать, пока ты договоришь. Внутри двухпоточная архитектура: речь и ответ обрабатываются прямо в реальном времени. Код открыт целиком, юзай бесплатно.

PersonaPlex-7B

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Как не спалить токены AI-агента на кодовой базе: 5 паттернов на все случаи

AI-агенты уже не просто клепают отдельные функции — они влезли в обычный процесс разработки по-настоящему. Роются в живых проектах, ищут нужные файлы, разбирают архитектуру, гоняют тесты и проверяют, что получилось. И это вообще не про какой-то один стек: агенту без разницы, лепить страницу во frontend-приложении, поднимать endpoint на backend, править схему базы, возиться с очередью сообщений, чинить data pipeline, обновлять CI/CD или накатывать новый сервис.

И вот тут на приличной кодовой базе вылезает засада: токены улетают куда быстрее, чем растёт объём реально написанного кода. Всё потому, что здоровенный кусок токенов сгорает ещё до того, как в проекте появится первая строчка кода.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
35B-модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Чел заявляет: его 3060, посаженная на PCIe Gen2 x4, вообще не душит генерацию Qwen3.6–35B‑A3B — 109 ток/с, и плевать она хотела на узкую шину. Почему это в принципе работает, он раскладывает в статье.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Reasoning From Scratch: RLVR, часть 2

Себастьян Рашка (@rasbt) выкатил вторую порцию разбора «Reasoning From Scratch: RLVR» — это про обучение с подкреплением, где награду можно проверить. Внутри: зачем вообще ограничивать отношения вероятностей политик, какую роль играет KL-слагаемое в лоссе, что дают награды за формат ответа и какие ещё трюки крутят вокруг GRPO. Видео: youtu.be/VxfUrUrrczs

00:00 Вступление и повтор того, что уже было
01:52 Как читать основные метрики обучения GRPO
06:34 Что собираются доработать в GRPO
08:58 Запуск долгого обучения через Python-скрипты
13:39 Старт базового скрипта для обучения GRPO
17:29 Подтягиваем логи обучения и рисуем графики
19:29 Разбираемся, почему обучение пошло вразнос
23:55 Прогон контрольных точек модели на MATH-500
26:26 Качаем уже готовые контрольные точки модели
30:09 Следим за статистикой преимущества
34:53 Что за зверь такая энтропия
40:32 Считаем энтропию в PyTorch
44:17 Как трактовать значения энтропии
48:58 Прикручиваем трекинг энтропии к GRPO
53:36 Разбор метрик преимущества и энтропии
56:18 Стабилизируем GRPO через ограничение отношений вероятностей политик
1:03:27 Пишем функцию потерь политики с ограничением
1:09:39 Смотрим результаты обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и как обойти систему наград
1:15:12 Вставляем KL-слагаемое в функцию потерь
1:20:34 Где спотыкается упрощённая функция потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Закидываем специальные токены в токенизатор
1:30:29 Реализуем награду за формат ответа
1:35:56 Разбор обучения с наградой за формат ответа
1:38:25 Награда за формат — только если ответ верный
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Куда дальше и дистилляция


👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Можно ли научить мелкую LLM учиться, не раздувая веса?

В первой статье автор крутил опыты на модельке, которая спокойно влезает в домашнюю видюху. Суть вопроса: способна ли она умнеть со временем — не раздуваясь до гигантских размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Теперь он выкладывает карты: всё это — шаги к новой архитектуре LANN-4. То есть к нейросети, которая учится всю свою «жизнь», имея компактный неизменный «мозг» и память, вынесенную наружу. Только вот самой архитектуры пока нет — её ни выбрали, ни собрали. А мелкие модели в опытах — подопытные инструменты, а не LANN-4.

А вот что нихрена не вышло: проверка показала — если одну и ту же небольшую модель дообучать на примерах несколько раз кряду, лучше от раза к разу она не становится. Первый раунд подучивания даёт ощутимый прирост, дальше рост встаёт — накопления не случилось. Автор просит помочь найти дыру в устройстве решающей проверки, прежде чем палить примерно сутки работы видеокарты.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
🦾 LLM умеют генерировать тексты, отвечать на вопросы и работать с документами. Но чтобы использовать их в реальных задачах, важно понимать, как модели принимают решения и почему иногда дают неожиданный результат.

🚀 На открытом уроке разберём, как устроены большие языковые модели и как применять эти знания на практике. Вы узнаете:

— как модель выбирает слова и формирует ответ;
— как развернуть LLM локально и проверить её работу через API;
— как модели используют контекст из документов и почему это важно для RAG-систем.

Урок подойдет начинающим разработчикам, аналитикам и менеджерам продукта, которые хотят понимать ИИ глубже и использовать его в рабочих задачах. Открытый урок проходит в преддверии старта курса «LLM-инженер».

📋 27 октября в 20:00 МСК.
➡️ Все участники получат скидку на обучение. Принять участие: https://vk.cc/d2RHw3

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Как собрать RAG-чат для сайта, который не сочиняет цены: пять решений из моего бота

С июня пилю AI-чат для сайтов — такой, что не выдумывает цены и не поддакивает клиенту по любому поводу.

До пяти решений из статьи я допер через свои же факапы.

Читать про пять решений

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
АЙТИШНИКИ БЕСПЛАТНОЕ ОБУЧЕНИЕ

Проект «Terminal» стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков:

• Практические курсы и задания
• Книги и статьи известных авторов
• Полезные инструменты и ресурсы
• IT-новости и инсайды

Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go, Git, Linux, QA, Java, Vibe-coding, InfoSec и др.

⌨️ подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Fish Audio выкатили голосовую ИИ-модель Drama 3

Пацаны только что дропнули голосовую ИИшку, которой рулишь как живым актёром. Всё, хватит пихать в текст мутные служебные коды — просто напиши «прочитай это так, будто тебя окончательно достала жизнь», и она выдаёт ровно это.

И вот почему это прям огонь: одно слово прозвучало криво — правишь только его, остальная озвучка даже не шелохнётся. Голоса модель меняет прямо посреди фразы. И может вытянуть целую сцену с кучей персонажей из одного сценария. Твой голос клонирует и тащит его характер с манерой речи в другие языки. Языков — 83, а веса валяются на скачивание под лицензией Fish Audio Community License.

А чтоб показать, на что она способна, разрабы склонировали голос Uncle Roger и заставили его весь ролик разносить собственный жареный рис. Ахах, ну это просто прекрасно.

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Nano Banana 2.1 против Nano Banana 2, Pro и GPT Image 2.5: 14 задач с русскими промптами

6 октября 2026-го Google выкатил Nano Banana 2.1. Модель прогнали через 14 задач с русскими промптами, а в соперники взяли Nano Banana 2, Pro и GPT Image 2.5. В наборе — часы, таблица элементов, афиши, правка тарифной карточки. И в восьми случаях русский текст лежит прямо на картинке.

Если считать по баллам, все четыре влезли в 5 очков из 76 — но косячат по-разному. Nano Banana Pro эпично развалилась на таблице из 18 элементов. Nano Banana 2.1 просадила регистр и знаки препинания в афишах и инфографике. GPT Image 2.5 Sunburst промахнулась реже всех, только от Nano Banana 2 её отделяет один балл (72 против 71) — то есть шум.

Внутри материала: что заявлено, как устроен тест, результаты по каждой задаче, цена в токенах и промпты для повтора. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
Попробовал подменить разработчиков ИИ-агентами

Один агент баг прошляпил. Четыре субагента — нет: заказ можно было оплатить повторно даже после успешной оплаты. На скрытом наборе тестов соло-запуск вытянул 7/8, а агентная команда дожала до 8/8. И это при том, что обе версии без проблем прошли production build и собственные тесты.

Так что, всю команду разработчиков уже можно разгонять? Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM