Data Science | Machinelearning [ru]
19.8K subscribers
947 photos
57 videos
28 files
3.87K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

MAX - https://max.ru/devsp
Личный блог - @just_genych
По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
OpenBPM 2.0 приехал

В «Хоулмонте» инженеры пилят русскую платформу OpenBPM. Что это по сути: bpm-движок плюс обвязка из профильных инструментов вокруг него — чтоб автоматизировать контору целиком, а не по кусочкам. И вот они выкатили OpenBPM Engine v.2.0 — это, по сути, продолжение той самой истории с форками «7-ой камунды».

Релиз — коллективный труд кучи команд, собран на самых свежих java-фреймворках, и отличий там хватает принципиальных. Переезд на Spring Boot 4 вместе с плотным использованием Spring AI — это реально новые горизонты для тех, кто клепает процессные приложения. Инноваций напихали столько, что без чтения migration-гайдов никуда: они и помогают перенести проекты на эту базу без нервов и сюрпризов.

Подробности в статье

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
🤣 Этот на все согласен

💥 xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
😁13❤3
«И тут по щелчку навайбкодил SaaS» — а что осталось за кулисами сказочного успеха Cal AI, Rork и Base44

Со стороны Cal AI, Rork и Base44 — чистый триумф вайбкодинга. Школьник разгоняет приложение до десятков миллионов долларов. Двое основателей, сидящие в долгах, поднимают $2.8 млн инвестиций. Соло-разработчик за какие-то полгода толкает Wix свой продукт за $80 млн. Выглядит так, будто хватит запустить Claude Code, нагенерить SaaS — и сидеть ждать, пока бабки сами приедут.

Автор пошёл копать, что творилось за кадром. А за этой красивой картинкой — опыт, былые провалы, деньги, маркетинг, команда. Сам вайбкодинг тут — лишь один кусок пазла.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Гоняй свои ML-стратегии по истории рынка, а не по собственному кошельку. Сначала прогон — потом реальные бабки.

Причём проверяй не одну бумажку, а сразу пачку инструментов. И модели должны имитировать живую торговлю, а не что-то оторванное от реальности.

Данные для этого тащат из Yahoo и Alpaca: pybroker

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
LLM, боль и хайповый препринт: что там на самом деле

По телегам снова понеслась волна: учёные, мол, откопали в LLM вектор боли — значит, модель умеет страдать. Насколько искусственен искусственный интеллект? И не пора ли уже прописать этику обращения с ИИ?

А статья — про то, что авторы реально написали и какие выводы из этого честно вытекают. Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Детектор ИИ-текста на коленке: что из нейрослопа реально ловит код, а что до сих пор расхлёбывает живой редактор

Автор прогнал через свой детектор 12 признаков нейрослопа — то есть текста, который родила нейронка и никто потом не вычитал. Пять признаков скрипт берёт на себя, причём два — только частично. Оставшиеся семь держатся исключительно на правилах для редактора. А на пробе мимо скрипта спокойно проплыли две классические вводки: «В этой статье мы рассмотрим» и «Вывод простой» с двоеточием.

Онлайн-детекторы выдают тебе процент и молчат про то, что вообще чинить. Да и сам процент — опора так себе: у Liang и соавторов семь детекторов в среднем записали в машинные 61% эссе TOEFL, написанных живыми людьми, для которых английский не родной. OpenAI свой классификатор прикрыла летом 2023 года — точность никакая. Точечная проверка устроена иначе: она тычет пальцем в конкретную фразу и правило, и по каждому срабатыванию можно спорить отдельно.

Редакторы Википедии держат открытый список признаков ИИ-текста и прямым текстом пишут: признак — это намёк на возможную проблему, сам по себе он ничего не доказывает. Скрипт живёт по той же логике: он вынюхивает следы невычитанного текста, а авторство не палит. Общий балл этого детектора уже разбирали на Хабре

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA открыла исходники PersonaPlex-7B

Голосовой ИИ давно упирался в одно жирное ограничение — и NVIDIA его, похоже, снесла: код болталки PersonaPlex-7B теперь лежит в опенсорсе. Фишка в полнодуплексном режиме — она слушает и говорит одновременно.

Хватит тупо ждать, пока ты договоришь. Внутри двухпоточная архитектура: речь и ответ обрабатываются прямо в реальном времени. Код открыт целиком, юзай бесплатно.

PersonaPlex-7B

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Как не спалить токены AI-агента на кодовой базе: 5 паттернов на все случаи

AI-агенты уже не просто клепают отдельные функции — они влезли в обычный процесс разработки по-настоящему. Роются в живых проектах, ищут нужные файлы, разбирают архитектуру, гоняют тесты и проверяют, что получилось. И это вообще не про какой-то один стек: агенту без разницы, лепить страницу во frontend-приложении, поднимать endpoint на backend, править схему базы, возиться с очередью сообщений, чинить data pipeline, обновлять CI/CD или накатывать новый сервис.

И вот тут на приличной кодовой базе вылезает засада: токены улетают куда быстрее, чем растёт объём реально написанного кода. Всё потому, что здоровенный кусок токенов сгорает ещё до того, как в проекте появится первая строчка кода.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
35B-модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Чел заявляет: его 3060, посаженная на PCIe Gen2 x4, вообще не душит генерацию Qwen3.6–35B‑A3B — 109 ток/с, и плевать она хотела на узкую шину. Почему это в принципе работает, он раскладывает в статье.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Reasoning From Scratch: RLVR, часть 2

Себастьян Рашка (@rasbt) выкатил вторую порцию разбора «Reasoning From Scratch: RLVR» — это про обучение с подкреплением, где награду можно проверить. Внутри: зачем вообще ограничивать отношения вероятностей политик, какую роль играет KL-слагаемое в лоссе, что дают награды за формат ответа и какие ещё трюки крутят вокруг GRPO. Видео: youtu.be/VxfUrUrrczs

00:00 Вступление и повтор того, что уже было
01:52 Как читать основные метрики обучения GRPO
06:34 Что собираются доработать в GRPO
08:58 Запуск долгого обучения через Python-скрипты
13:39 Старт базового скрипта для обучения GRPO
17:29 Подтягиваем логи обучения и рисуем графики
19:29 Разбираемся, почему обучение пошло вразнос
23:55 Прогон контрольных точек модели на MATH-500
26:26 Качаем уже готовые контрольные точки модели
30:09 Следим за статистикой преимущества
34:53 Что за зверь такая энтропия
40:32 Считаем энтропию в PyTorch
44:17 Как трактовать значения энтропии
48:58 Прикручиваем трекинг энтропии к GRPO
53:36 Разбор метрик преимущества и энтропии
56:18 Стабилизируем GRPO через ограничение отношений вероятностей политик
1:03:27 Пишем функцию потерь политики с ограничением
1:09:39 Смотрим результаты обучения с ограничением отношений вероятностей политик
1:11:25 KL-дивергенция и как обойти систему наград
1:15:12 Вставляем KL-слагаемое в функцию потерь
1:20:34 Где спотыкается упрощённая функция потерь с KL
1:23:04 Награды за формат ответа и теги think
1:25:47 Закидываем специальные токены в токенизатор
1:30:29 Реализуем награду за формат ответа
1:35:56 Разбор обучения с наградой за формат ответа
1:38:25 Награда за формат — только если ответ верный
1:40:48 Дальнейшие улучшения GRPO из исследований
1:45:43 Куда дальше и дистилляция


👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Можно ли научить мелкую LLM учиться, не раздувая веса?

В первой статье автор крутил опыты на модельке, которая спокойно влезает в домашнюю видюху. Суть вопроса: способна ли она умнеть со временем — не раздуваясь до гигантских размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Теперь он выкладывает карты: всё это — шаги к новой архитектуре LANN-4. То есть к нейросети, которая учится всю свою «жизнь», имея компактный неизменный «мозг» и память, вынесенную наружу. Только вот самой архитектуры пока нет — её ни выбрали, ни собрали. А мелкие модели в опытах — подопытные инструменты, а не LANN-4.

А вот что нихрена не вышло: проверка показала — если одну и ту же небольшую модель дообучать на примерах несколько раз кряду, лучше от раза к разу она не становится. Первый раунд подучивания даёт ощутимый прирост, дальше рост встаёт — накопления не случилось. Автор просит помочь найти дыру в устройстве решающей проверки, прежде чем палить примерно сутки работы видеокарты.

Читать далее

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
🦾 LLM умеют генерировать тексты, отвечать на вопросы и работать с документами. Но чтобы использовать их в реальных задачах, важно понимать, как модели принимают решения и почему иногда дают неожиданный результат.

🚀 На открытом уроке разберём, как устроены большие языковые модели и как применять эти знания на практике. Вы узнаете:

— как модель выбирает слова и формирует ответ;
— как развернуть LLM локально и проверить её работу через API;
— как модели используют контекст из документов и почему это важно для RAG-систем.

Урок подойдет начинающим разработчикам, аналитикам и менеджерам продукта, которые хотят понимать ИИ глубже и использовать его в рабочих задачах. Открытый урок проходит в преддверии старта курса «LLM-инженер».

📋 27 октября в 20:00 МСК.
➡️ Все участники получат скидку на обучение. Принять участие: https://vk.cc/d2RHw3

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Как собрать RAG-чат для сайта, который не сочиняет цены: пять решений из моего бота

С июня пилю AI-чат для сайтов — такой, что не выдумывает цены и не поддакивает клиенту по любому поводу.

До пяти решений из статьи я допер через свои же факапы.

Читать про пять решений

👉 Telegram | Max
Please open Telegram to view this post
VIEW IN TELEGRAM