Data Portal | DS & ML
8.4K subscribers
491 photos
136 videos
5 files
682 links
Всё самое интересное из мира LLM, Data Science и машинного обучения

adds: @devmangx
Автор: @ScienceLLM
Download Telegram
Этот GitHub-репозиторий — настоящая находка для тех, кто хочет не просто пользоваться ИИ и машинным обучением, а действительно глубоко их понять.

Maths, CS & AI Compendium — Бесплатный сборник.

В течение нескольких лет Генри вёл подробные конспекты, в которых объяснял математику, информатику и искусственный интеллект через интуицию, без лишней воды.

Его друзья использовали эти материалы для подготовки к собеседованиям в DeepMind, OpenAI и NVIDIA — и все успешно получили работу.

Теперь эти конспекты стали общедоступными.
В сборнике 20 глав, охватывающих путь от векторов до самых современных методов искусственного интеллекта.
Материал построен на интуитивном понимании, сопровождается примерами из реальной практики и избегает поверхностных объяснений.

плюс: В репозиторий входит MCP-сервер, благодаря которому Claude Code, Cursor, VS Code и другие совместимые инструменты могут использовать этот сборник как интерактивную базу знаний.
Локальный ИИ ещё никогда не был таким простым

> Установите ODS.
> Он автоматически определит характеристики вашего компьютера.
> Скачает модель, которая лучше всего подходит для вашего оборудования.
> Затем запустит локальный ИИ и Open WebUI.

С ODS вы можете:
> Добавить голосовое управление, ИИ-агентов (например, Hermes), рабочие процессы (workflows), RAG, поиск, генерацию изображений и многое другое.
> Управлять всей экосистемой через единую панель управления.

Теперь ваш ПК, Mac или компьютер с Linux становится приватным ИИ-сервером.

Не нужен облачный сервис и подписка. Ваши запросы и данные остаются на вашем устройстве, если только вы сами не решите иначе.
Машинное обучение для промышленной эксплуатации: https://github.com/EthicalML/awesome-production-machine-learning

Этот репозиторий содержит тщательно подобранную коллекцию отличных библиотек с открытым исходным кодом, которые помогут развёртывать, отслеживать, версионировать, масштабировать и обеспечивать безопасность систем машинного обучения в промышленной эксплуатации.
А что, если бы можно было прочитать целую папку CSV-файлов одной строкой кода?

Работа с несколькими CSV-файлами часто требует дополнительного кода, чтобы загрузить, объединить и обработать каждый файл.

DuckDB упрощает эту задачу: он позволяет напрямую выполнять SQL-запросы к нескольким CSV-файлам с использованием шаблонов имён, чтобы анализировать их одним эффективным запросом.

Статья о DuckDB для дата-сайентистов: https://bit.ly/4uCVvO2
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпустила новый фреймворк для RL.

Весь сетап помещается в один Python-файл:

- пишете класс с функцией step()
- возвращаете из неё reward
- всё остальное фреймворк берёт на себя — вплоть до обучения MoE-моделей класса 1T параметров

В типичном RL-фреймворке логика environment и reward находится внутри кодовой базы тренера.

Чтобы добавить новую задачу, нужно писать код под конкретный фреймворк, регистрировать её и подключать соответствующую конфигурацию.

Reward обычно выдаёт отдельно обученная reward model, для которой нужны собственные GPU и отдельное размещение рядом с actor и critic.

Фреймворк Molt от NVIDIA убирает оба этих требования.

Каждый запуск принимает флаг agent_path, указывающий на один Python-модуль, при этом код тренера никогда не меняется.

Модуль предоставляет два способа подключить агента.

> Первый — класс Env, в котором вы реализуете функцию step(). Она получает output модели и возвращает reward, а всё остальное фреймворк делает сам: вызывает модель, выполняет токенизацию и запускает цикл ход за ходом, пока episode не завершится.

> Второй — класс ChatAgent для агентов, у которых уже есть собственный loop. Здесь цикл вы пишете самостоятельно, вызывая модель через стандартный клиент OpenAI или Anthropic. Фреймворк при этом поднимает локальный сервер, поэтому запросы идут в его vLLM-движки, а не во внешний API.

В обоих случаях тренер получает одно и то же: trajectory из токенов и reward в конце.

Этот reward может формироваться через:

- проверку точного совпадения строк
- выполнение кода в изолированном subprocess
- вызов LLM-as-a-judge

Таким образом, не нужно отдельно обучать и размещать reward model, а код environment не хранится внутри самого фреймворка.

Под капотом Molt запускает одного обучаемого actor — плюс опциональный critic для PPO — на FSDP2, использует vLLM-движки для rollout и очереди Ray для обмена между компонентами.

Благодаря этому генерация, обучение и синхронизация весов выполняются с перекрытием, а не строго последовательно.

Для масштабирования достаточно изменить несколько флагов в той же команде.

Фреймворк также самостоятельно распределяет модель по GPU, поэтому один и тот же скрипт, который обучает модель на 8B параметров на одной ноде, может обучать на кластере MoE-модели масштаба DeepSeek-V3 — достаточно увеличить значения флагов параллелизма.

Репозиторий:
https://github.com/NVIDIA-NeMo/labs-molt

Поскольку фреймворк новый, я пока продолжаю с ним экспериментировать и скоро поделюсь своими выводами.

Для тех, кто хочет глубже разобраться в том, как ведущие AI-лаборатории создают RL-агентов в 2026 году, я написал подробную статью.

В ней рассматривается эволюция от RLHF к GRPO с верифицируемыми reward, а также использование LLM-as-a-judge в качестве reward-функции.

Этот подход позволяет применять RL-обучение к агентным задачам, результат которых нельзя однозначно верифицировать, без необходимости писать собственные reward-функции.
Напоминание: для веб-поиска, который используют AI-агенты, не обязательно нужен платный API-ключ.

Есть CLI-инструмент для самостоятельного хостинга и MCP-навык для AI-агентов, построенный на базе SearxNG.
Он даёт локальным агентам доступ к поиску в интернете, отправляя запросы через собственный экземпляр SearxNG и возвращая результаты в удобном виде для OpenClaw, Claude Code, Antigravity и т.п.

В основе инструмента лежит SearxNG — метапоисковая система с самостоятельным хостингом, которая агрегирует результаты из Google, Bing, DuckDuckGo, Brave и более чем 70 других источников. Основной способ работы через терминал: достаточно выполнить команду ask-search "запрос", при необходимости указав количество результатов, категорию новостей, языковые фильтры, вывод только URL-адресов или результатов в формате JSON.

Берём на вооружение 🚬
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA открыла исходный код ARDY — новой ИИ-модели для интерактивной генерации движений людей в реальном времени.

Вы просто описываете, что должен делать персонаж, и он это делает. Прямо во время движения. Можно изменить текстовую команду на ходу, указать новую точку маршрута или добавить ключевые кадры и система мгновенно перестроит движение. Без предварительного просчёта и ожидания.

И на этот раз NVIDIA выпустила всё сразу:

- исходный код;
- веса модели;
- рабочее демо.

Система полностью готова к локальному запуску. При этом модели достаточно 20–24 ГБ VRAM.

Особенно интересно, что эта технология создавалась не только для анимации - в её основе лежат те же исследования, которые NVIDIA использует в разработке человекоподобных роботов.
This media is not supported in your browser
VIEW IN TELEGRAM
Вышла NVIDIA DeepStream 9.1 с 13 агентными скиллами для создания пайплайнов видеоаналитики.

Вместо того чтобы вручную собирать пайплайн компьютерного зрения с нуля, достаточно описать нужный результат обычным естественным языком. Эти скиллы можно использовать вместе с Claude Code или Codex, чтобы упростить настройку окружения, конфигурацию и запуск.

Среди новых скиллов — Multi-View 3D Tracking (MV3DT) для отслеживания объектов по данным с нескольких камер и AutoMagicCalib для автоматической калибровки сети камер.

В этом релизе также появилась поддержка NVIDIA JetPack 7.2 для edge-развёртывания на Jetson Orin и Thor. Всё опубликовано в открытом исходном коде на GitHub — подробнее здесь: https://nvda.ws/4vxQ6Yk
Локальный запуск 1-битной LLM не должен требовать полной пересборки inference-стека с нуля.

bitnet.cpp — это фреймворк для инференса, предназначенный для инженеров, которые хотят локально запускать 1,58-битные LLM.

Он помогает подготовить и запустить поддерживаемые модели, объединяя в одной кодовой базе конвертацию в GGUF, квантизацию, оптимизированные ядра и инференс через командную строку. В результате вы получаете единый задокументированный путь от чекпоинта модели до локальной генерации и измерения производительности на конкретном оборудовании.

Ключевые возможности:

• Инференс на CPU — оптимизированные ядра I2_S для x86-64 и ARM.
• Поддержка GPU — кастомные CUDA-ядра W2A8 для BitNet-b1.58-2B-4T.
• Работа с моделями — загрузка поддерживаемых чекпоинтов из Hugging Face и их конвертация в GGUF.
• Готовый CLI — управление промптом, количеством потоков, размером контекста, температурой и режимом чата.
• Инструменты для бенчмаркинга — измерение скорости обработки промпта и генерации токенов с помощью встроенных скриптов.

https://github.com/microsoft/BitNet
«How to Scale Your LLM Model» — техническая книга об основах и системах, лежащих в основе больших языковых моделей.

В ней рассматриваются вычислительные ресурсы, память, параллелизм, шардинг, обучение, инференс, KV-кеш, задержка, пропускная способность, JAX, XLA и ключевые концепции, необходимые для понимания и оптимизации производительности моделей.

https://jax-ml.github.io/scaling-book/
Создание reasoning-модели и без того достаточно сложная задача — даже без необходимости восстанавливать пайплайн данных, обучения и оценки по разрозненным заметкам.

SkyThought — это open-source-набор инструментов и коллекция рецептов для разработчиков, которые обучают и оценивают reasoning-модели.

Он помогает воспроизводить и адаптировать workflow Sky-T1 с помощью задокументированных этапов подготовки данных, кода для обучения и Python-пакета для оценки.

Ключевые возможности:

• Рецепты моделей — стратегии подготовки данных и обучения для моделей Sky-T1 Preview, Flash и 7B.
• CLI для оценки — оценка моделей, генерация ответов и скоринг сохранённых генераций из командной строки.
• Набор бенчмарков — готовые конфигурации для оценки по математике, естественным наукам и программированию, включая AIME, GPQA Diamond, APPS и LiveCodeBench.
• Гибкие бэкенды — локальный vLLM, Ray с vLLM или endpoint, совместимый с OpenAI API.
• Ресурсы для RL — код reinforcement learning и примеры обучения, использованные для Sky-T1-7B и Sky-T1-mini.

https://github.com/NovaSky-AI/SkyThought
Практическое руководство по созданию поддерживаемых систем машинного обучения, охватывающее всё — от зависимостей в данных до инструментов MLOps.

Книга Чип Хуен посвящена ключевым архитектурным решениям, необходимым для разработки готовых к промышленной эксплуатации ML-систем, способных работать и масштабироваться под реальной нагрузкой.
Ghost Downloader — третий по популярности репозиторий дня на GitHub, хотя большинство о нём даже не слышало.

Ускоренное с помощью ИИ разбиение на чанки, TLS-фингерпринты реального браузера и обход антибот-защиты
Отдельные парсеры для YouTube, Bilibili, Hugging Face и релизов GitHub
Полноценная Android-версия, расширение для браузера и RPC, совместимый с aria2


174 тыс. загрузок. 5,8 тыс. звёзд. Версия 4.1.1.
IDM конец.

Репозиторий на GitHub: http://github.com/XiaoYouChR/Ghost-Downloader-3
Media is too big
VIEW IN TELEGRAM
Инженер Google объяснил, как дообучить крошечную LLM прямо на телефоне и повысить её точность с 46% до 90% всего за 21 минуту

Схема такая:

1. Выбрать Gemma 270M.
2. Сгенерировать синтетические данные для своей задачи.
3. Дообучить модель с помощью LoRA.
4. Квантизировать её до int4.
5. Развернуть на Pixel и получить скорость до 2000 токенов в секунду.

Именно благодаря такому циклу модель на 270 млн параметров может превзойти модель на 70 млрд параметров в конкретной задаче — при этом полностью работать офлайн прямо у вас в кармане.

Gemma 270M + синтетические данные + LoRA + int4-квантизация + on-device runtime — вот весь стек.

Посмотрите, сохраните и попробуйте уже сегодня дообучить собственного компактного AI-агента.

вот статья
Please open Telegram to view this post
VIEW IN TELEGRAM
«Probability on Trees and Networks» Рассела Лайонса и Юваля Переса — свободно доступная книга издательства Cambridge University Press, которая связывает теорию вероятностей с теорией графов и наукой о сетях.

В книге рассматриваются случайные блуждания, электрические сети, остовные деревья, ветвящиеся процессы, перколяция и ряд других ключевых тем современной теории вероятностей.

Объём книги превышает 700 страниц, поэтому это серьёзный и подробный материал. Особенно она подойдёт студентам и читателям, которые хотят выйти за рамки вводного курса и глубже изучить вероятностные методы на дискретных структурах.

Книга также будет полезна студентам, изучающим информатику и компьютерную инженерию, поскольку графы и сетевые структуры играют важную роль в обеих областях.
https://rdlyons.pages.iu.edu/prbtree/book_online.pdf
1
Вот как Борис Черный действительно масштабирует свою работу с Claude Code.

Разница в том, что вы смещаете время в сторону того, что важнее всего:
→ лучше формулируете промпты, больше планируете, больше ревьюите и меньше печатаете код вручную.

Рабочий процесс такой:
используется плагин, который распределяет каждую задачу между 5 агентами:

> один занимается брейнштормингом
> другой проектирует технический план
> третий реализует
> четвёртый проводит ревью
> пятый проверяет проект с разных сторон

Всё документируется в Markdown.

Такой подход медленнее, ожидания больше, но качество растёт, потому что у каждого агента есть чёткая роль.

А затем появляется настоящий мультипликатор:
→ git worktrees

Если Claude Code уже ускоряет вашу работу, то worktrees позволяют запускать несколько сессий параллельно, и каждая будет работать над своей задачей.

Их команда одновременно запускает от 4 до 8 сессий Claude Code.

Новый инженерный навык — умение управлять несколькими агентами, не теряя контроль над системой.

> ютуб
Media is too big
VIEW IN TELEGRAM
Полноценная программа для самостоятельного изучения компьютерных наук, составленная исключительно из лучших открытых университетских курсов.

- Продуманная последовательность курсов от MIT, Stanford, Berkeley и других ведущих университетов
- Охватывает математику, системное программирование, искусственный интеллект и практическую разработку более чем на 10 языках программирования
- Включает реальные проекты с кодовой базой в тысячи строк
- Полностью открыта и доступна для бесплатного чтения онлайн
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Лаборатория Университета Цинхуа выложила на GitHub проект, который заменяет стойку с H100 стоимостью $400 000 одной видеокартой с 24 ГБ памяти.

Он называется ktransformers, а идея почти до смешного проста: эксперты, которые реально используются, остаются на GPU, а остальные находятся на CPU до тех пор, пока не понадобятся.

/ DeepSeek-V3 и R1 с контекстом 139K на 24 ГБ VRAM
/ ускорение до 28 раз по сравнению со стандартной конфигурацией
/ дообучение DeepSeek-V3 на четырёх RTX 4090 вместо дата-центра
/ проект создан лабораторией MADSys Университета Цинхуа, а не стартапом с лендингом

Лицензия Apache 2.0, а на GitHub уже больше 17 000 звёзд.

http://github.com/kvcache-ai/ktransformers
Путаетесь в разных типах ИИ-агентов?

Понимание типов агентов важно для проектирования интеллектуальных систем, способных эффективно реагировать, планировать и обучаться.

Вот простое описание пяти основных типов ИИ-агентов и принципов их работы.

1. Простые рефлексивные агенты

Такие агенты действуют только на основе текущих входных данных, используя простые правила вида «условие — действие».

Они не обучаются и не запоминают прошлые состояния, поэтому работают быстро, но обладают ограниченными возможностями.

2. Рефлексивные агенты с моделью

Эти агенты используют внутреннюю модель, чтобы отслеживать текущее состояние окружающего мира.

Они способны работать в частично наблюдаемых средах, поскольку запоминают предыдущие входные данные и обновляют своё внутреннее состояние.

3. Целевые агенты

Вместо того чтобы просто реагировать на события, такие агенты планируют действия для достижения конкретной цели.

Они оценивают возможные последствия и выбирают действия, которые приближают их к нужному результату.

4. Агенты на основе полезности

Такие агенты не ограничиваются достижением цели, а стремятся максимизировать полезность результата.

Они сравнивают разные варианты и выбирают тот, который даёт наилучший результат в соответствии с заданной функцией полезности.

5. Обучающиеся агенты

Эти агенты развиваются со временем.

Они учатся на обратной связи, улучшают качество работы и исследуют новые способы действовать эффективнее в будущих ситуациях.