Data Portal | DS & ML
8.43K subscribers
473 photos
130 videos
5 files
654 links
Всё самое интересное из мира Data Science и машинного обучения

Автор: @agonyhormone
Download Telegram
Нашёл отличную книгу — The Hitchhiker’s Guide to Agentic AI, которая охватывает практически весь стек Agentic AI.

https://arxiv.org/abs/2606.24937

Главная ценность книги — широкий обзор всего направления: архитектура LLM, обучение моделей, методы обучения с подкреплением, системы инференса, оценка моделей, агентные системы и многое другое.
Лучше всего использовать её как карту знаний. Сначала просмотреть оглавление, найти темы, в которых есть пробелы, понять, чего ещё не хватает, а затем углубиться в соответствующие главы. Такой подход помогает выстроить системное понимание Agentic AI.

🐸🐸🐸

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5
Представлен tau (τ) — образовательный agent harness, который помогает разобраться, как создавать собственные agent harness'ы.

Автор проекта планирует публиковать туториалы и демо, посвящённые созданию собственных TUI, harness'ов, расширений и других компонентов на базе tau.

Подробнее: https://twotimespi.dev

Также автор рассказал, почему проект получил название tau: https://twotimespi.dev/why-tau/

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Я нашёл OCR-инструмент, созданный для эпохи LLM.

Он называется olmOCR.

olmOCR берёт PDF, сканы, PNG и JPEG и превращает их в чистый Markdown, который модели действительно могут понять.

Он обрабатывает то, что обычно ломает документные пайплайны:

→ Таблицы
→ Формулы
→ Рукописный текст
→ Многоколоночная вёрстка
→ Иллюстрации
→ Врезки
→ Старые сканы
→ Верхние и нижние колонтитулы
→ Естественный порядок чтения

Вместо того чтобы скормить вашей ИИ грязный дамп PDF, вы даёте ей структурированный Markdown, сохраняющий исходный замысел документа.

Это важно, потому что огромная часть мировых знаний всё ещё заперта внутри PDF.

Научные статьи.
Юридические документы.
Финансовые отчёты.
Медицинские документы.
Отсканированные архивы.
Государственные документы.
Внутренние корпоративные знания.

Все строят RAG поверх документов.

Но если ваш OCR плох — ваша ИИ уже ошибается ещё до начала поиска.

olmOCR чинит первый рубеж.

Скучный слой.

Слой, о котором никто не говорит, пока их агент не начинает галлюцинировать из-за сломанного текста из PDF.

https://github.com/allenai/olmocr

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
3
This media is not supported in your browser
VIEW IN TELEGRAM
Инжиниринг агентов (Agentic Engineering) Карпати наконец-то получил нормальный инструментарий

(созданный Google)

Карпати определил агентный инжиниринг как дисциплину, которая отделяет продакшн-работу с агентами от «вайб-кодинга». Основные навыки, которые он перечислил: проектирование спецификаций, eval-циклы и контроль безопасности.

Проблема в том, что для практики всё ещё нужен отдельный инструмент на каждом этапе:

- редактор для кода
- терминал для шаблонов
- браузер для тестирования
- облачная консоль для деплоя
- отдельный фреймворк для eval'ов

Каждый переход — это переключение контекста.

Решение для продакшн-уровня агентного инжиниринга теперь реализовано в Google Agents CLI.

Он покрывает весь воркфлоу в одном месте: шаблонизация, eval'ы и деплой ADK-агентов.

Одна команда настройки внедряет 7 ADK-специфичных навыков в контекст кодинг-агента, что позволяет ему обрабатывать шаблонизацию, eval'ы, деплой и регистрацию в Enterprise через естественный язык.

Я протестировал это от начала до конца, собрав RAG-агента с нуля через Claude Code.

Он сгенерировал полный проект из шаблона ADK agentic_rag, создал 20 eval-сценариев с оценкой LLM-as-judge и выдал количественную скоринг-карту.

В конце он также развернул всё в Agent Runtime и зарегистрировал агента в Gemini Enterprise, так что вся организация может его найти и использовать.

Видео выше показывает это в действии

Репозиторий Agents CLI на GitHub →

Вот полный гайд по сборке, охватывающий все шесть шагов — от установки до регистрации в Enterprise.

Он включает скоринг-карту eval'ов, «дыру» в инструкции, которую eval поймал до деплоя, и то, как процесс деплоя выглядит от начала до конца.

Читайте 🐸

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Трансформеры становятся понятнее, когда можно «потыкать» модель напрямую.

Transformer Explainer — это интерактивный инструмент визуализации для изучения того, как работают текстогенерирующие модели на основе трансформеров, такие как GPT.

Он помогает связать архитектуру с реальным поведением, запуская живую GPT-2 прямо в браузере, позволяя вводить свой текст и показывая, как внутренние компоненты работают вместе для предсказания следующих токенов.

Ключевые возможности:

- Живая GPT-2 в браузере — экспериментируйте без настройки отдельного сервера модели
- Свой текст — пробуйте собственные промпты и смотрите, как модель их обрабатывает
- Внутренние компоненты — наблюдайте за операциями, работающими внутри трансформера
- Фокус на предсказании следующего токена — связывайте каждый визуальный шаг с предсказаниями модели
- Локальная разработка — клонируйте репозиторий, установите зависимости и запустите через npm для глубокого изучения

Это open-source (лицензия MIT).

https://github.com/poloclub/transformer-explainer

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Не учите ML, прыгая по случайным туториалам.

DS-ML Bootcamp — это публичный репозиторий курса по Data Science и машинному обучению для начинающих, которые хотят структурированный путь от нуля до практических проектов.

Он помогает перейти от установки и концепций к практической ML-работе, организуя уроки, задания, примеры кода, датасеты и решения вокруг основного воркфлоу машинного обучения.

Ключевые возможности:

- Сквозной воркфлоу — охватывает сбор данных, предобработку, разбиение на train/test, выбор модели, обучение, оценку и развёртывание
- Структура по урокам — начинается с инструментов/настройки, Data Science, ML, основ данных и регрессии
- Практические материалы — задания дают учащимся структурированные задачи, а не только чтение конспектов
- Код + датасеты — примеры на Python и сырые CSV-датасеты включены для упражнений
- Настройка для повторения — в README сказано, что можно клонировать репозиторий и использовать Jupyter или VS Code, параллельно просматривая уроки

Бесплатный публичный репозиторий на GitHub.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Кому нужен AI Gateway 🐸

Это open-source API-прокси, обеспечивающий быстрый унифицированный доступ к 250+ LLM с задержкой менее миллисекунды.

- Маршрутизирует к 1600+ моделям через провайдеров языка, зрения, аудио и изображений
- Обрабатывает автоматические повторные попытки, fallback'и и балансировку нагрузки для надёжности в продакшене
- Весит 122 КБ и обрабатывает 10B+ токенов ежедневно в продакшене
- Разворачивается локально одной командой npx или на AWS EC2

https://github.com/Portkey-AI/gateway

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Вашему второму мозгу нужно больше, чем демо-чатбот

second-brain-ai-assistant-course — это open-source репозиторий курса от Decoding AI для разработчиков, которые хотят создать ассистента для личной базы знаний с LLM, агентами, RAG и LLMOps.

Он помогает перейти от разрозненных заметок к полноценному ассистенту через шесть модулей: пайплайны данных, генерация датасета, тонкая настройка, развёртывание, продвинутый RAG и агентный инференс/наблюдаемость.

Ключевые особенности:

• Шесть модулей — охватывает архитектуру, ETL, тонкую настройку, развёртывание, RAG и LLMOps
• Офлайн + онлайн приложения — разделяет ML/пайплайны данных и пайплайн инференса ассистента
• Поддержка Notion — использует базу знаний Second Brain, доступен публичный снимок, так что аккаунт Notion не обязателен
• Настоящие LLMOps-инструменты — включает ZenML, Opik, Comet, Unsloth, MongoDB, Hugging Face и OpenAI
• Ориентация на разработчика — документация модулей, готовый код, uv/ruff и Docker-инфраструктура

Открытый исходный код (лицензия MIT).

🐸🐸🐸
Please open Telegram to view this post
VIEW IN TELEGRAM
Ваши сохранённые статьи не становятся вторым мозгом, просто лёжа в папке.

Second Brain — это поддерживаемая LLM база личных знаний для Obsidian, построенная на основе паттерна LLM Wiki Андрея Карпатого.

Она помогает превращать сырые статьи, доклады, заметки и транскрипты в удобный для просмотра Markdown: ИИ-агент компилирует структурированные страницы, перекрёстные ссылки и индекс.

Ключевые особенности:

• Входящие сырых источников — бросайте статьи, доклады, заметки и транскрипты в папку raw/
• Навыки агента — команды для установки, загрузки, запросов и проверки wiki
• Obsidian-воркфлоу — просматривайте результат с вики-ссылками, графом связей и мастер-индексом
• Структурированная схема wiki — организует источники, сущности, концепции, синтез, логи и вывод
• Запросы + проверка здоровья — задавайте вопросы по wiki и сканируйте битые или устаревшие ссылки

Бесплатный публичный GitHub-репозиторий.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Архитектура Agent Harness для LLM\ простыми словами

Большинство представляет это как модель с прикрученными инструментами. Реальная архитектура переворачивает это отношение.

Сама модель намеренно тонкая. Интеллект выносится наружу, а обвязка (harness) компонует его в рантайме.

Вокруг ядра обвязки вращаются три измерения:

- Память хранит состояние, которое модель не должна нести в весах или контексте. Рабочий контекст, семантические знания, эпизодический опыт и персонализированная память — у каждого свой жизненный цикл.

- Навыки хранят процедурные знания. Сюда входят операционные процедуры, эвристики принятия решений и нормативные ограничения, которые специализируют общую модель под конкретную задачу.

- Протоколы хранят контракты взаимодействия. Агент-пользователь, агент-агент и агент-инструменты — это три разных поверхности со своими сценариями отказов.

Между ядром и этими модулями находятся посредники (mediators): песочница, наблюдаемость, сжатие, оценка, циклы одобрения и оркестрация сабагентов.

Они управляют тем, как обвязка взаимодействует с внешним миром и как состояние возвращается обратно.

Полезный вопрос, который открывает этот фреймворк: где должна жить каждая новая возможность?

- Стабильные знания → в память
- Изученные сценарии → в навыки
- Контракты коммуникации → в протоколы
- Управление циклами → к посредникам

Дизайн обвязки сводится к вопросу: что вынести вовне и как этим управлять.

Спецы написали статью об анатомии Agent Harness, охватывающую цикл оркестрации, инструменты, память, управление контекстом и всё остальное, что превращает stateless LLM в полноценного агента.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Вашему AI-агенту нужна не только память. Ему нужен журнал принятия решений.

Semantica — это open-source слой управления контекстом и обеспечения прозрачности для AI-систем. Он работает вместе с вашей LLM, векторным хранилищем и агентным фреймворком.

Semantica помогает сделать решения агента более понятными, отслеживаемыми и пригодными для аудита. Вместо разрозненных логов или эмбеддингов она представляет контекст, факты, решения, происхождение данных (provenance) и правила в виде структурированных объектов графа.

Основные возможности:
• Графы контекста — хранение сущностей, связей, фактов и решений в структурированном графе с возможностью выполнения запросов.
• Анализ решений — фиксация решений как объектов первого класса с указанием обоснования, результата, уровня уверенности и причинно-следственных связей.
• Отслеживание происхождения данных (Provenance) — привязка метаданных по стандарту W3C PROV-O к фактам и экспорт аудиторских журналов в JSON, CSV или RDF.
• Контроль соответствия требованиям (Governance) — применение политик с помощью ограничений SHACL, обнаружение конфликтов и проверка правил соответствия.
• Механизмы логического вывода — использование forward chaining, Rete, Datalog и SPARQL для построения объяснимых цепочек рассуждений вместо непрозрачных («черных ящиков») механизмов вывода.

Проект распространяется с открытым исходным кодом по лицензии MIT.

👉 @DataSciencegx
Please open Telegram to view this post
VIEW IN TELEGRAM
Ваш RAG-пайплайн не обязан заново вытаскивать одно и то же доказательство несколько раз.

LeanRAG — это open-source фреймворк для RAG, который использует графы знаний, семантическую агрегацию и иерархический retrieval для генерации ответов, опирающихся на структурированные источники.
Он помогает строить менее избыточные retrieval-пайплайны: агрегирует сущности в обобщающие узлы, проходит по многоуровневому графу и передаёт LLM компактные цепочки доказательств вместо дублирующихся фрагментов текста.

Основные возможности включают семантическую агрегацию, при которой низкоуровневые сущности объединяются в более крупные смысловые узлы с явными связями; иерархический retrieval, где запрос сначала привязывается к детализированным сущностям, а затем поднимается вверх по графу; а также синтез с учётом избыточности, который убирает пересечения в найденных данных ещё до генерации ответа.

Фреймворк поддерживает два подхода извлечения — CommonKG и GraphRAG-стиль — для построения сущностей и связей, а также покрывает весь пайплайн от разбиения документов на чанки и построения графа до retrieval и финальной генерации ответа.

Проект доступен в виде open-source репозитория на GitHub.
Media is too big
VIEW IN TELEGRAM
Чувак собрал целую AI-команду “дата-сайентистов” на Python и выложил в опенсорс (полностью бесплатно).

Библиотека автоматизирует типичный DS-пайплайн с помощью AI: загрузка данных, чистка/преобразования, EDA, визуализация, feature engineering. Плюс она логирует каждый шаг так, чтобы все собиралось в 100% воспроизводимый pipeline (можно повторить прогон один в один и понять, что именно делалось).

Таймкоды из демо:
00:00 обзор проекта
01:32 workflow + загрузка данных
02:10 wrangling и cleaning
03:33 инсайты из визуализаций и построение графиков
04:08 feature engineering
05:00 лайв воркшоп на 1 час
05:44 сама Python-библиотека “AI Data Science Team”

GitHub: здесь
Копировать веб-страницы в LLM не обязательно вместе со всем HTML-кодом, рекламой и элементами интерфейса. Для этого появилось расширение .MD this page, которое в один клик преобразует любую страницу в чистый Markdown, готовый для передачи языковой модели.

Расширение использует Mozilla Readability, чтобы автоматически выделить основное содержимое страницы и отбросить навигацию, рекламу и другой лишний контент. Перед экспортом результат можно просмотреть и при необходимости отредактировать, а затем скопировать в буфер обмена, сохранить в виде Markdown-файла или использовать как основу для промпта.

При экспорте также можно настроить, что именно попадет в итоговый документ: оставить или убрать изображения, ссылки, метаданные, URL исходной страницы и карту структуры документа.

Проект распространяется с открытым исходным кодом по лицензии MIT.
Курс «Мультимодальное машинное обучение» (11-777) от CMU, осень 2020

Чему вы научитесь:

Освоите фундаментальные основы перед переходом к продвинутым темам машинного обучения.
Научитесь подготавливать данные и извлекать признаки, чтобы создать прочную основу для построения моделей.
Применять методы глубокого обучения к задачам компьютерного зрения и обработки изображений.
Понимать принципы работы последовательностных моделей, таких как RNN и LSTM, и использовать их в задачах обработки естественного языка (NLP).
Получите практическое понимание ключевых концепций этой области машинного обучения.
Разовьёте интуитивное понимание различных семейств генеративных моделей и узнаете, для каких задач они лучше всего подходят.

https://www.youtube.com/playlist?list=PL-Fhd_vrvisNup9YQs_TdLW7DQz-lda0G
Продвинутые структуры данных MIT
проф. Эрик Демейн

Конспекты лекций: https://courses.csail.mit.edu/6.897/spring03/scribe_notes/
Появился Ollama-OCR. Опенсорс OCR без API и подписок

Можно не платить облачным OCR-сервисам за обработку каждой страницы. Новый проект Ollama-OCR предлагает альтернативу — распознавание текста полностью локально, без зависимости от внешних API.

• работает прямо на вашем компьютере, без подключения к интернету;
• не требует API-ключей и подписок;
• извлекает текст из изображений и PDF-документов;
• распознаёт рукописный текст, счета, чеки и таблицы;
• экспортирует результаты в Markdown, JSON и другие структурированные форматы;
• все документы обрабатываются локально и не покидают устройство.

Установка занимает одну команду:
pip install ollama-ocr


Исходный код доступен на GitHub:
https://github.com/imanoop7/Ollama-OCR
Stanford CS25: Transformers United V3

Чему вы научитесь:

Освоите фундаментальные основы перед переходом к продвинутым темам, связанным с большими языковыми моделями (LLM) и генеративным ИИ.
Поймёте, как агенты обучаются с помощью вознаграждений, стратегий (policies) и циклов взаимодействия с окружающей средой.
Разберётесь в принципах работы трансформеров и LLM, не воспринимая их как «чёрный ящик».
Узнаете, как модели обучаются на данных, оптимизируются и постепенно улучшают качество своих результатов.
Научитесь работать с задачами, связанными с последовательностями, текстом и языковым моделированием.

https://www.youtube.com/playlist?list=PLNQo_x2EPWCkrhwatKK8t0q1HKad9o1Ye
This media is not supported in your browser
VIEW IN TELEGRAM
Прогноз Карпати о RL начинает сбываться

Он называл функции вознаграждения (reward functions) ненадежными и утверждал, что одно числовое значение награды слишком низкоразмерно, чтобы научить агента тому, что означает «хорошее» поведение при решении сложных задач. По его мнению, для этого агентам необходима проверка, основанная на знаниях (knowledge-guided review), как более высокоразмерный канал обратной связи.

Сегодня все ведущие AI-лаборатории обучают модели с использованием RL (OpenAI, Anthropic, DeepSeek). И их главным узким местом всегда были функции вознаграждения.

GRPO от DeepSeek отлично показал себя в задачах по математике и программированию, потому что среда предоставляла бинарный сигнал.

Но в случае реальных агентных задач кому-то по-прежнему приходится вручную писать функцию оценки (scoring function). На это уходят дни, и ее приходится переделывать каждый раз, когда меняется пайплайн. RULER (реализованный в OpenPipe ART, более 10 тыс. звезд на GitHub) решает именно ту проблему, на которую указывал Карпати.

Критерии вознаграждения задаются на обычном английском языке, а затем LLM оценивает каждую траекторию в соответствии с этим описанием и формирует обратную связь для обучения.

Спецы обучили агента на базе Qwen3 1.4B играть в 2048 с использованием GRPO именно по такому сценарию.
В этом примере агент анализировал игровое поле, выбирал направление хода, а RULER оценивал результат, руководствуясь только этим описанием на естественном языке.

Полную реализацию можно посмотреть на GitHub и попробовать самостоятельно.
Репозиторий ART: http://github.com/OpenPipe/ART
Python-библиотека, которая объединяет каузальный вывод (causal inference) и машинное обучение — CausalML.

Она с открытым исходным и предназначена для моделирования гетерогенных эффектов. Она используется для таргетинга и оптимизации маркетинговых кампаний в таких компаниях, как Uber, Microsoft и TripAdvisor.

В библиотеку входят meta-learner-алгоритмы, causal trees, а также поддержка интерпретируемости моделей с помощью SHAP.
Проект имеет открытый исходный код 👍
Please open Telegram to view this post
VIEW IN TELEGRAM
Вычисления вероятностей основаны на ключевых формулах, которые используются для работы с неопределённостью событий и данных.

На этой шпаргалке представлены:
- классическое определение вероятности через число благоприятных исходов и мощность пространства элементарных исходов;
- правило дополнения;
- формулы для объединения событий;
- вероятности независимых и условных событий;
- формула полной вероятности;
- теоремы умножения вероятностей и Байеса;
- математическое ожидание;
- формула биномиального распределения.

Для наглядности используются диаграммы Венна и другие визуальные иллюстрации.

Формула биномиального распределения применяется для вычисления вероятности получения заданного числа успешных исходов в n независимых испытаниях с вероятностью успеха p. Например, она используется при анализе коэффициента конверсии в A/B-тестировании.