Юрист в Манхэттене получает контракт на 500 страниц. Каждый пункт должен быть найден. Вручную — неделя.

Бухгалтер в Чикаго получает 200 отсканированных счетов. Каждая цифра должна попасть в таблицу. Вручную — четыре дня.

Исследователь из Стэнфорда получает 50 научных статей. Таблицы, формулы, графики заперты в PDF. Вручную — две недели.

Каждый из них теряет дни жизни на copy-paste.

Встречайте MinerU.

Бесплатный open-source инструмент, который читает любые PDF, Word, PowerPoint, Excel и сканы. Вытаскивает текст в порядке чтения. Таблицы превращает в чистый HTML. Уравнения — в LaTeX. Рукописный текст — тоже. 109 языков.

Даёшь 200-страничный PDF. Получаешь чистый Markdown через 90 секунд.

Чем он отличается от остальных:

- Многоколоночная вёрстка. Читает сверху вниз внутри каждой колонки, а не слева направо поперёк страницы. Как человек.
- Сканы. Встроенный OCR. Наводишь на фотку бумажного документа из 1995 — получаешь чистый текст.
- Формулы. Распознавание с качеством LaTeX. Каждое уравнение отображается правильно.
- Таблицы. Объединённые ячейки, заголовки на несколько строк, таблицы на три страницы — всё сохраняется.
- Документы на десять тысяч страниц. Скользящее окно. Без ручной разбивки.
- Пакетный режим. Закидываешь папку с 500 документами. Уходишь.

Три способа использовать:

- CLI. Одна команда на документ.
- Python SDK. Пять строк кода.
- Веб-приложение на mineru.net. Загрузил, нажал, скачал. Без установки.

Интегрируется с Claude Desktop, Cursor, Windsurf, LangChain, LlamaIndex, RAGFlow, Dify, FastGPT. Скармливаешь извлечённые документы своему AI-агенту.

История

Команда OpenDataLab из Shanghai AI Laboratory занималась извлечением текста из миллионов научных документов для тренировки языковой модели. Существующие инструменты не справлялись. Они сделали свой. Потом открыли исходники.

68 551 звезда. Лицензия MinerU Open Source License, построена на Apache 2.0. Бесплатно для личного и коммерческого использования. Три технических отчёта на arXiv.

Adobe Acrobat Pro стоит $239.88 в год. И всё равно теряет твои таблицы.
ABBYY FineReader Corporate стоит $165 в год. И всё равно не умеет формулы.
Mistral OCR стоит $2 за 1000 страниц. Счёт никогда не кончается.

MinerU стоит $0. Работает на твоём ноутбуке. Документы не покидают твою машину.

А теперь самое дикое.

Юрист получила контракт обратно через 4 минуты. Каждый пункт ищется.
Бухгалтер скормил 200 счетов. Каждая цифра попала в таблицу за 12 минут.
Исследователь загрузил 50 статей. Литературный обзор написал за воскресный вечер.

Документ, который твоя компания годами обрабатывает вручную, MinerU переваривает за минуты.

Твои документы становятся текстом. Текст данными. Данные ответами.

https://github.com/opendatalab/mineru

👉 @DataSciencegx

Loop Engineering — следующий шаг после prompt engineering.

Большинство всё ещё использует Claude Code, Codex, Cursor или Grok как чат-окно:

Промпт. Ждёшь. Копируешь. Исправляешь. Снова промпт.

Этот репозиторий показывает следующий шаг:

Вы перестаёте давать промпты агенту.

Вы проектируете цикл, который сам даёт промпты агенту.

Внутри:
→ Ежедневные циклы триажа
→ Циклы PR-няньки
→ Циклы CI-уборки
→ Циклы чистки зависимостей
→ Циклы составления changelog
→ Циклы пост-мерж очистки
→ Циклы триажа issues

Также даёт CLI для:
• Создания цикла (scaffold)
• Оценки токенов
• Аудита готовности репозитория
• Добавления памяти/состояния
• Добавления передачи человеку
• Добавления верификационных шлюзов
• Безопасного запуска агентов через GitHub Actions

Самое интересное — сдвиг в мышлении.

Prompt engineering был о том, как писать лучшие промты.

Loop engineering — о создании системы, где агенты продолжают работать, проверять, исправлять и эскалировать без вашего присмотра на каждом шагу.

Репозиторий: https://github.com/cobusgreyling/loop-engineering

👉 @DataSciencegx

Вышло практическое руководство по созданию обвязок для AI-агентов

Harness Engineering Guide — практическое руководство по созданию обвязок для AI-агентов с концепциями, туториалами, статьями, инструментами и работающими примерами кода.

Оно помогает понять, что превращает голую языковую модель в агента, разбирая компоненты обвязки: выполнение инструментов, память, сборку контекста, границы безопасности, планирование и мультиагентную оркестрацию.

Ключевые особенности:

* Путь от основ — начинается с «Что такое Harness?» и 50-строчного Python-примера, который можно скопировать и запустить
* Основные концепции рантайма — охватывает агентный цикл, системы инструментов, память, контекст и guardrails
* Практические главы — включает песочницы, навыки, саб-агенты, обработку ошибок, планирование и проектирование долгоиграющих обвязок
* Сравнение инструментов — сравнивает OpenClaw, Claude Code, Codex, Cline, Aider и Cursor бок о бок
* Вклад сообщества — принимает материалы через GitHub issues или прямые PR

Проект с открытым исходным кодом (лицензия MIT).

👉 @DataSciencegx

Промпт-инжиниринг и loop engineering — простое объяснение!

По своей сути агент — это цикл while:

- Модель выполняется
- Она запрашивает вызовы инструментов
- Результаты работы инструментов возвращаются в контекст
- Модель запускается снова, пока не перестанет запрашивать инструменты

Подход ReAct описал такую форму цикла ещё в 2022–2023 годах, и почти все современные агентные системы и фреймворки используют похожую реализацию.

Поэтому сами циклы — далеко не новая идея. Описанная выше реализация была решена уже давно.

Но оставался нерешённым цикл вокруг этого цикла. Именно о нём недавно говорили Борис и Питер.

В наиболее распространённой схеме внешним циклом управляешь ты.

- Пишешь промпт
- Читаешь шаги, которые выполняет агент
- Пишешь следующий промпт
- Повторяешь процесс, отслеживая ошибки по мере работы

Сейчас появляются попытки автоматизировать и внешний цикл, чтобы исключить человека из процесса.

- Запуск происходит по расписанию или по событию
- Агент выполняет множество шагов без новых промптов между ними
- Сам решает, когда работа завершена
- Возвращается к человеку только тогда, когда действительно требуется его участие

Рассмотрим пример с упавшим тестом в CI.

Сейчас ты копируешь сообщение об ошибке в агента, читаешь предложенное исправление, запускаешь тесты и снова передаёшь следующую ошибку, пока все тесты не пройдут.

То есть каждый шаг проходит через тебя.

При автоматизированном цикле агент выполняет те же самые шаги самостоятельно.

Он запускается по расписанию, считывает ошибку, готовит исправление в отдельной ветке, запускает тесты и передаёт следующую ошибку самому себе как новый шаг, пока тесты не пройдут или не будет достигнут лимит шагов.

Отдельный ревьюер проверяет исправление, открывает PR, если всё в порядке, или передаёт его человеку, если обнаруживает проблемы.

Внутренний цикл всегда был автоматическим. Сейчас автоматизируют именно твоё участие в этом процессе.

Но бесплатно это не даётся.

> Пока ты управлял внешним циклом, ты мог остановить процесс, обладал памятью о проекте и выступал в роли ревьюера. Теперь все эти функции должны существовать внутри самой системы.

> И хотя участие в цикле замедляло работу, зато ты понимал, что именно происходит.

Главный недостаток исключения человека из цикла в том, что ответственность остаётся за тобой, а понимание происходящего, скорее всего, теряется.

> Сам по себе цикл не умеет определять, когда действительно пора остановиться. Он просто поверит агенту, что задача выполнена, и может завершиться даже при падающих тестах. Поэтому условие остановки должно проверяться независимо, а также необходим лимит шагов или токенов, чтобы избежать бесконечных циклов.

> Контекст увеличивается на каждом шаге, и по мере его роста качество работы модели снижается.

Поэтому цикл должен сокращать контекст, сохраняя только сводки вместо полной истории, переносить большие результаты в файлы и разбивать крупные задачи на отдельные запуски.

> Наконец, агент не должен сам проверять собственную работу, потому что он примет любое своё решение как правильное.

Такую проверку должна выполнять отдельная модель или бинарный/детерминированный тест.

Стоимость тоже быстро растёт, потому что на каждом шаге заново передаётся весь контекст. Поэтому длинный цикл может стоить во много раз дороже, чем выполнение одного промпта.

Если хочешь разобраться глубже, мой сооснователь подготовил подробный разбор — от описанного выше цикла до полностью автономного запуска, который завершает работу самостоятельно, с примерами кода для каждого этапа.

Читайте дальше 🐸

👉 @DataSciencegx

Представлен tau (τ) — образовательный agent harness, который помогает разобраться, как создавать собственные agent harness'ы.

Автор проекта планирует публиковать туториалы и демо, посвящённые созданию собственных TUI, harness'ов, расширений и других компонентов на базе tau.

Подробнее: https://twotimespi.dev

Также автор рассказал, почему проект получил название tau: https://twotimespi.dev/why-tau/

👉 @DataSciencegx

Я нашёл OCR-инструмент, созданный для эпохи LLM.

Он называется olmOCR.

olmOCR берёт PDF, сканы, PNG и JPEG и превращает их в чистый Markdown, который модели действительно могут понять.

Он обрабатывает то, что обычно ломает документные пайплайны:

→ Таблицы
→ Формулы
→ Рукописный текст
→ Многоколоночная вёрстка
→ Иллюстрации
→ Врезки
→ Старые сканы
→ Верхние и нижние колонтитулы
→ Естественный порядок чтения

Вместо того чтобы скормить вашей ИИ грязный дамп PDF, вы даёте ей структурированный Markdown, сохраняющий исходный замысел документа.

Это важно, потому что огромная часть мировых знаний всё ещё заперта внутри PDF.

Научные статьи.
Юридические документы.
Финансовые отчёты.
Медицинские документы.
Отсканированные архивы.
Государственные документы.
Внутренние корпоративные знания.

Все строят RAG поверх документов.

Но если ваш OCR плох — ваша ИИ уже ошибается ещё до начала поиска.

olmOCR чинит первый рубеж.

Скучный слой.

Слой, о котором никто не говорит, пока их агент не начинает галлюцинировать из-за сломанного текста из PDF.

https://github.com/allenai/olmocr

👉 @DataSciencegx

Инжиниринг агентов (Agentic Engineering) Карпати наконец-то получил нормальный инструментарий

(созданный Google)

Карпати определил агентный инжиниринг как дисциплину, которая отделяет продакшн-работу с агентами от «вайб-кодинга». Основные навыки, которые он перечислил: проектирование спецификаций, eval-циклы и контроль безопасности.

Проблема в том, что для практики всё ещё нужен отдельный инструмент на каждом этапе:

- редактор для кода
- терминал для шаблонов
- браузер для тестирования
- облачная консоль для деплоя
- отдельный фреймворк для eval'ов

Каждый переход — это переключение контекста.

Решение для продакшн-уровня агентного инжиниринга теперь реализовано в Google Agents CLI.

Он покрывает весь воркфлоу в одном месте: шаблонизация, eval'ы и деплой ADK-агентов.

Одна команда настройки внедряет 7 ADK-специфичных навыков в контекст кодинг-агента, что позволяет ему обрабатывать шаблонизацию, eval'ы, деплой и регистрацию в Enterprise через естественный язык.

Я протестировал это от начала до конца, собрав RAG-агента с нуля через Claude Code.

Он сгенерировал полный проект из шаблона ADK agentic_rag, создал 20 eval-сценариев с оценкой LLM-as-judge и выдал количественную скоринг-карту.

В конце он также развернул всё в Agent Runtime и зарегистрировал агента в Gemini Enterprise, так что вся организация может его найти и использовать.

Видео выше показывает это в действии

Репозиторий Agents CLI на GitHub →

Вот полный гайд по сборке, охватывающий все шесть шагов — от установки до регистрации в Enterprise.

Он включает скоринг-карту eval'ов, «дыру» в инструкции, которую eval поймал до деплоя, и то, как процесс деплоя выглядит от начала до конца.

Читайте 🐸

👉 @DataSciencegx

Трансформеры становятся понятнее, когда можно «потыкать» модель напрямую.

Transformer Explainer — это интерактивный инструмент визуализации для изучения того, как работают текстогенерирующие модели на основе трансформеров, такие как GPT.

Он помогает связать архитектуру с реальным поведением, запуская живую GPT-2 прямо в браузере, позволяя вводить свой текст и показывая, как внутренние компоненты работают вместе для предсказания следующих токенов.

Ключевые возможности:

- Живая GPT-2 в браузере — экспериментируйте без настройки отдельного сервера модели
- Свой текст — пробуйте собственные промпты и смотрите, как модель их обрабатывает
- Внутренние компоненты — наблюдайте за операциями, работающими внутри трансформера
- Фокус на предсказании следующего токена — связывайте каждый визуальный шаг с предсказаниями модели
- Локальная разработка — клонируйте репозиторий, установите зависимости и запустите через npm для глубокого изучения

Это open-source (лицензия MIT).

https://github.com/poloclub/transformer-explainer

👉 @DataSciencegx

Не учите ML, прыгая по случайным туториалам.

DS-ML Bootcamp — это публичный репозиторий курса по Data Science и машинному обучению для начинающих, которые хотят структурированный путь от нуля до практических проектов.

Он помогает перейти от установки и концепций к практической ML-работе, организуя уроки, задания, примеры кода, датасеты и решения вокруг основного воркфлоу машинного обучения.

Ключевые возможности:

- Сквозной воркфлоу — охватывает сбор данных, предобработку, разбиение на train/test, выбор модели, обучение, оценку и развёртывание
- Структура по урокам — начинается с инструментов/настройки, Data Science, ML, основ данных и регрессии
- Практические материалы — задания дают учащимся структурированные задачи, а не только чтение конспектов
- Код + датасеты — примеры на Python и сырые CSV-датасеты включены для упражнений
- Настройка для повторения — в README сказано, что можно клонировать репозиторий и использовать Jupyter или VS Code, параллельно просматривая уроки

Бесплатный публичный репозиторий на GitHub.

👉 @DataSciencegx

Кому нужен AI Gateway 🐸

Это open-source API-прокси, обеспечивающий быстрый унифицированный доступ к 250+ LLM с задержкой менее миллисекунды.

- Маршрутизирует к 1600+ моделям через провайдеров языка, зрения, аудио и изображений
- Обрабатывает автоматические повторные попытки, fallback'и и балансировку нагрузки для надёжности в продакшене
- Весит 122 КБ и обрабатывает 10B+ токенов ежедневно в продакшене
- Разворачивается локально одной командой npx или на AWS EC2

https://github.com/Portkey-AI/gateway

👉 @DataSciencegx

Вашему второму мозгу нужно больше, чем демо-чатбот

second-brain-ai-assistant-course — это open-source репозиторий курса от Decoding AI для разработчиков, которые хотят создать ассистента для личной базы знаний с LLM, агентами, RAG и LLMOps.

Он помогает перейти от разрозненных заметок к полноценному ассистенту через шесть модулей: пайплайны данных, генерация датасета, тонкая настройка, развёртывание, продвинутый RAG и агентный инференс/наблюдаемость.

Ключевые особенности:

• Шесть модулей — охватывает архитектуру, ETL, тонкую настройку, развёртывание, RAG и LLMOps
• Офлайн + онлайн приложения — разделяет ML/пайплайны данных и пайплайн инференса ассистента
• Поддержка Notion — использует базу знаний Second Brain, доступен публичный снимок, так что аккаунт Notion не обязателен
• Настоящие LLMOps-инструменты — включает ZenML, Opik, Comet, Unsloth, MongoDB, Hugging Face и OpenAI
• Ориентация на разработчика — документация модулей, готовый код, uv/ruff и Docker-инфраструктура

Открытый исходный код (лицензия MIT).

🐸🐸🐸

Ваши сохранённые статьи не становятся вторым мозгом, просто лёжа в папке.

Second Brain — это поддерживаемая LLM база личных знаний для Obsidian, построенная на основе паттерна LLM Wiki Андрея Карпатого.

Она помогает превращать сырые статьи, доклады, заметки и транскрипты в удобный для просмотра Markdown: ИИ-агент компилирует структурированные страницы, перекрёстные ссылки и индекс.

Ключевые особенности:

• Входящие сырых источников — бросайте статьи, доклады, заметки и транскрипты в папку raw/
• Навыки агента — команды для установки, загрузки, запросов и проверки wiki
• Obsidian-воркфлоу — просматривайте результат с вики-ссылками, графом связей и мастер-индексом
• Структурированная схема wiki — организует источники, сущности, концепции, синтез, логи и вывод
• Запросы + проверка здоровья — задавайте вопросы по wiki и сканируйте битые или устаревшие ссылки

Бесплатный публичный GitHub-репозиторий.

👉 @DataSciencegx

Архитектура Agent Harness для LLM\ простыми словами

Большинство представляет это как модель с прикрученными инструментами. Реальная архитектура переворачивает это отношение.

Сама модель намеренно тонкая. Интеллект выносится наружу, а обвязка (harness) компонует его в рантайме.

Вокруг ядра обвязки вращаются три измерения:

- Память хранит состояние, которое модель не должна нести в весах или контексте. Рабочий контекст, семантические знания, эпизодический опыт и персонализированная память — у каждого свой жизненный цикл.

- Навыки хранят процедурные знания. Сюда входят операционные процедуры, эвристики принятия решений и нормативные ограничения, которые специализируют общую модель под конкретную задачу.

- Протоколы хранят контракты взаимодействия. Агент-пользователь, агент-агент и агент-инструменты — это три разных поверхности со своими сценариями отказов.

Между ядром и этими модулями находятся посредники (mediators): песочница, наблюдаемость, сжатие, оценка, циклы одобрения и оркестрация сабагентов.

Они управляют тем, как обвязка взаимодействует с внешним миром и как состояние возвращается обратно.

Полезный вопрос, который открывает этот фреймворк: где должна жить каждая новая возможность?

- Стабильные знания → в память
- Изученные сценарии → в навыки
- Контракты коммуникации → в протоколы
- Управление циклами → к посредникам

Дизайн обвязки сводится к вопросу: что вынести вовне и как этим управлять.

Спецы написали статью об анатомии Agent Harness, охватывающую цикл оркестрации, инструменты, память, управление контекстом и всё остальное, что превращает stateless LLM в полноценного агента.

👉 @DataSciencegx

Вашему AI-агенту нужна не только память. Ему нужен журнал принятия решений.

Semantica — это open-source слой управления контекстом и обеспечения прозрачности для AI-систем. Он работает вместе с вашей LLM, векторным хранилищем и агентным фреймворком.

Semantica помогает сделать решения агента более понятными, отслеживаемыми и пригодными для аудита. Вместо разрозненных логов или эмбеддингов она представляет контекст, факты, решения, происхождение данных (provenance) и правила в виде структурированных объектов графа.

Основные возможности:
• Графы контекста — хранение сущностей, связей, фактов и решений в структурированном графе с возможностью выполнения запросов.
• Анализ решений — фиксация решений как объектов первого класса с указанием обоснования, результата, уровня уверенности и причинно-следственных связей.
• Отслеживание происхождения данных (Provenance) — привязка метаданных по стандарту W3C PROV-O к фактам и экспорт аудиторских журналов в JSON, CSV или RDF.
• Контроль соответствия требованиям (Governance) — применение политик с помощью ограничений SHACL, обнаружение конфликтов и проверка правил соответствия.
• Механизмы логического вывода — использование forward chaining, Rete, Datalog и SPARQL для построения объяснимых цепочек рассуждений вместо непрозрачных («черных ящиков») механизмов вывода.

Проект распространяется с открытым исходным кодом по лицензии MIT.

👉 @DataSciencegx