Russian OSINT

🤔Экспериментальная модель 🖥Extract-0 за $196 превзошла 👩‍💻 GPT-4 и 👩‍💻 o3 в извлечении данных?

Исследователь Энрике Годой из 🇧🇷Бразилии представил ИИ-модель Extract-0, специализированную LLM с 7 миллиардами параметров, которая демонстрирует новый уровень эффективности в извлечении структурированной информации из документов. Согласно исследованию, данная языковая модель превосходит по производительности популярные универсальные модели, включая GPT-4.1, o3 и GPT-4.1-2025. Ресёрчер ставит под сомнение устоявшуюся парадигму, где доминирующим фактором эффективности считается исключительно масштаб модели.

Ключ к успеху Extract-0 кроется в новаторской трехэтапной методологии обучения, которая позволила достичь высокой точности при минимальных затратах. Процесс включает генерацию 280 128 синтетических примеров данных с сохранением контекстной памяти, параметроэффективную тонкую настройку (LoRA), затрагивающую всего 0.53% весов модели, и обучение с подкреплением (GRPO) с использованием семантической функции вознаграждения. Такой подход позволяет ИИ-агенту понимать смысловую эквивалентность данных, а не простое текстуальное совпадение.

В ходе тестирования на эталонном наборе из 1000 задач по извлечению информации Extract-0 достиг среднего показателя вознаграждения 0.573, значительно опередив GPT-4.1 (0.457) и o3 (0.464).

◀️Для адаптации ❗️ DeepSeek-R1-Distill-Qwen-7B применялся метод Low-Rank Adaptation (LoRA), который изменил всего 0.53% от общего числа параметров модели (40.4 млн из 7.66 млрд).

◀️Изначально базовая модель без дообучения имела средний результат 0.232 и валидность JSON на уровне 42.7%.

◀️После этапа контролируемой тонкой настройки (Supervised Fine-Tuning) производительность модели выросла до 0.507, а валидность JSON достигла 79.9%.

◀️Финальный этап обучения с подкреплением (GRPO) позволил достичь итогового результата в 0.573 со средней валидностью JSON в 89.0%, что представляет собой кумулятивное улучшение на 147.0% по сравнению с базовой моделью.

🖥 Примечательно, что общая стоимость всего цикла обучения модели на одном графическом процессоре NVIDIA H100 составила всего $196.

Цифры наглядно демонстрируют экономическую и техническую состоятельность целенаправленной оптимизации под конкретную задачу. Исследование убедительно пытается доказать, что узкоспециализированные ИИ-решения могут быть не только конкурентоспособными, но и более эффективными по сравнению с масштабируемыми моделями общего назначения.

👆Ограничение исследования коренится в его валидационной парадигме, которая оценивает производительность модели исключительно на in-distribution данных. Обучающий и тестовый наборы сэмплированы из одного и того же синтетического распределения, поэтому продемонстрованная высокая производительность не позволяет сделать надежных выводов о способности модели работать также эффективно в реальных условиях на практических задачах. Таким образом, полученные метрики обладают высокой внутренней валидностью (в рамках созданного синтетического мира), но их внешняя валидность (применимость к реальным задачам) остается под вопросом.

👀 В любом случае ознакомиться с исследованием не помешает.

✋

@Russian_OSINT

Please open Telegram to view this post