В продолжении заметки Айдара о наших похождениях на AAAI, предлагаю почитать о статье, которую мы презентовали на демо-сессии AAAI-2026 на русском языке на хабре.

Будем выступать в пятницу с устным докладом про Wikontic на EACL.
Если вы тоже тут - обязательно приходите!

🚀 Первый день EACL 2026 в Рабате, Марокко!

Друзья, сегодня стартовала европейская конференция EACL в солнечном Рабате! Как всегда, буду подробно освещать самые интересные работы по NLP. Начну с краткого обзора работ от наших коллег.

📜Wikontic: Constructing Wikidata-Aligned, Ontology-Aware Knowledge Graphs with Large Language Models
Wikontic — многошаговый конвейер построения компактных, онтологически согласованных с Wikidata графов знаний из открытых текстов, который достигает высокого покрытия ответов в многошаговых QA‑задачах при существенно меньших затратах токенов

📜DRAGOn: Designing RAG On Periodically Updated Corpus
DRAGOn — методология проектирования RAG‑бенчмарков на периодически обновляемых корпусах, сочетающую автоматическую генерацию вопросов‑ответов по извлечённому графу знаний

(продолжение следует)

📜Multimodal Evaluation of Russian-language Architectures
Мультимодальный бенчмарк, содержащий текст, изображения, аудио и видео, учитывающий культурно‑языковую специфику русского и предлагающий универсальную таксономию мультимодальных способностей языковых моделей

📜Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation
Авторы предлагают механизм обнаружения случаев, когда компрессия входной последовательности удаляет существенную информацию

📜Call, Reward, Repeat: Advancing Dialog State Tracking with GRPO and Function Calling
Авторы используют GRPO для улучшения Dialog State Tracking в условиях небольшого количества обучающих данных, показывая, что такой подход позволяет превзойти предыдущие методы даже при меньшем объёме обучающих данных

Приглашаем вас на летнюю школу AIRI!

Отличный шанс попробовать поработать над интересными проектами и, возможно, продолжить работать над ними под руководством опытных коллег. А еще это повод сменить обстановку, познакомиться с умными и мотивированными ребятами и специалистами.

https://t.me/airi_research_institute/1257

Сегодня мы рады представить результаты нашей работы последних месяцев — семейство специализированных SLM-моделей OCC-RAG для question answering по контексту. Несмотря на компактный размер (всего 0.6B и 1.7B параметров), наши модели способны отвечать на сложные multi-hop вопросы, рассуждать по шагам и, что особенно важно, корректно отказываться от ответа, если в контексте недостаточно информации.

Как нам удалось этого добиться?

📚 Сложные синтетические вопросы-ответы

Для обучения моделей нужны большие объемы качественных данных. Однако большинство открытых QA-датасетов уже давно стали частью обучающих выборок современных LLM и плохо подходят для развития сложного рассуждения. Поэтому мы построили собственный пайплайн генерации данных. С помощью Wikontic мы извлекаем граф знаний из текстов и затем генерируем вопросы на основе путей в этом графе. Такой подход позволяет создавать действительно сложные multi-hop вопросы, требующие объединения информации из нескольких источников.

В результате мы получили:
— миллионы одношаговых вопросов;
— сотни тысяч multi-hop вопросов;
— специальные примеры с контекстами-дистракторами;
— задачи, в которых правильным ответом является отказ от ответа.

⚙️ Mid-training и curriculum learning

В качестве базовых моделей мы использовали Qwen3-0.6B и Qwen3-1.7B. Далее провели масштабный mid-training на более чем 3 миллионах сгенерированных примеров. Обучение строилось по принципу curriculum learning: сначала модель осваивает простые одношаговые вопросы, а затем постепенно переходит к сложным multi-hop сценариям.

🏆 Результаты

Мы протестировали OCC-RAG на популярных QA-бенчмарках, включая HotpotQA, MuSiQue, TAT-QA, а также ConFiQA — одном из самых строгих тестов на faithfulness, который проверяет способность модели следовать контексту даже тогда, когда он противоречит общеизвестным фактам.

Результаты превзошли наши ожидания:

— OCC-RAG показывает качество на уровне моделей в 2–6 раз больше по размеру;
— на задачах multi-hop reasoning наши модели конкурируют с моделями класса 8B–14B;
— на ConFiQA OCC-RAG превосходит даже Qwen3-32B;
— модели существенно лучше следуют контексту и значительно реже подменяют его своими внутренними знаниями;
— среди специализированных малых моделей для QA OCC-RAG показывает лучшие результаты.

Что это означает?

Мы показали, что маленькие специализированные модели могут конкурировать с гораздо более крупными LLM, если правильно подойти к данным и процессу обучения. Это открывает путь к созданию более дешёвых, быстрых и надёжных систем для RAG, поиска информации и корпоративных QA-решений.

Если работа показалась вам интересной — будем рады вашим лайкам, репостам и вопросам 👇
https://huggingface.co/papers/2606.00683

🌐Рандомные галлюцинации