Реранкер: оставить, заменить или выкинуть?

После того как учёл ошибки в бенчмарке эмбеддингов, решил поменять модель эмбеддинга в боте и наконец-то дозалить новую судебную практику. Но столкнулся с тем, что заодно нужно определиться с реранкером: оставить старый, выбрать новый или вовсе убрать.

Что сделал. На уже размеченных данных прошлого теста прогнал четыре реранкера по тем же 30 вопросам и семи эмбеддингам. Делать новую разметку не пришлось, поэтому всё заняло несколько часов.

Реранкеры в тесте:

mmarco-mMiniLMv2 - мой текущий, обучен на английском MS MARCO
bge-reranker-v2-m3 - мультиязычный от BAAI, 568M параметров
jina-reranker-v3 - листвайз-архитектура, 0.6B параметров
mxbai-rerank-base-v2 - на базе Qwen-2.5, 0.5B параметров

Плюс baseline без реранкера (raw).

Главные выводы:

➖Не каждый реранкер подходит для русского юридического корпуса. Mxbai в моём корпусе значимо ухудшил результаты на большинстве эмбеддингов, английский mmarco на русском ожидаемо нейтрален. Работают только bge и jina.

➖ Эффект реранкера зависит от качества эмбеддинга. На сильных эмбеддингах (OpenAI, Voyage, USER2-base) приросты в пределах погрешности - на 30 вопросах их математически невозможно отличить от нуля. На слабых эмбеддингах эффект уже ощутимый и статистически значимый:

Yandex (raw 0.630) → bge 0.755 (+12.5 пункта)
Cohere (raw 0.700) → jina 0.793 (+9.3 пункта)

OpenAI настолько хорошо ранжирует юридические дела сам, что реранкеру нечего улучшать. На слабом эмбеддинге пространство для улучшения есть, и реранкер реально вытягивает результат.

➖USER2-base + jina как локальная альтернатива OpenAI. USER2-base в raw даёт 0.773. С jina связка выходит 0.797. Для сравнения: OpenAI без реранкера - 0.809. Разница на этой выборке в пределах погрешности - нет смысла выбирать OpenAI вместо локальной связки.

Решение для бота
Поставлю USER2-base, если позволят ресурсы сервера, плюс jina-reranker-v3. Если jina по железу не пойдёт - оставлю bge. Mmarco убираю, пользы от него нет.

Ограничения теста те же, что в прошлом посте. Часть выводов подтверждена статистически, часть - наблюдения в рамках выборки 30 вопросов.

Немного мыслей про Obsidian

В сети много примеров связки агент (Cowork и др.) + Obsidian, складывается впечатление, будто Obsidian сам по себе делает работу эффективнее. Но так ли это?

Если кто не знаком, Obsidian, это удобный редактор md-заметок (md, обычный текстовый формат файлов) с графом связей и навигацией по ссылкам, а не «второй мозг», как его иногда позиционируют. Ближе аналогия с картотекой Лумана, только в цифре.

Если в двух словах. Тот же эффект можно получить от обычной папки с .md и без Obsidian. Полезны сами md-саммари, программа лишь добавляет удобства пользователю - автокомплит при наборе [[ (выпадает список заметок), кликабельные переходы, обратные ссылки (видишь, кто на эту заметку ссылается). Когда заметок много, ориентироваться через эти функции проще, чем искать файлы по рабочему столу. Использовать можно любого агента с доступом к папке (Cowork, Claude Code, Trae, Cursor). Современные агенты подключаются к vault (так Obsidian называет рабочую папку) через MCP (стандарт, по которому агент читает и пишет файлы у тебя на ПК).

Дальше про то, как применяю. Для двух моих сфер, кода и юр. практики. Польза в одном - накопление контекста, который не помещается в голове.

В работе с кодом
〰️Журнал архитектурных решений. Накидал черновик агенту, он оформил заметку и связал с предыдущими. В коде не написано, почему я перешёл на другую модель эмбеддинга или удалил реранкер. Заметки хранят именно эти причины.
〰️Промпт-библиотека. Рабочие промпты, чтобы не писать каждый раз с нуля.
〰️Журнал экспериментов. Что пробовал и не сработало (история с метриками реранкера в первой версии бенчмарка), чтобы не наступать на одни и те же грабли.
〰️ Идеи и планы. Не только сами идеи, но и причины, по которым их стоит реализовать.

В новом чате указываю агенту нужные заметки, он сразу видит логику проекта, не предлагает отброшенные варианты. Экономит токены. Если не указать конкретные файлы, агент полезет читать весь проект.

В юр. работе
〰️ Длинное дело на несколько лет или с большим количеством материалов. После каждого процессуального действия делаю заметку. Позиция, аргументы, выводы эксперта, свои мысли.
〰️ Связи. Вывод эксперта → возражение ответчика → мой контр-аргумент. Открываешь через полгода заметку про экспертизу, внизу видишь всё, что на неё опирается.
〰️ Та же логика «что» (материалы дела) и «почему» (моя тактика, этого в материалах нет, через полгода трудно вспомнить).
〰️ Подключаешь агента к папке проекта, он работает с твоими саммари, а не с тонной документов.

Где роль Obsidian переоценена
Видел популярный сценарий - скачиваешь судебную практику, подключаешь агента, получаешь аналитику. Попробовал, 50 дел, Cowork + Obsidian. Расход токенов уже на десятке дел ощутимый. Агент с каждым новым делом перечитывает ранее размеченные.
И ладно токены, но в таких задачах Obsidian переоценен. Агент выполнит эти задачи и без него. Графы видит только пользователь, агенту нужны саммари, а не визуализация. Obsidian нужен «на длинной дистанции», когда надо вспомнить контекст задачи полугодовой давности, а не для аналитики здесь и сейчас.

Оговорки
➖Безопасность. Vault лежит у тебя на ПК, ничего не уходит в облако. Положительный момент относительно тех же Notion и Evernote.
➖Граф не так полезен, как кажется. Помогает видеть изолированные заметки и хабы. Для поиска ответов бесполезен. Открывал несколько раз за всё время.
➖Web Clipper. Сохраняет текст статьи в md-заметку. На сайтах со сложной защитой может вытащить пустую страницу (например, К+). За год может получиться личная библиотека под свои интересы.
➖ Базовый Obsidian бесплатен. Платно только Sync (синхронизация устройств) и Publish (публикация vault как сайта).
➖Заметки, это обычные .md, откроются в любом редакторе и без Obsidian.

Итог
Obsidian не делает тебя продуктивнее сам по себе, это просто редактор заметок. Но если есть привычка вести заметки, экономит часы на «где это было / почему я сделал именно так» и токены на объяснение агенту контекста. Для юриста с длинными делами и вайбкодера с растущим проектом, рабочий инструмент.

Он теперь совсем взрослый самостоятельный, или как я запустил автообновление базы судебной практики IP Agent

До этого процесс был такой: искал дела, открывал сайты, скачивал документы, делал паспорта дел (вытаскивал суть), индексировал в базу. Теперь это делает бот сам, обновляет базу каждую ночь в 03:00.

Изначально ориентировался на Hermes Agent от Nous Research (опенсорс-оркестратор для LLM-агентов). Идея понравилась следующим: работа по расписанию, память между запусками, управление через Telegram, отчёты после выполнения задач - выглядело многообещающе.
Но в ходе изучения его возможностей понял, что для автообновления можно пойти гораздо более простым путём. Достаточно продумать последовательность действий и написать скрипт. В итоге сам Hermes пока отправился в список идей на будущее, а скрипт поселился прямо на сервере бота.

Сейчас скрипт работает примерно так:
〰 заходит в картотеку арбитражных судов (ras.arbitr) и ищет свежие IP-решения за последнюю неделю;
〰 отсекает всякий «шум» вроде мировых соглашений, возвратов и прекращений;
〰 скачивает PDF;
〰 отправляет решение в Gemini и получает обратно структурированный паспорт дела: стороны, объект ИС, статьи ГК, позиции сторон, логику суда, итог и размер компенсации;
〰 находит дело в КАД и сохраняет ссылку;
〰 индексирует всё это в ChromaDB, после чего дело становится доступно для поиска через бота.

Первый тест (25.05):
Найдено 25 дел → отфильтровано 24 → 1 прошло полный цикл и попало в базу.

В планах добавить отслеживание судьбы дела - есть ли апелляция, кассация, отменяли ли решение и т.д.

Ещё ограничил парсинг до 5 дел за сессию: ресурсов на сервере немного, а индексация идёт локальной моделью эмбеддингов. Снимать ограничение пока не спешу.

Подобный парсинг - штука хрупкая. Поменяется структура страниц или усилят антибота - буду искать другой путь. Такая автоматизация почти всегда живёт по этим правилам.

Кроме этого, за неделю ещё кое-что сделал:
〰+1089 решений СОЮ (для них паспорта генерировались отдельным пайплайном на gpt-oss-120b - по моим тестам он здесь оказался сильнее чем Gemini 2.5 про, но на объемных делах требует перепроверки);
〰 появился второй режим работы «Поиск практики» (БЕТА);
〰 добавил ссылки на КАД прямо в ответы бота;

Итог недели: база выросла почти в полтора раза - до 3489 дел, у бота появился второй режим работы, а теперь он ещё и сам пополняет базу по ночам.

Интересно мнение коллег - как относитесь к такому парсингу?
Акты открытые, доступ свободный, проект некоммерческий, но автоматизированный сбор не везде приветствуется.

Коллеги, запускаю новую рубрику — «Нейросеть в деле».

Недавно я рассказывал про парсер судебной практики с портала ras.arbitr.ru. Настроил его ещё на одно направление — поиск арбитражных дел, в которых так или иначе фигурирует искусственный интеллект.

Парсер теперь сам регулярно ищет такие дела — интересными буду делиться в формате мини-обзора. Где-то будет полезная правовая позиция, где-то просто забавный эпизод из практики.

Первый обзор ↘️

Собрал юридический плагин для Claude Code и сравнил результаты

При подготовке документа с несколькими моделями часто можно заметить, что каждая из них (например Claude Opus 4.8 и GPT-5.5) предлагает разные аргументы. Одна делает упор на процесс, другая лучше подмечает пробелы в доказательствах, и по итогу они по-разному могут оценить суммы.

Я начал использовать их как стороны спора — давал одной модели позицию другой и просил дать комментарии, опровергнуть, потом наоборот.

Получается ручной мульти-агентный процесс: одна модель предлагает, другая критикует, а я дополняю фактами, контекстом, опровергаю тот или иной аргумент и по итогу собираю всё в единую позицию.

По сути, это работа оркестратора, которую можно попробовать отдать агентам.

Так и пришла идея сделать плагин под юридическую работу — legal-brief.

Я не писал его с нуля, за основу взял плагин superpowers от obra / Jesse Vincent и форк superpowers-strigov-ver от strigov. Переделал этот подход с разработки кода на юридическую работу.

Этапы работы плагина отображены в схеме к посту.

В конце плагин предоставляет файл со списком всех норм и практики, на которые сослался в документе, и проверяет, что ссылки открываются. Актуальность и применимость норм/практики нужно проверять самостоятельно.

Для теста запустил плагин на своём реальном деле — попросил составить возражения на взыскание судебных расходов.

Чтобы понять, насколько удачным получился документ, я решил сравнить три подхода:
🔵 ручной вариант: я + Claude + GPT
🔵 плагин legal-brief
🔵 Cowork: Claude Opus 4.8 в один проход (без агентного конвейера)

Итог:
🔵Ручной вариант — субъективно лучший для подачи.
🔵Плагин — на втором месте. Хорошо раскрывает вопрос объёма работы представителей, предлагает умеренный контррасчёт, но упустил один тезис, на который стоило бы сослаться, и местами документ получился длинноватым.
🔵Cowork — рабочий черновик, но слабее. Основная мысль есть, но местами слишком категорично, слабее контррасчёт и меньше аргументов.

Да, ручной вариант получился лучше. И, честно говоря, я сомневаюсь, что даже при более тонкой настройке плагин будет идеально отрабатывать такие задачи без участия человека.

Но в этом и не была цель.

Плагин может снять пул работы, который обычно делается вручную: собрать саммари, прогнать документ через несколько ролей, получить критику, альтернативный взгляд и доработанный черновик.

Его можно использовать для первых 70–80% работы, а дальше вручную проверять, усиливать позицию и добавлять то, что видит только человек, погружённый в дело.

Кому интересно потестировать и сравнить свои результаты с результатами плагина — ссылка на репозиторий ниже.

Репозиторий https://github.com/KunDeal/legal-brief

Тест 14 нейросетей: всегда ли нужна топовая модель?

Мой сервис по каждому судебному делу составляет «паспорт» — выжимку из акта в виде таблицы на 28 полей: кто с кем судился, что просил истец, что взыскал суд, какие статьи применил и т.д. Ранее писал, что эти выжимки позволяют снизить количество галлюцинаций при ответе сервиса.

Составляет такие паспорта DeepSeek v4-flash, это одна из самых дешёвых, но эффективных моделей на рынке. И у неё встречаются пробелы в работе: то обстоятельство перепутает, то оставит поле пустым, хотя ответ есть в тексте судебного акта.

Хочется больше точности, и логичное решение — взять модель посильнее и подороже. Но прежде чем менять модель, я решил проверить, можно ли ещё что-то выжать из DeepSeek v4-flash, и провёл тест.

Взял выборку из 100 судебных дел и 14 нейросетей — от топовых GPT-5.5, Opus 4.8 и Sonnet 5 до бюджетных (все модели можно увидеть на графике).

Каждая модель читала судебный акт и составляла по нему паспорт (выжимку). Для каждого дела заранее готовился эталон: его совместно составляли Opus 4.8 и GPT-5.5, а спорные поля дополнительно сверялись с текстом акта. Дальше всё просто: чем больше полей в паспорте модели совпало с эталоном, тем выше ее точность. Проверка шла вслепую — оценщик не знал, паспорт какой модели перед ним.

Результат: топы набрали 96–98%, а DeepSeek v4-flash — 90,4% и десятое место (рейтинг на картинке).

Не стал спешить с заменой модели и разобрал, на чем именно DeepSeek v4-flash теряет точность. Ошибки оказались двух типов — и лечатся они по-разному.

➡Первый тип — путаница в обстоятельствах дела. Подсказка нашлась ещё при подготовке эталонов паспортов: даже Opus 4.8 и GPT-5.5 иногда трактовали одно и то же поле по-разному. Оказалось, дело не в том, что одна модель сильнее другой, а в самой инструкции\промте — некоторые формулировки в инструкции можно было понять двояко. Переписал спорные места, и путаница в ответах DeepSeek v4-flash почти полностью ушла.

➡Второй тип — пустые поля паспорта. Здесь DeepSeek v4-flash не выдумывает, а ленится: суд расписал, как считал компенсацию, а в поле «способ расчета» все равно пусто. Правки в инструкцию больше не помогали: заставляешь модель заполнять все пустые поля и она начинает галлюцинировать.

Но пустое поле, в отличие от выдумки, легко обнаружить автоматически. Поэтому я дописал скрипт (доработал код в инструменте, который собирает паспорта) — после составления паспорта он проверяет, какие поля остались пустыми, и просит DeepSeek v4-flash дозаполнить только их. Уже заполненные поля трогать ему запрещено.

Итог: паспорт подорожал примерно на 37%, а точность выросла с 90,4% до 96,2%. Для сравнения: у Sonnet 5 — 98,7%, но он дороже DeepSeek v4-flash в 15 с лишним раз.

Этот тест ещё раз показал, как сильно на результат влияет окружение (обвязка) модели. И что даже топовые нейросети ошибаются в простой на первый взгляд задаче: пересказать судебное дело в таблицу.