Amazon v. Perplexity: архитектура агента и CFAA

4 августа Девятый округ отменил запрет на работу AI-агента Comet с аккаунтами Amazon. Разбираем, как суд решал вопрос о доступе по CFAA, почему архитектура агента оказалась важнее ярлыка «автономный ИИ» и что это значит для тех, кто строит агентов.

На сайте

Thomson Reuters v. ROSS: headnotes и fair use

11 февраля судья Bibas признал, что обучение legal-search продукта ROSS на аннотациях Westlaw нарушает авторское право, и отклонил fair use. Разбираем, что именно суд счел копированием, почему решение не стало общим правилом для LLM и что это значит для происхождения обучающих данных.

На сайте

Hallucination-Free?: доля галлюцинаций legal RAG

Работа: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, опубликованная в Journal of Empirical Legal Studies, проверяет три коммерческих инструмента юридического поиска: Lexis+ AI, Westlaw AI-Assisted Research и Ask Practical Law AI. Исследование было предварительно зарегистрировано; авторы составили юридические запросы, проверяли утверждения и ссылки и разделяли галлюцинацию, фактическую ошибку и содержательный ответ. Несмотря на RAG и доступ к базам, системы галлюцинировали в 17-33% ответов. Это ниже, чем у GPT-4 общего назначения, но не подтверждает заявления поставщиков о надежности. Отдельный вывод: отказ или уклончивый ответ снижает долю галлюцинаций, не делая продукт полезнее. Для рейтинга Lexometrica это основание считать точность ссылок, точность содержания и долю ответов разными показателями.

Источник: arXiv · На сайте

Бенчмарк поиска прецедентов для правового анализа

Работа: A Reasoning-Focused Legal Retrieval Benchmark, авторы Lucia Zheng, Neel Guha и соавторы из Stanford, строит бенчмарк поиска по американской судебной практике. В отличие от наборов, где нужно найти документ по сходству с запросом, задания требуют определить источники, необходимые для юридического анализа, и затем сформировать обоснованный ответ. Главный вклад в методике: поиск и генерация анализа оцениваются раздельно, поэтому видно, не нашла ли система определяющий прецедент, выбрала не то дело или неверно применила найденное. Ограничения: право США, английский язык и структура американских ссылок. Для Lexometrica подход переносим на российские дела: отдельно оценивать поиск применимой нормы, поиск практики и соответствие вывода найденным источникам.

Источник: arXiv · На сайте

LegalReasoner: верификация шагов рассуждения

В работе: LegalReasoner: Step-wised Verification-Correction for Legal Judgment Reasoning предсказание исхода дела построено как проверяемый процесс, а не классификация итога. Модель выделяет спорные вопросы, строит цепочку рассуждения и оценивает каждый шаг по правильности, продвижению и потенциалу. Для обучения собран набор LegalHK из 58 130 дел Гонконга. Точность вывода на LegalHK составила 80,27 против 72,37 у дообученной Llama-3.1-70B и 77,15 у GPT-o1; на китайском CMDL 76,95 против 72,03. Без пошагового рассуждения результат падал до 69,49, без проверки и исправления шагов до 74,49. Авторы указывают на стоимость проверки каждого шага и шум автоматической разметки. Для рейтинга Lexometrica это аргумент оценивать Issue, Rule, Application и Conclusion по отдельности, а не одной итоговой оценкой.

Источник: arXiv · На сайте

L-MARS: мультиагентный поиск с аудитом цитат

Работа: L-MARS: Legal Multi-Agent System with Agentic Search and Citation-Faithfulness Audit распределяет юридический вопрос между агентами планирования, поиска, фильтрации источников, проверки и синтеза ответа. Для оценки создан LegalSearchQA: 50 вопросов по пяти отраслям права, ответы на которые зависят от событий после даты обучения моделей. Система достигла 96% точности против 58% без поиска, а обычная цепочка рассуждений дала 30%: развернутое внутреннее рассуждение без надежного поиска ухудшило результат. Набор мал, и ответы требуют обновления по мере изменения права. Для Lexometrica важны два вывода: сравнивать агентный поиск не только с простым запросом, но и с цепочкой рассуждений и одиночным RAG, и версионировать дату актуальности каждого кейса и корпуса законодательства.

Источник: arXiv · На сайте

LeMAJ: атомарная оценка юридических ответов

Работа: LeMAJ (Legal LLM-as-a-Judge): Bridging Legal Reasoning and LLM Evaluation предлагает оценивать юридический ответ не целиком, а по атомарным утверждениям, Legal Data Points. Каждое получает метку correct, incorrect, irrelevant или missing, из меток считаются правильность, точность, полнота и F1. На подмножестве LegalBench корреляция Пирсона с экспертной оценкой правильности составила 0,700 против 0,018 у DeepEval Correctness. Согласие экспертов между собой при разметке в интерфейсе LeMAJ выросло с 0,77 до 0,88. Авторы признают субъективность критерия релевантности и зависимость от модели-судьи. Для рейтинга Lexometrica полезен отдельный учет пропущенных обязательных элементов ответа: модель может быть права во всем сказанном и при этом не назвать норму, без которой вывод не обоснован.

Источник: arXiv · На сайте

Court-Ready: оценка LLM на праве Индии

Работа: Are LLMs Court-Ready? Evaluating Frontier Models on Indian Legal Reasoning строит индийский набор из 6 218 тестовых вопросов экзаменов CLAT, судебной службы Дели и экзамена Advocate-on-Record Верховного суда Индии, а также 35 развернутых заданий со слепой проверкой пятью сертифицированными Advocate-on-Record. Gemini 2.5 Pro превысил средние результаты лучших экзаменуемых в тестах: на 7,6 балла в CLAT UG и на 25,3 в DHJS. В развернутых работах модель осталась ниже человеческих у каждого из пяти проверяющих; отмечены ошибки в дисциплине цитирования, процессуальных требованиях и структуре документа. Для Lexometrica это подтверждение, что тестов и точности вывода недостаточно: нужны отдельные оценки процедуры, релевантности источников и структуры IRAC.

Источник: arXiv · На сайте

Place Matters: галлюцинации по юрисдикциям

Работа: Place Matters: Comparing LLM Hallucination Rates for Place-Based Legal Queries проверяет, зависит ли доля галлюцинаций от места. Авторы взяли сценарии из обращений по семейному, жилищному, трудовому и уголовно-дорожному праву, локализовали их для Лос-Анджелеса, Лондона и Сиднея и отдали ответы моделей юристам на разметку. Средняя доля галлюцинаций составила 0,45 для Лос-Анджелеса, 0,55 для Лондона и 0,61 для Сиднея; по отраслям выше всего в жилищном праве, 0,649, ниже всего в трудовом, 0,440. Согласованность ответов при повторной генерации отрицательно коррелировала с долей галлюцинаций. Причин различий авторы не устанавливают. Для Lexometrica это довод публиковать показатели по юрисдикциям и отраслям отдельно: общий балл скрывает разрыв между хорошо и слабо представленными нормами.

Источник: arXiv · На сайте

Санкции за AI-цитаты: восемь дел 2025-2026

За год федеральные апелляционные суды и суды штатов вынесли серию санкций за вымышленные цитаты из AI-инструментов: от $1 485 до дисквалификации из дела. Сводим восемь решений в таблицу и показываем, какой класс ошибок пропускает проверка по метаданным и почему это вопрос оценки моделей.

На сайте

Heppner, Warner, Morgan: AI-чаты и привилегия

За семь недель три федеральных суда по-разному ответили, защищены ли переписки с AI от раскрытия в процессе. Сравниваем Heppner, Warner и Morgan: где проходит граница между привилегией и work product, что решает статус стороны и какие договорные условия суд потребовал от AI-платформы.

На сайте

Magis-Bench: оценка LLM на задачах магистратов

Работа: Magis-Bench: Evaluating LLMs on Magistrate-Level Legal Tasks проверяет модели на заданиях бразильских конкурсов на должности судей. Набор включает 74 задания из восьми экзаменов 2023-2025 годов, в том числе практические упражнения, где нужно составить полное гражданское или уголовное решение: определить вопросы, применить нормы к фактам, разрешить требования и оформить резолютивную часть. Оценены 23 модели, проверку выполняли четыре независимые фронтирные модели; опубликованы набор, ответы моделей и код оценки. Ограничение: основной проверяющий остается моделью, поэтому возможны общие для моделей смещения. Для Lexometrica это ближайший формат к предсказательной аналитике судов: задачи с полным решением и раздельная оценка рассуждения и итоговой резолютивной части.

Источник: arXiv · На сайте

JudgmentBench: рубрики против попарных оценок

Работа: JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment сравнивает два способа экспертной оценки юридических ответов: баллы по рубрике и попарный выбор лучшего из двух. Набор включает 30 реальных задач, 1 539 оценок по рубрике и 1 530 попарных сравнений от практикующих американских адвокатов; одни и те же эксперты применяли оба протокола к одним материалам. Попарные сравнения восстановили заданный порядок качества с корреляцией Спирмена 0,908, рубрики дали 0,150, и попарная оценка заняла меньше половины времени. Ограничение: ответы были трех заранее заданных уровней качества, поэтому на близкие модели результат переносить нельзя. Для рейтинга Lexometrica это довод дополнить абсолютные оценки IRAC слепыми попарными сравнениями по спорным критериям.

Источник: arXiv · На сайте

BenGER: бенчмарк субсумции в немецком праве

Работа: BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law проверяет модели на немецкой методике субсумции: норма раскладывается на элементы, факты последовательно подводятся под каждый, затем формулируется вывод. Набор содержит 596 экзаменационных казусов разных ступеней юридического образования и 531 доктринальную задачу; сравнивались 12 систем, включая закрытые флагманы и открытые модели. Оценка моделью-судьей совпала с человеческой панелью с корреляцией 0,96 на выборке из 30 работ. Авторы отмечают небольшой объем проверки людьми и специфику немецкого юридического образования. Для Lexometrica это ближайший аналог протокола Rule и Application в континентальном праве: проверять каждый элемент состава и явное соответствие фактов элементам, а не только итоговый вывод.

Источник: arXiv · На сайте

Reddit v. SerpApi: обход защиты вместо CFAA

31 июля судья Engelmayer оставил в силе иск Reddit к SerpApi и Perplexity по DMCA за обход SearchGuard и CAPTCHA. Разбираем, почему споры о скрейпинге для AI смещаются из CFAA в запрет обхода технических мер, и чем рискует покупатель данных, а не только скрейпер.

На сайте

Адаптация юридического агента без дообучения

В работе исследуется адаптация агентов к длинным юридическим процессам во время использования, без обновления параметров модели. Предложены два механизма: эволюция памяти, которая извлекает опыт из предыдущих дел, подстраивает его под фактический и процедурный контекст текущего дела и накапливает для следующих решений, и согласование по рубрикам, которое проверяет и исправляет действия каждой роли по поведенческим и процедурным требованиям, связывая роли и стадии процесса. Эксперименты на наборах J1-EVAL и LegalWorld с пятью базовыми моделями показали прирост относительно reasoning-подходов и агентных бейзлайнов при умеренных затратах на взаимодействие и вычисления. Абляции показывают, что два механизма дополняют друг друга: один отвечает за перенос опыта, другой за координацию ролей.

Источник: arXiv · На сайте

PARCEL: проверка утверждения по источнику

В работе: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection представлен бенчмарк PARCEL для проверки, подтверждается ли юридическое утверждение цитируемым источником. Авторы собрали 3396 утверждений в формате parenthetical по недавним решениям Апелляционного суда штата Нью-Йорк с метками «подтверждено», «опровергнуто», «не найдено» и проверили современные языковые модели в режиме zero-shot как задачу трехклассового вывода. Лучшие модели достигают точности 0,97, но при этом помечают неподтвержденные утверждения как подтвержденные даже при полном тексте решения. Отсутствие подтверждения модели находят хуже, чем прямое противоречие, а сильнее всего точность падает на вымышленных, но правдоподобных ссылках. Бенчмарк дает способ измерять обоснованность ответов юридических систем RAG на уровне отдельного утверждения.

Источник: arXiv · На сайте

Названная норма не меняет вердикт LLM

В работе: Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness авторы исследуют зависимость судебных решений больших языковых моделей от указанных ими правовых норм. Исследование проводилось путем подмены юридических источников при неизменных фактах дела и анализа скрытых состояний семи моделей разного масштаба. Было обнаружено, что модели часто называют верные нормы, однако итоговые вердикты не меняются при замене этих норм в значительной части случаев. Это означает, что наличие ссылки на закон не гарантирует логическую связь между нормой и решением, поэтому сгенерированное обоснование нельзя использовать как аудиторский след без отдельной проверки зависимости вердикта от нормы.

Источник: arXiv · На сайте

Что здесь

Lexometrica - это исследовательский проект на стыке права и AI: анализ судебных решений и оценка языковых моделей на юридических задачах.

Пока здесь только два типа записей:

✅ Заметки по arXiv: краткие аннотации интересных научных исследований в области Legal AI со ссылкой на источник.

✅ Разборы: собственные записи о судебных делах и исследованиях.

🔥 Полные тексты на lexometrica.ru