Семинар по персональным данным
Уже завтра будет наш второй семинар из цикла по персональным данным. В этот раз есть возможность онлайн-участия.
Обсудим не только мои любые утечки персональных данных, но и последние нововведения в области локализации (а там штрафы за повторное нарушение, на минуточку, до 18 млн. руб.).
Присоединяйтесь!
Уже завтра будет наш второй семинар из цикла по персональным данным. В этот раз есть возможность онлайн-участия.
Обсудим не только мои любые утечки персональных данных, но и последние нововведения в области локализации (а там штрафы за повторное нарушение, на минуточку, до 18 млн. руб.).
Присоединяйтесь!
Telegram
LEVEL Legal Services
⬜️ Виктор Домшенко, партнёр, глава практики коммерческих споров и групповых исков, LEVEL Legal Services, и Алексей Мунтян, основатель и CEO Privacy Advocates, эксперт в области инфоприватности и внешний DPO в транснациональных холдингах, проведут практический…
Сегодня провели еще один увлекательный семинар по перс.данным.
Затронули злободневные проблемы - утечки, новые требования к локализации (с 1 июля), обсудили статистику привлечения к административной ответственности по ст. 13.11 и другим статьям КоАП, связанным с персональными данными.
Я рассказывал про привлечение к ответственности за:
- неопубликование политики обработки ПД;
- игнорирование требований пользователя, касающиеся обработки его перс.данных;
- игнорирование требований об уточнении / уничтожении перс.данных;
- нарушение требований к хранению данных (не в эл.виде) - это случаи, когда условная поликлиника выбросила в мусорку во дворе медицинские карты своих пациентов.
Ближайшее время напишу об этих составах более подробно. Не переключайтесь!
Затронули злободневные проблемы - утечки, новые требования к локализации (с 1 июля), обсудили статистику привлечения к административной ответственности по ст. 13.11 и другим статьям КоАП, связанным с персональными данными.
Я рассказывал про привлечение к ответственности за:
- неопубликование политики обработки ПД;
- игнорирование требований пользователя, касающиеся обработки его перс.данных;
- игнорирование требований об уточнении / уничтожении перс.данных;
- нарушение требований к хранению данных (не в эл.виде) - это случаи, когда условная поликлиника выбросила в мусорку во дворе медицинские карты своих пациентов.
Ближайшее время напишу об этих составах более подробно. Не переключайтесь!
Благодарности
В этом месяце завершилась большая веха моей профессиональной жизни - я закончил магистратуру по компьютерной лингвистике в МГУ.
Для меня ясно, что этот путь я сумел пройти потому, что мои близкие меня поддержали.
Вот они:
1. Супруга, которая была моей поддержкой и опорой, несмотря на обстоятельства.
2. Виктор Домшенко, без помощи и огня которого я бы вряд ли дошел до конца.
3. Папа, мама, бабушка, брат, сестра и тетя, которые меня всегда во всем поддерживают.
Я безгранично благодарен этим людям, без них ничего бы не вышло.
Сейчас, после завершения МГУ занимаюсь долгосрочным планированием развития в области права и технологий.
В этом месяце завершилась большая веха моей профессиональной жизни - я закончил магистратуру по компьютерной лингвистике в МГУ.
Для меня ясно, что этот путь я сумел пройти потому, что мои близкие меня поддержали.
Вот они:
1. Супруга, которая была моей поддержкой и опорой, несмотря на обстоятельства.
2. Виктор Домшенко, без помощи и огня которого я бы вряд ли дошел до конца.
3. Папа, мама, бабушка, брат, сестра и тетя, которые меня всегда во всем поддерживают.
Я безгранично благодарен этим людям, без них ничего бы не вышло.
Сейчас, после завершения МГУ занимаюсь долгосрочным планированием развития в области права и технологий.
Не про технолитигацию
В отпуске прочитал две работы К.С. Станиславского: "Работа актера над собой" и "Моя жизнь в искусстве".
1. Очень мало профессий, которые требуют специфической работы с подсознанием. Пока могу выделить только актеров и военных. И те, и другие в процессе обучения ломают себя в прямом и переносном смысле. Актеры, в частности, "должны вызывать у себя вдохновение во время, указанное в афише". Было интересно через щель в заборе поглядеть на этот необычный мир деятелей сцены.
Из того, как я понял текст, актеры добиваются высокого уровня исполнения, когда убеждают себя в правдоподобности происходящего. Дальше вступает человеческая природа (подсознание), которая создает роль без каких-либо наигрышей и актерских штампов. Сознание заинтересовывает подсознание. Актер как бы говорит себе: "да, все декорации вокруг и лица пьесы - ненастоящие. Я это знаю, мне до этого нет дела. Но если бы они были настоящие, то я бы действовал или отнесся к такому-то событию следующим образом".
Разумеется, у книги 2-3-4 дна, я увидел, что смог. Нашел много пересечений со своей профессией. Нам, судебным юристам, тоже нужно самим поверить в правовую позицию, и только потом убеждать других. Было и про тщеславие и восприятие критики, но они всем известны и поэтому скучны. Меня подкупило, что Станиславский не стесняется писать о своих промахах и ошибках.
"Работа актера над собой" оставила сильный след. Не то, чтобы я научился управлять вдохновением, но я увидел как это делают (или пытаются делать) актеры. Забрал пару приемчиков себе.
2. "Моя жизнь в искусстве" - автобиография.
Меня позабавило два момента. В первом Станиславский пишет, что "на все лето уехал в Финляндию, сидел на скалах, и мысленно перебирал свои роли". Вот это уровень свободы! На все лето в Финляндию, да еще и без смартфона. Хотя в действительности это сидение на скалах дало сильнейший толчок его знаменитой системе, которая потом произвела большой взрыв.
Второй момент - Станиславский родился в богатой семье. Но всю жизнь у него были финансовые качели - то миллионер, то в долгах (после своих театральных "стартапов"). А потом еще пришла революция, и все деньги он потерял. В сотый раз увидел пример того, что жизнь по призванию, жизнь Творца позволяет относиться к материальному проще, но без крайностей античных философов.
Я получил удовольствие от чтения, а читать ли книги "других миров" - оставляю на ваше усмотрение.
P.S. Я тоже посидел. Правда, не на скалах, не в Финляндии и не все лето, но тоже отрефлексировал свой последний год жизни. В грядущем деловом сезоне буду воплощать задумки.
В отпуске прочитал две работы К.С. Станиславского: "Работа актера над собой" и "Моя жизнь в искусстве".
1. Очень мало профессий, которые требуют специфической работы с подсознанием. Пока могу выделить только актеров и военных. И те, и другие в процессе обучения ломают себя в прямом и переносном смысле. Актеры, в частности, "должны вызывать у себя вдохновение во время, указанное в афише". Было интересно через щель в заборе поглядеть на этот необычный мир деятелей сцены.
Из того, как я понял текст, актеры добиваются высокого уровня исполнения, когда убеждают себя в правдоподобности происходящего. Дальше вступает человеческая природа (подсознание), которая создает роль без каких-либо наигрышей и актерских штампов. Сознание заинтересовывает подсознание. Актер как бы говорит себе: "да, все декорации вокруг и лица пьесы - ненастоящие. Я это знаю, мне до этого нет дела. Но если бы они были настоящие, то я бы действовал или отнесся к такому-то событию следующим образом".
Разумеется, у книги 2-3-4 дна, я увидел, что смог. Нашел много пересечений со своей профессией. Нам, судебным юристам, тоже нужно самим поверить в правовую позицию, и только потом убеждать других. Было и про тщеславие и восприятие критики, но они всем известны и поэтому скучны. Меня подкупило, что Станиславский не стесняется писать о своих промахах и ошибках.
"Работа актера над собой" оставила сильный след. Не то, чтобы я научился управлять вдохновением, но я увидел как это делают (или пытаются делать) актеры. Забрал пару приемчиков себе.
2. "Моя жизнь в искусстве" - автобиография.
Меня позабавило два момента. В первом Станиславский пишет, что "на все лето уехал в Финляндию, сидел на скалах, и мысленно перебирал свои роли". Вот это уровень свободы! На все лето в Финляндию, да еще и без смартфона. Хотя в действительности это сидение на скалах дало сильнейший толчок его знаменитой системе, которая потом произвела большой взрыв.
Второй момент - Станиславский родился в богатой семье. Но всю жизнь у него были финансовые качели - то миллионер, то в долгах (после своих театральных "стартапов"). А потом еще пришла революция, и все деньги он потерял. В сотый раз увидел пример того, что жизнь по призванию, жизнь Творца позволяет относиться к материальному проще, но без крайностей античных философов.
Я получил удовольствие от чтения, а читать ли книги "других миров" - оставляю на ваше усмотрение.
P.S. Я тоже посидел. Правда, не на скалах, не в Финляндии и не все лето, но тоже отрефлексировал свой последний год жизни. В грядущем деловом сезоне буду воплощать задумки.
AI-помощник для страховых компаний
Ранее я писал про Первый Аджастер – платформа для помощи страхователям в подаче заявлений о страховых выплатах.
А недавно Y Combinator «выпустил» AI-помощника для противоположной стороны - для страховщиков. Называется Solva.
Основная идея продукта – заменить человека на этапе первичной проверки документов и помочь ему оценить обоснованность заявления о выплате страхового возмещения. Solva предлагает следующий функционал:
1) Проверка полноты комплекта документов к заявлению, незаполненных данных;
2) Проверка заявления на предмет соответствия внутренним правилам (про то, как это делается с т.з. комп.науки и семантики я писал магистерскую);
3) Автоматическое выявление мошенничества (я считаю, что здесь только статистика поможет и AI не нужен, но идентификация мошенничества - это отдельная наука)
Обещают, что ответы ИИ будут со ссылками на источники, и что продукт соответствует жестким банковским требованиям к безопасности, а также всем условиям GDPR. В общем – «был бы у меня такой кот …».
У меня нет никаких сомнений, что внутри российских страховых групп человеку уже давно помогает ИИ, но такого функционала в форме отдельного стартапа у нас не встречал.
Видимо, уже недалеко времена, когда сначала между собой будут разбираться AI-страхователь и AI-страховщик, а человек как арбитр будет по итогам их спора принимать решение.
#обзор_продукта
Ранее я писал про Первый Аджастер – платформа для помощи страхователям в подаче заявлений о страховых выплатах.
А недавно Y Combinator «выпустил» AI-помощника для противоположной стороны - для страховщиков. Называется Solva.
Основная идея продукта – заменить человека на этапе первичной проверки документов и помочь ему оценить обоснованность заявления о выплате страхового возмещения. Solva предлагает следующий функционал:
1) Проверка полноты комплекта документов к заявлению, незаполненных данных;
2) Проверка заявления на предмет соответствия внутренним правилам (про то, как это делается с т.з. комп.науки и семантики я писал магистерскую);
3) Автоматическое выявление мошенничества (я считаю, что здесь только статистика поможет и AI не нужен, но идентификация мошенничества - это отдельная наука)
Обещают, что ответы ИИ будут со ссылками на источники, и что продукт соответствует жестким банковским требованиям к безопасности, а также всем условиям GDPR. В общем – «был бы у меня такой кот …».
У меня нет никаких сомнений, что внутри российских страховых групп человеку уже давно помогает ИИ, но такого функционала в форме отдельного стартапа у нас не встречал.
Видимо, уже недалеко времена, когда сначала между собой будут разбираться AI-страхователь и AI-страховщик, а человек как арбитр будет по итогам их спора принимать решение.
#обзор_продукта
Telegram
Технолитигация
#обзор_продукта
Название: Первый Аджастер
Боль, которую лечит продукт: сложный процесс подачи документов для получения страхового возмещения.
Описание продукта: платформа, которая сводит клиента, желающего получить страховое возмещение и НЕ желающего «возиться…
Название: Первый Аджастер
Боль, которую лечит продукт: сложный процесс подачи документов для получения страхового возмещения.
Описание продукта: платформа, которая сводит клиента, желающего получить страховое возмещение и НЕ желающего «возиться…
Индустрия автоматизированной проверки сайтов
В России очень много сайтов. В рунете (.ru, .рф, .su) зарегистрировано 6,4 млн доменных имен. Многие из них имеют сайты. А сколько сайтов в других зонах (.com и т.п.), которые ориентированы на россиян и принадлежат россиянам – сказать еще сложнее.
Ко всему этому хозяйству появились требования и запреты в разных плоскостях: персональные данные, запрещенные материалы, маркировка рекламы и т.п. Очевидно, государственный служащий проверять такие объемы вручную не может. И тут на помощь приходит автоматизация и ИИ.
РКН:
- проверяет сайт на предмет соответствия законодательству о персональных данных
- проверяет сайт на предмет соблюдения законодательства о рекламе
- проверяет (планирует проверять) сайт на наличие незаконного контента
В противовес РКН появилась линейка продуктов, которые делают то же самое без участия или с минимальным участием человека, но в отличие от РКН это не приводит к разбирательствам с органом:
- РосКом онлайн - проверяет сайт на предмет соответствия законодательству о персональных данных, о рекламе и даже ГК РФ (любопытно)
- 1PS.ru – проверка на соответствие законодательству о персональных данных;
- 152scan – проверка на соответствие законодательству о персональных данных;
И еще масса продуктов, которые решают ту же самую задачу, но с использованием юристов, пример.
С точки зрения технологии под капотом использование ИИ неочевидно: для базового сценария (охватывает 90% нарушений) достаточно поиска по ключевым словам. Для ИИ я вижу две задачи: определение незаконного контента и проверка сайта по конкретному чек-листу (как это делается для оптимизации договорной работы). Не думаю, что из этих двух задач можно полностью исключить человека.
Ранее я писал про страховщиков и страхователей, там сначала между собой будут разбираться ИИ-агенты, и уже затем будет подключаться человек. Теперь так и в случае с проверкой сайтов.
#обзор_продукта
В России очень много сайтов. В рунете (.ru, .рф, .su) зарегистрировано 6,4 млн доменных имен. Многие из них имеют сайты. А сколько сайтов в других зонах (.com и т.п.), которые ориентированы на россиян и принадлежат россиянам – сказать еще сложнее.
Ко всему этому хозяйству появились требования и запреты в разных плоскостях: персональные данные, запрещенные материалы, маркировка рекламы и т.п. Очевидно, государственный служащий проверять такие объемы вручную не может. И тут на помощь приходит автоматизация и ИИ.
РКН:
- проверяет сайт на предмет соответствия законодательству о персональных данных
- проверяет сайт на предмет соблюдения законодательства о рекламе
- проверяет (планирует проверять) сайт на наличие незаконного контента
В противовес РКН появилась линейка продуктов, которые делают то же самое без участия или с минимальным участием человека, но в отличие от РКН это не приводит к разбирательствам с органом:
- РосКом онлайн - проверяет сайт на предмет соответствия законодательству о персональных данных, о рекламе и даже ГК РФ (любопытно)
- 1PS.ru – проверка на соответствие законодательству о персональных данных;
- 152scan – проверка на соответствие законодательству о персональных данных;
И еще масса продуктов, которые решают ту же самую задачу, но с использованием юристов, пример.
С точки зрения технологии под капотом использование ИИ неочевидно: для базового сценария (охватывает 90% нарушений) достаточно поиска по ключевым словам. Для ИИ я вижу две задачи: определение незаконного контента и проверка сайта по конкретному чек-листу (как это делается для оптимизации договорной работы). Не думаю, что из этих двух задач можно полностью исключить человека.
Ранее я писал про страховщиков и страхователей, там сначала между собой будут разбираться ИИ-агенты, и уже затем будет подключаться человек. Теперь так и в случае с проверкой сайтов.
#обзор_продукта
РБК Тренды
6,4 млн доменов зарегистрировано в Рунете
7 апреля 2024 года Рунету — российскому сегменту интернета — исполняется 30 лет. Рассказываем, сколько зарегистрировано сайтов в Рунете и доменов в национальных доменных зонах .ru, .рф и .su
AI-детекторы: часть 1
Все больше людей используют ИИ для создания текстов во всех сферах. И иногда встает вопрос о том, а не является ли конкретный текст порождением ИИ, что по определению снижает мое доверие к нему (независимо от сферы – СМИ или юриспруденция). Здесь на сцену выходят AI-детекторы: софт, который позволяет ответить на вопрос, «кто» написал анализируемый текст.
Под капотом AI-детектора находятся модели разной степени развития, т.к. задача бинарной классификации - стандартная. Поэтому палитра внутренностей AI-детектора широкая: от простых логистических регрессий и наивного байесовского классификатора, до больших языковых моделей.
Первая страница поисковика дает десяток ссылок на разные онлайн детекторы, выбирай – не хочу.
Однако мой опыт их использования показал, что они не работают. Я предлагал нескольким AI-детекторам работы как дореволюционных правоведов, так и советских и современных. Их вердикт был одинаковый: текст сгенерирован ИИ.
Например, фрагмент из учебника гражданского права под редакцией Ю.С. Гамбарова оказался сгенерирован ИИ с вероятностью 74% (по версии одного сайта, на картинке) и с вероятностью 100% сгенерирован ИИ - по версии другого сайта.
В обратную сторону, когда я предлагал для анализа сгенерированный ИИ текст, результат лучше: AI-детектор определил вероятность его ИИ-авторства как 50%. При таком качестве анализа можно использовать монетку и подбрасывать ее над каждым текстом, надежность будет такая же.
Разумеется, у такой недостоверности может быть масса причин – начиная с языка (может быть русский звучит для модели аномально, если вы используется «импортный» софт) и заканчивая невероятным улучшением качества текстов моделей в последнее. В любом случае, я использую ИИ-детекторы лишь как игрушку из любопытства – подтвердит он или опровергнет мое предположение о происхождении текста, но никогда не полагаюсь на его вывод.
P.S. использование ИИ для генерации текстов поддерживаю, но в разумных пределах, когда автор не пытается переложить на языковую модель процесс собственного мышления.
Все больше людей используют ИИ для создания текстов во всех сферах. И иногда встает вопрос о том, а не является ли конкретный текст порождением ИИ, что по определению снижает мое доверие к нему (независимо от сферы – СМИ или юриспруденция). Здесь на сцену выходят AI-детекторы: софт, который позволяет ответить на вопрос, «кто» написал анализируемый текст.
Под капотом AI-детектора находятся модели разной степени развития, т.к. задача бинарной классификации - стандартная. Поэтому палитра внутренностей AI-детектора широкая: от простых логистических регрессий и наивного байесовского классификатора, до больших языковых моделей.
Первая страница поисковика дает десяток ссылок на разные онлайн детекторы, выбирай – не хочу.
Однако мой опыт их использования показал, что они не работают. Я предлагал нескольким AI-детекторам работы как дореволюционных правоведов, так и советских и современных. Их вердикт был одинаковый: текст сгенерирован ИИ.
Например, фрагмент из учебника гражданского права под редакцией Ю.С. Гамбарова оказался сгенерирован ИИ с вероятностью 74% (по версии одного сайта, на картинке) и с вероятностью 100% сгенерирован ИИ - по версии другого сайта.
В обратную сторону, когда я предлагал для анализа сгенерированный ИИ текст, результат лучше: AI-детектор определил вероятность его ИИ-авторства как 50%. При таком качестве анализа можно использовать монетку и подбрасывать ее над каждым текстом, надежность будет такая же.
Разумеется, у такой недостоверности может быть масса причин – начиная с языка (может быть русский звучит для модели аномально, если вы используется «импортный» софт) и заканчивая невероятным улучшением качества текстов моделей в последнее. В любом случае, я использую ИИ-детекторы лишь как игрушку из любопытства – подтвердит он или опровергнет мое предположение о происхождении текста, но никогда не полагаюсь на его вывод.
P.S. использование ИИ для генерации текстов поддерживаю, но в разумных пределах, когда автор не пытается переложить на языковую модель процесс собственного мышления.
AI-детекторы: часть 2
«Естественный» интеллект пока еще справляется с задачей идентификации сгенерированных текстах лучше. Но не везде. Например, в Китае новелла, сгенерированная ИИ, победила в литературном конкурсе. И это 2023 год, страшно подумать, на что языковые модели способны сейчас.
Применительно к юриспруденции я убежден, что генеративным моделям еще очень далеко до подражания юристу. Сужу только по своему опыту. ИИ часто прокалывается в этом:
1. Юристы очень любят пассивный залог. как бы Нора Галь его ни обличала. ИИ на этом обычно спотыкается – он любит скорее активный залог. Это логично, т.к. в обучающей выборке, которая состоит не только из юридических текстов, активный залог преобладает. Поэтому из обучения ИИ скорее всего «нахватался» именно шаблонов с активным залогом.
2. У текстов ИИ больше эмпатии к читателю. ИИ напишет «нам с вами необходимо», «мы должны», юрист в 99% случаев напишет безлично или в 3-м лице: «необходимо» или «покупатель обязан».
3. Очевидная нелогичность. Я недавно написал так: «в результате рассмотрения дела судом первой инстанции иск удовлетворен в полном объеме». В этом фрагменте, на минуточку, 5 подряд идущих существительных, а всего их 8. В таких длинных последовательностях ИИ может нарушать согласование существительных и выбирать не тот падеж. Есть шутка на эту тему, возникшая на заре обработки естественного языка: знаете самое частотное сочетание из 3 подряд идущих прилагательных? Ответ: российские железные дороги.
4. Вымышленные нормы и даты. Тут без комменатриев. Подозрения усиливаются, если нет конкретики: номера пунктов, дни в датах.
5. Необычное деление ответа на блоки и необычное именование блоков. Например, я ни разу у юристов в деловых текстах (включая письма, процессуальные документы) не встречал блок, озаглавленный так: «Почему это полезно?». А у ИИ встречаю регулярно.
6. Буква «ё». ИИ ее очень любит, а в юридических текстах я встречаю ее очень редко. Особенно ярко это выявляется при сравнении других текстов того же автора – обычно не пишет, а тут старательно везде указал «ё».
7. Специальная терминология, которую используете только ваша компания, команда, школа кунг-фу. На этом билете в социальную среду ИИ точно проколется.
Разумеется, если хорошенько поработать над сгенерированным текстом, то отличить его от человеческого будет невозможно, и, в таком случае ИИ ускорит работу юриста, что я поддерживаю обеими руками.
Какие лайфхаки используете вы?
«Естественный» интеллект пока еще справляется с задачей идентификации сгенерированных текстах лучше. Но не везде. Например, в Китае новелла, сгенерированная ИИ, победила в литературном конкурсе. И это 2023 год, страшно подумать, на что языковые модели способны сейчас.
Применительно к юриспруденции я убежден, что генеративным моделям еще очень далеко до подражания юристу. Сужу только по своему опыту. ИИ часто прокалывается в этом:
1. Юристы очень любят пассивный залог. как бы Нора Галь его ни обличала. ИИ на этом обычно спотыкается – он любит скорее активный залог. Это логично, т.к. в обучающей выборке, которая состоит не только из юридических текстов, активный залог преобладает. Поэтому из обучения ИИ скорее всего «нахватался» именно шаблонов с активным залогом.
2. У текстов ИИ больше эмпатии к читателю. ИИ напишет «нам с вами необходимо», «мы должны», юрист в 99% случаев напишет безлично или в 3-м лице: «необходимо» или «покупатель обязан».
3. Очевидная нелогичность. Я недавно написал так: «в результате рассмотрения дела судом первой инстанции иск удовлетворен в полном объеме». В этом фрагменте, на минуточку, 5 подряд идущих существительных, а всего их 8. В таких длинных последовательностях ИИ может нарушать согласование существительных и выбирать не тот падеж. Есть шутка на эту тему, возникшая на заре обработки естественного языка: знаете самое частотное сочетание из 3 подряд идущих прилагательных? Ответ: российские железные дороги.
4. Вымышленные нормы и даты. Тут без комменатриев. Подозрения усиливаются, если нет конкретики: номера пунктов, дни в датах.
5. Необычное деление ответа на блоки и необычное именование блоков. Например, я ни разу у юристов в деловых текстах (включая письма, процессуальные документы) не встречал блок, озаглавленный так: «Почему это полезно?». А у ИИ встречаю регулярно.
6. Буква «ё». ИИ ее очень любит, а в юридических текстах я встречаю ее очень редко. Особенно ярко это выявляется при сравнении других текстов того же автора – обычно не пишет, а тут старательно везде указал «ё».
7. Специальная терминология, которую используете только ваша компания, команда, школа кунг-фу. На этом билете в социальную среду ИИ точно проколется.
Разумеется, если хорошенько поработать над сгенерированным текстом, то отличить его от человеческого будет невозможно, и, в таком случае ИИ ускорит работу юриста, что я поддерживаю обеими руками.
Какие лайфхаки используете вы?
В продолжение постов про AI-детекцию не лишним будет упомянуть другие сферы, где ИИ активно помогает писать - это программирование.
Там с качеством работы LLM все лучше, т.к. обучить написанию кода легче. Еще бы, ведь синтаксис и словарь любого языка программирования не сравнятся с естественеым языком.
Поэтому разработчики часто пользуются им для кодинга. Но LLM, как и любой инструмент, при неправильном использовании превращается во вредителя:
- ИИ генерирует код в 1.7 раз хуже, чем человек. Это ведет к тому, что скорость разработки падает на 19%.
- Разработчики "глупеют" из-за частого использования ИИ.
Чтобы таких последствий не было, придется делать самим то, что все ждут от LLM - думать. Это нужно для того, чтобы ставить ясный и структурированный промпт, которого не будет, если вы довольно серьезно продумали задачу сами. И вот тогда вы с большей вероятностью получите хороший ответ и быстрее сделаете задачу. По-другому никак.
У юристов пока ситуация лучше:
- ИИ генерирует юридический текст в 3 раза хуже (по моим прикидкам) чем человек;
- промпт-инжиниринг у большинства юристов на бытовом уровне, где качественная отработка LLM юридических задач невозможна.
Поэтому замедление проектов и снижение когнитивных способностей нам в ближайшее время не грозит.
Там с качеством работы LLM все лучше, т.к. обучить написанию кода легче. Еще бы, ведь синтаксис и словарь любого языка программирования не сравнятся с естественеым языком.
Поэтому разработчики часто пользуются им для кодинга. Но LLM, как и любой инструмент, при неправильном использовании превращается во вредителя:
- ИИ генерирует код в 1.7 раз хуже, чем человек. Это ведет к тому, что скорость разработки падает на 19%.
- Разработчики "глупеют" из-за частого использования ИИ.
Чтобы таких последствий не было, придется делать самим то, что все ждут от LLM - думать. Это нужно для того, чтобы ставить ясный и структурированный промпт, которого не будет, если вы довольно серьезно продумали задачу сами. И вот тогда вы с большей вероятностью получите хороший ответ и быстрее сделаете задачу. По-другому никак.
У юристов пока ситуация лучше:
- ИИ генерирует юридический текст в 3 раза хуже (по моим прикидкам) чем человек;
- промпт-инжиниринг у большинства юристов на бытовом уровне, где качественная отработка LLM юридических задач невозможна.
Поэтому замедление проектов и снижение когнитивных способностей нам в ближайшее время не грозит.
Дорогие подписчики, спасибо, что вы со мной, читаете и делитесь постами. С наступающим новым годом, желаю, чтобы все мечты сбывались и всегда была искра!
На январских праздниках дочитал интересную работу по истории: про ментальность западных людей эпохи средневековья.
Этот подход к истории заинтересовал меня своей необычностью (видимо, как и историков сначала в 1920-е, затем в 1960-е).
Я не вижу смысла пересказывать основные идеи и общую канву, скажу лишь, что кроме этих общих идей зацепило меня.
1. Невероятное количество религиозных противоречий, которые умещались в одном сознании:
- христианское единство и национальная самостоятельность;
- языческие или еще более ранние верования и христианство;
- разные "версии" христианства;
Напомнило принципы построения древней китайской бюрократии - как себя ни веди, что-нибудь все равно нарушишь, и это рычаг воздействия на тебя для императора.
2. Фантастическая власть сеньора (феодала) над простыми смертными (несмотря на то, что они все христиане и перед Богом равны). Причем сеньоры любили злоупотреблять именно судебной функцией.
3. Чрезвычайная зависимость от внешних обстоятельств. Войны, голод, эпидемии и звери - случались на порядок чаще, чем сейчас, и далеко не всегда от них можно было откупиться.
4. Интересное обоснование запрета на ростовщичество. У людей того времени и той веры (берем христианство "в общем") считалось, что временем распоряжается только Всевышний. Людям же время не принадлежит. Поэтому ростовщики, зарабатывающие на процентах, зарабатывают на времени и тем самым вторгаются в юрисдикцию Всевышнего. Поэтому христиане такими вещами заниматься не могут.
5. Социальная стратификация такова, что за каждой стратой закреплен свой преобладающий грех: для слуг - притворство, для купцов - обман, для рыцарей - разбой, для монахов - лицемерие, для крестьян - святотатство (что не удивительно с учетом п. 1).
Книга довольно сложная, в метро не почитаешь:)
Этот подход к истории заинтересовал меня своей необычностью (видимо, как и историков сначала в 1920-е, затем в 1960-е).
Я не вижу смысла пересказывать основные идеи и общую канву, скажу лишь, что кроме этих общих идей зацепило меня.
1. Невероятное количество религиозных противоречий, которые умещались в одном сознании:
- христианское единство и национальная самостоятельность;
- языческие или еще более ранние верования и христианство;
- разные "версии" христианства;
Напомнило принципы построения древней китайской бюрократии - как себя ни веди, что-нибудь все равно нарушишь, и это рычаг воздействия на тебя для императора.
2. Фантастическая власть сеньора (феодала) над простыми смертными (несмотря на то, что они все христиане и перед Богом равны). Причем сеньоры любили злоупотреблять именно судебной функцией.
3. Чрезвычайная зависимость от внешних обстоятельств. Войны, голод, эпидемии и звери - случались на порядок чаще, чем сейчас, и далеко не всегда от них можно было откупиться.
4. Интересное обоснование запрета на ростовщичество. У людей того времени и той веры (берем христианство "в общем") считалось, что временем распоряжается только Всевышний. Людям же время не принадлежит. Поэтому ростовщики, зарабатывающие на процентах, зарабатывают на времени и тем самым вторгаются в юрисдикцию Всевышнего. Поэтому христиане такими вещами заниматься не могут.
5. Социальная стратификация такова, что за каждой стратой закреплен свой преобладающий грех: для слуг - притворство, для купцов - обман, для рыцарей - разбой, для монахов - лицемерие, для крестьян - святотатство (что не удивительно с учетом п. 1).
Книга довольно сложная, в метро не почитаешь:)
В продолжение темы об экологических аспектах дата-центров
Появилась новость об опыте США в строительстве таких дата-центров. Местное население активно протестует против их строительства, поскольку они:
- потребляют много воды (хорошо, что у нас этой хозяйственной воды полно)
- взвинчивают цены на электричество
- шумят (об этом я писал в Legal Insight) .
Это приводит к тому, что за 2025 в США было отменено строительство 25 дата-центров. Я считаю, что это не так уж и много (около 12%, если учитывать, что всего в США стоится 200шт.) для масштабов страны. Но если учитывать, что каждая такая отмена потребовала активности местных жителей, то 25 отмен - это не так уж и мало.
В любом случае, повсеместное строительство дата-центров - это данность, в которой все будут жить (или уже живут), поэтому я убежден, что ближайшие несколько лет нас ждет скачок строительных технологий в области энерго-, водопотребления, и уж тем более шумоизоляции.
Появилась новость об опыте США в строительстве таких дата-центров. Местное население активно протестует против их строительства, поскольку они:
- потребляют много воды (хорошо, что у нас этой хозяйственной воды полно)
- взвинчивают цены на электричество
- шумят (об этом я писал в Legal Insight) .
Это приводит к тому, что за 2025 в США было отменено строительство 25 дата-центров. Я считаю, что это не так уж и много (около 12%, если учитывать, что всего в США стоится 200шт.) для масштабов страны. Но если учитывать, что каждая такая отмена потребовала активности местных жителей, то 25 отмен - это не так уж и мало.
В любом случае, повсеместное строительство дата-центров - это данность, в которой все будут жить (или уже живут), поэтому я убежден, что ближайшие несколько лет нас ждет скачок строительных технологий в области энерго-, водопотребления, и уж тем более шумоизоляции.
Время интеллекта
Протесты американцев похоронили 25 проектов дата-центров за год | Время интеллекта
Инвесторы готовы направить более 500 млрд долларов на строительство дата-центров в США в этом году. Такую оценку дал Goldman Sachs. Однако владельцы ЦОД...
#обзор_продукта
Название: JudgeAI
Описание продукта: ИИ-судья сам все анализирует и выносит решение по делу. Не продукт, а песня. Предполагается, что пользователь загружает в систему иск и возражения на него, иные документы и на выходе получает полный анализ дела и проект решения. Потенциальные пользователи – судьи, консультанты, корпорации: все они хотят разбор своего спора и прогноз решения. Продукт получил финансирование от Microsoft (!). Дальше – слово основателю:
Думаю, если бы наш законодатель и судьи вслед за ним руководствовались равновесием Нэша, мы бы жили в другом мире. Прочитать больше умных слов, да еще и красивое демо-видео посмотреть можно тут.
Мое мнение о продукте: я думаю, что проект сильно опередил свое время (был основан в 2024 г., с августа 2024 о нем ничего не слышно) и поэтому не получил достаточно внимания.
1) Применительно к государственным судам я верю, что через 6-8 лет подобные продукты найдут свою нишу для специфических судебных задач, если развитие российских LLM внезапно не встанет колом. Существует сфера судебной деятельности, где отсутствует спор о праве или имеется существенное упрощение процессуальной формы: судебные приказы, индексация присужденных денежных сумм, а может быть даже и взыскание судебных расходов. В таких категориях споров, где существенно меньше предмет доказывания, малая цена и усеченный предмет доказывания, который легче проверить по чек-листу – такие продукты могут проявить себя вполне хорошо. Разумеется, речь не идет о том, что судья-человек будет выключен из процесса целиком.
Пока же продукт выглядит утопически, я не удивлен, что он не взлетел. Правосудие нельзя автоматизировать в части познания, оценки и принятия решения. Можно лишь принять наиболее вероятное, а не законное и обоснованное решение. В категориях споров, перечисленных выше, последствия такой игры в кости будут наименьшими. И тогда их надо соотносить с а) конституционными ценностями, включая пересмотр понимания правосудия и деятельности суда в целом и с б) затратами на аппарат суда. Не исключаю, что через 6-8 лет такое сравнение может быть в пользу ИИ.
2) Корпорациям и консультантам продукт также может быть интересен: либо до начала работы над делом загрузить туда все, посмотреть на результат и наметить план работы, либо после работы над делом «сверить» часы.
Но из-за особенностей работы LLM применяться такой инструмент может только типовым спорам, да еще и с минимальным доверием к результатам. В совокупности с тем, что запускать такой инструмент надо на собственном железе, иначе будут проблемы с конфиденциальностью, он становится неприлично дорогим и при этом без очевидного эффекта. Поэтому до применения LLM для полноценного анализа дела и подготовки проекта решения мы дойдем еще не скоро, пока будут набирать обороты решения, которые позволяют выполнить изолированные задачи - поиск судебной практики, построение таймлайнов и т.п.
Как думаете, сможет ли в будущем ИИ анализировать факты, доводы сторон и выносить на их основе решение, которому можно доверять хотя бы с вероятностью 90%?:)
Название: JudgeAI
Описание продукта: ИИ-судья сам все анализирует и выносит решение по делу. Не продукт, а песня. Предполагается, что пользователь загружает в систему иск и возражения на него, иные документы и на выходе получает полный анализ дела и проект решения. Потенциальные пользователи – судьи, консультанты, корпорации: все они хотят разбор своего спора и прогноз решения. Продукт получил финансирование от Microsoft (!). Дальше – слово основателю:
«… система анализирует все представленные доказательства, строит хронологию юридически значимых действий сторон и формирует "идеальный нарратив" поведения сторон на основе общих принципов права и условий контракта.
После формирования идеальной модели, JudgeAI переходит к процедуре принятия решений. Этот этап критически важен, так как на нём анализируются отклонения от идеальной модели поведения сторон. Система оценивает, могут ли эти отклонения быть оправданы в контексте равновесия Нэша, которое предполагает выбор альтернативных стратегий без ущерба для другой стороны.»
Думаю, если бы наш законодатель и судьи вслед за ним руководствовались равновесием Нэша, мы бы жили в другом мире. Прочитать больше умных слов, да еще и красивое демо-видео посмотреть можно тут.
Мое мнение о продукте: я думаю, что проект сильно опередил свое время (был основан в 2024 г., с августа 2024 о нем ничего не слышно) и поэтому не получил достаточно внимания.
1) Применительно к государственным судам я верю, что через 6-8 лет подобные продукты найдут свою нишу для специфических судебных задач, если развитие российских LLM внезапно не встанет колом. Существует сфера судебной деятельности, где отсутствует спор о праве или имеется существенное упрощение процессуальной формы: судебные приказы, индексация присужденных денежных сумм, а может быть даже и взыскание судебных расходов. В таких категориях споров, где существенно меньше предмет доказывания, малая цена и усеченный предмет доказывания, который легче проверить по чек-листу – такие продукты могут проявить себя вполне хорошо. Разумеется, речь не идет о том, что судья-человек будет выключен из процесса целиком.
Пока же продукт выглядит утопически, я не удивлен, что он не взлетел. Правосудие нельзя автоматизировать в части познания, оценки и принятия решения. Можно лишь принять наиболее вероятное, а не законное и обоснованное решение. В категориях споров, перечисленных выше, последствия такой игры в кости будут наименьшими. И тогда их надо соотносить с а) конституционными ценностями, включая пересмотр понимания правосудия и деятельности суда в целом и с б) затратами на аппарат суда. Не исключаю, что через 6-8 лет такое сравнение может быть в пользу ИИ.
2) Корпорациям и консультантам продукт также может быть интересен: либо до начала работы над делом загрузить туда все, посмотреть на результат и наметить план работы, либо после работы над делом «сверить» часы.
Но из-за особенностей работы LLM применяться такой инструмент может только типовым спорам, да еще и с минимальным доверием к результатам. В совокупности с тем, что запускать такой инструмент надо на собственном железе, иначе будут проблемы с конфиденциальностью, он становится неприлично дорогим и при этом без очевидного эффекта. Поэтому до применения LLM для полноценного анализа дела и подготовки проекта решения мы дойдем еще не скоро, пока будут набирать обороты решения, которые позволяют выполнить изолированные задачи - поиск судебной практики, построение таймлайнов и т.п.
Как думаете, сможет ли в будущем ИИ анализировать факты, доводы сторон и выносить на их основе решение, которому можно доверять хотя бы с вероятностью 90%?:)
Forwarded from РУЛЬФЫ, ИЛЬФЫ И ИНХАУСЫ
В AAA – ICDR создали и запустили ИИ-арбитра
Американская арбитражная ассоциация – Международный центр по разрешению споров (AAA-ICDR) запустила новый инструмент, основанный на искусственном интеллекте – ИИ-арбитра (the AI Arbitrator), который, как сообщается, будет выносить быстрые, эффективные и заслуживающие доверия решения по строительным спорам, в которых участвуют только две стороны и которые рассматриваются только на основе документов.
Эндрю Бартон, вице-президент AAA-ICDR, который курирует разработку и внедрение ИИ-арбитра, сказал представителям американской юридической фирмы Akin Gump Strauss Hauer & Feld, что: “[AAA-ICDR] рассматривает ИИ-арбитра как платформу, а не как одноразовый инструмент. Этот первоначальный релиз [ИИ-арбитра] устанавливает основные возможности и механизмы и позволяет [AAA-ICDR] ответственно расширяться по мере появления дополнительных вариантов использования и усложнений”.
ИИ - арбитр - это концепция, разработанная AAA-ICDR в сотрудничестве с компанией QuantumBlack, AI от McKinsey (McKinsey & Company приобрела лондонскую компанию QuantumBlack в 2015 году). Он был обучен работе с более чем 1500 решениями строительного арбитража, опираясь на реальные позиции арбитров из практики AAA-ICDR в области строительства. ИИ-арбитр был дополнительно доработан с помощью примеров, отобранных экспертами, и с помощью арбитра-человека. Инструмент был протестирован многократно, с постоянной обратной связью со строительными юристами и обученными арбитрами из Строительной комиссии AAA-ICDR.
Чтобы использовать арбитра с искусственным интеллектом, обе стороны должны согласиться передать свой спор на его рассмотрение ИИ-арбитром, соблюдая принцип согласия, который является одним из основных принципов арбитража. Если соглашение не достигнуто, дело рассматривается как традиционный арбитраж AAA с участием арбитра-человека. Возможность передачи споров на рассмотрение ИИ-арбитра в настоящее время доступна только для споров с низкой стоимостью, в рассмотрении которых используются только документы и в которых не участвуют свидетели и которые не затрагивают сложные фактические или юридические вопросы. В этом году AAA-ICDR планирует расширить предложение услуг ИИ-арбитра на другие отрасли и на более дорогостоящие споры.
ИИ-арбитр работает на платформе кейс-менеджмента AAA-ICDR (AAA-ICDR’s Case Management Platform) через запросно-ориентированный интерфейс (prompt-driven interface). Инструмент способен обобщать претензии, материалы и загружаемую информацию, при этом сторонам арбитража предоставляется возможность просматривать результаты его работы и комментировать их. Затем ИИ-арбитр интеллектом анализирует доказательства, оценивает суть претензий, применяет соответствующее право и использует юридические аргументы для выработки рекомендаций.
Затем ИИ-арбитр приступает к подготовке предлагаемого решения.
После этого арбитр-человек рассматривает подготовленный ИИ-арбитром проект арбитражного решения, вносит все необходимые изменения и выносит окончательное, имеющее обязательную силу решение. На протяжении всего процесса задействован арбитр-человек, поскольку AAA-ICDR утверждает, что каждый вывод ИИ-арбитра проверяется на логичность, справедливость и юридическую обоснованность опытным арбитром-человеком, прошедшим подготовку по надзору за ИИ-арбитром.
AAA-ICDR в настоящее время прогнозирует, что для рассмотрения типичного дела с низкой стоимостью и использованием только документов (которое обычно занимает от 60 до 75 дней до вынесения решения) потребуется всего около 30-45 дней, если дело будет рассматривать ИИ-арбитр.
Подробнее об ИИ-арбитре от AAA-ICDR написали юристы Akin Gump.
Рульфы, ильфы и инхаусы в VK
Американская арбитражная ассоциация – Международный центр по разрешению споров (AAA-ICDR) запустила новый инструмент, основанный на искусственном интеллекте – ИИ-арбитра (the AI Arbitrator), который, как сообщается, будет выносить быстрые, эффективные и заслуживающие доверия решения по строительным спорам, в которых участвуют только две стороны и которые рассматриваются только на основе документов.
Эндрю Бартон, вице-президент AAA-ICDR, который курирует разработку и внедрение ИИ-арбитра, сказал представителям американской юридической фирмы Akin Gump Strauss Hauer & Feld, что: “[AAA-ICDR] рассматривает ИИ-арбитра как платформу, а не как одноразовый инструмент. Этот первоначальный релиз [ИИ-арбитра] устанавливает основные возможности и механизмы и позволяет [AAA-ICDR] ответственно расширяться по мере появления дополнительных вариантов использования и усложнений”.
ИИ - арбитр - это концепция, разработанная AAA-ICDR в сотрудничестве с компанией QuantumBlack, AI от McKinsey (McKinsey & Company приобрела лондонскую компанию QuantumBlack в 2015 году). Он был обучен работе с более чем 1500 решениями строительного арбитража, опираясь на реальные позиции арбитров из практики AAA-ICDR в области строительства. ИИ-арбитр был дополнительно доработан с помощью примеров, отобранных экспертами, и с помощью арбитра-человека. Инструмент был протестирован многократно, с постоянной обратной связью со строительными юристами и обученными арбитрами из Строительной комиссии AAA-ICDR.
Чтобы использовать арбитра с искусственным интеллектом, обе стороны должны согласиться передать свой спор на его рассмотрение ИИ-арбитром, соблюдая принцип согласия, который является одним из основных принципов арбитража. Если соглашение не достигнуто, дело рассматривается как традиционный арбитраж AAA с участием арбитра-человека. Возможность передачи споров на рассмотрение ИИ-арбитра в настоящее время доступна только для споров с низкой стоимостью, в рассмотрении которых используются только документы и в которых не участвуют свидетели и которые не затрагивают сложные фактические или юридические вопросы. В этом году AAA-ICDR планирует расширить предложение услуг ИИ-арбитра на другие отрасли и на более дорогостоящие споры.
ИИ-арбитр работает на платформе кейс-менеджмента AAA-ICDR (AAA-ICDR’s Case Management Platform) через запросно-ориентированный интерфейс (prompt-driven interface). Инструмент способен обобщать претензии, материалы и загружаемую информацию, при этом сторонам арбитража предоставляется возможность просматривать результаты его работы и комментировать их. Затем ИИ-арбитр интеллектом анализирует доказательства, оценивает суть претензий, применяет соответствующее право и использует юридические аргументы для выработки рекомендаций.
Затем ИИ-арбитр приступает к подготовке предлагаемого решения.
После этого арбитр-человек рассматривает подготовленный ИИ-арбитром проект арбитражного решения, вносит все необходимые изменения и выносит окончательное, имеющее обязательную силу решение. На протяжении всего процесса задействован арбитр-человек, поскольку AAA-ICDR утверждает, что каждый вывод ИИ-арбитра проверяется на логичность, справедливость и юридическую обоснованность опытным арбитром-человеком, прошедшим подготовку по надзору за ИИ-арбитром.
AAA-ICDR в настоящее время прогнозирует, что для рассмотрения типичного дела с низкой стоимостью и использованием только документов (которое обычно занимает от 60 до 75 дней до вынесения решения) потребуется всего около 30-45 дней, если дело будет рассматривать ИИ-арбитр.
Подробнее об ИИ-арбитре от AAA-ICDR написали юристы Akin Gump.
Рульфы, ильфы и инхаусы в VK
Об ограничениях ИИ в судопроизводстве
В Известиях вышел материал о планы ограничит ИИ в судопроизводстве и иных сферах с высокой ценой ошибок.
Раз такой материал появился в федеральном СМИ, кто-то всерьез полагает, что судопроизводство ближайшее время может быть делегировано ИИ. Это может привести к критическим ошибкам судей, значит надо срочно его ограничивать. Думаю, для абсолютного большинства очевидно, что это не так (об этом я писал здесь).
С внедрением ИИ в правосудие действительно не надо спешить – пока ИИ еще не на таком уровне, чтобы принимать какие-либо решения за судью (и ближайшие лет 10 еще таким и останется). Он галлюцинирует, исходит из ложных посылок и т.п.
Но аргументы для грозящих ограничений - не столько об этом, сколько о юристах, которые используют ИИ во вред себе и правосудию:
Для меня странно, что судьи вообще верят каким-либо общим и абстрактными прогнозам. Судьи не всегда готовы оценивать практику по аналогичным спорам, а тут на них якобы «давят» прогнозами, построенными на основании тысяч дел (которые непонятно как отбирались). Такая проблема, если и существует, то относится к этике судебного представительства, но никак не к тому, что ИИ следует ограничивать.
Второй аргумент в том, что:
Я поддерживаю осторожный подход к использованию ИИ в судопроизводстве, но в публикации спутаны действующие лица и средства. Буду следить, к чему в итоге придут Минцифры и Минюст.
В Известиях вышел материал о планы ограничит ИИ в судопроизводстве и иных сферах с высокой ценой ошибок.
Раз такой материал появился в федеральном СМИ, кто-то всерьез полагает, что судопроизводство ближайшее время может быть делегировано ИИ. Это может привести к критическим ошибкам судей, значит надо срочно его ограничивать. Думаю, для абсолютного большинства очевидно, что это не так (об этом я писал здесь).
С внедрением ИИ в правосудие действительно не надо спешить – пока ИИ еще не на таком уровне, чтобы принимать какие-либо решения за судью (и ближайшие лет 10 еще таким и останется). Он галлюцинирует, исходит из ложных посылок и т.п.
Но аргументы для грозящих ограничений - не столько об этом, сколько о юристах, которые используют ИИ во вред себе и правосудию:
«В юриспруденции вызывают споры так называемые предиктивные технологии, когда сторона загружает материалы и фабулу дела в программу и просит представить прогноз о том, каким образом суд должен разрешить настоящий спор. В дальнейшем такой анализ иногда используется для психологического давления на судью. … Когда участник процесса прибегает к подобным методам и представляет прогноз, подготовленный ИИ, это может влиять на личное восприятие судьи, формирующего решение на основе собственного опыта и знаний».
Для меня странно, что судьи вообще верят каким-либо общим и абстрактными прогнозам. Судьи не всегда готовы оценивать практику по аналогичным спорам, а тут на них якобы «давят» прогнозами, построенными на основании тысяч дел (которые непонятно как отбирались). Такая проблема, если и существует, то относится к этике судебного представительства, но никак не к тому, что ИИ следует ограничивать.
Второй аргумент в том, что:
«Нередко представители сторон используют нейросети для подготовки процессуальных позиций, не проверяя достоверность ссылок на нормы права и судебную практику, которые порой оказываются вымышленными».Как и в первом случае, ИИ здесь ни при чем. Клиент, оппонент, общеизвестные источники дают гигантские объемы информации, которую надо оценивать критически, а не копировать ее бездумно в процессуальные документы. Сейчас к этому добавился ИИ, но это не повод его ограничивать.
Я поддерживаю осторожный подход к использованию ИИ в судопроизводстве, но в публикации спутаны действующие лица и средства. Буду следить, к чему в итоге придут Минцифры и Минюст.
Известия
Шах ИИ мат: нейросети ограничат в принятии решений в социально значимых сферах
Каким будет закон об их регулировании и почему решающий голос должен остаться за человеком
Интересная попытка поверить алгеброй гармонию
Прежде я писал про стартапы в области предсказаний судебных актов и свои мысли на этот счет. Сейчас предлагаю обсудить технический аспект – оценка моделями доказательств и установление ими юридических фактов.
Первым делом, как это положено, сделали свой датасет. Сделали круто.
В рамках исследования китайские коллеги создали датасет по 10 категориям гражданских споров на основании 650 судебных актов, где отразили требования истца, возражения ответчика, доказательства с обеих сторон, доказанные юридические факты, а также результат рассмотрения дела.
Причем сначала юристы собрали по 100 решений для каждой категории, прочитали их и отсеяли те, где описание доказательств неточным. Осталось 657 судебных актов.
Затем с помощью регулярных выражений и GPT-4o из этих решений извлекли доказательства и установленные юридические факты. Регулярные выражения используются для вычленения типовых блоков (на российские реалии, например – резолютивная часть судебного акта идет после слов «решил / постановил»).
Пишут, что итоговый результат извлечения юристы тоже посмотрели и отметили верное / частично верное / полностью неверное извлечение. Это позволяет свести проблему к задаче классификации. Для технической составляющей это крайне важно, т.к. дает понятные числовые метрики, которые позволяют оценить качество той или иной модели.
После всех этих итераций из датасета убрали результат рассмотрения дела и дали юристам, чтобы они на основании извлеченных доказательств и юридических фактов предсказали результат рассмотрения дела. Люди-юристы верно предсказали результат рассмотрения 87% дел. Из этого ученые делают вывод о том, что извлечение доказательств и установленных юридических фактов прошло весьма хорошо.
Учитывая культуру подготовки судебных актов по российским спорам представляю, с какими трудностями столкнулись бы российские исследователи.
Прежде я писал про стартапы в области предсказаний судебных актов и свои мысли на этот счет. Сейчас предлагаю обсудить технический аспект – оценка моделями доказательств и установление ими юридических фактов.
Первым делом, как это положено, сделали свой датасет. Сделали круто.
В рамках исследования китайские коллеги создали датасет по 10 категориям гражданских споров на основании 650 судебных актов, где отразили требования истца, возражения ответчика, доказательства с обеих сторон, доказанные юридические факты, а также результат рассмотрения дела.
Причем сначала юристы собрали по 100 решений для каждой категории, прочитали их и отсеяли те, где описание доказательств неточным. Осталось 657 судебных актов.
Затем с помощью регулярных выражений и GPT-4o из этих решений извлекли доказательства и установленные юридические факты. Регулярные выражения используются для вычленения типовых блоков (на российские реалии, например – резолютивная часть судебного акта идет после слов «решил / постановил»).
Пишут, что итоговый результат извлечения юристы тоже посмотрели и отметили верное / частично верное / полностью неверное извлечение. Это позволяет свести проблему к задаче классификации. Для технической составляющей это крайне важно, т.к. дает понятные числовые метрики, которые позволяют оценить качество той или иной модели.
После всех этих итераций из датасета убрали результат рассмотрения дела и дали юристам, чтобы они на основании извлеченных доказательств и юридических фактов предсказали результат рассмотрения дела. Люди-юристы верно предсказали результат рассмотрения 87% дел. Из этого ученые делают вывод о том, что извлечение доказательств и установленных юридических фактов прошло весьма хорошо.
Учитывая культуру подготовки судебных актов по российским спорам представляю, с какими трудностями столкнулись бы российские исследователи.
Следующим шагом на датасете протестировали LLM
Среди протестированных: GPT-4o, Claude3.5, Qwen2.5-14B, Llama3.1-Chinese-8B, Law-Llama3.1-8B, LawJustice-Llama3.1-8B. К выбору моделей у меня большие вопросы, статья готовилась в конце 2025 года, а модели использовались 2-летней давности. Кроме того, модели с параметрами 8 млрд на фоне GPT-4o и Claude3.5 (где параметров 50+ млрд) выглядят как счеты на фоне калькулятора.
По своему опыту знаю, что для научных исследований используются более простые модели из-за ограниченности ресурсов (финансовых, вычислительных и т.п.).
После тестов LLM на собранном датасете исследователи пришли к неутешительным выводам:
1. Лучший результат моделей – 59% верных ответов, худший – 26%. Это означает, что подбрасывание монетки при оценке доказательства дает примерно тот же результат, а иногда - лучше.
2. Дообученные на юридических текстах LLM дали результат хуже, чем общие модели. Я убежден, что этот вывод обусловлен исключительно количеством параметров специализированных моделей (8-14 млрд), и общих моделей (50+ млрд). Уверен, современные специализированные модели показали бы себя лучше.
3. Модели хорошо предсказывают кейсы, где требования истца удовлетворили полностью, а вот проигрышные и или с частичным удовлетворением – плохо.
4. Если ответчик дает доказательства, модели предсказывают гораздо хуже. Для конечного пользователя это проблема, т.к. вряд ли он будет обращаться за прогнозом по спору, где выносится судебный приказ или презюмируется отсутствие спора о праве.
5. Модель отдает предпочтение тому, кто первый дал доказательство (как правило – истец), безотносительно содержания доказательства.
6. Модель отдает предпочтение тому, кто предоставил больше доказательств, безотносительно содержания доказательств.
Исследователи проделали большую и кропотливую работу, пришли к любопытным выводам. Но до хороших результатов, а тем более до повсеместного применения еще очень далеко. Хотя я не вижу принципиальных препятствий для использования технологии в российском правосудии, количество технических трудностей таково, что появление более-менее вменяемой системы произойдет не скоро. К трудностям следует отнести особенности мотивировки судебных актов в российских судах (не для машин), огромное количество категорий споров с едва различимыми гранями, смешанные споры и т.п.
P.S. Побочным открытием для меня стало то, что вычислением вероятности того или иного судебного решения занимаются … с1963 г.! А вообще на эту тему регулярно пишут, кому интересно – вот работа с прогнозами судебных актов Европейского суда по правам человека.
Среди протестированных: GPT-4o, Claude3.5, Qwen2.5-14B, Llama3.1-Chinese-8B, Law-Llama3.1-8B, LawJustice-Llama3.1-8B. К выбору моделей у меня большие вопросы, статья готовилась в конце 2025 года, а модели использовались 2-летней давности. Кроме того, модели с параметрами 8 млрд на фоне GPT-4o и Claude3.5 (где параметров 50+ млрд) выглядят как счеты на фоне калькулятора.
По своему опыту знаю, что для научных исследований используются более простые модели из-за ограниченности ресурсов (финансовых, вычислительных и т.п.).
После тестов LLM на собранном датасете исследователи пришли к неутешительным выводам:
1. Лучший результат моделей – 59% верных ответов, худший – 26%. Это означает, что подбрасывание монетки при оценке доказательства дает примерно тот же результат, а иногда - лучше.
2. Дообученные на юридических текстах LLM дали результат хуже, чем общие модели. Я убежден, что этот вывод обусловлен исключительно количеством параметров специализированных моделей (8-14 млрд), и общих моделей (50+ млрд). Уверен, современные специализированные модели показали бы себя лучше.
3. Модели хорошо предсказывают кейсы, где требования истца удовлетворили полностью, а вот проигрышные и или с частичным удовлетворением – плохо.
4. Если ответчик дает доказательства, модели предсказывают гораздо хуже. Для конечного пользователя это проблема, т.к. вряд ли он будет обращаться за прогнозом по спору, где выносится судебный приказ или презюмируется отсутствие спора о праве.
5. Модель отдает предпочтение тому, кто первый дал доказательство (как правило – истец), безотносительно содержания доказательства.
6. Модель отдает предпочтение тому, кто предоставил больше доказательств, безотносительно содержания доказательств.
Исследователи проделали большую и кропотливую работу, пришли к любопытным выводам. Но до хороших результатов, а тем более до повсеместного применения еще очень далеко. Хотя я не вижу принципиальных препятствий для использования технологии в российском правосудии, количество технических трудностей таково, что появление более-менее вменяемой системы произойдет не скоро. К трудностям следует отнести особенности мотивировки судебных актов в российских судах (не для машин), огромное количество категорий споров с едва различимыми гранями, смешанные споры и т.п.
P.S. Побочным открытием для меня стало то, что вычислением вероятности того или иного судебного решения занимаются … с
Друзья, по своему призванию я все-таки судебный юрист, поэтому чаще пишу о праве или связанных с ним темах.
Но бывают исключения. В последнее время мое внимание привлекло отсутствие каких-либо обобщений о том, по каким критериям заказчики по 44-ФЗ и 223-ФЗ выбирают внешних юристов. Сначала я полагал, что это монолитный набор критериев, где у всех все одинаково, но в ходе анализа конкретных закупок понял, что заказчики регулярно проявляют креатив.
На Право.ру вышел мой материал о том, какие любопытные критерии заказчики придумывают, чтобы выбирать внешних юристов. Дополнительно посмотрел, как эти критерии выдерживают оспаривание в антимонопольном органе, а затем и в суде.
Независимо от того, в какой команде вы играете – заказчика или участника закупки – обещаю, будет интересно!
Но бывают исключения. В последнее время мое внимание привлекло отсутствие каких-либо обобщений о том, по каким критериям заказчики по 44-ФЗ и 223-ФЗ выбирают внешних юристов. Сначала я полагал, что это монолитный набор критериев, где у всех все одинаково, но в ходе анализа конкретных закупок понял, что заказчики регулярно проявляют креатив.
На Право.ру вышел мой материал о том, какие любопытные критерии заказчики придумывают, чтобы выбирать внешних юристов. Дополнительно посмотрел, как эти критерии выдерживают оспаривание в антимонопольном органе, а затем и в суде.
Независимо от того, в какой команде вы играете – заказчика или участника закупки – обещаю, будет интересно!
This media is not supported in your browser
VIEW IN TELEGRAM
Как облегчить изменение одной статьи в НПА, чтобы не покосилось остальное
Система законодательства на то и система, что элементы (НПА и отдельные статьи) связаны между собой. По крайней мере, я в это верю и исхожу из этого при толковании. Иногда связь явная – в одной статье есть ссылка на другую. А иногда – подразумеваемая, исходя из общего контекста. К сожалению, совершенно нормальная история, когда в ходе реформирования (особенно локального, не грандиозного), точечно правят одну статью, забывая при этом проверить такие подразумеваемые связи.
Нашел любопытную работу, где исследователи из Омана попытались решить эту проблему техническими методами, построив граф взаимосвязей каждой из статей между собой. Они действовали следующим образом:
1. Собрали в один датасет все НПА Омана, которые сумели найти. Трудовое, коммерческое право, право социального обеспечения и т.п. Про уголовное и налоговое ни слова, как и объяснений, почему одни отрасли попали, а другие – нет.
2. Далее каждая статья была «упрощена»: были исключены предлоги и другие служебные слова. В принципе, на этом можно было остановиться и не читать статью дальше, т.к. это «упрощение» превратило статью в мешок слов, потерялись связи между словами. Этот шаг в корне убивает результат исследования. Но я продолжил, т.к. мне был интересны выводы технарей, взявшихся за правотворчество.
3. Мешки слов были разделены на токены (что-то среднее между словами и слогами).
4. Далее с помощью статистики и «семантических методов» были посчитаны взаимосвязи между статьями. Авторы утверждают, что использовали некие «семантические методы», но сами методы не называются, а их влияние на результат не раскрывается.
За умными словами скрывается элементарное сравнение каждой статьи (вернее того, что от нее осталось) друг с другом и подсчет общих слов (токенов). Чем больше общих слов между статьями – тем более они связаны между собой. Визуализация таких количественных взаимосвязей в виде графа и будет той самой системой взаимосвязей.
5. Показали эти графы взаимосвязей юристам. Этой части посвящен абзац, из которого следует, что используемая авторами методика – корректна. Учитывая, что проверка юристами происходила через «консультации с практикующими юристами и учеными», они могли не видеть, что получилось в итоге. Поэтому с утверждениями о продукте по типу «проверено юристами» надо быть осторожнее – юристы могут проверять с разной степенью глубины.
Система законодательства на то и система, что элементы (НПА и отдельные статьи) связаны между собой. По крайней мере, я в это верю и исхожу из этого при толковании. Иногда связь явная – в одной статье есть ссылка на другую. А иногда – подразумеваемая, исходя из общего контекста. К сожалению, совершенно нормальная история, когда в ходе реформирования (особенно локального, не грандиозного), точечно правят одну статью, забывая при этом проверить такие подразумеваемые связи.
Нашел любопытную работу, где исследователи из Омана попытались решить эту проблему техническими методами, построив граф взаимосвязей каждой из статей между собой. Они действовали следующим образом:
1. Собрали в один датасет все НПА Омана, которые сумели найти. Трудовое, коммерческое право, право социального обеспечения и т.п. Про уголовное и налоговое ни слова, как и объяснений, почему одни отрасли попали, а другие – нет.
2. Далее каждая статья была «упрощена»: были исключены предлоги и другие служебные слова. В принципе, на этом можно было остановиться и не читать статью дальше, т.к. это «упрощение» превратило статью в мешок слов, потерялись связи между словами. Этот шаг в корне убивает результат исследования. Но я продолжил, т.к. мне был интересны выводы технарей, взявшихся за правотворчество.
3. Мешки слов были разделены на токены (что-то среднее между словами и слогами).
4. Далее с помощью статистики и «семантических методов» были посчитаны взаимосвязи между статьями. Авторы утверждают, что использовали некие «семантические методы», но сами методы не называются, а их влияние на результат не раскрывается.
За умными словами скрывается элементарное сравнение каждой статьи (вернее того, что от нее осталось) друг с другом и подсчет общих слов (токенов). Чем больше общих слов между статьями – тем более они связаны между собой. Визуализация таких количественных взаимосвязей в виде графа и будет той самой системой взаимосвязей.
5. Показали эти графы взаимосвязей юристам. Этой части посвящен абзац, из которого следует, что используемая авторами методика – корректна. Учитывая, что проверка юристами происходила через «консультации с практикующими юристами и учеными», они могли не видеть, что получилось в итоге. Поэтому с утверждениями о продукте по типу «проверено юристами» надо быть осторожнее – юристы могут проверять с разной степенью глубины.
Само исследование у меня вызывает большие вопросы как с точки зрения технической (статья конца 2025 года, а методика «общих слов» – из прошлого века), так и с юридической точки зрения. Но авторы утверждают, что их методика местным правотворцам будет полезна.
Исследование натолкнуло меня на такую мысль. Проблема взаимосвязей между статьями, когда изменение в одном месте приводит к неожиданностям в другом, уже давно мешает в договорной работе и подготовке ЛНА. Там эту проблему решают через консолидацию общих условий договора или пунктов ЛНА в одном месте, причем на разных уровнях (общие условия договоров => общие условия договоров поставки => индивидуальные условия и т.п.). Это позволяет гораздо лучше контролировать изменения.
Поэтому проблема ученых из Омана и инхаусов крупных компаний одна и та же. И те, и другие, хотят увидеть наиболее взаимосвязанные статьи, чтобы их изменения были последовательны и непротиворечивыми. Применительно к договорной работе и разработке ЛНА выявление взаимосвязей дополнительно позволяет найти самые востребованные нормы и вынести их в отдельный документ, который будет меняться реже.
Что касается технической составляющей такой методики, то я глубоко убежден, что LLM справится с этой задачей на техническом уровне на порядок лучше методики из статьи. Можно, конечно, просто загрузить все НПА в одну папочку, которую потом загрузить в ЛЛМ, но более точный вариант – соотносить с помощью LLM статью с каждой другой статьей, а потом систематизировать результаты. Поскольку такое декартово произведение будет тяжелым с точки зрения вычисления – у LLM должно быть приличное окно контекста.
Исследование натолкнуло меня на такую мысль. Проблема взаимосвязей между статьями, когда изменение в одном месте приводит к неожиданностям в другом, уже давно мешает в договорной работе и подготовке ЛНА. Там эту проблему решают через консолидацию общих условий договора или пунктов ЛНА в одном месте, причем на разных уровнях (общие условия договоров => общие условия договоров поставки => индивидуальные условия и т.п.). Это позволяет гораздо лучше контролировать изменения.
Поэтому проблема ученых из Омана и инхаусов крупных компаний одна и та же. И те, и другие, хотят увидеть наиболее взаимосвязанные статьи, чтобы их изменения были последовательны и непротиворечивыми. Применительно к договорной работе и разработке ЛНА выявление взаимосвязей дополнительно позволяет найти самые востребованные нормы и вынести их в отдельный документ, который будет меняться реже.
Что касается технической составляющей такой методики, то я глубоко убежден, что LLM справится с этой задачей на техническом уровне на порядок лучше методики из статьи. Можно, конечно, просто загрузить все НПА в одну папочку, которую потом загрузить в ЛЛМ, но более точный вариант – соотносить с помощью LLM статью с каждой другой статьей, а потом систематизировать результаты. Поскольку такое декартово произведение будет тяжелым с точки зрения вычисления – у LLM должно быть приличное окно контекста.