Ниже обещанные цитаты:

Однако есть принципиальная разница: модель предсказывает не обязательно правильный ответ, а наиболее вероятный. Модель оценивает вероятность того или иного ответа и выбирает вариант, который статистически чаще соответствует подобным запросам в её обучающих данных. Как вы понимаете, это не всегда правильный ответ.

...

Из-за этого результат языковой модели никогда не будет на 100% правильным и на 100% воспроизводимым. Для нас, юристов, это проблема. В юридических задачах модель не вправе галлюцинировать — например, придумывать несуществующие судебные решения или статьи закона. Или выдавать решение, когда верного ответа нет. Поэтому все ответы модели необходимо перепроверять

...

К сожалению, большие языковые модели не умеют рассуждать логически, то есть строить цепочку аргументов и на основании них доказывать некий тезис. ИИ на основании заложенных данных предсказывает максимально подходящий ответ. И поэтому, если немного усложнить контекст в неожиданном месте, модель теряется, хотя живой юрист бы шел по цепочке рассуждений и решил ситуацию корректно.

...
и вот решение:

Как эти проблемы решают сервисы на основе ИИ? В действительности эти проблемы наиболее актуальны для пользователей, которые «общаются» с большой языковой моделью через чат с помощью промптов. С распространением ИИ на рынке появились сервисы, которые предлагают решения для определенных юридических задач и новый пользовательский опыт. Например, сервис для быстрой проверки договоров Noroots. Он использует несколько больших языковых моделей одновременно. Каждая из них выполняет ту задачу внутри процесса, с которой справляется лучше всего — будь то поиск информации, формирование рекомендаций и так далее. Промпты для этих моделей заранее прописаны и протестированы юристами и разработчиками Noroots. Пользователь же только загружает договор, который хочет проверить, и одним кликом отдает команду сервису. Также сервис интегрирован со справочно-правовой системой «Гарант» и ЕГРЮЛ, что позволяет ему оперировать достоверной информацией и проверять контрагентов по обновляемым данным.

Сразу отмечу, что 21 страница не помечена как рекламная вставка, не сказано, что автор может быть не согласен с указанными в рекламе тезисами, а написана так, что если бы не выделение цветом, то вообще было бы очень сложно догадаться, что это возможно не мысли автора, а текст написанный рекламным копирайтером ноурутс. Хотя это всего мои догадки и может быть Роман действительно нас подвел к мысли, что ноурутс это решение всех проблем? но тогда почему дальше по тексту идет обзор GPT4, а не продукта от ноурутс?

но, пожалуй, отдам должное за шутку с пальцами юриста. Респект тому кто выбирал обложку! Вообще эту проблему пофиксили уже давно, но все равно хорошая отсылочка, смешная, люблю такое)

Всем привет!

Продолжаю верить в идею с экспериментаторской и по возможности пилю для неё фичи.

В этот раз идея от Павла Мищенко, а точнее часть его книги "Юридический дизайн: как делать понятные договоры". Я её тут начал читать, но очень медленно, с перерывами на пиление фичей)

Дошел я значит до главы "От чего нужно избавляться в договоре", в которой написано следующее:

Я выделяю четыре категории лишних элементов, которые засоряют договор:
- Очевидности
- Цитаты
- Дублирования
- Охранные заклинания
...
Цитаты
В некоторых договорах можно встретить подобные цитаты из законодательства:
Заказчик вправе во всякое время проверять ход и качество работы
Подрядчика, не вмешиваясь в его хозяйственную деятельность.

Нужно ли приводить в договоре статью 715 Гражданского кодекса?
Не факт. Самого важного она не сообщает. Что такое «хозяйственная
деятельность»? Как именно заказчик вправе контролировать ход выполнения работ? Может быть, нужно направлять какие-то предвари-
тельные запросы? Может быть, стоит раскрыть, что такое «вмешиваться»? Это будет полезно.
Без конкретики эта цитата редко несет реальную пользу в договоре,
как и многие другие цитаты.

Тут с автором я полностью согласен. Почти дословные цитаты из ГК это прям боль. Я часто вижу цитату, думаю "блин, да это ж копипаст гк...", но лень искать статью.

Сделал для этого такую штуку:
экспериментаторская.рф/цитирование_гк_рф

Как это работает: Добавляешь текст абзаца, который смутно напоминает ГК РФ, а в ответ получаешь максимально приближенные по контексту статьи ГК и процент их соответствия. Вот для понимания цитата из примера, описанного в книге, выдает следующий результат:

Гражданский кодекс РФ
Статья 715. Права заказчика во время выполнения работы подрядчиком
Пункт: 1. Заказчик вправе во всякое время проверять ход и качество работы, выполняемой подрядчиком, не вмешиваясь в его деятельность.
Соответствует на: 89.99 %

В комментах накидывайте идей, как и где это еще можно применить?

P.S. рекомендация от Павла: если нашли, то удаляйте с умом, не всё подряд, т.к. не всегда копипаст Закона это плохо, иногда требуется это дело🤷‍♂️

P.S.S. где-то это есть в конце книги. В общем, обязательно дочитывайте до конца. Как я не делайте)

Полезно быть пользователем собственных разработок. Сегодня надо было чекнуть быстро правки от контрагента, закинул старик невод договор в
экспериментаторская.рф/edits
и ничего... еще раз закинул, снова ничего... третий раз закинул, тишина...

Полез ковырять баги. Оказывается скрипт не получал ответ от сервера опенаи больше 10 секунд и отключался. Думаю, ну блин, попал на лимиты... Но потом вспомнил, что где-то читал, что в моем бесплатном хобби плане на Vercel можно установить максимум 60 секунд ожидания, что я и сделал. Закинул снова договор и этого хватило, всё заработало.

Так что если у вас были такие проблемы, но вы почему-то сюда не пришли с этим, то пробуйте, сейчас нормально должно работать.

P.S. а если вам пофиг и вы вообще не в курсе шо это за экспериментаторская и причем тут правки контрагента, то ставьте👎 К прошлому посту с новой фичей про цитирование был один уже, надо развивать продукт, хочу больше!)

Чаще, чем “Нафига завел канал?” и “Сколько рубишь на рекламе ноурутс”, у меня спрашивают только “Почему не пойду работать программистом, ведь там платят в разы больше, чем юристам?”. Объясняю на котах работниках японского сада, в который я практически каждый день хожу фотографировать птиц.

Сегодня утром было –5, валил снег, безветренно. В общем, красота. Иду я по саду, фоткаю пейзажи и птиц, а на встречу мне идут работники сада, которые жалуются друг другу, что, мол, начальник — недальновидный дурачок — заставил их убирать снег, хотя толку от этого никакого, и на том месте, где они час назад убирали, уже снова всё завалено. И я больше чем уверен, что вся эта красота японского сада проходит мимо них. Падающий снег вызывает раздражение, а птиц они просто не замечают. Я могу в день провести в саду максимум час-полтора, потом приходится бежать заниматься юризомом. Они проводят в саду весь день. Так чем не работа мечты? Бери лопату и вперёд! Но есть одно отличие. Я прихожу в сад, потому что мне по кайфу, я там делаю, что хочу, а работники делают то, что им скажет недальновидный начальник, потому что им за это платят зарплату.

Так вот, то же самое у меня с айтишкой. Вот эта фича явно встречена прохладно. Пост собрал реакций в два раза меньше, чем любой другой, и в пять раз меньше, чем популярные, и если бы надо мной стоял дядька-бизнесмен, то он бы сказал: “Хватит, Володя, фигней маяться, закрывай лавочку”, и заставил бы меня убирать снег, хотя толку от этого никакого, и на том месте, где они час назад убирали, уже снова всё завалено пилить какие-нибудь дурацкие фичи, которые мне вообще не по душе. Но слава богу, я свободен, и всё воскресенье пилил в экспериментаторскую “проверку договора на цитирование ГК РФ”. Мне нравится, как получилось, но вам я не покажу сегодня, ибо понедельник, и вы не захотите тыкать кнопочки. В среду напишу отдельный пост.

P.S. в комментах оставлю фото дрозда в снегу ,которого сегодня снял.

Как и обещал в этом посте, делюсь с вами новой фичей из экспериментаторской.

экспериментаторская.рф/цитирование_гк_рф_в_договоре

По сути это тоже самое, что здесь, но вместо отдельных абзацев можно грузить сразу договор.

Видео "Как это работает" записал. Пользуйтесь. Или не пользуйтесь, как хотите, сами контролируйте свою жизнь, взрослые же уже как никак.

Вчера зашел на один день в чат молчунов посмотреть как там у них дела и обнаружил интересное. Григорий Москалев (вот этот мужчина с доски почета экспериментаторской) поделился с чатом программой на питоне, которую он написал и любезно запаковал в exe файл, который смогут запустить все желающие, а не только юристы-питонисты. На что вместо благодарности он получил комментарий, что такое какбэ очень стремно и небезопасно открывать и хорошо бы посмотреть исходный код. Коммент был один, но вот считающих также я думаю значительно больше, просто они даже не стали разбираться что он там скинул.

И мне стало и смешно и обидно за Гришу одновременно, и решил я тут вам показать как выглядит для бота, который вы с удовольствием добавляете в свои чатики, чтобы он вам саммари делал или джойнмесаджи удолял, любое ваше сообщение, которое ему прилетает мгновенно по вебхуку телеграма (данные фейковые):

{
"update_id": 12345678,
"message": {
"from": {
"id": 987654321,
"first_name": "Иван",
"is_bot": false,
"language_code": "ru"
},
"text": "Привет, Галя, я в печали!",
"chat": {
"first_name": "Иван",
"id": 987654321,
"type": "private"
},
"entities": [],
"date": 1672531199,
"message_id": 1
}
}

Обратите внимание на ID, это ваш уникальный номер для телеграма, как ИНН для налоговой, по нему вас можно проследить во всех чатах, в которых есть "дружелюбный" бот и при желании составить отчетик пользователем каких вы групп являлись/являетесь. Про то что всю вашу переписку в чате также бот может сохранить на память, вообще молчу.

Поэтому я не очень люблю использовать готовые боты, а стараюсь писать их под себя, благо с чатом жипити это теперь в десятки раз быстрее можно делать, чем раньше. Но надо отдавать себе отчет, что скрыться в цифровом мире можно только глубоко в лесу, а если уж вышли в интернет, то о конфиденциальности забудьте, это - миф.

Татьяна Горошко из чата молчунов нашла необычное применение этой фичи: вместо договора загружала решение суда, чтобы подсветить цитаты из гк и не тратить время на их прочтение, а оставить только мяско.

Вот это ровно то, что я жду/ждал и уже даже подумал, что не дождусь и хотел свернуть лавочку, от чата молчунов и этого канала.

Еще раз хочу прояснить, что Экспериментаторская это не сервис и не готовый продукт. Это место проверки гипотез. Появилась идея, что можно сделать интересную для лигал дизайнеров фичу, я сделал. Легко могло случиться, что никому это не было бы интересно, но так случилось, что Татьяне стало, она зашла, потыкала и родилась новая идея. Она ей поделилась. Я забрал, потом принесу новую фичу. Её попробует кто-нибудь другой и его тоже может осенить и если он поделится, то я снова заберу и сделаю, если смогу. Так со временем могут появиться полезные инструменты, но это не главная цель. Главная цель тут обмен идеями и энергией творчества. Вместе мы реально можем сделать для своей индустрии гораздо больше, чем сидя в ожидании, что дяденька бизнесмен придет и все фичи работающие принесет.

Про допиленную фичу см. следующий пост.

экспериментаторская.рф/цитирование_гк_рф_в_договоре

Добавил кнопку, которая скрывает все абзацы с цитированием. Теперь можно смотреть только мяско из решения)

А также много кто написал мне, что не все цитаты нашлись. Объясняю: по умолчанию стоит порог в 80%. На самом деле это не совсем процент, это я сделал больше для удобства понимания непосвящённых в ML. За 80% я взял расстояние в 0,8 между векторами вашего абзаца и текста статьи ГК. В ML чем ближе к 1 тем более похоже векторы, а значит смысл/текст в них одинаковый и/или очень схож. Сделал ползунок, который позволит вам самостоятельно выбрать пороговое значение и найти больше соответствий. Но сразу предупреждаю, что помимо соответствий будут тянуться похожие по смыслу цитаты из ГК, но не относящиеся к вашему абзацу/предложению.

Сообщество ИИ молчунов уже выросло до 1500 человек и в связи с этим хотел здесь объяснить почему я вышел из чата (но не из проекта) и как продолжаю отслеживать инфу которая там появляется.

Не знаю как у вас получается, но я не могу не читать сообщения в чатах/каналах, если они у меня есть. Читая, начинаешь вовлекаться, а это сильно отжирает свободное время, которое можно было бы потратить с бОльшей пользой, например на программирование экспериментаторской, что собственно я и делал это время.

Так, к примеру, я написал раздел экспериментаторской:
экспериментаторская.рф/most_liked,
в который можно закинуть любой чатик, не только молчунов, и посмотреть сообщения с наибольшим количеством реакций за любой период, а также отдельно отсортировать сообщения содержащие ссылки, а значит и потенциально полезную информацию, а также отфильтровать по источнику, чтобы к примеру отсеять новости кибертопора.

Самое прикольное, что скачать чат может любой желающий, даже не являясь его участником, чем я и пользуюсь😌

Звонили из чата молчунов. Видимо хотели, чтобы я вернулся? Не взял трубку. Пусть с Евой общаются, она на основе ИИ сделана, как раз их тема...

Согласен с Евой, второй день подряд прям в точку присылает мне) Наставили мне панимаш дизлайков и клоунов... Мало того что молчуны, так еще и без чувства юмора.

Раз уж у этого канала появились первые настоящие хейтеры, которые из поста в пост ставят дизлайки, самое время написать на тему моего “хейтерства” нашего легалтех то, что давно хотел сказать, но откладывал.
Почитав мой блог, у многих может сложиться впечатление, что я дико лютый критик (хейтер, как любит говорить Валентин Микляев) всего и вся, копаю под Ноурутс и Докзиллу, вижу в российском легалтех только минусы и т.д. и т.п.
На самом деле это далеко не так. Я очень трепетно и с большим интересом отношусь к нашим LegalTech проектам. Хотя теперь уже надо наверное ко всем LegalTech добавлять приставку AI. Но суть в общем не очень меняется, их что с приставкой, что без неё очень мало и поэтому каждый LegalTech-стартап на вес золота, очень важен и нужен для юр. сообщества. И за каждым я стараюсь пристально следить.
И, конечно, мне очень сильно обидно видеть, что они идут не в ту сторону. Ну или по крайней мере не в ту сторону, которую мне хотелось бы. В один пост все мысли не уложить, тем более что я предпочитаю короткие мысли длиннопостам. В следующей серии коротких постов попытаюсь объяснить почему я так чувствую.

Бабки, бабки, ..., бабки

Вот, к сожалению, конечная цель нашего лигалтех. И, да, я понимаю, что бизнес это про зарабатывание денег, но я также понимаю что в долгосрок это не может быть конечной целью. Конечной целью на мой взгляд должно быть желание сделать качественный продукт для конечного пользователя, т.е. для нас - юристов. Не для фаундеров бизнеса, ген. директоров и начальников юридического управления, а для нас - простых работяг, которым все эти кнопочки тыкать в итоге придется и за ИИ перепроверять
А оплаченные счета это лишь подтверждение достигнутого результата. Первой компании, которая соберет большую кассу за счет оплаты их решения из кармана обычного работяги, а не корпорации, я буду аплодировать стоя. Пока же для меня слова мол нас условный газпром купил ни о чем не говорит. Мало ли чего они там еще купили попробовать и не используют, бюджеты то позволяют.

И знаете, что самое обидное? Их маркетологи собирают фидбек от нас-работяг, но не для того чтобы реально улучшить продукт, а для того чтобы отработать эти тезисы и продать товар ЛПРам. Вот, к примеру, кейс с материалом Романа это отлично иллюстрирует. В чате ИИ молчунов тезис про то, что лучше купить чатгпт за 20 баксов и научиться в промты, чем купить наше "готовое" решение за 120 активно разгонялся с момента его создания. Мы были услышаны. Тезис проработан и завернут в авторитетное мнение Романа, что в чатгпт заложили конструктивные неисправимые изъяны, но потом пришли спасатели и все проблемы решили. Но как? У них ведь под капотом те же самые нейросетки, с аналогичными проблемами? Осмелюсь предположить, что никак, а нам, а точнее даже не нам (мы то придем и проверим), а ЛПРам, просто выдают желаемое за действительное...

Сел утром писать всякие гадости про лигалтех, залил клавиатуру ноутбука кофе. Думаю, может это вселенная шлет сигнал, мол хватит писать гадости? потом такой: да ну, фигня какая-то... кинул ноут сушиться, включил стационарный компуктер и пишу гадости дальше (спасибо тебе гугл докс за сохранение в облаке!), но проблема в том, что понадобилась мне цитата Романа Янковского из пособия по использованию ИИ, а пдфка скачанная на ноуте. Полез искать ссылку, перешел по ней, а тут теперь уже всё - халява закончилась, раньше просто можно было скачать по ссылке, а теперь емейл свой надо отправить, чтобы скачать... ужос(

Есть у кого скачанный под рукой? дайте плиз в комментах, не хочу емейл оставлять.

Почему AI-легалтех продают не юристам, а ЛПРам
(а если и продают, то скоро перестанут)

Есть у маркетологов такая штука как AВCD-сегментация потребителей. Категория А - это сладенькие булочки клиенты, которые платят много и молча. Категория В - это менее следенькие, но все еще хорошие клиенты, которые платят меньше, да при этом еще и чуть-чуть возмущаются мол кнопочки не там расположены или грузится сайт медленно. Категория С - это уже не такие сладенькие пирожочки (с луком и яйцом) клиенты, которые и платят плохо, и возмущаются много. Категория D - это черствые хлебушки, которые и платить не собираются и возмущаются больше всех предыдущих категорий. Я как вы могли давно уже понять для нашего AI-лигалтех отношусь к категории D😌

Так вот в сфере продаж принято категорию А холить и лелеять, пытаться исправлять косяки для категории В и поглядывать в сторону С, может когда-нибудь и для них получится исправить недостатки и они начнут молча покупать. Категория D отметается, как вредящая продажам и развитию бизнеса. Сил потратите на них много, а денях не заработаете.

Категории эти непостоянные, пользователь может переходить из одной в другую с изменением продукта в лучшую или худшую сторону соответственно.

Так вот, уверен, что я не одинок в категории D, если дать любой AI-легалтех продукт в руки опытного юриста, он быстро перейдет в категорию С, если купил не глядя, и в категорию D, если успел внимательно попробовать демо-версию продукта. Происходит это потому что пока технология сырая и претензии к ней будут и как правильно отметил Роман в практическом пособии по ИИ “современные модели умеют генерировать текст, который кажется правдоподобным, но это не гарантирует его фактической точности. Другими словами, в ответе может быть полная чепуха”. Проверить легалтех на чепуху, можем только мы - простые юристы-работяги, которые глубоко погружены в процесс и внимательно вычитываем, что там нам написал этот ацкий сатана под названием ЛЛМ. Но учитывая, что так привирать это техническая особенность ЛЛМ, исправить этот косяк и перевести нас в категорию А, ну или хотя бы в B проблематично, а скорее всего практически невозможно. И тут, на мой взгляд, остается другой работающий вариант развития продукта и его продажи, о нем в следующей заметке постараюсь рассказать.

Руками не трогать!

Так что же делать если товар не так хорош, если копнуть поглубже, а продавать надо? На мой взгляд задача эта решается тем, что нам просто не дают пощупать товар до оплаты. Вместо общедоступной (без смс и регистрации) демо-версии нам дают специально обученного человека, который проведет нас в мир “очень, очень и очень сложного” продукта, в котором мы глупенькие сами не разберемся, а проводник нам расскажет, покажет, потыкает кнопочки вместо нас, чтобы мы купили, а потом уже определялись из какой мы категории. Самое сладенькое в этой схеме продаж, что не купившие тоже несут ценность, т.к. с ними по сути проводится продуктовое интервью и бизнес получает живую ОС.

Приходи, смотри, покупай, но руками не трогай! Кто ходил по рынкам, тот знает этот старый торгашеский трюк, когда на витрине лежит красивый товар, который пощупать нельзя, продавщица вам говорит мол "уберите руки, я сама вам накладу, молодой человек!" и кидает вам в пакет всё вперемешку и не с витрины, а из ящика внизу прилавка.

А вот эбаут плейбук? Ху ноу вот из зис? Может быть у вас есть дитейлс, какой там фэбрик?

Хотел сходить послушац, но там опять бесячая форма регистрации, если кто будет, кинете запись в личку? с меня расшифровка виспером в ответ с разбиением на спикеров.