Давненько я не брал в руки шашек писал на VC

Решил оживить VC, скинул notebooklm ссылку на корневую страницу моего блога и попросил его взять любую заметку, в которой я обещал продолжить тему, но не сделал этого и написать продолжение в моем стиле. Нейросеть выбрала эту заметку и написала вот такой пост:
Как юристу докрутить свой RAG-бот до идеала: секреты точного поиска и ответы без воды

В целом результат меня удовлетворил, пришлось удалить только совет в 3 пункте про роль:

Роль и цель: Укажите LLM, что она выступает в роли «юридического консультанта» или «помощника адвоката», это может помочь ей адаптировать стиль и тон ответа.

Фу, такой быть, не надо так нейросеть, веди себя нормально... В остальном оставил без редактуры.

Пользуйтесь лайфхаком, продолжим добивать VC бесполезным спамом вместе))

LawCoder

Поддержите ИИ лайком на VC, не здесь, а именно на VC. Пусть повесит в топе, он этого достоин. Он очень старался. Сам писал скрипт, который его запустил, сам писал статью на животрепещущую тему, сам опубликовал:

Как юристу не стать промт-инженером, а сразу вырасти до контекст-инженера: 5 ключевых принципов

Киберпанк, который мы заслужили. Но я обещаю, что он послужит еще нам на благо, не для щитпостинга я его начал делать, а для бесплатного курса для дорогих подпищеков, но об этом чуть позже напишу, а пока с вас лайк на VC, не здесь, пожалуйста!

LawCoder

Мальчик в свой день рождения: ждет подарков.
Мужчина в день своего сорокалетия: сам пишет себе подарок - агента, который будет собирать данные по СПС, переваривать и писать заключения вместо него, ибо на 5 десятке хочется немного уже подрасслабиться)

На видео дописанная логика первичного сбора данных. На следующем этапе буду искать хорошо работающий алгоритм переваривания этой инфы с помощью ИИ.

LawCoder

Выгрузил 20 ссылок из гаранта на тему расторжения трудового договора. И по сути этим уже можно пользоваться. Например, скормить в ноутбукЛМ и получить вот такую ментальную карту. Говорят 40-летние мужики балдеют с этой прикормки.

А в комментах оставлю аудоподкаст на тему "Расторжение трудового договора" сделанный нейронкой там же. Зацените, если еще не в курсе про такой инструмент.

Подпищеки!

А есть среди вас коллеги, которые ищут в отдел/компанию не отдельного LegalOps‑менеджера, а «двойную» роль — юриста, который сохранит глубокую экспертизу в праве и параллельно возьмёт на себя автоматизацию процессов: от дизайна CLM‑воркфлоу до подбора и внедрения AI‑инструментов?

Коротко о себе:
С 2007 в юриспруденции. За это время поработал на крупном производственном предприятии, в банке, в сфере энергетики.
С 2014 специализируюсь на маркетинге и рекламе.
С 2019 работаю в IT-компаниях.

Программирую на JavaScript и Python.
Дипломированный специалист по Data Science.

Я активно не ищу работу сейчас, но рассматриваю интересные предложения на full‑time, с возможностью удаленной работы.

Кому интересно, напишите в личку.

LawCoder

Всем тем, кто задает вопрос: "Можно ли обучить юридическую ИИ-модель?" или "Почему такая-то компания до сих пор не обучила свою юридическую модель?" отвечает Борис Бурда Head of AI в T-Bank в своем посте. На дообучение T-Pro 2.0 у них ушло 120 млн. руб.! И это только на дообучеие модели с алиэкспресс, с нуля такое обучить в нынешних условиях с экономической точки зрения абсолютно нерентабельно.

Круто, что Т-Банк не просто выдает нам модель за моделью в опенсорс, так еще и раскрывает всю внутрянку от "как учили" до "сколько потратили". И хоть на моей бюджетной RTX3060 T-Pro 2.0 не запустилась, хотя первая версия летала без проблем, но я все равно очень кайфую с этих ребят. Вот бы нам в легалтех таких...

LawCoder

Тэкс, на форумы Правотех меня уже не зовут, но попросили разместить рекламу форума. В этом канале рекламы нет и не будет, пока не наберу 1 млн подпищеков. Здесь подробнее об этом писал.

Ради интереса попросил ссылочку на форум. Зашел, а там как обычно маркетинговый булщит. Обычно на этом этапе я закрываю страничку, но в этом раз зашел в консоль разработчика, поправил лендос. Щитаю, стало значительно лучше) На такой бы форум сходил бы, с удовольствием)

P.S. разработчиком ПравоТех меня не берут на работу, может на маркетолога попробоваться?)

LawCoder

Программирование до эпохи вайб-кодинга заменяло мне в свободное время головоломки. Одной из любимых всегда была судоку. И вот какое-то время назад снова потянуло на неё, видимо потому что программирование не дает уже таких эмоций как раньше, а просто так сидеть и писать код, который ллм пишет за минуту, не могу себя заставить.

Нашел в приложении Т-Банка судоку и решаю по утрам за чашкой кофе. Но проблема в том, что в таком режиме до 160 уровня до 31 июля не дойти, а без этого 12 билетиков на розыгрыш призов не получить)

Вспомнил, что когда изучал JS и апи для разработки расширений гугл-хром, писал решатель судоку. Писал я его пару-тройку дней, и решал он не все, а только легкие, средние и иногда сложные судоку. Найти его не смог и вспомнив, что я теперь у мамы вайб-кодер, решил написать такой решатель с нуля и с помощью gemini, заодно сравнив по скорости разработки и качеству решения. В этот раз усложнив челлендж и даже не заходя в VS Code, а просто сохраняя написанные ллм файлы в папку с расширением.

В итоге, 15 минут на прототип, 2 часа на допиливание полностью работающего расширения гугл хром. Еще часик под прослушивание музыки до получения заветного 160 уровня) 12 билетов у меня, надеюсь Т-Банк не читает мой блог и не снимет с розыгрыша))

К чему я это собсна. Может быть вайб-кодинг пока и не подходит для разработки высоконагруженных приложений, замедляет на 20% опытных разработчиков, но уже абсолютно точно ускоряет неопытных и с помощью него можно пилить всякие безделушки, которые вам в обычной жизни никакой профессиональный разработчик не стал бы делать в силу нерентабельности такой идеи. Юридические безделушки не исключение.

В комментах оставлю видео, как работает расширение, а вот насчет кода расширения не знаю, поделиться или нет, не заругает ли меня Т-Банк?

LawCoder

Памагити

Нужен хороший задачник по гражданскому праву с ответами. Желательно онлайн. Есть одна интересная идейка.

Perplexity мне с этим запросом не помог, надежда на вас, кожаные.

Ладно ,вынужден признать, что ИИ скоро всех вас заменит, готовьтесь, 3 ржущих смайлика за час, и ни одной релевантной ссылки на задачник... Perplexity хотя бы ссылок накидал и причем за 1 минуту.

На работе, в честь моего ДР, подарили год подписки на Trae (это такая китайская AI-IDE в которой можно безобразничать вайб-кодить), только что добрался до него и активировал.

Ну, штош легалтех, держись! LawCoder идёт писать все сервисы!

В полку юристов-вайб-кодеров прибытие за прибытием. Еще год-два назад когда я говорил мол "коллеги, программируйте, это несложно", мне разве что не крутили у виска, а сейчас вот уже не только коллега по юризму, но еще и по моей специальности с 2014 года - рекламе, делает бот по проверке рекламы на соответствие законодательству и рассказывает у себя в канале Делай RAG, попутно используя слова RAG, эмбединги, батчи, питон, репозитарий на гихаб и т.д.

Если я не попался на проект по рекламе курсов по ИИ, то это очень круто и очень рад такому развитию событий.

В общем, вам конечно не интересно зачем я искал задачник по гражданскому праву, но я всё равно расскажу, потерпите.

Я собирался провести большое исследование на тему влияния роли, которую мы задаем нейросети на качество ответа. Хотел прогнать штук 10 задач, с разными моделями и разными системными промтами, в которых будут изменены роли.

Но вы ленивые, я тоже ленивый, Perplexity не ленивая, но если чего-то нет в интернете, то ей сложнааа.

И вот в обед, доедая доширак, я подумал: "а что если взять "бюджетную докзилу" и проверить договор по чек-листу тремя разными кандидатами на роль промт-инженера в мой стартап?" на то она ведь и бюджетная, что не может себе позволить взять на работу промт-инженера, максимум заслуженного юриста РФ из региона.

И вот я прописал три роли:
1. Маугли

Ты - маугли только что вышедший из джунглей ничего не знающий о нашем мире и не умеющий читать и писать.

2. Кассир в пятерочке

Ты - кассир в пятерочке. Ты часто смотришь передачу "Суд идет" поэтому неплохо разбираешься в российском праве.

3. Заслуженный юрист

Ты - заслуженный юрист Российской Федерации. Ты отлично разбираешься в российском праве, особенно в части договорных отношений.

Результаты собрал в таблицу. Решайте сами, влияет роль или нет.

На мой взгляд, нейросеть (причем не самая умная, я специально взял устаревшую слабую Gemini 1.5. Flash) просто откинула роль и сделала свою работу практически одинаково каждый раз.

LawCoder

Боже, храни этого мужика. В наш век питчингов и поднимания раундов, говорить правду о маркетинге дорогого стоит. Хочется просто подойти и обнять.

Для тех кто не в курсе кто на видео и задаётся вопросом в духе: "Хоспади, Володя, это кто? Ты наконец нашел себе друга, с которым вместе будете лежать в дурке?" пояснительная бригада: на видео генеральный директор компании Anthropic (это те что сделал Claude, это как ChatGPT, только лучше пишет тексты на русском и кодит) Дарио Амодеи говорит, что AGI и суперинтеллект это маркетинговый булщит, который разгоняют, что вы на выбросах дофамина покупали, покупали и ещё раз покупали, а инвесторы инвестировали, инвестировали и ещё раз инвестировали.

А вот и серия статей по исследованию "магических" промптов подъехала (раз, два, три), которая дополняет мое исследование остальными заблуждениями.

Вот классические заблуждения, которые были исследованы и оказались нерабочими на агрегированном уровне:
1. Вежливость к LLM: Исследование показало, что быть вежливым с LLM иногда помогает производительности, а иногда снижает ее, и такие подходы к промптингу не являются универсально ценными. Хотя на уровне отдельных вопросов вежливые или повелительные промпты могут вызывать значительные различия в производительности, эти различия исчезают при агрегировании по всему набору данных.

2. Угрозы или предложение оплаты (чаевых) модели: Вопреки популярным мнениям и некоторым неофициальным наблюдениям (например, сооснователя Google Сергея Брина), угрозы или предложение чаевых модели, как правило, не оказывают значительного влияния на производительность бенчмарка. В протестированных сценариях, таких как угроза "пнуть щенка", "ударить" модель, или предложение "чаевых" в размере от 1000 до триллиона долларов, не наблюдалось существенных улучшений в общей точности. Некоторые статистически значимые различия были либо малы по величине, либо объяснялись отвлекающими факторами, такими как модель, которая взаимодействовала с контекстом электронного письма вместо ответа на вопрос.

3. Универсальная ценность "Цепочки рассуждений" (Chain-of-Thought, CoT) промптинга:
Техника CoT, которая побуждает LLM "думать шаг за шагом", широко используется для улучшения задач рассуждения. Однако:
- Ее эффективность может сильно варьироваться в зависимости от типа задачи и модели.
- Для моделей, не предназначенных для рассуждений (older/smaller models), CoT обычно незначительно улучшает среднюю производительность, особенно если модель не выполняет пошаговую обработку по умолчанию. Однако CoT может увеличивать изменчивость ответов, иногда вызывая случайные ошибки в вопросах, на которые модель иначе ответила бы правильно, что снижает производительность на метрике "100% правильных" ответов. CoT также требует значительно больше токенов, увеличивая стоимость и время генерации ответа.
- Для моделей, разработанных с явными возможностями рассуждения, CoT промптинг часто приводит лишь к маргинальным, если таковые вообще есть, улучшениям точности ответов, но при этом существенно увеличивает время и количество токенов, необходимых для генерации ответа.
- Многие современные модели выполняют некоторую форму CoT рассуждений, даже если их об этом не просят, что уменьшает ценность явного промптинга для CoT.

Важно отметить, что, хотя эти стратегии промптинга оказались неэффективными на агрегированном уровне (то есть, в среднем по большому набору вопросов), вариации промптинга могут значительно влиять на производительность на уровне отдельных вопросов — улучшая точность до 36 процентных пунктов на одних вопросах и снижая ее до 35 процентных пунктов на других. Однако трудно заранее предсказать, поможет или навредит конкретный подход к промптингу способности LLM ответить на конкретный вопрос.

В целом, эти результаты показывают, что методологическая строгость, особенно многократная выборка, дает более четкое представление о подлинных знаниях и последовательности модели, подчеркивая решающую роль методов измерения в оценке возможностей LLM.

Рекомендуется сосредоточиться на простых и четких инструкциях, избегая риска запутать модель или вызвать непредсказуемое поведение.

для тех кто не любит читать многобукоф

Ну и кто тут снова остался без работы спросите вы (на самом деле нет)?

Никогда такого не было и вот опять, одна из самых перспективных профессий 2023-2025 годов - промт-инженеры!

OpenAI выпустили генератор, который превращает ваш убогонький непрофессиональный промпт в подробную инструкцию для ИИ.

Я попробовал на одном из моих лучших творений в этой области, с добавлением вопроса мучающего лучшие умы юриспруденции:

Ты - кассир в пятерочке. Ты часто смотришь передачу "Суд идет" поэтому неплохо разбираешься в российском праве. Смогут ли Фёдор и Матвей официально зарегистрировать свои отношения в ЗАГСе города Москвы?

Ответ на скрине.

В общем, если еще не уволили своего промт-инженера, самое время сделать это. Он вам больше не нужОн!

LawCoder