Готовим данные для LLM: открытые инструменты для нормализации, очистки и не только

Компании активно внедряют у себя решения на основе больших языковых моделей: боты техподдержки, умный поиск по базе знаний, выявление мошенников в диалоге или HR-ассистенты.

Но самостоятельно вывести модель в полноценное продакшн-использование не так просто. К тому же для разных сценариев нужно тестировать разные модели. Это требует больших усилий. Чтобы уменьшить порог входа в эту технологию, мы создали собственную платформу — MWS GPT. Под капотом — наша инфраструктура с GPU.

О том, как тестировать разные LLM в MWS GPT и запускать ИИ-агентов без кода скоро расскажем на вебинаре — присоединяйтесь.

Для обучения LLM требуются огромные и разнообразные датасеты. Однако качество данных часто важнее простого объёма: хорошие данные позволяют модели лучше обобщать и снижать ошибки.  К счастью, есть открытые решения, способные помочь с их обработкой.

Сегодня делимся подборкой систем контроля качества ML-датасетов, проектом для автоматической категоризации и системой контроля версий для наборов данных. Читать далее

#mws #mws_gpt #llm #датасет | @habr_ai

Собираем «идеального душнилу»: как создать ИИ-агента, который завалит вашего чат-бота

Выкатили новую фичу в чат-боте и надеетесь, что она переживет встречу с реальными пользователями? Хватит надеяться — пора доказывать. В этой статье мы покажем как собрать стенд для стресс-тестирования, где один ИИ будет методично ломать другого. Открыть окно

#python #llm #nlp #ai_ассистент #чат_боты #бизнес_кейс #тестирование #openai | @habr_ai

[Перевод] Как я заменил систему диалогов старой игры на живую LLM

Animal Crossing известна своими очаровательными, но довольно однообразными диалогами. Запустив снова эту классику с GameCube, я был поражён (нет) тем, что спустя 23 года жители города говорят те же самые фразы. Надо это исправить.

В чём заключается проблема? Игра работает на Nintendo GameCube — 24-летней консоли с процессором PowerPC на 485 МГц, 24 МБ ОЗУ и полным отсутствием подключения к Интернету. Приставка фундаментально, философски и физически проектировалась, как офлайновая.

В статье я расскажу историю о том, как проложил мостик из 2001 года в современность, сделав так, чтобы винтажная игровая консоль могла общаться с облачным ИИ, и не поменяв при этом ни строки кода оригинальной игры. Читать далее

#nintendo_gamecube #animal_crossing #эмуляторы #llm | @habr_ai

Перевод датасета для оценки эмпатии на русский язык: подход, проблемы, результаты

Эмпатия играет важную роль в коммуникации между людьми, и в частности, в сервисах психологической помощи. В онлайн-среде, где такая помощь всё чаще оказывается в текстовом формате, появляется много различных сервисов, которые предоставляют психологическую помощь на основе чатботов. Для них способность отвечать эмпатично становится критически важным навыком. В противном случае хорошо если сеанс окажется просто бесполезным и не усугубит имеющиеся проблемы.

Успех БЯМ побуждает разработчиков использовать их в качестве основы для таких чатботов. Для оценки их способностей разрабатываются различные бенчмарки, в частности для задач с уклоном в психотерапию. Одним из таких является PsyEval.

Однако для автоматической оценки эмпатии в текстах на русском языке размеченных датасетов просто нет. Мы, русскоязычные MLщики, не можем сказать, как сейчас БЯМ справляются с задачами, которые связаны с выявлением эмпатии и генерацией эмпатичных ответов. А ведь эти задачи напрямую влияют на качество инструментов псих-поддержки.

Чтобы это хоть как-то исправить, мы приспособили большие языковые модели к переводу датасета с английского на русский язык. В этом посте я расскажу, как мы в команде Пситехлаб переводили датасет EPITOME с помощью больших языковых моделей. Читать далее

#llm #natural_language_processing #machine_learning #artificial_intelligence #перевод_с_английского #пситехлаб #датасет | @habr_ai

Репозитории на автопилоте: как ИИ сам поднимает окружение и запускает код

Открытые репозитории — это кладезь готовых моделей, скриптов и датасетов, но работа с ними порой напоминает сборку конструктора без инструкции. Сначала разбираешься, как всё устроено, потом ловишь баги на ровном месте, устанавливаешь зависимости — и только после этого кое-как запускаешь нужную задачу. А как было бы здорово, если бы сами репозитории умели понимать, что от них хотят, настраивать себе среду и ещё договариваться между собой!

Вот тут на сцену выходит EnvX — система, которая превращает обычные проекты в автономных агентов: они читают документацию, поднимают окружение, выполняют нужные функции и… общаются друг с другом. Получается совсем новый взгляд на то, каким может стать open-source. Читать далее

#ии #llm | @habr_ai

[Перевод] Instinct от Continue: будущее автоматического рефакторинга

Команда AI for Devs подготовила перевод статьи о том, как Continue обучила Instinct — открытую модель Next Edit для предсказания следующей правки кода. Разработчики собрали тысячи реальных правок, внедрили алгоритм SeleKT для обучения и показали, что их модель работает в 6,4 раза быстрее ручного редактирования. Читать далее

#instinct #continue #рефакторинг_кода #автодополнение #llm #производительность #open_source | @habr_ai

Law & Practice Ensemble RAG. Как создать ИИ-ассистента, помогающего решать многоаспектные юридические задачи

В первой части мы кратко рассмотрели предпосылки и последствия ИИ‑трансформации деятельности юристов, а также предложили вариант архитектуры продвинутой RAG‑системы, учитывающей особенности юридической предметной области.

Во этой части мы проведем обзор общих и юридических бенчмарков, которые целесообразно учитывать при оценке технических компонент RAG, а также системы в целом. В заключение рассмотрим, как самостоятельно подготовить тестовый датасет для оценки RAG‑системы с помощью фреймворка RAGAS и разберем итоговые результаты эксперимента. Читать далее

#rag #retrieval_augmented_generation #llm #large_language_models #эмбеддинги #векторные_базы_данных #векторные_хранилища #индексация #ранжирование | @habr_ai

Один пост, чтобы обрести силу… или разбираемся в промптах, чтобы научиться их писать раз и навсегда

В последнее время расплодилось каналов с псевдоэкспертами по промпт-инжинирингу. Но цель у них одна — зарабатывать на вашем внимании, втюхивая вам сгенерированные в тех же LLM промпты как нечто волшебное и уникальное. Здесь мы такое не одобряем!

Давайте-ка один раз хорошенько разберём, как работают промпты и как их писать. Я намеренно не буду грузить вас заумными терминами, так как именно их используют как завесу из магической пыли вокрут этой темы. Моя же цель — рассказать все максимально просто. Читать далее

#промпты #prompt_engineering #llm #искусственный_интеллект #оптимизация_промптов #туториал #openai #chatgpt #gemini #claude | @habr_ai

Агенты без скриптов: что происходит, когда ИИ сталкивается с реальностью

Звучит просто: подключил суперсовременную LLM к десятку инструментов — и пусть решает любые задачи в реальном времени. Только вот на практике всё выходит куда прозаичнее. Даже самые мощные модели уверенно работают в лабораторных условиях, где всё строго по шаблону. А стоит им оказаться в живой, шумной среде — появляются ошибки, неожиданные сбои и довольно неожиданные выводы о том, где у современных ИИ-агентов на самом деле слабые места. Новое исследование показывает, что, когда у модели есть сотня способов решить задачу, успех — далеко не гарантирован. Почему даже мощные LLM так часто спотыкаются на пустом месте и что им мешает делать работу, как человек — разберёмся на ярких примерах из нового бенчмарка LiveMCP-101. Читать далее

#ии #агенты #llm #mcp | @habr_ai

Почему бокс — это мультиагентная система

Привет! Наверняка уже все видели как ИИ-агентов ради хайпа пытаются затащить куда угодно, совсем не глядя на эффективность и какой-либо здравый смысл.

В этой статье я расскажу о действительно полезном применении концепции агентов и попробую доказать, почему любой боксерский поединок является мультиагентной системой. Поговорим про system design бокса, про RLHF, адаптивные алгоритмы, всевозможный вызов tools типа джебов или клинча, очереди сообщений и гарантию их доставки, graceful degradation и выведем метрики эффективности нашей мультиагентной системы. Читать далее

#llm #agent #agentic_ai #агенты_ии #агенты #машинное_обучение #машинное_обучение #языковые_модели #большие_языковые_модели #ии_агенты | @habr_ai

Как обучение с подкреплением перестраивает мышление LLM

Когда говорят о продвинутых ИИ-моделях, чаще всего обсуждают точность фактов или впечатляющую скорость ответа. Но если копнуть глубже, становится ясно: настоящая магия — в умении рассуждать и строить сложные цепочки мыслей. Недавнее исследование показало, что обычное обучение с подкреплением меняет не только цифры в метриках, но и заставляет модель внутренне перестраиваться. Постепенно появляется четкое разделение — где просто выполняется инструкция, а где возникает настоящий план, со своими “давай попробуем” и “а что если”. Оказывается, важнее всего — это скрытая стратегия, которая позволяет моделям ловить редкие инсайты, делать ошибки на совершенно новом уровне и обыгрывать старые методы по всем фронтам. Как это устроено на практике и почему отдельные группы токенов вдруг становятся стратегами — об этом и пойдет речь. Читать далее

#ии #llm #агенты | @habr_ai

Фантазии LLM воплощаются в реальности — фальшивые опенсорсные библиотеки

LLM придумывает названия несуществующих библиотек и предлагает разработчикам-вайбкодерам пользоваться ими. Если есть спрос — возникнет и предложение. Вскоре эти библиотеки действительно появляются в реальности, но уже с вредоносным кодом. Читать далее

#llm #галлюцинации #slopsquatting #генерация_кода #фальшивки | @habr_ai

Локальные LLM модели: обзор и тестирование

В ★5УГЛОВ мы часто работаем с языковыми моделями — как облачными, так и локальными. И если про онлайн-сервисы знают все, то локальные LLM до сих пор остаются недооцененным инструментом. Я решил поделиться личным опытом: какие модели можно запускать прямо на ПК, чем они полезны и зачем их вообще использовать в реальных проектах.

Большие языковые модели (Large Language Model, LLM) уже давно не являются громоздкими программными продуктами, закрытыми от пользовательских доработок и требующими огромных вычислительных мощностей. Многие ИИ можно скачать и запустить на обычном компьютере без интернета. Популярны так называемые "дистиллированные" модели — сжатые версии основных нейросетей, имеющие меньше параметров. Они требуют меньше ресурсов и могут работать даже на не самых мощных настольных ПК или ноутбуках. За последнее время локальные ИИ заметно улучшились: они стали быстрее, стабильнее и качественнее. Если раньше многие из них стремились отвечать по-китайски (если явно не указать язык), то сегодня выбор значительно шире и работать с ними удобнее. Попробуем оценить самые популярные на разных задачах и выбрать лучшую. Читать далее

#llm #локальные_модели #нейросети #искусственный_интеллект #машинное_обучение #генерация_кода #ollama #qwen #gemma #deepseek | @habr_ai

[Перевод] Я заменил диалоги в Animal Crossing на нейросеть, взломав память GameCube

Animal Crossing. Прославившаяся своей обаятельной, но в конечном счёте до боли повторяющейся болтовнёй. Вновь запустив этот классический хит для GameCube, я ужаснулся... жители по‑прежнему твердят те же самые фразы, что и двадцать три года назад. Ну уж нет, пора это менять.

Проблема? Игра работает на Nintendo GameCube — консоли 24-летней давности с процессором PowerPC на 485 МГц, 24 мегабайтами оперативки и полным отсутствием интернета. Она была создана — и технически, и концептуально — как замкнутый остров в офлайне.

И вот история о том, как я протянул кабель от 2001-го в сегодняшний день, заставив винтажную приставку разговаривать с облачным ИИ, не изменив ни строчки кода оригинальной игры. Читать далее

#animal_crossing #llm #gamecube #nintendo #c #python #dolphin | @habr_ai

Как мозг предсказывает следующее слово и при чем тут ИИ

Наш мозг всё время пытается угадать следующее слово, почти как современные большие языковые модели. Это не просто метафора: недавнее исследование показало, что предсказания ИИ удивительно совпадают с тем, что происходит в мозге человека во время восприятия речи. Учёные выяснили, что чем точнее ожидание слова, тем меньше усилий требуется мозгу для его обработки, и наоборот. Чтобы доказать это, они посадили добровольцев в томограф, включили им аудиокнигу и сопоставили электрическую активность мозга с оценками предсказуемости из модели. Разберёмся, как именно проходил эксперимент и что эти результаты могут значить для будущего нейротехнологий. Читать далее

#ии #мозг #llm | @habr_ai

[Перевод] Вайбкодинг мертв. На смену пришло агентное роевое программирование

Лето 2025 года стало переломным моментом в истории разработки софта: на смену «вайбкодингу» приходит агентное роевое программирование, способное за часы создавать то, что раньше занимало у команд недели. ИИ-агенты больше не играют роль экспериментального инструмента — они превращаются в полноценные команды разработчиков, способные проектировать, тестировать, защищать и запускать приложения в продакшен, меняя саму суть профессии программиста.

Подробнее о том, как почему «вайбкодинг» уступил место агентному роевому программированию в колонке основателя издания Venture Beat Мэтта Маршалла. Читать далее

#роевые_модели #агенты_ии #ии #искусственный_интеллект #ai #llm #claude #chatgpt #swarm | @habr_ai

AI-ассистент в мире кода: как стать пилотом, а не пассажиром

Сегодня невозможно игнорировать тот факт, что AI-ассистенты, такие как ChatGPT, GitHub Copilot или Gemini, стали частью рабочего процесса. Но использовать их бездумно — значит обесценить собственное обучение и будущие карьерные перспективы. 

Меня зовут Дмитрий Махортов, я специалист по машинному обучению и ревьюер на курсе «Специалист по Data Science» в Яндекс Практикуме. Эта статья — руководство о том, как сделать AI вашим главным союзником в обучении, а не тем, кто учится вместо вас. Советы подойдут студентам, изучающим Data Science. Читать далее

#ds #ai #llm #data_science #data_scientist #нейросети #ии | @habr_ai

Prompt Engineering: Паттерны проектирования. Часть 2 — ToDo list

Продолжаем анализировать паттерны проектирования промтов агентов из репозитория https://github.com/x1xhlol/system-prompts-and-models-of-ai-tools и после разбора XML-тегов в первой части переходим к следующему ключевому элементу.

Речь пойдет о механизме To-Do list (списка задач) - одном из самых важных и часто встречающихся паттернов в продвинутых системных промптах. Его реализация и цели могут сильно различаться. Читать далее

#todo_list #ai #llm #ai_agent #coding_agent | @habr_ai

Сам себя не похвалишь… это сделает искусственный разум. Ревью Deepseek о нашем проекте с LLM

Попросили Deepseek проанализировать наш проект о разработке системы автоматизированной проверки цифровых информационных моделей (ЦИМ) в строительстве. Недавно мы рассказывали о пилоте с ее применением. В итоге получили подробное ревью, с примерами похожих проектов из мировой практики и с выводом об уникальности нашей разработки!

«Прямых аналогов с точно такой же глубиной проработки и комплексностью подхода, ориентированного на российский рынок, нет» — утверждает нейросеть. Что же сказал Deepseek?

#искусственный_интеллект #цифровая_информационная_модель #машиночитаемый_формат #машинное_обучение #cad #ml #семантическая_разметка #deepseek #llm #bim | @habr_ai

Как быстро собрать прототип AI-продукта на n8n.io

Цель данной статьи — рассказать, что даже без опыта разработки можно быстро и фактически бесплатно погрузиться в мир AI-агентов и начать их внедрять в свои процессы.

Сейчас задачи внедрения GenAI стали актуальными для множества организаций. В одном из проектов по созданию приложения на базе AI-сервисов было потрачено немало времени на формализацию и постановку задачи разработчикам, а потом еще много времени на последующую разработку прототипа.

Стремясь сократить время от идеи до рабочего прототипа, я стал искать no-code решение, которое позволит мне самостоятельно, без привлечения разработки, создавать не только AI – агентов, но и подключать различные инструменты к AI-агентам, а также организовывать взаимодействие между AI-агентами. Читать далее

#n8n #ai #ai_agent #ai_агенты #llm_модели #llm_приложения #workflow #bpm #bpm_системы #bpms | @habr_ai