15 примеров применения Natural Language Processing

Машинное обучение — это технология искусственного интеллекта, используемая для распознавания закономерностей, обучения на основе данных и принятия решений автоматически — без вмешательства человека. С другой стороны, обработка естественного языка (Natural Language Processing, NLP) — это форма ИИ, позволяющая машинам интерпретировать и понимать человеческий язык.

В этой статье мы попробуем разобраться с тем, как используется NLP для решения реальных задач и рассмотрим 15 примеров использования данной технологии и машинного обучения.

  Читать далее

#nlp #natural_language_processing #обработка_естественного_языка #машинное_обучение #bert #трансформеры #текстовая_классификация #анализ_текста #rnn | @habr_ai

Знает ли LLM то, что знаешь ты?

Представьте, что у вас есть друг, который идеально завершает ваши мысли. Вы говорите: «В детстве я любил...», а он тут же продолжает: «...играть в футбол и смотреть “Смешариков”». Совпадение? Или он вас слишком хорошо знает?

Теперь представьте, что этот “друг” — языковая модель вроде GPT-4, обученная на десятках терабайт текста. Вы даёте ей фразу — и она точно угадывает продолжение. Вопрос: она действительно видела это раньше или просто хорошо обучена угадывать?

Вот тут на сцену выходит Membership Inference Attack (MIA) — метод, который позволяет выяснить, был ли конкретный текст в тренировочном датасете модели. По сути, это способ заставить LLM проговориться: «Да, я это читала. Но никому не говори».

Раньше такие атаки были возможны только при доступе к логитам — вероятностям слов, которые модель "придумывает" на выходе. Но популярные модели вроде ChatGPT или Claude таких данных не раскрывают — вы получаете только текст.

Можно ли вытащить приватные данные, видя только текст, без логитов и без доступа к модели?

Спойлер: да, можно. И способ называется PETAL. Читать далее

#llm #nlp #машинное_обучение #python #итмо | @habr_ai

СontentCapture+LLM: как мы ускорили работу с неструктурированными документами

В эпоху цифровой трансформации каждая минута работы с документами на вес золота. Юридические отделы, банки, госучреждения ежедневно обрабатывают сотни договоров, доверенностей и судебных приказов. Ручной ввод данных, поиск реквизитов и проверка сроков могут отнимать до 20 минут на документ — и это если сотрудник не отвлекся на кофе. 

В нашей линейке продуктов есть универсальная IDP-платформа ContentCapture. Она хорошо понимает структурированные документы, а вот при обработке неструктурированных данных раньше могли возникать сложности. Чтобы решить эту проблему, мы в новом релизе продукта настроили интеграцию с облачными большими языковыми моделями (LLM), такими как YandexGPT и GigaChat. 

Делимся подробностями и рассказываем, как оценивали качество работы LLM с разными типами документов.  Читать далее

#contentcapture #llm #nlp #nlp_обработка_текста #обработка_документов | @habr_ai

Ошибки, которые не попадают в отчеты: как бизнес снижает риски через системную проверку знаний

Есть темы, которые не попадают в отчеты. Например: почему сотрудник повредил дорогое оборудование, или почему склад простаивал два дня после смены логистики. Ответ чаще всего один — недостаток знаний. Он выражается в неочевидных мелочах: кто-то не прошел инструктаж, кто-то забыл порядок действий, кто-то не понял обновленный регламент. Но в результате мы получаем производственные ошибки, травмы, штрафы и срывы сроков.

В таких отраслях, как логистика, транспорт, строительство, ритейл и промышленность, последствия бывают критичными. По оценкам Deloitte и McKinsey, до 20% операционной прибыли уходит на устранение ошибок персонала. А если смотреть на российские реалии — это более 500 млрд рублей в год потерь, связанных исключительно с "человеческим фактором". Читать далее

#охрана_труда #безопасное_производство #ии #искусственый_интеллект #nlp #gpt #оценка_персонала #грейды #hrtech #hr_процесс | @habr_ai

Почему LLM не мыслят как люди

Большие языковые модели в виде чат-ботов очень правдоподобно имитируют диалог как всезнающий собеседник и поэтому получили широкое распространение. Но даже Google в своем чат-боте Gemini не советуют доверять тому, что напишет чат-бот и просят проверять его ответы. В данном обзоре будут проанализированы различные типы ошибок LLM такие как проклятие инверсии, обработка чисел и др., чтобы выявить их причины. Такой анализ привел к выводу об общих причинах ошибок, заключающемся в том, что трансформеры не обладают глубокой аналогией, абстракцией и избирательностью контента, учитываемого в вычислении ответа (inference). Но наиболее важным выводом является то, что трансформеры, как и другие нейросети, построены по концепции обработки входного сигнала, что создает сильную зависимость от нерелевантной информации, которую не может компенсировать слой внимания трансформера. Концепция нейросетей была заложена в 50-х идеей перцептрона Ф. Розенблата и не учитывала тех достижений когнитивной психологии, которые появились позже. Согласно же конструктивисткой парадигме, входной слов (или перцепция) является только способом проверки правильности сконструированной предиктивной модели для возможных ситуаций. Это же служит причиной самой большой проблемы трансформеров, называемой галлюцинациями. И устранение ее возможно только при изменении архитектуры нейросети, а не за счет большего количества данных в обучении.

Но это далеко не все проблемы, которые непреодолимы трансформерами без помощи людей. Это и проблемы с логикой, и с вычислениями в больших последовательностях, и следование правилам, и, конечно-же, галлюцинации. Таки примеры и будут проанализированы в статье. Отсюда следует все чаще звучащий тезис о том, что необходимо искать новую архитектуру для создания поистине интеллектуальных систем. Эта статья посвящена поиску тех архитектурных принципов, которые могу приоткрыть путь к новой архитектуре. И в этом нам помогут как раз те ошибки трансформеров, которые описаны исследователями. Они прямо указывают на те принципиальные недостатки, причины которых могут быть как раз в отсутствии необходимых функций и структур нейросети. И цель исследования состоит в том, чтобы проанализировать такие ошибки «мышления» трансформеров, чтобы предположить, каких способностей не хватает трансформерам. Читать далее

#llm #ai #nlp | @habr_ai

Аналогия как базовая функция мышления

Это отрывок из большой статьи в журнале "Философские проблемы информационных технологий и киберпространства". В ней приводится критика современного теоретического представления об аналогии как структурного отображения (Д. Гентнер) с одной стороны и статистического метода получения аналогии "по контексту употребления" (Т. Миколов). Мы предлагаем иной метод получения аналогии, который основан на методе аналогии по предикатам (статья), что дает значительные преимущества. Во-первых, ее легче получить в отличие от статистических методов, которые требуют обучения на большом корпусе. В нашем методе достаточно прим. 200 книг. Во-вторых, это интерпретируемая и управляемая аналогия - всегда можно посмотреть, по каким предикатам получена аналогия и какие будут аналоги по другим предикатам. Это отправная точка исследования. Далее будет показана фундаментальная роль аналогии в нашем мышлении. Читать далее

#ai #nlp #analogue | @habr_ai

Reflect, Retry, Reward: как RL учит LLM рефлексировать и становиться лучше

Привет, Хабр!

Меня зовут Роман, я NLP-инженер в Сбере. Занимаюсь мультиагентными системами и работаю с LLM в проде. Сегодня расскажу про одну из самых интересных статей июня по версии Huggingface Daily Papers — Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning. Читать далее

#llm #rl #nlp #машинное_обучение #ml #reinforcement_learning | @habr_ai

LLM в кармане: запускаю локальные модели на Samsung S24 Ultra через PocketPal — бенчмарки, настройки и туториал

Последние материалы мы посвятили графическим пайплайнам: как собирать сцены и стили в WebUI Forge, где помогает Flux, и как добиваться управляемости через ControlNet. Логичный следующий шаг - добавить текстовый слой, который формирует смысл: брифы, описания, сценарии, заголовки и итоговые тексты под публикацию. Именно его мы переносим в карман - в формате локальной LLM на смартфоне.

В этой статье мы разберём PocketPal на Samsung S24 Ultra: как поставить модели в GGUF, какие кванты выбирать под 12 ГБ RAM, как оценить требуемую память (модель + KV-кэш), какие скорости генерации ждать и как настроить параметры, чтобы телефон оставался шустрее и не «уходил в троттлинг».

Почему смартфон? Две причины: приватность (данные не покидают устройство), офлайн-режим (работает в дороге и на выезде). Для креативных задач это означает: черновики текстов, сводки брифов, подписи к визуалу и техзадания для графического пайплайна - там, где нет Wi-Fi и интернета. Читать далее

#машинное_обучение #llm #nlp #ai #нейросети #мобильная_разработка #android #инструменты_разработчика #обзор #разработка_веб_приложений | @habr_ai

Не em dash'ем единым: как распознать ИИ-текст по гайду Википедии

Честно говоря, охота на следы ИИ не самая увлекательная задача. Но инструмент полезный: помогает авторам убрать штампы из черновика, а редакторам сэкономить время. Ниже короткий пересказ актуального гайда сообщества Википедии Signs of AI writing и практичный чек-лист для самопроверки. Читать далее

#искусственный_интеллект #контент #редактура #wikipedia #llm #nlp | @habr_ai

Как найти своё призвание за два года, а не за десять

Сколько людей вы знаете, которые говорят: — Я работаю уже десять лет, но понимаю, что это вообще не моё. 

Это происходит постоянно. Человек учится в бакалавриате, устраивается на первую работу, несколько лет работает, понимает, что не нравится, пробует другое место, потом ещё одно… И только к 35-40 годам начинает осознавать, что ему действительно интересно. 

Проблема в том, что мир меняется слишком быстро, чтобы позволить себе такой долгий процесс поиска. 

Но что, если можно сжать этот путь до двух лет? Читать далее

#карьера #образование #путь_программиста #профессия #llm #ии #nlp #ml | @habr_ai

[Перевод] Как строить умных AI-агентов: уроки Context Engineering от Manus

В самом начале проекта Manus перед нашей командой встал ключевой вопрос: обучать ли end-to-end агентную модель, используя open-source foundation-модели, или же строить агента поверх возможностей in-context learning у frontier models?

В моё первое десятилетие в NLP у нас и выбора-то такого не было. В далёкие времена BERT (да, прошло уже семь лет) модели приходилось fine-tune'ить и тестировать, прежде чем они могли переноситься на новую задачу. Этот процесс часто занимал недели на одну итерацию, даже при том, что тогдашние модели были крошечными по сравнению с сегодняшними LLM. Для быстроразвивающихся приложений, особенно на этапе до PMF, такие медленные циклы обратной связи — смертный приговор. Это был горький урок из моего прошлого стартапа, где я обучал модели с нуля для open information extraction и семантического поиска. А потом появились GPT-3 и Flan-T5, и мои внутренние модели стали не актуальны буквально за ночь. Ирония в том, что именно эти модели положили начало in-context learning — и открыли совершенно новый путь развития.

Из этого болезненного опыта выбор был очевиден: Manus делает ставку на context engineering. Это позволяет выпускать улучшения за часы, а не за недели, и держит наш продукт ортогональным по отношению к базовым моделям: если прогресс моделей — это прилив, то мы хотим, чтобы Manus был лодкой, а не сваей, вбитой в морское дно.

Тем не менее context engineering оказался далеко не тривиальным делом. Это экспериментальная наука — и мы перестраивали наш агентный фреймворк четыре раза, каждый раз находя более удачный способ формировать контекст. Мы с любовью называем этот ручной процесс перебора архитектур, подбора промптов и эмпирических догадок «Stochastic Graduate Descent». Это не изящно, но работает.

В этом посте я делюсь локальными оптимумами, к которым мы пришли через собственный «SGD». Если вы создаете своего AI-агента, надеюсь, эти принципы помогут вам сойтись к решению быстрее. Читать далее

#ai #ai_agent #ai_assistants #nlp #llm #large_language_model #mcp #rag #manus #few_shot_prompting | @habr_ai

Кофе — мой type, музыка — мой out: строим NERвный-пайплайн на продуктовых запросах

Привет, Хабр! На связи команда Ad-Hoc аналитики X5 Tech. В этой статье расскажем, как мы научили поиск извлекать важные сущности из запросов пользователей. Полный разбор реализации NER (Named Entity Recognition) для продуктового ритейла, шаг за шагом: как мы размечали данные, считали метрики на уровне токенов и сущностей — и почему для коротких и длинных запросов потребовались разные архитектурные решения. Читать далее

#ner #ии #искусственный_интеллект #машинное_обучение #nlp #трансформеры | @habr_ai

Как ContentCapture и LLM автоматизируют обработку судебных приказов, определений и постановлений ФССП

Ранее мы уже делились опытом использования LLM для обработки юридических документов и доверенностей. Сегодня расскажем о другом подходе, который применил наш технологический партнер ООО «ЕСМ-Консалтинг». При реализации нескольких показательных кейсов для крупных российских энергосбытовых компаний, автоматизировав в них обработку судебных документов с помощью платформы ContentCapture и больших языковых моделей (LLM).

Изначально мы рассматривали два подхода к реализации подобных проектов. Первый – предполагал классическую работу с гибкими описаниями документов, когда правила извлечения информации задаются человеком. Второй вариант – комбинированный, с использованием больших языковых моделей (LLM). Наш опыт показал, что последний подход как минимум в три раза экономичнее, при работе с неструктурированными документами. Он обеспечивает хорошую скорость и высокое качество извлечения данных (более 95% правильно извлеченных данных), что позволяет нашим заказчикам масштабировать обработку документов без роста операционных расходов. Узнать подробности

#llm #llm_модели #обработка_документов #юридические_документы #yandexgpt #llama #nlp | @habr_ai

Эволюция автоматчинга в e-commerce: опыт команды Купер.тех

Привет, Хабр! Меня зовут Николай, и я ML-инженер в команде контента в Купере,

где уже год занимаюсь задачами автоматчинга. Этот материал — адаптация моего недавнего выступления, на котором я рассказывал, как мы стараемся сэкономить бизнесу время и деньги. 

Речь далее пойдет о матчинге товаров в ритейле: от ручного ввода до ML-пайплайнов с эмбеддингами и ранкерами. Если что-то покажется неясным или возникнет желание подискутировать о деталях, велком в комменты. Читать далее

#nlp #матчинг #e_commerce #matching #faiss | @habr_ai

SONAR-LLM — учим нейросети думать предложениями вместо слов

Привет, Хабр. Меня зовут Никита Драгунов, я из команды «Интерпретируемый ИИ» лаборатории FusionBrain AIRI. У себя в группе мы активно пытаемся понять, почему большие языковые модели и другие архитектуры ведут себя так или иначе, и разрабатываем инструменты, которые помогают нам в этом разобраться.

Среди прочего нас очень заинтересовал сравнительно свежий подход, в котором предлагается перейти от генерации токенов к генерации целых предложений — Large Concept Models, LCMs. Мы углубились в эту тему и смогли предложить новый способ, как использовать идею LCM эффективнее.

О том, что мы сделали — в статье ниже. Читать далее

#nlp #llm #lcm | @habr_ai

Три сказа о построении RAG: От выбора модели до форматирования базы знаний

Привет! Меня зовут Александр Золотых, уже два года я работаю во ВкусВилле разработчиком ИИ-решений. В этой статье хочу рассказать, как мы сделали карманного консультанта по клиентократии — и зачем вообще он понадобился.

ВкусВилл работает по клиентократии — модели управления, которую развивает и распространяет система управления  Beyond Taylor. Основная особенность клиентократии — фокус на клиенте, когда все процессы компании выстраиваются для удовлетворения его потребности. Модель инновационная: погружаешься, и возникает множество вопросов. Конечно, лучше спросить и узнать, чем не спросить и не узнать, но не всем и не всегда это просто. Значит, нужно снижать порог входа и сделать описание модели ближе к изучающему.

Именно из этого понимания у нашей команды и появилась идея карманного консультанта — инструмента, который готов отвечать на все «глупые» и каверзные вопросы. Мы поделились замыслом с коллегами из Beyond Taylor, получили их поддержку и приступили к реализации. Так родилась наша первая задача с тем, что сейчас называется RAG (Retrieval-Augmented Generation).

Конечно, есть готовые решения (Notebook LM, Нейроэксперт), но они имеют несколько минусов: Читать далее

#rag #llm #langchain #вкусвилл #json #faiss #embeddings #nlp | @habr_ai

Случайный ИИ успех: Как мы встроили нейросеть в приложение для автосервисов и сорвали куш с подписками

Привет, чемпионы! Сегодня хочу разобрать на реальном примере, как иногда самые неочевидные идеи те, что в момент презентации заставляют тимлидов молча поправлять очки, а менеджеров ёрзать на стуле могут не просто выстрелить, а полностью перевернуть продукт. Это история не про гениальный прорыв, а скорее про настойчивость, готовность к экспериментам и немного удачи. Всё началось с того, что мы упёрлись в классический потолок роста в, казалось бы, совершенно непримечательной нише мобильном приложении для поиска и записи в автосервисы.

У нас был стандартный, почти шаблонный продукт: каталог услуг со средними по рынку ценами, модуль онлайн записи, карта с геолокацией мастерских, даже отзывы и рейтинги. Всё как у людей. Но проблема была в том, что мы были как все. А в условиях, когда на каждом углу есть аналоги, конкуренция идёт не за функционал, а за доверие и внимание пользователя. Люди заходили, смотрели прайс, звонили в пару мест и уходили. Удержание было низким, монетизация ещё ниже. Нужен был крючок. Не просто ещё одна кнопка в интерфейсе, а что то, что давало бы мгновенную, осязаемую пользу и решало реальную боль.

И вот на одной из планерок, где мы в очередной раз ломали голову над тем, как увеличить конверсию, я бросила: «А что, если сделать так, чтобы пользователь мог просто сфоткать свою проблему потёкшее масло, скрипящие тормоза, вмятину на бампере а мы ему примерно назовём поломку и прикинем, во сколько это выльется?». В комнате повисла тишина. Послышалось что то вроде «нейросеть?», «а обучающая выборка?», «а точность?», «юридические риски». Но решили взяться, так как я была уверена в бомбовом результате. И понеслась. Читать далее

#ai #rag #rag_pipeline #nlp #автосервис #компьютерное_зрение #computervision #подписки #искуственный_интеллект #монетизация | @habr_ai

Собираем «идеального душнилу»: как создать ИИ-агента, который завалит вашего чат-бота

Выкатили новую фичу в чат-боте и надеетесь, что она переживет встречу с реальными пользователями? Хватит надеяться — пора доказывать. В этой статье мы покажем как собрать стенд для стресс-тестирования, где один ИИ будет методично ломать другого. Открыть окно

#python #llm #nlp #ai_ассистент #чат_боты #бизнес_кейс #тестирование #openai | @habr_ai