Актуальные угрозы безопасности в Large Language Model Applications

Привет, Хабр! Меня зовут Артем Бачевский. Я был разработчиком, архитектором, потом перешел в отрасль информационной безопасности. Эта статья — переработка моего доклада с Saint HighLoad++, так что простите за мой французский. Там я рассказывал про актуальные угрозы в Large Language Model Applications и способы борьбы с ними. Поехали!

Читать далее

#искуственный #будущее_здесь #будущее #машинное_обучение #машинное_обучение #large_language_model #llm | @habr_ai

Moshi: GPT4-O voice mode дома (обзор)

Прежде чем приступать к самому обзору, хотелось бы обозначить отличительные черты подхода, относительно большинства диалоговых систем:

Текущие системы работают в каскадной манере: сначала «активационное» слово, затем аудио переводится в текст (ASR), текст обрабатывается и анализируется, и, наконец, ответ генерируется через TTS. Однако это медленно, теряет эмоции и «живость» разговора, и, что самое важное, все взаимодействие происходит через жесткое чередование говорящих — сначала ты, потом я, и так далее.

Читать далее

#llm #sound #ai #ml #audio #large_language_model #tts #asr #nlu | @habr_ai

Как мы обучили Mistral 7B русскому языку и адаптировали для объявлений Авито

Привет! Я Настя Рысьмятова, руковожу командой LLM в Авито. Эта статья — про то, какие задачи мы решаем с помощью языковых моделей и как адаптируем их под себя. Мой опыт будет интересен прежде всего тем, кто тоже занимается большими языковыми моделями в крупных продуктовых компаниях. А всем остальным любопытно будет узнать, как модели учатся и решают конкретные задачи Авито — например, помогают пользователям писать тексты объявлений.

Читать далее

#llm #large_language_models #large_language_model #nlp #ai #avito | @habr_ai

Невидимые герои. Почему профессия промпт-инженера действительно важна для ML-сферы

Всем привет. Я Игорь Филатов, ML-разработчик в компании MTS AI, до этого я около полугода работал промпт-инженером. Сегодня я расскажу вам о том, из чего состоит работа промпт-инженера, можно ли назвать ее тяжелым трудом, и как попасть в эту сферу. И заодно признаюсь, почему я все же решил сменить эту профессию.

В чем суть промпт-инжиниринга?

Обычно промпт-инжиниринг понимают в широком смысле – это процесс написания промптов для решения той или иной задачи. Правда, здесь подразумеваются не только бытовые запросы, когда пользователь хочет получить что-то конкретное – например, рецепт лазаньи или текст для публикации в соцсетях. промпт-инженер также решает более стратегические задачи – например, как с помощью более оптимального использования нейросетей тратить меньше времени и ресурсов на выполнение тех или иных бизнес-задач, получая стабильный и качественный результат.

В узком смысле промпт-инжиниринг — это про оптимизацию запросов к языковым моделям. Этот процесс не похож на бытовое написание промптов, он ближе к научно-исследовательским подходам. Чтобы добиться нужного результата. специалисты применяют специальные техники – например, Chain of Thought, когда при решении задачи модель последовательно объясняет полную цепочку своих размышлений, тем самым повышая качество ответа и интерпретируемость данных.

У промпт-инжиниринга и генеративных нейросетей в целом есть одно ключевое преимущество – работать с ними быстро и просто. Это позволяет условному продакт-менеджеру или маркетологу протестировать гипотезу или составить Proof-of-Concept, для этого не нужно быть  классным ML-специалистом и тратить много часов на получение первичного результата.

Читать далее

#промт #llm #промпт_инжиниринг #промптинг #промпт #ии #искусственный_интеллект #large_language_model #prompt_engineering | @habr_ai

Машинный перевод

Автор статьи: Сергей Артамонов - DS Wildberries, Research Engineer Skoltech, аспирант мехмата МГУ, преподаватель Школы Высшей Математики

Машинный перевод - одна из самых старых и проработанных задач обработки естественного языка. Машинный перевод выделяется на фоне всего многообразия задач этой дисциплины, и для этого есть несколько причин. Во-первых, машинный перевод – одна из наиболее практически значимых задач всей индустрии: машинный перевод применим повсеместно, и едва ли найдётся область, в которой не требовалось бы автоматически переводить тексты с одного языка на другой. Во-вторых, история развития машинного перевода олицетворяет историю развития NLP в целом – в машинном переводе, как в зеркале, отражались популярные подходы к обработке языка своего времени. Наконец, машинный перевод уникален тем, что в определённом смысле в последние 70 лет был локомотивом ключевых изменений, происходивших не только в NLP, но и в AI в целом: огромное количество идей и разработок, составляющих сегодня техническую повседневность, были впервые опробованы в качестве методов улучшения задачи машинного перевода. Сегодня мы поговорим о том, как развивались методы машинного перевода, как машинный перевод двигал вперёд NLP, что он представляет из себя сегодня и как понять, хороший ли перевод перед нами. Читать далее

#машинный_перевод #искусственный_интеллект #искусственные_нейронные_сети #машинное_обучение #школа_высшей_математики #швм #llm #large_language_model | @habr_ai

Большой обзор больших языковых моделей

LLM, или большая языковая модель, это нейронная сеть с крайне большим количеством изменяемых параметров, которая позволяет решать задачи по обработке и генерации текста. Чаще всего реализована в виде диалогового агента, с которым можно общаться в разговорной форме. Но это только определение, причём одно из. В статье — больше о понятиях LLM, из чего она состоит, а также возможность немного попрактиковаться.

Читать далее

#llm #large_language_model #nlp #машинное_обучение #искусственный_интеллект #нейросети #большая_языковая_модель | @habr_ai

[Перевод] Возвращаюсь к работе мозгом после месяцев кодинга с LLM

TLDR: LLM неплохо справляются с кодингом, но в больших проектах они пишут запутанный сумбур. Я уменьшил объём использования ИИ при кодинге и вернулся к работе головой, ручке и бумаге.

Несколько месяцев назад мне нужно было создать новую инфраструктуру для моего SaaS, потому что связка из PHP+MySQL перестала отвечать нашим требованиям. Мне не терпелось воспользоваться этой возможностью, чтобы максимально задействовать все новые LLM, с которыми я экспериментировал. Поэтому я временно отказался от должности разработчика ПО, став сам себе продакт-менеджером. Я обсуждал с Claude технологии, проводил собственные исследования и спустя много итераций составил план. В итоге я решил использовать Go+Clickhouse.

Когда настала пора начинать кодить, я попросил Claude сгенерировать большой и сложный файл markdown с описанием моей старой инфраструктуры, желаемой новой инфраструктуры, перечислением того, чего я хочу достичь, почему мне это нужно и так далее.

Потом я закинул это всё в Cursor Notepads и начал составлять промпты. Cursor пишет код, я собираю и тестирую его. Меня вполне устраивало происходящее, кодовая база была не самой чистой, но вроде работала. Мне важнее была скорость разработки, а не чистота кода — мои бизнес-клиенты SaaS сказали, что им нужны определённые данные, а эта новая инфраструктура была единственным способом их доставки. У меня было ещё несколько потенциальных клиентов, ожидающих моего сообщения о том, что всё готово, чтобы можно было приобрести тарифный план. Пока всё не готово, я в буквальном смысле каждый день теряю деньги. Читать далее

#gemini #deepseek #claude #большие_языковые_модели #large_language_model #llm | @habr_ai

Эра ИИ: судьба работников умственного труда

Если вы работаете с компьютером удаленно — вас можно заменить.

Я переживаю, что с развитием ИИ (искусственного интеллекта), он скоро заменит нас. Людям, работающим с монитором и клавиатурой, технически сделать замену гораздо проще, чем сантехникам, поварам и нефтяникам. Владельцы бизнесов быстро сделают выбор в пользу оплаты подписки ИИ или установки своей такой системы, вместо людей, если это будет дешевле и эффективнее. Подобное уже произошло раньше на заводах, но это заняло несколько поколений. И если раньше, лет 200 назад, на заводе трудились десятки тысяч человек, то сейчас аналогичный завод обслуживают всего сотни сотрудников. Так и с работниками умственного труда, как только станут доступны эффективные замещающие технологии, так такие работники не понадобятся. Перспектива подобных потрясений пугает! Читать далее

#нейронные_сети #large_language_model #искусственный_интеллект #роботы #удаленная_работа #рынок_труда | @habr_ai

Как мы построили свой инструмент для работы с LLM

Привет, Habr! Меня зовут Алексей Рудак, и я основатель компании Lingvanex — компании, которая уже 7 лет делает решения для машинного перевода и распознавания речи.

В этой статье я бы хотел рассказать про наш инструмент для тренировки языковых моделей, который шесть лет назад родился из простого набора скриптов. Но постепенно усложняяcь, он стал включать в себя функции разметки данных, фильтрации датасетов, генерации данных и тестирования. В какой-то момент инструмент стал настолько функциональный, что я решил сделать ему красивый UI и назвать его - Data Studio.

Итак, что же такое Data Studio ?

Data Studio — это инструмент для работы с задачами обработки естественного языка (NLP), который мы используем в основном для улучшения качества перевода текста.

С помощью Data Studio можно обучать модели перевода, настраивать различные параметры для этих тренировок, токенизировать данные, фильтровать их по различным параметрам, собирать метрики, создавать данные для обучения, тестирования и валидации и многое другое.

Общий процесс создания языковой модели для перевода выглядит так:

1) Предобработка данных: этап подготовки данных перед обучением модели.

2) Фильтрация с использованием структурных и семантических фильтров.

3) Сбор общего набора данных: удаление избыточности, равномерное распределение тем и длин, сортировка.

4) Тегирование для классификации данных.

5) Загрузка общего набора данных в Data Studio для проверки.

6) Создание данных для валидации и тестирования модели.

7) Обучение модели. Читать далее

#машинное_обучениe #инструментарий #llm #llm_модели #искусственный_интеллект #языковые_модели #large_language_model #большие_языковые_модели #ai #обработка_данных | @habr_ai

[Перевод] ИИ под контролем: Guardrails как щит от рисков в агентных системах

Вы когда-нибудь задавали вопрос AI-чатботу и получали в ответ что-то вроде: «Я не могу с этим помочь»? Если да — значит, вы уже сталкивались с guardrails в действии. Это встроенные механизмы контроля, ограничивающие, что именно может и не может делать система ИИ.

Например, представьте себе AI-агента, работающего в роли тревел-ассистента. Он поможет вам забронировать рейсы или отели, но не станет отвечать на вопросы по истории или объяснять, как починить компьютер. Это потому, что его поведение ограничено guardrails, сконфигурированными под выполнение конкретных задач.

В этой статье мы разберёмся, что такое guardrails, как они работают и почему они критичны для построения безопасных и надёжных агентных систем ИИ. Поехали! Читать далее

#ai #ai_agent #ai_chatbot #ии #ии_ассистент #ии_чат_бот #искусственный_интеллект #llm #genai #large_language_model | @habr_ai

[Перевод] Как строить умных AI-агентов: уроки Context Engineering от Manus

В самом начале проекта Manus перед нашей командой встал ключевой вопрос: обучать ли end-to-end агентную модель, используя open-source foundation-модели, или же строить агента поверх возможностей in-context learning у frontier models?

В моё первое десятилетие в NLP у нас и выбора-то такого не было. В далёкие времена BERT (да, прошло уже семь лет) модели приходилось fine-tune'ить и тестировать, прежде чем они могли переноситься на новую задачу. Этот процесс часто занимал недели на одну итерацию, даже при том, что тогдашние модели были крошечными по сравнению с сегодняшними LLM. Для быстроразвивающихся приложений, особенно на этапе до PMF, такие медленные циклы обратной связи — смертный приговор. Это был горький урок из моего прошлого стартапа, где я обучал модели с нуля для open information extraction и семантического поиска. А потом появились GPT-3 и Flan-T5, и мои внутренние модели стали не актуальны буквально за ночь. Ирония в том, что именно эти модели положили начало in-context learning — и открыли совершенно новый путь развития.

Из этого болезненного опыта выбор был очевиден: Manus делает ставку на context engineering. Это позволяет выпускать улучшения за часы, а не за недели, и держит наш продукт ортогональным по отношению к базовым моделям: если прогресс моделей — это прилив, то мы хотим, чтобы Manus был лодкой, а не сваей, вбитой в морское дно.

Тем не менее context engineering оказался далеко не тривиальным делом. Это экспериментальная наука — и мы перестраивали наш агентный фреймворк четыре раза, каждый раз находя более удачный способ формировать контекст. Мы с любовью называем этот ручной процесс перебора архитектур, подбора промптов и эмпирических догадок «Stochastic Graduate Descent». Это не изящно, но работает.

В этом посте я делюсь локальными оптимумами, к которым мы пришли через собственный «SGD». Если вы создаете своего AI-агента, надеюсь, эти принципы помогут вам сойтись к решению быстрее. Читать далее

#ai #ai_agent #ai_assistants #nlp #llm #large_language_model #mcp #rag #manus #few_shot_prompting | @habr_ai

RAG и векторные БД: НЕ Сизифов LLM на Java и Spring Ai

Привет! Меня зовут Бромбин Андрей, и сегодня я разберу на практике, что такое RAG-системы и как они помогают улучшать поиск. Покажу, как использовать Spring AI, векторные базы данных и LLM. Ты получишь теорию и пример реализации на Java и Spring Boot – от идеи до работающего сервиса. Без сложных формул – только чёткие объяснения и код. Обновить резюме

#spring_ai #исскуственный_интеллект #open_ai #qdrant #semantic_search #retrieval_augmented_generation #vector_database #large_language_model #java #ruvds_статьи | @habr_ai