Llama Firewall или как проверить логику и безопасность вашего AI агента

AI-агенты перестали быть экспериментом — они уже читают ваши документы, пишут код

и выполняют команды в терминале. Но чем больше автономии мы им даем, тем актуальнее становится вопрос: а что если агент сделает не то, что нужно?

Llama Firewall — попытка решить эту дилемму через многослойную систему проверок. Читать далее

#ai #mcp #ai_агент #ии_агенты #безопасность_ии #llama_firewall #llama | @habr_ai

Как я разрабатываю агентские ИИ системы для извлечения признаков (feature-extraction) из мультимодальных данных

Извлечение признаков (feature extraction) из текстов — ключевой шаг при анализе документов: он является основной практической частью таких задач по обработке данных, как классификация, тематическое моделирование, NER, QA. Если раньше почти что для каждой из таких задач, и в особенности для разных модальностей данных использовались специализированные архитектуры нейронных сетей, то сейчас подобные системы обычно строятся вокруг LLM/VLM. Однако и современные модели на практике настраиваются под конкретные задачи через fine‑tuning или distillation, в связке с retrieval (RAG) и агентскими архитектурами.

В этой статье я рассматриваю свой опыт проектирования и разработки агентов для выполнения feature-extraction. При наличии мультимодальных данных с разнородной структурой - тексты, PDF, изображения - мне приходится извлекать нужные пользователю фрагменты информации. Для этого я перебрал различные подходы - в зависимости от сложности задачи - и теперь пора сравнить их эффективность и отметить сложности реализации. Читать далее

#ai #ml #openai #llm #llama #deepseek #chatgpt #machine_learning #artificial_intelligence | @habr_ai

Llama 3.1 и «Гарри Поттер»: сколько текста действительно запоминает ИИ?

Может ли искусственный интеллект запомнить целую книгу? А если да, что это значит для авторов, издателей и самих разработчиков ИИ? Недавнее исследование от ученых из Стэнфорда, Корнелла и Университета Западной Виргинии показало, что языковая модель Llama 3.1 может дословно воспроизвести до 42% текста «Гарри Поттера и Философского камня». Это заставляет усомниться в механизмах ограничения памяти ИИ и поднимает вопросы о защите авторских прав. Дальше — как раз об этом. Читать далее

#llm #ml #llama #машинное_обучение #искусственный_интеллект #текстовые_модели | @habr_ai

Георгий Герганов, автор llama.cpp и звукового кейлогера

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов, мало известен широкой публике. Читать далее

#llama_cpp #ollama #llama #llm #георгий_герганов #georgi_gerganov #lm_studio #litellm #ggml #тензорная_алгебра | @habr_ai

Llama 3.1 и «Гарри Поттер»: сколько текста действительно запоминает ИИ?

Может ли искусственный интеллект запомнить целую книгу? А если да, что это значит для авторов, издателей и самих разработчиков ИИ? Недавнее исследование от ученых из Стэнфорда, Корнелла и Университета Западной Виргинии показало, что языковая модель Llama 3.1 может дословно воспроизвести до 42% текста «Гарри Поттера и Философского камня». Это заставляет усомниться в механизмах ограничения памяти ИИ и поднимает вопросы о защите авторских прав. Дальше — как раз об этом. Читать далее

#llm #ml #llama #машинное_обучение #искусственный_интеллект #текстовые_модели | @habr_ai

Георгий Герганов, автор llama.cpp и звукового кейлогера

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов, мало известен широкой публике. Читать далее

#llama_cpp #ollama #llama #llm #георгий_герганов #georgi_gerganov #lm_studio #litellm #ggml #тензорная_алгебра | @habr_ai

Свой ChatGPT на документах: делаем RAG с нуля

Всем привет! Наверняка у вас были ситуации, когда нужно быстро найти что-то в длинном документе-договоре, инструкции или отчёте. Сегодня я покажу, как сделать своего помощника, который будет отвечать на такие вопросы автоматически. Соберем RAG с нуля: загрузим документы, "нарежем" их на куски, проиндексируем в векторной базе данных Qdrant и подключим LLaMA.

Если вы увидели незнакомые слова — не пугайтесь, далее я расскажу об этом подробно. Читать далее

#rag #rag_ai #rag_pipeline #retrieval_augmented_generation #ии_агент #ai_agent #ии_приложение #ai_app #ai_application #llama_3_3_70b | @habr_ai

[Перевод] Эволюция архитектур больших языковых моделей: от GPT-2 к современным решениям

Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, если оглянуться на GPT-2 (2019) и взглянуть вперёд на DeepSeek-V3 и Llama 4 (2024–2025), можно удивиться, насколько эти модели по-прежнему структурно схожи.

Разумеется, позиционные эмбеддинги эволюционировали от абсолютных к роторационным (RoPE), Multi-Head Attention в значительной степени уступил место Grouped-Query Attention, а более эффективная SwiGLU заменила такие функции активации, как GELU. Но если отбросить эти незначительные усовершенствования, действительно ли мы наблюдаем принципиальные архитектурные сдвиги — или просто продолжаем полировать одни и те же фундаментальные конструкции?

Сравнение LLM между собой с целью выявления ключевых факторов, влияющих на их качество (или недостатки), по-прежнему остаётся крайне нетривиальной задачей: датасеты, методы обучения и гиперпараметры сильно различаются и зачастую плохо документированы.

Тем не менее, я считаю, что изучение именно архитектурных изменений остаётся ценным подходом, позволяющим понять, над чем работают разработчики LLM в 2025 году.  Читать далее

#llm #ai #ии #большие_языковые_модели #gpt #deepseek #gemma #mistral #llama #qwen | @habr_ai

Новости кибербезопасности за неделю с 11 по 17 августа 2025

Всё самое интересное из мира кибербезопасности /** с моими комментариями.

На этой неделе много новостей в моей любимой связке - AI + кибербез: Альман дал интервью и рассказал про риски, Googдe продолжает развивать свои кибербез-инструменты, GPT5 - новая звезда в AI-пентесте и другие только самые важные и интересные новости из мира информационной безопасности. Читать далее

#альтман #debian #chatgpt #microsoft #mitre #gpt_5 #google #фишинг #llm #llama | @habr_ai

Вайб-кодинг с доставкой на дом

Для многих рынок ИИ-решений представляется как конкурентная борьба облачных и open source-моделей, но спектр применения языковых моделей постоянно расширяется, закрывая все более узкие ниши. И сейчас все больше команд, даже среди лидеров, выкладывают свои специализированные модели в общий доступ открытыми не только для запуска, но и дообучения и доработок. Эти модели часто имеют более скромные системные требования по сравнению с облачными. Иногда настолько, что некоторые из них можно запускать на мобильных и встраиваемых устройствах даже без специальных нейро- или графических вычислителей. Такие тенденции требуют от ИТ-специалистов навыков в обращении с моделями, некоторые из которых мы рассмотрим в данной статье на примере настройки модели, ассистирующей в разработке программного кода на локальном ПК. Учитывая высокую динамику развития индустрии ИИ, приведенные решения не могут быть ультимативными и актуальными, однако, возможно, кому-то он помогут продвинуться в освоении навыков работы с LLM-моделями (Large Language Models - Большие языковые модели).  Читать далее

#ollama #llama_cpp #вайб_кодинг #kubernetes | @habr_ai

Как ContentCapture и LLM автоматизируют обработку судебных приказов, определений и постановлений ФССП

Ранее мы уже делились опытом использования LLM для обработки юридических документов и доверенностей. Сегодня расскажем о другом подходе, который применил наш технологический партнер ООО «ЕСМ-Консалтинг». При реализации нескольких показательных кейсов для крупных российских энергосбытовых компаний, автоматизировав в них обработку судебных документов с помощью платформы ContentCapture и больших языковых моделей (LLM).

Изначально мы рассматривали два подхода к реализации подобных проектов. Первый – предполагал классическую работу с гибкими описаниями документов, когда правила извлечения информации задаются человеком. Второй вариант – комбинированный, с использованием больших языковых моделей (LLM). Наш опыт показал, что последний подход как минимум в три раза экономичнее, при работе с неструктурированными документами. Он обеспечивает хорошую скорость и высокое качество извлечения данных (более 95% правильно извлеченных данных), что позволяет нашим заказчикам масштабировать обработку документов без роста операционных расходов. Узнать подробности

#llm #llm_модели #обработка_документов #юридические_документы #yandexgpt #llama #nlp | @habr_ai

Как мы внедряли аспектно-ориентированный анализ тональности: опыт Naumen

Привет, меня зовут Лиза — в Naumen я занимаюсь задачами обработки естественного языка (NLP). До этого я работала с компьютерным зрением, поэтому, перейдя в Naumen, сменила не только компанию, но и специализацию. Мой первый проект в Naumen стал настоящим вызовом — нужно было реализовать систему аспектно‑ориентированного анализа тональности (ABSA) на русском языке.

В этой статье расскажу, как мы решали эту задачу, с чего начали, какие модели и датасеты пробовали и к чему в итоге пришли. Читать далее

#absa #aspect_based_sentiment_analysis #анализ_отзывов #llama #sbn #тональность_текста #русскоязычные_датасеты #машинное_обучение #llm #bert | @habr_ai