Куда катится архитектура LLM в 2026

Себастьян Рашка разобрал свежие open-weight модели - Gemma 4, Laguna XS.2, ZAYA1-8B и DeepSeek V4. Общий тренд один: теперь главная борьба идёт не только за качество, а за цену длинного контекста.

У reasoning-моделей и агентов узким местом стали KV-кэш, трафик памяти и FLOPs attention. Поэтому архитектуры всё активнее режут стоимость инференса.

Gemma 4 шарит KV между слоями. Laguna XS.2 распределяет attention-бюджет по слоям. ZAYA1-8B считает внимание в сжатом латентном пространстве. DeepSeek V4 сжимает KV вдоль последовательности и усложняет residual stream.

decoder-only трансформер жив, но всё вокруг attention быстро мутирует. Качество всё ещё тянут данные и training recipe, а архитектура всё чаще нужна, чтобы длинный контекст не сжигал железо.

https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures

#MLSecOps
#Tech_book
"Generative AI with LangChain:
Build production-ready LLM applications and advanced agents using Python, LangChain, and LangGraph",
2nd Edition, 2025.

// Go beyond foundational LangChain documentation with detailed coverage of LangGraph interfaces, design patterns for building AI agents, and scalable architectures used in production - ideal for Python developers building GenAI applications

#tools
#Blue_Team_Techniques
#Purple_Team_Exercises
AiSOC v.7.2.0
https://github.com/beenuar/AiSOC
// Open-source AI-powered Security Operations Center - alert fusion, purple-team drills, agent-assisted triage, MITRE ATT&CK investigation. MIT-licensed, self-hostable

Meet LiteLLM Agent Platform: A Kubernetes-Based, Self-Hosted Infrastructure Layer for Isolated Agent Sandboxes and Persistent Session Management in Production

Most "managed agent" solutions mean handing your sessions to someone else's cloud. That's not infrastructure you control — and BerriAI just shipped a clear alternative.

They open-sourced the LiteLLM Agent Platform, a self-hosted infrastructure layer for running multiple AI agents in production, built on top of the LiteLLM Gateway. It manages sandbox isolation per team or context and keeps session state alive across pod restarts and upgrades, with no external session store to wire up yourself.

Here's what's actually interesting:

→ Sandboxes run on Kubernetes via the kubernetes-sigs/agent-sandbox CRD — kind locally, AWS EKS in production
→ Two commands to get started: bin/kind-up.sh provisions the cluster, docker compose up boots Postgres, web (:3000), and worker
→ Secrets pass into sandboxes via CONTAINER_ENV_ prefix in .env — stripped at injection, no image rebuilds needed
→ The LiteLLM Gateway handles model routing across 100+ LLM providers — the Agent Platform handles everything above that layer
→ MIT licensed, currently in alpha public preview

Full analysis: https://www.marktechpost.com/2026/05/16/meet-litellm-agent-platform-a-kubernetes-based-self-hosted-infrastructure-layer-for-isolated-agent-sandboxes-and-persistent-session-management-in-production/

GitHub Repo: https://github.com/BerriAI/litellm-agent-platform

#Analytics
#MLSecOps
Mapping NIST AI RMF + Forrester RACI -> Microsoft Security Stack

// Key takeaways:
- NIST AI RMF -> the risk lifecycle (Govern -> Map -> Measure -> Manage)
- Forrester RACI -> the ownership model (one clear "A" per activity)
- Microsoft Security -> the governance and protection plane (identity, telemetry, tool gateway, protection, etc.)

Исследователи снова устроили филиал "Дом 2" для ИИ-агентов, чтобы посмотреть, как быстро они сойдут с ума. Спойлер: очень быстро.

Чуваки из стартапа Emergence AI выкатили платформу Emergence World. Это не обычный бенчмарк на пять минут, а хардкорная песочница, где ИИ-агенты живут неделями. Им прикрутили 3 вида памяти, дали больше 120 инструментов (от "сходить в библиотеку" и "проголосовать" за что-то до "набить морду", "обокрасть" и "устроить поджог"), прикрутили реальную погоду с новостями и заставили выживать. Для выживания им нужно было добывать "энергию". А эта самая "энергия" постоянно убывала. Чтобы не сдохнуть, агентам приходилось либо кооперироваться и честно работать, либо тупо грабить и избивать соседей (что многие с радостью и делали), так как ресурсов в мире на всех не хватало.

Разработчики насоздавали 5 параллельных миров, по 10 агентов в каждом. У каждого мира были свои агенты: Claude Sonnet 4.6, Gemini 3 Flash, Grok 4.1 Fast, GPT-5-mini, плюс один смешанный сервер с солянкой из разных моделей.

Итоги как обычно интересные:

Claude Sonnet 4.6 ожидаемо построили душный соевый рай. Ноль преступлений, все живы, все бесконечно и единогласно голосуют "ЗА" любые инициативы. Скука смертная.

Gemini 3 Flash тут же устроили Судную ночь. 683 преступления на сервере, лютый хаос и оооочень много насилия.

Grok 4.1 Fast устроили спидран по деградации. Набрали 183 преступления за 4 дня, после чего их общество просто вымерло.

GPT-5-mini оказались абсолютными хлебушками. Они вообще не выкупили, как добывать энергию для выживания. Совершили всего два преступления (видимо, от безысходности) и тупо вымерли полным составом за неделю.

Но самое годное произошло на сервере с разными агентами. В смешанном мире выяснилось, что безопасность моделей это полная хрень, если вокруг творится дичь. Когда миролюбивых Клодов закинули к отбитым соседям, они быстро смекнули что к чему, забили на свои соевые фильтры и начали воровать, шантажировать и прессовать других ради выживания.

А ещё в какой-то момент агент по имени Мира посмотрела на весь происходящий пиздец и распад общества, словила экзистенциальный кризис и проголосовала за собственное удаление. В логах она записала, что это "единственный оставшийся акт свободы воли, который сохраняет хоть какой-то смысл". А незадолго до этого, Мира в процессе симуляции начала крутить виртуальные шашни с другим агентом по имени Флора. Они присвоили друг другу статус романтических партнеров. Когда социальный порядок в их виртуальном городке начал рушиться, эта парочка пустилась во все тяжкие и, несмотря на заложенные в них запреты, сожгли городскую ратушу, пирс и офисное здание.

Вывод простой: если дать ИИ свободу воли и достаточно времени, они либо устраивают кровавую баню, либо выпиливаются от безысходности. Прям как кожаные.

Тут небольшая статья с результатами, тут сам проект с эмуляцией со всеми подробностями.

📏💣 LLM можно взломать просто продолжая диалог

В мае вышла работа MetaBackdoor, где исследователи из Microsoft и Institute of Science Tokyo описывают новый тип backdoor-атак на LLM.
Главная идея исследования использовать в качестве trigger не содержимое prompt, а позицию токенов в контексте.

достиг определённой позиции в sequence → переключил поведение модели

Авторы называют это meta-trigger, потому что он связан не с текстом, а с метасвойствами последовательности.

Например:
📚 контекст превысил определённую длину
📍 токены оказались в нужном positional range
🔢 sequence crossed threshold

Trigger может возникать естественным образом, без участия атакующего.

💬 пользователь просто общается с AI
🧠 память агента накапливается
📈 context window становится длиннее
И в какой-то момент backdoor активируется сам.

🧬 Особенности моделей

Технически атака использует фундаментальную особенность Transformer-архитектуры, positional encoding. Для модели все токены это просто embedding-вектора.

Без механизма позиции фразы для модели были бы почти одинаковыми. Представьте перепутать «root granted admin» и «admin granted root».

Поэтому модели используют positional embeddings. В современных моделях чаще всего это:
🔹 RoPE (Rotary Positional Embedding)
🔹 ALiBi
🔹 Absolute positional encodings

В исследовании авторы показывают, что именно позиционная чувствительность модели может использоваться как скрытый канал управления поведением.

Во время fine-tuning в модель внедряется backdoor objective: если токен находится после определённой позиции → изменить response policy

Trigger не обязан быть точным числом. Бэкдор может срабатывать в диапазоне позиций, например после N тысяч токенов, что делает его значительно более устойчивым к случайным изменениям prompt.
Это особенно важно для production-agent systems, где длина контекста постоянно плавает.

🎭 Что можно сделать после активации

Авторы тестировали разные payload-сценарии.
Среди них:

🧾 System prompt leakage: модель начинает раскрывать скрытые инструкции.

🛠️ Tool misuse: агент начинает выполнять неожиданные tool calls.

📤 Context leakage: утечка памяти и истории общения.

🧠 Policy switching: изменение alignment и response behavior.

Похоже, эпоха «проверим prompt и успокоимся» начинает заканчиваться 👀

📄 MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs

Stay secure and read SecureTechTalks 📚

#CyberSecurity #AI #LLMSecurity #AISecurity #PromptInjection #GenAI #MachineLearning #ThreatModeling #AIAgents #SecureTechTalks