Что за паттерны?
Задумайтесь: мы работаем с LLM как с набором инструментов, а не как с волшебной коробочкой, которая даст вам готовый ответ на всё. Тут важно понимать, как и на каких этапах можно вмешиваться в процесс. Итак, рассмотрим паттерны работы с LLM по этапам: от ввода (Input) до вывода (Output). Я собрал основные подходы, которые помогут вам извлечь максимум пользы из нейросетей.

✔️ Входные данные: как настроить контекст

Всё начинается с контекста. Даем ли мы LLM достаточно информации для правильного понимания задачи? От этого зависит, как она сгенерирует ответ. Промптинг — это базовый шаг, где вы формулируете запрос, подставляя в него все необходимые переменные. Здесь важно быть максимально точным и учесть все нюансы. Вы также можете использовать такие технологии, как Retrieval-Augmented Generation (RAG), чтобы дополнить запрос свежей информацией из базы данных.

✔️ Управление рассуждениями: как заставить модель думать

Теперь, когда LLM понимает задачу, важно, чтобы она правильно решала её. Часто модели делают ошибки, пытаясь «сразу ответить». Чтобы этого избежать, можно разбить задачу на шаги. Например, используйте технику Chain of Thought (CoT), чтобы попросить модель «думать по шагам».

Другой интересный паттерн — это агенты и инструменты, которые предоставляют модели дополнительные возможности для работы с внешними системами, такими как поиск в интернете или доступ к API. С помощью инструментов модель может «вызывать» внешние функции, например, искать информацию в интернете или работать с базой данных.

✔️ Структурированные выводы: как гарантировать правильность результата

Порой важно, чтобы вывод был не только точным, но и структурированным. Для этого можно использовать структурированные выводы, например, Pydantic-классы, которые задают схему данных. Это поможет избежать ошибок в форматировании, а модель будет следовать правилам, не выходя за рамки нужной структуры.

✔️ Работа с результатом: как его обрабатывать и улучшать

После того как модель сгенерировала ответ, важно его проверить и отформатировать. Если ответ оказался ошибочным, используйте исправляющие промпты, чтобы модель перегенерировала результат с учётом ошибок.

Также не забывайте про Guardrails — фильтры безопасности, которые могут предотвратить нежелательные или опасные ответы. Это может быть полезно, например, для исключения токсичного контента или нежелательных результатов.

❌ Несуществующие места и опасные советы

Недавняя история из Перу – яркий пример того, как ИИ может сбить с толку. Путешественники, вооруженные рекомендациями из ChatGPT, искали путь к несуществующему Священному каньону Умантай. Они поверили в описание, которое звучало убедительно, но, как выяснилось, это был просто фальшивый маршрут, созданный ИИ. Разочарование могло закончиться трагически: местность в Перу требует четкого планирования и знания маршрутов, иначе можно попасть в экстремальные условия. Эта ошибка стоит напоминания: технологии — не всегда надежные советчики.

🥸 От ошибок к «галлюцинациям» ИИ

Система ИИ не «знает» фактов. Она лишь анализирует огромные объемы информации и создает текст, который звучит правдоподобно. Это приводит к так называемым «галлюцинациям» - когда ИИ выдает ложные или искаженные данные, при этом не имея никакого сомнения в их правдивости. Недавний случай, когда сервис Layla уверял путешественников, что в Пекине стоит Эйфелева башня, — это пример того, как быстро можно попасть в нелепую ситуацию, просто следуя советам ИИ.

💯 Неоправданная уверенность ИИ

Проблема в том, что ИИ часто выдает информацию с такой уверенностью, что пользователь не замечает ошибок. Причем такие галлюцинации могут быть не только смешными, но и опасными. Например, карты и маршруты, предложенные ИИ, могут привести нас в места, которые не существуют или которые не подходят для туристов. Проблемы появляются, когда люди, не проверяя информацию, следуют этим путеводителям.

📌 Почему AI-агенты — это не чат-боты

Одно из главных отличий, о котором говорит гайд, — это то, что AI-агенты — это не просто чат-боты, а полноценная парадигма. Мы не просто даем команду и получаем ответ. Агент, в отличие от бота, может планировать, принимать решения, привлекать различные источники данных и инструменты для решения комплексных задач. Это что-то гораздо более амбициозное. Например, агент может самостоятельно организовать запуск продукта или решить проблему в цепочке поставок.

Это, на мой взгляд, действительно переломный момент. Я сам, когда впервые создал простейшего агента, который выполняет сложные задачи без постоянного контроля, почувствовал, что это совсем не тот же чат-бот. Это совершенно новый класс решений, и Google, похоже, задает стандарты для всех нас.

🕯 ЛЛМ не достаточно — нужно строить инфраструктуру

Google прямо заявляет: даже самая мощная языковая модель не сделает агента работоспособным без грамотной инфраструктуры. Для того чтобы агент стал чем-то большим, чем просто демонстрацией возможностей LLM, нужна четкая архитектура, интеграция данных и скалируемые инструменты. И гайд подробно расписывает, что нужно для этого — от памяти и оркестрации до логики работы с внешними источниками.

Именно такие моменты зачастую игнорируются. Вначале создается нечто вроде скрипта с GPT-4 и API, а потом агент не выдерживает нагрузок и просто падает. Google предлагает решение: использовать готовую инфраструктуру, которая упрощает создание стабильного и работоспособного агента. Это каркас, который снимает часть головной боли и позволяет сосредоточиться на более важных аспектах.

⚠️ Погружение в реальность: от фантазий к фактам

Еще один важный момент — это Grounding. Как избежать «галлюцинаций» модели? Google предлагает привязать агента к достоверным источникам данных через методы, такие как Retrieval-Augmented Generation (RAG), что значительно повышает точность ответов. Агент становится не просто генератором текста, а исследователем, который проверяет свои данные.

Часто агенты, не подключенные к реальным источникам данных, могут выдавать совершенно некорректные ответы. Здесь, например, Google использует возможность интеграции с поисковыми системами, чтобы агент сам решал, когда и как использовать данные.

⛔️ Безопасность и этика — обязательные требования

Особое внимание уделяется безопасности. В процессе разработки AI-агентов важнейшим фактором является защита данных и этическое поведение. На этом этапе уже невозможно пускать все на самотек. Для таких проектов нужны системные проверки, ограничения и мониторинг на каждом шаге. У Google в этом плане четкий подход: безопасность должна быть встроена в процесс с самого начала.

📌 Тем не менее, есть ли альтернативы, которые могут радикально изменить картину? Ответ, возможно, в фотонике.

Мы все привыкли к идее «бесконечного» роста вычислительных мощностей, но с 2006 года закон Мура не работает, как раньше. Транзисторы почти достигли своих физических пределов, а производительность процессоров больше не зависит от тактовой частоты. Все больше мы видим отказ от принципа моноядерных процессоров в пользу многоядерных решений, но тут тоже есть проблемы. Многозадачность и многопоточность, несмотря на свою популярность, не всегда приносят реальный выигрыш.

Задумайтесь на секунду: это ли не прямой путь к масштабированию проблем, а не их решению? Как бы мы ни пытались улучшить старую архитектуру, её физические ограничения — перегрев, высокое энергопотребление и медленный доступ к памяти — всё равно остаются.

💬 Фотоника: революционный шаг вперёд

Вот тут и появляется возможность для изменения парадигмы — фотоника. Это технология, основанная на использовании света для передачи данных. В отличие от традиционных электроники, фотоника позволяет значительно ускорить вычисления благодаря скорости распространения света и моментальному изменению состояний.

🕯 Фотонные устройства обладают множеством преимуществ: они не перегреваются, потребляют гораздо меньше энергии и могут работать с гигантскими объёмами данных. Но есть и сложности — например, трудность хранения данных. В фотонных системах оперативная память почти не используется, а данные обрабатываются по принципу параллельных вычислений с разными длинами волн.

Но эти ограничения могут стать преимуществами в специфических задачах — например, в инференсе ИИ, где важна высокая пропускная способность и минимальное энергопотребление. И тут фотоника может стать настоящей находкой, особенно если говорить о масштабных проектах, таких как вычислительные фабрики.

• Текстовые инструменты: генерация текста, перевод, анализ тональности, редактирование.
• Файловые операции: конвертация файлов, их сжатие, разделение и объединение.
• Медиаобработка: редактирование изображений и видео, аудио-конвертеры.
• Разработка: валидация кода, его форматирование и минификация.
• Продуктивность: таймеры Pomodoro, календари и планировщики задач.
• Безопасность: шифрование данных, генерация паролей и проверка безопасности.

Что же отличает этот подход от обычных поисковых систем? В том, что агент не просто делает один запрос и «сдаётся». Он строит целую цепочку шагов, как опытный аналитик, постепенно уточняя информацию и проверяя факты.

❓ Как работает агент?

Основной принцип работы модели заключается в чередовании двух инструментов: поиска и просмотра страниц. Поиск предоставляет список URL с короткими фрагментами текста, а просмотр — длинные фрагменты выбранных страниц. Все найденные данные фиксируются в контексте, создавая «след», который агент использует для дальнейших шагов, а не полагается исключительно на память.

Команда не использовала стандартные API для поиска. Вместо этого был создан собственный конвейер, который фильтрует и обрабатывает информацию гораздо точнее. Результаты поиска проходят через BM25, эмбеддинги и ререйканинг, что даёт возможность LLM собирать более точные и тематичные сниппеты.

❗️ Почему обычный «вики-ретривер» не подходит?

InfoAgent делает акцент на задаче, где важно не просто находить факты, а проверять их на глубоком уровне. Для этого они специально «размывают» данные — имена заменяются на описания, даты превращаются в диапазоны, а точные формулировки перефразируются. Это заставляет модель не торопиться и искать более точные данные. При этом вопросы подбираются таким образом, чтобы агент не мог дать быстрый ответ — они требуют развернутого анализа.

⁉️ Как обучают модель?

Основным этапом обучения является создание длинных траекторий запросов, иногда до 20 шагов, где каждый запрос уточняет предыдущий. Изначально агент учится на размеченных данных (SFT), а затем проходит этап усиления с помощью обучения с подкреплением (RL). Это помогает модели не останавливаться на первом попавшемся ответе, а продолжать искать до тех пор, пока не будет найдено точное решение.

🔼 На практике, агент InfoAgent демонстрирует выдающиеся результаты. Например, на сложных бенчмарках он показывает отличные результаты, часто обходя более крупные модели с большим количеством параметров. При этом переход от SFT к RL существенно повышает точность поиска, делая результаты более разнообразными и точными.

— Стажировки, ориентированные на развитие софт скиллов — причем даже в откликах на аналитические вакансии.

— Учёба за границей ожидаемо также повышает шансы найти быстро свою первую работу.

— Программирование + анализ данных дает жирный плюс к коллбэкам. При этом по отдельности эти навыки эффекта не имеют.