Как нормально тестировать AI-агента, если правильный ответ ещё ничего не доказывает

У обычного чат-бота можно проверить финальный ответ. С агентами этого уже мало: модель может выдать вполне убедительный текст, но перед этим выбрать не тот skill, вызвать неправильный tool, потерять контекст на втором сообщении или выполнить только половину задачи.

Ed Crewe описал, как они строили eval-фреймворк для агентного чат-бота вокруг Postgres AI Hybrid Manager.

Начали с простого routing eval: для каждого запроса проверяется, выбрал ли агент нужный skill или tool. Это быстро, детерминированно и удобно гонять в CI.

Следующий слой- Task Completion Rate. Здесь уже оценивается сам результат: выполнил ли агент задачу, использовал ли нужные данные, предложил ли адекватный следующий шаг. Для таких проверок используется LLM-as-a-judge и заранее заданная rubric.

Но и этого оказалось мало. Реальные задачи часто состоят из нескольких сообщений, поэтому тестировать приходится уже целые диалоги с сохранением conversation state и отдельными проверками каждого шага.

Финальный уровень — trajectory testing: смотреть не только на ответ, а на весь путь агента к нему: маршрутизацию, выбор skills, tool calls, промежуточные действия, состояние диалога и итоговый результат.

Получается уже почти классическое E2E-тестирование, только объект проверки здесь не HTTP-запрос или UI, а поведение AI-агента целиком.

В основе автор использует deepeval, поверх которого добавлены YAML goldens, CI, плагины, multi-turn evals и телеметрия через Langfuse.

https://edcrewe.blogspot.com/2026/08/from-routing-checks-to-trajectory.html

25 августа встречаемся на Agentic Coding Meetup в Сбер.Среде и в онлайне⚡️

AI-агенты уже умеют писать код. Но самое интересное начинается дальше — когда вместе с инструментами меняются роли инженеров, команды и сам процесс разработки.

🔥 Поговорим о том, как agentic coding выглядит на практике: новые инженерные роли и модели команд, SDD и трансформация процессов, coding-агенты и инструменты, подходы к постановке задач и управлению контекстом, а также опыт внедрения AI в разработку больших технологических компаний.

⏳ Начало в 17:00, встреча очных гостей — в 16:00.

Количество очных мест ограничено — успейте зарегистрироваться!

Для тех, кто работает с ACP-агентами из терминала, появился простой REPL

acp-repl запускает любой stdio-сервер с поддержкой Agent Client Protocol и позволяет общаться с агентом прямо из терминала: отправлять промпты, создавать сессии, переключать модель и режим, обрабатывать permission-запросы и смотреть debug-логи.

Работает не с одним конкретным агентом. В README есть примеры для OpenCode, Codex, Claude Code и Pi, плюс можно подключить любой другой ACP-совместимый executable.

Удобная штука для быстрой проверки агента до того, как встраивать его в свой runtime или приложение. Можно сравнить поведение разных моделей и режимов, проверить permissions или просто понять, нормально ли стартует конкретный ACP-провайдер.

Запуск через npm:

npm install -g @normahq/acp-repl@latest

acp-repl -- opencode acp

Репозиторий:
https://github.com/normahq/acp-repl

Python Game Server: простой сервер для пошаговых мультиплеерных игр

python-game-server — лёгкий open source-фреймворк на Python для создания пошаговых мультиплеерных игр.

Он даёт готовую серверную основу, чтобы не писать с нуля комнаты, игровые сессии и сетевое взаимодействие.

Из коробки есть:

— единый API для разных игр
— несколько параллельных игровых сессий
— подключение к конкретной комнате
— автоматический вход в ближайшую свободную сессию
— возможность относительно легко добавлять новые игры

Проект рассчитан в первую очередь на настольные, карточные и другие turn-based игры. Для написания клиентов и новых игровых механик, по словам автора, достаточно базового знания Python.

В репозитории уже больше 600 коммитов, отдельно лежат клиентская и серверная части.

GitHub: https://github.com/feberts/python-game-server

🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку

Окружение решает больше, чем кажется.

Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.

AI: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
DevOps: t.me/DevOPSitsec
Docker: https://t.me/+90Z5TAyfuNU5YmRi
Golang: t.me/Golang_google
Rust: t.me/rust_code
C++: t.me/cpluspluc
C#: t.me/csharp_1001_notes
Java: t.me/javatg
JavaScript: t.me/javascriptv
React: t.me/react_tg
Frontend: t.me/front
PHP: t.me/phpshka
Android: t.me/android_its
Мобильная разработка: t.me/mobdevelop
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
Big Data: t.me/bigdatai
Математика: t.me/data_math
Физика: t.me/fizmat
Kubernetes: t.me/kubernetc
GameDev: https://t.me/gamedev
Haskell: t.me/haskell_tg

Собеседования и карьера:

DS собеседования: t.me/machinelearning_interview
Python собеседования: t.me/python_job_interview

Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.me/addlist/mzMMG3RPZhY2M2Iy

Полезное сверху:

ИТ-мемы: t.me/memes_prog
Английский для программистов: t.me/english_forprogrammers
ИИ и технологии: t.me/vistehno
954 ГБ open-source курсов: https://t.me/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg

Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.

Лицо C++-разработчика, когда он написал 6000 строк кода, чтобы обогнать твои 4 строки на Python на 0,000438 секунды.

10 открытых GitHub-репозиториев для изучения Python

1. 30 Days of Python - курс от основ до более продвинутых тем за 30 дней.
https://github.com/Asabeneh/30-Days-Of-Python

2. Learn Python - компактный учебник с примерами: типы, функции, ООП, декораторы, генераторы и многое другое.
https://github.com/trekhleb/learn-python

3. The Algorithms — Python - сотни алгоритмов и структур данных с реализациями на Python.
https://github.com/TheAlgorithms/Python

4. Python Mini Projects — много небольших проектов, на которых удобно набивать руку.
https://github.com/Python-World/python-mini-projects

5. Interactive Coding Challenges - задачи по алгоритмам, структурам данных и программированию с решениями.
https://github.com/donnemartin/interactive-coding-challenges

6. Python Patterns - паттерны проектирования и идиоматичный Python на реальных примерах.
https://github.com/faif/python-patterns

7. Learn Python 3 - хороший набор примеров и упражнений от базового синтаксиса до продвинутых возможностей языка.
https://github.com/jerry-git/learn-python3

8. Real Python Materials - исходники и примеры к большому количеству обучающих материалов Real Python.
https://github.com/realpython/materials

9. 100+ Python Challenging Programming Exercises - большая коллекция задач с постепенным ростом сложности.
https://github.com/zhiwehu/Python-programming-exercises

10. Awesome Python - огромный каталог библиотек, фреймворков и инструментов Python. Полезен, когда базу уже прошёл и хочется понять экосистему.
https://github.com/vinta/awesome-python

Если идти по порядку, я бы начал с 30 Days of Python → Learn Python → Mini Projects → The Algorithms → Python Patterns. Так получится путь от синтаксиса до алгоритмов и нормального продакшен-кода.

Python, который мы заслужили!

🐧 Сегодня Linux исполняется 35 лет

25 августа 1991 года Линус Торвальдс впервые публично рассказал о своём «небольшом хобби-проекте».

Прошло 35 лет - и Linux стал фундаментом серверов, облаков, Android, суперкомпьютеров и огромной части современной инфраструктуры.

В честь дня рождения Linux собрали 10 GitHub-репозиториев, которые реально помогают его изучать:

1. Linux Upskill Challenge
Практический курс по Linux-серверам, SSH, systemd, процессам и администрированию.
https://github.com/livialima/linuxupskillchallenge

2. The Art of Command Line
Командная строка, Bash, pipes, grep, awk, sed и куча полезных CLI-приёмов.
https://github.com/jlevy/the-art-of-command-line

3. linux-insides
Один из лучших проектов для изучения внутреннего устройства Linux kernel.
https://github.com/0xAX/linux-insides

4. DevOps Exercises
Сотни практических задач по Linux, networking, systemd, storage и troubleshooting.
https://github.com/bregman-arie/devops-exercises

5. tldr-pages
Короткие и понятные примеры использования Linux-команд.
https://github.com/tldr-pages/tldr

6. Bash Handbook
Хорошая база по Bash scripting: переменные, циклы, функции, условия и pipes.
https://github.com/denysdovhan/bash-handbook

7. The Book of Secret Knowledge
Огромная коллекция Linux/Unix/DevOps шпаргалок, one-liners и инструментов.
https://github.com/trimstray/the-book-of-secret-knowledge

8. strace
Отличный способ понять Linux через системные вызовы и отладку процессов.
https://github.com/strace/strace

9. systemd
Для тех, кто хочет глубже разобраться в services, units, journal и устройстве современного Linux userspace.
https://github.com/systemd/systemd

10. Linux Kernel
Исходный код самого Linux. Финальный уровень, если хочется посмотреть, как всё устроено на самом деле.
https://github.com/torvalds/linux

Если не знаете, с чего начать:
Linux Upskill Challenge → Art of Command Line → Bash → strace → linux-insides → kernel.

С днём рождения, Linux. Неплохо для проекта, который начинался как «просто хобби» 🐧

Яндекс запускает юбилейный сезон Тренировок по алгоритмам 🎉

Интенсив продлится две недели и охватит три крупные темы с видеоуроками, практическими задачами и их разборами. В этот раз разбираем темы, которые часто спрашивают на алгоритмических собеседованиях разработчиков:

🔹 Стеки: вызов функций, рекурсия, арифметические выражения, скобочные последовательности, поиск ближайших меньших элементов.
🔹 Очереди, деки, кучи: научимся реализовывать структуру данных для очереди разными способами
🔹 Сортировки: разберемся, как устроены сортировки внутри, как их реализовать, что такое «устойчивость» и в каких случаях какую сортировку нужно выбирать

Выбери свой вариант участия:

🔸 Тренировка — решай задачи в своём темпе и получи сертификат о прохождении курса.
🔸 Соревнование — проверь себя на задачах, приближенных к интервью, соревнуйся с другими участниками и получи шанс попасть на офлайн-интенсив в Москве.

Среди участников, решивших все задания, разыграют 30 карьерных консультаций, а лучшие на офлайн-интенсиве смогут попасть на пробные собеседования.

Старт сезона — 4 сентября. Участие бесплатное, но необходимо подать заявку.

50 сайтов, на которых можно зависнуть на несколько часов

1. https://zoom.earth — Земля со спутника почти в реальном времени.
2. https://flightradar24.com — все самолёты в небе прямо сейчас.
3. https://marinetraffic.com — отслеживание кораблей по всему миру.
4. https://windy.com — ветры, осадки и штормы на живой карте.
5. https://lightningmaps.org — молнии по всему миру в реальном времени.
6. https://earthquake.usgs.gov — последние землетрясения.
7. https://submarinecablemap.com — карта подводных интернет-кабелей.
8. https://globalforestwatch.org — состояние лесов со спутников.
9. https://worldometers.info — мировая статистика в реальном времени.
10. https://internetlivestats.com — что происходит в интернете прямо сейчас.
11. https://thetruesize.com — реальные размеры стран.
12. https://oldmapsonline.org — старинные карты мира.
13. https://davidrumsey.com — огромный архив исторических карт.
14. https://openstreetmap.org — карта мира от сообщества.
15. https://window-swap.com — случайный вид из чужого окна.
16. https://virtualvacation.us — виртуальные прогулки по городам.
17. https://mapcrunch.com — случайная точка мира в Street View.
18. https://atlasobscura.com — самые необычные места планеты.
19. https://neal.fun — залипательные интерактивные эксперименты.
20. https://htwins.net/scale2 — от атома до Вселенной.
21. https://eyes.nasa.gov — 3D-модель Солнечной системы.
22. https://stellarium-web.org — карта звёздного неба.
23. https://apod.nasa.gov — астрономическое фото дня.
24. https://images.nasa.gov — фото- и видеоархив NASA.
25. https://pudding.cool — интерактивные истории на данных.
26. https://ourworldindata.org — данные о том, как меняется мир.
27. https://gapminder.org — проверка популярных заблуждений о мире.
28. https://informationisbeautiful.net — красивые визуализации данных.
29. https://data.worldbank.org — открытая статистика Всемирного банка.
30. https://data.tuik.gov.tr — официальная статистика Турции.
31. https://archive.org — книги, фильмы, сайты, игры и старое ПО.
32. https://gutenberg.org — десятки тысяч бесплатных книг.
33. https://openlibrary.org — огромный каталог книг.
34. https://loc.gov — цифровой архив Библиотеки Конгресса.
35. https://europeana.eu — культурное наследие Европы онлайн.
36. https://dp.la — цифровые коллекции библиотек США.
37. https://artsandculture.google.com — музеи и искусство онлайн.
38. https://rijksmuseum.nl — искусство в высоком разрешении.
39. https://wikiart.org — огромный архив живописи.
40. https://publicdomainreview.org — забытые материалы из истории.
41. https://openculture.com — бесплатные книги, фильмы и курсы.
42. https://metmuseum.org — онлайн-коллекция Метрополитен-музея.
43. https://musicmap.info — история музыкальных жанров.
44. https://radiooooo.com — музыка по странам и десятилетиям.
45. https://listen.hatnote.com — правки Википедии, превращённые в звуки.
46. https://wikipedia.org/wiki/Special:Random — случайная статья Википедии.
47. https://timeanddate.com — время, восходы, затмения и астрономия.
48. https://sciencedaily.com — свежие научные новости.
49. https://arxiv.org — бесплатные научные препринты.
50. https://observablehq.com — интерактивные данные и визуализации.

Интернет гораздо больше, чем несколько сайтов, которые мы открываем каждый день.

⚡️ Claude Code и Codex можно запускать БЕСПЛАТНО

Появился open-source инструмент, который проксирует запросы coding-агентов через десятки бесплатных AI-провайдеров.

Что умеет:

- до 1,5 млрд бесплатных токенов в месяц
- автоматическое переключение между моделями при сбоях
- оптимизация расхода токенов - заявлена экономия до 90%
- поддержка Claude Code, Codex и Hermes Agent
- работа из терминала, IDE и desktop-приложений
- голосовой ввод промптов
- поддержка tools, skills, изображений и других возможностей агентов

Можно собрать единый бесплатный роутер и не зависеть от одного провайдера.

https://github.com/Alishahryar1/free-claude-code