Как протестировать то, что каждый раз отвечает по-разному?
Тестирование AI-агентов — главный челлендж 2026 года. Обычные автотесты здесь не работают. Мы включили в обновлённый курс «Разработка AI-агентов» полноценный модуль по QA и метрикам качества.
QA-трек в программе:
🔹 Измеримость качества. Как настроить метрики производительности и точности ответов (`Evaluation`).
🔹 Регрессионное тестирование AI. Методы выявления деградации модели при обновлении промптов или пайплайнов.
🔹 Human-in-the-loop. Интеграция ручного подтверждения для критических кейсов.
🔹 Отладка. Использование
Стартуй сейчас! Покупаешь курс — сразу получаешь доступ к материалам.
🎟 ПромокодAgent — скидка 10 000 ₽ (до 28 февраля).
👉 Научиться тестировать AI-системы
Тестирование AI-агентов — главный челлендж 2026 года. Обычные автотесты здесь не работают. Мы включили в обновлённый курс «Разработка AI-агентов» полноценный модуль по QA и метрикам качества.
QA-трек в программе:
🔹 Измеримость качества. Как настроить метрики производительности и точности ответов (`Evaluation`).
🔹 Регрессионное тестирование AI. Методы выявления деградации модели при обновлении промптов или пайплайнов.
🔹 Human-in-the-loop. Интеграция ручного подтверждения для критических кейсов.
🔹 Отладка. Использование
time-travel в LangGraph для воспроизведения ошибок и анализа состояний.Стартуй сейчас! Покупаешь курс — сразу получаешь доступ к материалам.
🎟 Промокод
👉 Научиться тестировать AI-системы
🥰3
Прежде чем писать тест-кейсы и открывать Postman, задайте себе эти вопросы. Они экономят часы и спасают от «почему это не проверили?».
Новая логика? UI? API? Без понимания масштаба оценка и тестирование будут неточными.
Изменения редко изолированы. Проверьте соседние функции и зависимости.
Платежи, внешние API, очереди, сторонние сервисы. Интеграции = дополнительные риски.
Admin ≠ User ≠ Guest. Проверьте права доступа и ограничения.
Пустые поля, спецсимволы, длинные строки, отрицательные значения. Границы — любимое место багов.
Если логика меняется — что ещё может сломаться? Оцените объём дополнительной проверки.
Стабильность билда, тестовые данные, версии API. Иногда проблема не в коде, а в окружении.
Изменения в функционале → изменения в тестовой базе.
Нет финального дизайна? API ещё меняется? Это влияет на эстимацию.
Закроет вкладку. Обновит страницу. Нажмёт дважды. Попробует обойти логику.
#артефакт
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩5🥰3
⏳ Что такое эстимация в тестировании
Эстимация — это ответ на вопрос:
Это не угадывание и не «на глаз». Это прогноз объёма работы с учётом:
— количества сценариев
— регрессии
— интеграций
— рисков и нестабильности среды
🔤 Если проще, то вы оцениваете не время, а сложность. Время — это уже следствие.
📍 Навигация: [Вакансии]
🐸 Библиотека тестировщика
#теория_на_пальцах
Эстимация — это ответ на вопрос:
«Сколько времени нужно на тестирование задачи?»
Это не угадывание и не «на глаз». Это прогноз объёма работы с учётом:
— количества сценариев
— регрессии
— интеграций
— рисков и нестабильности среды
#теория_на_пальцах
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🥰2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
JOIN — это способ соединить данные из разных таблиц по общему полю.
В видео разбирают:
— разницу между INNER и LEFT JOIN
— почему строки могут «пропадать»
— как формируется итоговый результат
Подойдёт новичкам, тем, кто путается в JOIN, и всем, кто хочет перестать писать запросы вслепую.
#карьерный_трек
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🥰3🤩2
Middle QA-engineer — ~ 100 000 ₽, удаленно
Middle QA-разработчик — 190 000 ₽, удаленно
QA инженер — 80 000 - 120 000 ₽, офис, Санкт-Петербург
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🤔2
Чек-лист_доступности_QA.pdf
26.9 KB
Краткий список проверок, которые стоит проходить перед релизом:
Без теории — только практические пункты для ручной проверки.
С вас ❤️, если полезно
#артефакт
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍3🤩2🥰1
FitNesse — open-source инструмент для приёмочного тестирования. Позволяет описывать поведение системы в виде таблиц на Wiki-страницах и сразу исполнять их как автотесты.
Суть простая:
вы пишете таблицу → связываете её с кодом → получаете исполняемую спецификацию.
— важна прозрачность требований
— нужно приёмочное тестирование
— команда работает в enterprise (часто Java/.NET)
Интерфейс устаревший, инструмент не модный. Но в правильном контексте — может быть полезнее, чем кажется.
#тест_драйв
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🥰2👍1
Библиотека тестировщика | QA, тестирование, quality assurance, manual testing, autotesting, ручное тестирование, автотесты
В чём разница между RBAC и ABAC? Когда RBAC уже недостаточно?
ABAC (Attribute-Based Access Control) — доступ определяется набором атрибутов: пользователь, ресурс, действие, контекст.
RBAC ломается, когда:
— ролей становится слишком много
— появляются временные ограничения
— правила зависят от владельца ресурса или динамических условий
ABAC гибче, но сложнее в поддержке и тестировании.
— проверить комбинации атрибутов
— протестировать конфликтующие правила
— проверить fallback-поведение
👍 — знал/а
🔥 — стало понятнее
#карьерный_трек #middle
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍3🥰2
🧪 Обновления Postman
На этой неделе Postman выкатил несколько изменений, которые напрямую затрагивают API-тестирование и аналитику.
❇️ Postman 11.85.0
Обновлён Reports (Enterprise):
➕ Полезно для QA-лидов и команд, которые строят метрики качества и автоматизации.
❇️ Postman 11.85.1
Добавлены AI request blocks в Postman Notebooks:
➕ Это шаг к AI-поддержке тестирования прямо внутри документации и сценариев.
📊 Интересно ли вам больше таких дайджестов обновлений QA-инструментов?
👍 — да, делайте регулярно
🔥 — давайте ещё и по Playwright / Cypress
❤️ — интереснее практические кейсы применения
📍 Навигация: [Вакансии]
🐸 Библиотека тестировщика
#release_notes #postman
На этой неделе Postman выкатил несколько изменений, которые напрямую затрагивают API-тестирование и аналитику.
Обновлён Reports (Enterprise):
— расширенная аналитика по командам и рабочим областям
— новые метрики по API-взаимодействиям
— добавлены API-эндпоинты для выгрузки данных отчётов
Добавлены AI request blocks в Postman Notebooks:
— можно вставлять AI-блоки прямо в ноутбуки
— анализировать ответы API с помощью моделей
— строить логику поверх результатов
👍 — да, делайте регулярно
🔥 — давайте ещё и по Playwright / Cypress
❤️ — интереснее практические кейсы применения
#release_notes #postman
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥5❤2🥰2
Как тестировать ИИ, если он каждый раз отвечает по-разному?
Тестирование LLM-агентов в 2026 году — это не проверка кнопок. Системы непредсказуемы, склонны к галлюцинациям и могут уйти в бесконечный цикл. QA-инженеры, умеющие оценивать качество ИИ — на вес золота.
Мы пересобрали курс по AI-агентам, сделав огромный акцент на оценку качества, измеримость и выявление регрессий. Теперь это гайд по созданию и контролю стабильных production-систем.
Чему вы научитесь на курсе:
🔹 тестировать RAG: оценивать качество извлечения данных из сканов и сложных таблиц;
🔹 проверять логику: использовать time-travel для отката состояний и диагностики проблем;
🔹 контролировать затраты: тестировать лимиты, кэш и переключение экономных режимов;
🔹 тестировать UI-агентов: работа с визуальными подтверждениями и legacy-интерфейсами;
🔹 проверять комплаенс: аудит ИИ-решений на соответствие закону 152-ФЗ.
Забирайте скидку 10 000 рублей по промокоду
Через акцию «3 курса по цене 1» вы получите ещё два направления в подарок.
Освоить QA для AI-агентов
Тестирование LLM-агентов в 2026 году — это не проверка кнопок. Системы непредсказуемы, склонны к галлюцинациям и могут уйти в бесконечный цикл. QA-инженеры, умеющие оценивать качество ИИ — на вес золота.
Мы пересобрали курс по AI-агентам, сделав огромный акцент на оценку качества, измеримость и выявление регрессий. Теперь это гайд по созданию и контролю стабильных production-систем.
Чему вы научитесь на курсе:
🔹 тестировать RAG: оценивать качество извлечения данных из сканов и сложных таблиц;
🔹 проверять логику: использовать time-travel для отката состояний и диагностики проблем;
🔹 контролировать затраты: тестировать лимиты, кэш и переключение экономных режимов;
🔹 тестировать UI-агентов: работа с визуальными подтверждениями и legacy-интерфейсами;
🔹 проверять комплаенс: аудит ИИ-решений на соответствие закону 152-ФЗ.
Забирайте скидку 10 000 рублей по промокоду
Agent (действует до 28 февраля).Через акцию «3 курса по цене 1» вы получите ещё два направления в подарок.
Освоить QA для AI-агентов
🥰3🤩2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁10🤩2
Postman — базовый инструмент для API-тестирования. И почти на каждом интервью проверяют не интерфейс, а понимание:
— HTTP-методов и идемпотентности
— переменных и окружений
— тестов на JavaScript
— цепочек запросов
— mock-серверов и мониторинга
— Newman и CI/CD
— проверки схемы, времени ответа и rate limiting
Проверьте себя: сможете ответить на большинство без подсказок?
#карьерный_трек
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤2🥰2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁10🤩2
🔍 Как тестировать то, что меняется само? QA в мире AI-агентов 2026 года
Классические автотесты пасуют перед стохастичностью
📚 В обновлённой программе:
— инжиниринг качества: измерение производительности и методы тестирования агентов;
—
— диагностика проблем: механизм
— промышленный
Получите доступ к предварительным материалам курса сразу после оплаты — начните погружение в
⏳ Специальные условия до 28 февраля:
— введите промокод
— участвуйте в **акции «3 курса по цене 1» — два курса на выбор в подарок.
👉 Получить доступ к курсу и подаркам
Классические автотесты пасуют перед стохастичностью
LLM. В обновлённом курсе мы учим выстраивать систему метрик, выявлять регрессии и обеспечивать стабильность работы агентов в продакшене.📚 В обновлённой программе:
— инжиниринг качества: измерение производительности и методы тестирования агентов;
—
LangGraph для QA: использование human-in-the-loop для утверждения решений;— диагностика проблем: механизм
time-travel для разбора отказов системы;— промышленный
RAG: верификация ответов при работе с таблицами и сканами.Получите доступ к предварительным материалам курса сразу после оплаты — начните погружение в
QA для AI.⏳ Специальные условия до 28 февраля:
— введите промокод
Agent для получения скидки 10 000 рублей**; — участвуйте в **акции «3 курса по цене 1» — два курса на выбор в подарок.
👉 Получить доступ к курсу и подаркам
🤩3🥰2😢1
Какой из способов правильно сохраняет значение из ответа для использования в следующем запросе ❓
Anonymous Quiz
47%
pm.environment.set("userId", pm.response.json().id);
26%
pm.response.save("userId");
9%
pm.global.push("userId", response.id);
18%
postman.setVariable("userId", id);
👍6❤2🤩2
Это код, который выполняется до отправки запроса На пальцах: это «подготовительный этап» перед выстрелом.
— сгенерировать токен
— поставить текущую дату или timestamp
— посчитать подпись запроса
— обновить переменные окружения
— подставить динамические данные
API требует токен. Вместо того чтобы вручную вставлять его каждый раз, вы в Pre-request автоматически получаете новый токен и сохраняете его в переменную. Запрос уходит уже с актуальными данными.
Это нужно, когда запрос зависит от динамики, а не от статичных значений.
#теория_на_пальцах
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩3👍2🥰2
Если хотите прокачать API не на «теории», а на реальных запросах — вот рабочие песочницы от Ольги Назиной.
Практика с полноценным API и подключённой базой данных. Можно отрабатывать:
— CRUD-операции
— проверки данных в БД
— валидацию ответов
— негативные сценарии
Классическая тренировка:
— методы GET/POST/PUT/DELETE
— XML и JSON
— коды ответа
— авторизация
Отдельная песочница под GraphQL:
— запросы и мутации
— работа со схемой
— вложенные структуры
— проверки структуры ответа
— Junior для базы
— Middle для систематизации
— тем, кто готовится к собеседованию по API
#артефакт
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤩4🥰3👍2🔥1
QA — это не только про баги. Это точка входа в системное понимание продукта.
От требований до продакшена. QA понимает, где теряется логика, где ломается интеграция и где страдает пользователь.
«Не описано» — не значит «не важно». Тестировщик замечает пробелы раньше, чем они становятся проблемой.
Не функциями, а поведением. Это фундамент для продуктового мышления.
Кто пострадает? Какой масштаб? Можно ли выпускать? Это уже уровень принятия решений, а не просто проверки.
QA регулярно задаёт вопрос: «А человеку это вообще удобно?»
— системный аналитик
— продуктовый менеджер
— тимлид
#карьерный_трек
Please open Telegram to view this post
VIEW IN TELEGRAM
🥰7❤4🤩3🌚1💯1
Как вы видите своё развитие в QA ❓
Anonymous Poll
57%
Останусь в тестировании и буду расти до Senior / Lead
6%
Планирую перейти в аналитику
9%
Интересен продуктовый менеджмент
28%
Пока не задумывался(ась), работаю над базой
🤩4🥰2
Когда нужно быстро понять — API тормозит или нет — не обязательно открывать Postman.
Достаточно одной команды:
curl -o /dev/null -s -w "DNS: %{time_namelookup}s\nConnect: %{time_connect}s\nTTFB: %{time_starttransfer}s\nTotal: %{time_total}s\n" https://api.example.com
— DNS — время резолва
— Connect — установка соединения
— TTFB — время до первого байта
— Total — полный ответ
— быстрый smoke перед релизом
— сравнение dev / stage / prod
— проверка деградации после изменений
— аргументированный баг «API отвечает 1.8s вместо 300ms»
Иногда CLI даёт больше, чем GUI.
#тест_драйв
Please open Telegram to view this post
VIEW IN TELEGRAM
🥰6🤩2🔥1