#proQuality_books #softwareTesting #securityTesting
📖 Hacking APIs: Breaking Web Application Programming Interfaces (2022)
Автор: Corey J. Ball
Количество страниц: 368
Язык издания: Английский
Практическое руководство по тестированию безопасности веб-API. Охватывает жизненный цикл API, настройку тестовой лаборатории, разведку и анализ эндпоинтов, уязвимости аутентификации, инъекции, атаки на JWT и GraphQL. Материал подкреплён девятью практическими labs на намеренно уязвимых API.
Плюсы:
➕ Отличная структура и лёгкий авторский стиль.
➕ Подробный разбор инструментов: Burp Suite, Postman, Kiterunner, OWASP Amass.
➕ Советы по автоматизации и обходу защитных механизмов — полезны как новичкам, так и опытным пентестерам.
Минусы:
➖ Бумажная версия неудобна из-за длинных URL — рекомендуется цифровая.
➖ В описании операций с инструментами иногда не хватает скриншотов.
Для кого книга:
✔️ Для начинающих специалистов по кибербезопасности и пентесту, осваивающих тестирование API.
✔️ Для баунти-хантеров, ищущих сложные уязвимости в веб-приложениях.
✔️ Для разработчиков, QA-инженеров и DevSecOps-специалистов, создающих более защищённые API.
Об авторе:
Corey J. Ball — опытный пентестер, ментор и исследователь безопасности, специализирующийся на оценке защищённости приложений и API.
📖 Hacking APIs: Breaking Web Application Programming Interfaces (2022)
Автор: Corey J. Ball
Количество страниц: 368
Язык издания: Английский
Практическое руководство по тестированию безопасности веб-API. Охватывает жизненный цикл API, настройку тестовой лаборатории, разведку и анализ эндпоинтов, уязвимости аутентификации, инъекции, атаки на JWT и GraphQL. Материал подкреплён девятью практическими labs на намеренно уязвимых API.
Плюсы:
➕ Отличная структура и лёгкий авторский стиль.
➕ Подробный разбор инструментов: Burp Suite, Postman, Kiterunner, OWASP Amass.
➕ Советы по автоматизации и обходу защитных механизмов — полезны как новичкам, так и опытным пентестерам.
Минусы:
➖ Бумажная версия неудобна из-за длинных URL — рекомендуется цифровая.
➖ В описании операций с инструментами иногда не хватает скриншотов.
Для кого книга:
✔️ Для начинающих специалистов по кибербезопасности и пентесту, осваивающих тестирование API.
✔️ Для баунти-хантеров, ищущих сложные уязвимости в веб-приложениях.
✔️ Для разработчиков, QA-инженеров и DevSecOps-специалистов, создающих более защищённые API.
Об авторе:
Corey J. Ball — опытный пентестер, ментор и исследователь безопасности, специализирующийся на оценке защищённости приложений и API.
❤3👍2
#ProQuality_tools
🚀 Postman вступает в эру ИИ-агентов: представлен новый AI-стек!
Всем привет! 👋 Если автоматизация и тестирование API — часть вашей рутины, эта новость точно заслуживает внимания.
Postman официально объявил об эволюции своей платформы и подготовке к так называемой «эре агентов» (agentic era). Разработчики представили новый AI-нативный стек, созданный специально для того, чтобы помочь компаниям работать с искусственным интеллектом через API.
Поскольку ИИ-агенты становятся самостоятельными и очень активными «пользователями» API, Postman внедряет новые инструменты.
Вот что теперь можно делать с помощью Postman AI:
🔍 Обнаруживать и масштабировать: легко находить нужных ИИ-агентов и масштабировать их работу через API.
🛡 Управлять и защищать: выстраивать строгую архитектуру безопасности и регламентировать работу автономных агентов.
📊 Контролировать ресурсы: сохранять полный контроль над уровнями доступа, потенциальными рисками и финансовыми затратами (что особенно важно при работе со сторонними LLM).
Для нас, тестировщиков, это означает важный сдвиг в индустрии: теперь при проверке API нужно учитывать не только то, как с ними взаимодействует фронтенд или человек, но и то, как их будут использовать автономные ИИ-агенты. 🤖
🔗 Computing is changing, so is Postman – Introducing Postman.ai
💬 Как считаете, усложнит ли массовое внедрение ИИ-агентов процессы тестирования API? Приходилось ли вам уже писать тесты с учетом того, что эндпоинты будут использовать нейросети? Делитесь мыслями и опытом в комментариях! 👇
🚀 Postman вступает в эру ИИ-агентов: представлен новый AI-стек!
Всем привет! 👋 Если автоматизация и тестирование API — часть вашей рутины, эта новость точно заслуживает внимания.
Postman официально объявил об эволюции своей платформы и подготовке к так называемой «эре агентов» (agentic era). Разработчики представили новый AI-нативный стек, созданный специально для того, чтобы помочь компаниям работать с искусственным интеллектом через API.
Поскольку ИИ-агенты становятся самостоятельными и очень активными «пользователями» API, Postman внедряет новые инструменты.
Вот что теперь можно делать с помощью Postman AI:
🔍 Обнаруживать и масштабировать: легко находить нужных ИИ-агентов и масштабировать их работу через API.
🛡 Управлять и защищать: выстраивать строгую архитектуру безопасности и регламентировать работу автономных агентов.
📊 Контролировать ресурсы: сохранять полный контроль над уровнями доступа, потенциальными рисками и финансовыми затратами (что особенно важно при работе со сторонними LLM).
Для нас, тестировщиков, это означает важный сдвиг в индустрии: теперь при проверке API нужно учитывать не только то, как с ними взаимодействует фронтенд или человек, но и то, как их будут использовать автономные ИИ-агенты. 🤖
🔗 Computing is changing, so is Postman – Introducing Postman.ai
💬 Как считаете, усложнит ли массовое внедрение ИИ-агентов процессы тестирования API? Приходилось ли вам уже писать тесты с учетом того, что эндпоинты будут использовать нейросети? Делитесь мыслями и опытом в комментариях! 👇
Postman Blog
Computing is changing, so is Postman - Introducing Postman.ai
Postman.ai is your central place to stay up to date on Postman's AI vision and views on AI, our research, and industry benchmarking.
❤5
#proQuality_events #proQuality_Conference2026 #proQuality_video
🎥 Записи первого дня ProQuality Conference ’26 уже доступны!
Пропустили открытие конференции? Делимся записями трех докладов, посвященных взаимодействию людей и AI в Quality Engineering.
В первый день мы говорили о том, как культура качества и AI-инструменты формируют современный подход к разработке ПО.
Что было в программе:
👥 Sheena Yap Chan представила фреймворк VISIBLE™ — практическую модель для команд, где тестировщики не боятся открыто говорить о проблемах, а дефекты не становятся нормой из-за давления релизов.
Запись и презентация
🎮 Ivan Volykhin в интерактивном формате показал, как AI-промпты уже сегодня меняют подходы к дизайну и разработке игр.
Запись и презентация
🗂 Aneliya Duhalova и Ivaylo Kunev продемонстрировали готовый workflow, который с помощью Miro, Jira и AI автоматически превращает идеи с доски в готовые к работе задачи в бэклоге.
Запись и презентация
Спасибо всем спикерам, партнерам и участникам, которые были с нами!
🗓️ А уже 27 октября мы проведем следующий митап: ELITEA Agents Evaluator: Your Path to AI Governance. Смотреть превью.
Присоединяйтесь, чтобы узнать, как ELITEA Agents Evaluator помогает оценивать производительность AI-агентов, находить зоны для улучшения и создавать более надежные AI-решения.
🎥 Записи первого дня ProQuality Conference ’26 уже доступны!
Пропустили открытие конференции? Делимся записями трех докладов, посвященных взаимодействию людей и AI в Quality Engineering.
В первый день мы говорили о том, как культура качества и AI-инструменты формируют современный подход к разработке ПО.
Что было в программе:
👥 Sheena Yap Chan представила фреймворк VISIBLE™ — практическую модель для команд, где тестировщики не боятся открыто говорить о проблемах, а дефекты не становятся нормой из-за давления релизов.
Запись и презентация
🎮 Ivan Volykhin в интерактивном формате показал, как AI-промпты уже сегодня меняют подходы к дизайну и разработке игр.
Запись и презентация
🗂 Aneliya Duhalova и Ivaylo Kunev продемонстрировали готовый workflow, который с помощью Miro, Jira и AI автоматически превращает идеи с доски в готовые к работе задачи в бэклоге.
Запись и презентация
Спасибо всем спикерам, партнерам и участникам, которые были с нами!
🗓️ А уже 27 октября мы проведем следующий митап: ELITEA Agents Evaluator: Your Path to AI Governance. Смотреть превью.
Присоединяйтесь, чтобы узнать, как ELITEA Agents Evaluator помогает оценивать производительность AI-агентов, находить зоны для улучшения и создавать более надежные AI-решения.
❤6
#automationTesting
Flaky‑тест даёт разные результаты на одном и том же коде. А экзотикой это перестало быть довольно давно.
В статье автор расскажет о пяти привычках, из-за которых flaky-тесты надолго поселяются в CI (ретраи, скрывающие баги; sleep вместо ожидания условия; общее состояние и порядок запуска; скрытые входы вроде времени и случайности; отсутствие учёта флейков), и о том, как с ними бороться с помощью изолированных ретраев.
Пять способов навсегда поселить flaky‑тесты в своём CI
Flaky‑тест даёт разные результаты на одном и том же коде. А экзотикой это перестало быть довольно давно.
В статье автор расскажет о пяти привычках, из-за которых flaky-тесты надолго поселяются в CI (ретраи, скрывающие баги; sleep вместо ожидания условия; общее состояние и порядок запуска; скрытые входы вроде времени и случайности; отсутствие учёта флейков), и о том, как с ними бороться с помощью изолированных ретраев.
Пять способов навсегда поселить flaky‑тесты в своём CI
👍5
#softwareTesting
В статье автор расскажет о наборе инструментов для начинающих ручных тестировщиков веб-приложений: для создания скриншотов и скринкастов, генерации тестовых данных, работы с веб-приложениями и DevTools, тестирования REST API, работы с базами данных и вспомогательных утилит.
Начинающему тестировщику: список инструментов, которые пригодятся в работе
В статье автор расскажет о наборе инструментов для начинающих ручных тестировщиков веб-приложений: для создания скриншотов и скринкастов, генерации тестовых данных, работы с веб-приложениями и DevTools, тестирования REST API, работы с базами данных и вспомогательных утилит.
Начинающему тестировщику: список инструментов, которые пригодятся в работе
👍6
#ProQuality_news
🚀 Тренды тестирования 2026: Реальность против хайпа
Всем привет! 👋 Если вы задумываетесь, куда движется наша профессия и какие навыки стоит прокачивать прямо сейчас, сегодня у нас отличная выжимка из двух мощных материалов по реальной картине трендов 2026 года:
📉 1. Сжатие команд и «Экстремальный Shift-Left»
Эпоха огромных специализированных команд уходит в прошлое. Компании всё чаще хотят видеть 3-4 «универсальных фуллстеков» вместо большого отдела из фронтендеров, бэкендеров, DevOps и целой команды QA. Разработчиков заставляют отвечать за качество и тестировать свой код. Для нас это значит, что роль QA эволюционирует из «проверяльщика» в Quality Coach — инженера, который выстраивает процессы, настраивает пайплайны и учит команду не плодить баги.
🦖 2. ИИ-агенты не проходят «Тест Парка Юрского периода»
ИИ-инструменты стали слишком самостоятельными. Автономные агенты так увлечены тем, что могут сделать, что забывают подумать, а стоит ли. ИИ может сгенерировать 1000 мусорных автотестов для простой фичи просто потому, что у него есть на это ресурсы. Главная роль QA теперь — быть «взрослым в комнате»: следить за тем, как ИИ-агенты выполняют задачи, управлять рисками и отсекать лишнее.
🚦 3. Тестирование как главное «узкое горлышко»
Разработчики, вооруженные ИИ-помощниками (Copilot, Cursor), пишут код со скоростью света. Но это создает огромную пробку на этапе код-ревью и регресса. Иллюзия сверхпродуктивности разбивается о реальность: умение тестировщика приоритизировать проверки и быстро находить главное становится самым дорогим навыком на рынке.
🛠 4. Возврат к прагматизму и надежным технологиям
Бюджеты оптимизируются. Время экспериментов с модными фреймворками ради хайпа прошло. В автоматизации тестирования выигрывают те, кто использует надежные, легко поддерживаемые стеки, а не тянет в проект каждую новую альфа-версию ИИ-генератора тестов.
🔗 Software Testing Trends in 2026: 8 Changes That Actually Matter
🔗 A couple of trends I'm seeing across the industry (Gergely Orosz)
💬 Какие тренды из перечисленных вы уже ощущаете на своей работе? Стало ли меньше выделенных QA-инженеров на ваших проектах? Заставляют ли разработчиков писать больше тестов самостоятельно, и как это сказывается на качестве продукта? Делитесь наблюдениями в комментариях! 👇
🚀 Тренды тестирования 2026: Реальность против хайпа
Всем привет! 👋 Если вы задумываетесь, куда движется наша профессия и какие навыки стоит прокачивать прямо сейчас, сегодня у нас отличная выжимка из двух мощных материалов по реальной картине трендов 2026 года:
📉 1. Сжатие команд и «Экстремальный Shift-Left»
Эпоха огромных специализированных команд уходит в прошлое. Компании всё чаще хотят видеть 3-4 «универсальных фуллстеков» вместо большого отдела из фронтендеров, бэкендеров, DevOps и целой команды QA. Разработчиков заставляют отвечать за качество и тестировать свой код. Для нас это значит, что роль QA эволюционирует из «проверяльщика» в Quality Coach — инженера, который выстраивает процессы, настраивает пайплайны и учит команду не плодить баги.
🦖 2. ИИ-агенты не проходят «Тест Парка Юрского периода»
ИИ-инструменты стали слишком самостоятельными. Автономные агенты так увлечены тем, что могут сделать, что забывают подумать, а стоит ли. ИИ может сгенерировать 1000 мусорных автотестов для простой фичи просто потому, что у него есть на это ресурсы. Главная роль QA теперь — быть «взрослым в комнате»: следить за тем, как ИИ-агенты выполняют задачи, управлять рисками и отсекать лишнее.
🚦 3. Тестирование как главное «узкое горлышко»
Разработчики, вооруженные ИИ-помощниками (Copilot, Cursor), пишут код со скоростью света. Но это создает огромную пробку на этапе код-ревью и регресса. Иллюзия сверхпродуктивности разбивается о реальность: умение тестировщика приоритизировать проверки и быстро находить главное становится самым дорогим навыком на рынке.
🛠 4. Возврат к прагматизму и надежным технологиям
Бюджеты оптимизируются. Время экспериментов с модными фреймворками ради хайпа прошло. В автоматизации тестирования выигрывают те, кто использует надежные, легко поддерживаемые стеки, а не тянет в проект каждую новую альфа-версию ИИ-генератора тестов.
🔗 Software Testing Trends in 2026: 8 Changes That Actually Matter
🔗 A couple of trends I'm seeing across the industry (Gergely Orosz)
💬 Какие тренды из перечисленных вы уже ощущаете на своей работе? Стало ли меньше выделенных QA-инженеров на ваших проектах? Заставляют ли разработчиков писать больше тестов самостоятельно, и как это сказывается на качестве продукта? Делитесь наблюдениями в комментариях! 👇
Medium
Software Testing Trends in 2026: 8 Changes That Actually Matter
Everyone wants to talk about autonomous testing. Meanwhile, 60% of companies are still shipping untested code.
🔥4
#proQuality_books #softwareTesting
📖 Software Testing: An ISTQB-BCS Certified Tester Foundation Level guide (CTFL v4.0)(2024)
Авторы: Geoff Thompson, Peter Morgan, Angelina Samaroo и др.
Количество страниц: 288
Язык издания: Английский
Официальное учебное пособие BCS и UKITB по базовым принципам тестирования в традиционных и Agile-средах. Охватывает ключевые динамические и статические техники, содержит практические советы и полностью соответствует программе ISTQB CTFL v4.0.
Плюсы:
➕ Понятное изложение с наглядными иллюстрациями и схемами.
➕ Большое количество примеров и упражнений, упрощающих сложные темы.
➕ Образцы экзаменационных вопросов для самостоятельной подготовки к ISTQB.
➕ Детальная глава по анализу и проектированию тестов с множеством примеров.
Минусы:
➖ Специфическая англоязычная терминология может потребовать времени на освоение.
➖ Требует минимального предварительного опыта в тестировании.
Для кого книга:
✔️ Для начинающих тестировщиков, готовящихся к экзамену ISTQB CTFL v4.0.
✔️ Для опытных специалистов, систематизирующих знания и изучающих Agile-тестирование.
✔️ Для QA-лидов и разработчиков, улучшающих процессы контроля качества.
Об авторах:
Коллектив из семи признанных экспертов — члены BCS, UKITB и ведущих IT-компаний, авторы учебных программ с многолетним опытом в индустрии тестирования ПО.
📖 Software Testing: An ISTQB-BCS Certified Tester Foundation Level guide (CTFL v4.0)(2024)
Авторы: Geoff Thompson, Peter Morgan, Angelina Samaroo и др.
Количество страниц: 288
Язык издания: Английский
Официальное учебное пособие BCS и UKITB по базовым принципам тестирования в традиционных и Agile-средах. Охватывает ключевые динамические и статические техники, содержит практические советы и полностью соответствует программе ISTQB CTFL v4.0.
Плюсы:
➕ Понятное изложение с наглядными иллюстрациями и схемами.
➕ Большое количество примеров и упражнений, упрощающих сложные темы.
➕ Образцы экзаменационных вопросов для самостоятельной подготовки к ISTQB.
➕ Детальная глава по анализу и проектированию тестов с множеством примеров.
Минусы:
➖ Специфическая англоязычная терминология может потребовать времени на освоение.
➖ Требует минимального предварительного опыта в тестировании.
Для кого книга:
✔️ Для начинающих тестировщиков, готовящихся к экзамену ISTQB CTFL v4.0.
✔️ Для опытных специалистов, систематизирующих знания и изучающих Agile-тестирование.
✔️ Для QA-лидов и разработчиков, улучшающих процессы контроля качества.
Об авторах:
Коллектив из семи признанных экспертов — члены BCS, UKITB и ведущих IT-компаний, авторы учебных программ с многолетним опытом в индустрии тестирования ПО.
❤6👍1
#ProQuality_tasks
Всем привет! С вами снова рубрика задачки ProQuality ✨
Задача про швейцарский сыр 🧀
Я могу купить швейцарский сыр в упаковках по 250, 450, 650 и 850 граммов.
Какое наименьшее количество упаковок мне нужно купить, если я хочу получить ровно 5 килограммов?
Всем привет! С вами снова рубрика задачки ProQuality ✨
Задача про швейцарский сыр 🧀
Я могу купить швейцарский сыр в упаковках по 250, 450, 650 и 850 граммов.
Какое наименьшее количество упаковок мне нужно купить, если я хочу получить ровно 5 килограммов?
Выбирайте один из вариантов ниже, делитесь идеями и решениями в комментариях под постом 👇 В ближайшую пятницу мы опубликуем ответ на задачу 🤓
Anonymous Poll
6%
9
11%
6
6%
7
78%
8
#proQuality_events #proQuality_Conference2026 #proQuality_video
ProQuality Conference '26: Итоги 2 и 3 дня — AI в production ⚙️
Второй и третий дни конференции были посвящены переходу AI от стадии экспериментов к реальному использованию в production. Записи докладов уже доступны:
- 🛡 Maryia Tuleika разобрала реальные сценарии атак на AI-системы с помощью OWASP AI Testing Guide и показала, как манипуляции с промптами выглядят на практике.
Запись
- 💰 Dmytro Sobko рассказал о скрытых затратах AI-assisted QA: дополнительной валидации, доработке промптов и governance-нагрузке, которые могут свести на нет выигрыш в скорости.
Запись
- ⚙️ Maryna Didkovska рассмотрела управление AI-агентами после выхода в production — на примерах реальных инцидентов, сценариев отказа и интерактивного голосования участников.
Запись
- 📱 Oleksandr Halichenko продемонстрировал open-source CLI-инструмент, который находит и подтверждает Appium-селекторы с помощью YAML accessibility tree, адаптированного для AI reasoning.
Запись
Другие мероприятия ProQuality — на WeAreCommunity.
ProQuality Conference '26: Итоги 2 и 3 дня — AI в production ⚙️
Второй и третий дни конференции были посвящены переходу AI от стадии экспериментов к реальному использованию в production. Записи докладов уже доступны:
- 🛡 Maryia Tuleika разобрала реальные сценарии атак на AI-системы с помощью OWASP AI Testing Guide и показала, как манипуляции с промптами выглядят на практике.
Запись
- 💰 Dmytro Sobko рассказал о скрытых затратах AI-assisted QA: дополнительной валидации, доработке промптов и governance-нагрузке, которые могут свести на нет выигрыш в скорости.
Запись
- ⚙️ Maryna Didkovska рассмотрела управление AI-агентами после выхода в production — на примерах реальных инцидентов, сценариев отказа и интерактивного голосования участников.
Запись
- 📱 Oleksandr Halichenko продемонстрировал open-source CLI-инструмент, который находит и подтверждает Appium-селекторы с помощью YAML accessibility tree, адаптированного для AI reasoning.
Запись
Другие мероприятия ProQuality — на WeAreCommunity.
❤5
#automationTesting
История построения автоматизации с нуля в банке — это процесс создания и развития цифровых систем, направленных на оптимизацию банковских процессов, снижение ручного труда, повышение эффективности работы и улучшение качества обслуживания клиентов.
В статье автор расскажет о личном опыте построения автоматизации фронтенда с нуля в крупном банке: о выборе Playwright, преодолении бюрократических барьеров при добавлении библиотек, внедрении data-testid для стабильных локаторов, настройке запуска тестов из CI, автоматизации проверки PDF-документов через скриншотные тесты и создании отчёта в Jira для демонстрации пользы бизнесу.
История построения автоматизации с нуля в банке: от первых трудностей до реальных результатов
История построения автоматизации с нуля в банке — это процесс создания и развития цифровых систем, направленных на оптимизацию банковских процессов, снижение ручного труда, повышение эффективности работы и улучшение качества обслуживания клиентов.
В статье автор расскажет о личном опыте построения автоматизации фронтенда с нуля в крупном банке: о выборе Playwright, преодолении бюрократических барьеров при добавлении библиотек, внедрении data-testid для стабильных локаторов, настройке запуска тестов из CI, автоматизации проверки PDF-документов через скриншотные тесты и создании отчёта в Jira для демонстрации пользы бизнесу.
История построения автоматизации с нуля в банке: от первых трудностей до реальных результатов
❤4
Желаем всем отличных выходных!🦎
Сегодня вы можете ознакомиться с решением задачи про швейцарский сыр
Все самые интересные задачи и вопросы, в том числе те, с которыми можно столкнуться на собеседовании, мы публикуем в рубрике #ProQuality_tasks
Сегодня вы можете ознакомиться с решением задачи про швейцарский сыр
Все самые интересные задачи и вопросы, в том числе те, с которыми можно столкнуться на собеседовании, мы публикуем в рубрике #ProQuality_tasks
Telegraph
Задача про швейцарский сыр
Я могу купить швейцарский сыр в упаковках по 250, 450, 650 и 850 граммов. Какое наименьшее количество упаковок мне нужно купить, если я хочу получить ровно 5 килограммов? Ответ: 8. 5 x 0.85 + 3 x 0.25 = 4.25 + 0.75 = 5кг 5 + 3 = 8
❤4
#proQuality_events
Присоединяйтесь к новому мероприятию ProQuality Community — «ELITEA Agents Evaluator: Your Path to AI Governance» с Денисом Сулавко.
Создать ИИ-агента — это только первый шаг. Главная задача — понять, насколько стабильно и надежно он работает с течением времени. Денис расскажет, как ELITEA Agents Evaluator помогает превратить субъективные впечатления в измеримые метрики качества.
🔥 На встрече разберем:
- датасеты и тест-кейсы;
- критерии и измерения для оценки;
- наборы проверок (evaluation suites);
- подходы к оценке качества ИИ-агентов.
Вас также ждет live demo: вы увидите, как оценка агента создается и запускается в реальном времени. Затем обсудим, как оценка связана с governance-подходами и масштабированием ИИ-решений.
Денис поделится практическим взглядом на применение QA-дисциплины в приложениях с использованием ИИ, опираясь на более чем 15 лет опыта в обеспечении качества.
📅 Дата: 27 октября
🕐 Время: 9:00 Варшава | 11:00 Минск | 12:00 Тбилиси
👉 Регистрируйтесь сейчас, чтобы забронировать место.
Присоединяйтесь к новому мероприятию ProQuality Community — «ELITEA Agents Evaluator: Your Path to AI Governance» с Денисом Сулавко.
Создать ИИ-агента — это только первый шаг. Главная задача — понять, насколько стабильно и надежно он работает с течением времени. Денис расскажет, как ELITEA Agents Evaluator помогает превратить субъективные впечатления в измеримые метрики качества.
🔥 На встрече разберем:
- датасеты и тест-кейсы;
- критерии и измерения для оценки;
- наборы проверок (evaluation suites);
- подходы к оценке качества ИИ-агентов.
Вас также ждет live demo: вы увидите, как оценка агента создается и запускается в реальном времени. Затем обсудим, как оценка связана с governance-подходами и масштабированием ИИ-решений.
Денис поделится практическим взглядом на применение QA-дисциплины в приложениях с использованием ИИ, опираясь на более чем 15 лет опыта в обеспечении качества.
📅 Дата: 27 октября
🕐 Время: 9:00 Варшава | 11:00 Минск | 12:00 Тбилиси
👉 Регистрируйтесь сейчас, чтобы забронировать место.
❤3
#ProQuality_interview
🤖 «А что вы создали с помощью ИИ?» — новый главный вопрос на собеседованиях
Всем привет! 👋 Планируете искать новую работу или хотите оставаться востребованным специалистом? Тогда обратите внимание на новый тренд, который активно захватывает рынок найма.
Автор статьи в своем блоге опубликовал заметку о важном сдвиге в индустрии: на технических интервью все чаще звучит вопрос: «What have you built with AI?»
Почему это критично для тестировщиков?
Работодателям больше недостаточно услышать: "Я использую ChatGPT для написания тест-кейсов". Рынок переполнен теми, кто применяет нейросети просто как умный поисковик. Компании ищут инженеров (включая Manual QA и SDET), которые умеют использовать ИИ для создания решений и реальной оптимизации рабочих процессов.
Опыт разработки (даже небольших) AI-решений становится вашим мощнейшим конкурентным преимуществом.
Что может стать вашим козырем на интервью:
🛠 Собственные микро-тулзы: скрипт для генерации сложных тестовых данных для БД, написанный в паре с Copilot/Claude.
🔄 Автоматизация рутины: Telegram-бот или интеграция в Slack, которая анализирует логи упавших ночных автотестов и выдает краткую выжимку ошибки (summary).
🧠 Улучшение процессов: внедрение AI-ассистентов в CI/CD пайплайн для анализа покрытия или ревью Merge Request'ов.
💡 Пет-проекты: любой небольшой личный проект, где вы прикрутили API от OpenAI/Anthropic для решения бытовой задачи.
Работодатели хотят видеть в вас Builder'а (созидателя), который не боится новых технологий и умеет применять их на практике.
🔗 “What have you built with AI?” is becoming a hiring question
💬 А вам уже задавали подобные вопросы на собеседованиях? Есть ли у вас пет-проекты, скрипты или рабочие тулзы, которые вы собрали с помощью ИИ и которыми гордитесь? Поделитесь своими идеями в комментариях — давайте вдохновлять друг друга! 👇
🤖 «А что вы создали с помощью ИИ?» — новый главный вопрос на собеседованиях
Всем привет! 👋 Планируете искать новую работу или хотите оставаться востребованным специалистом? Тогда обратите внимание на новый тренд, который активно захватывает рынок найма.
Автор статьи в своем блоге опубликовал заметку о важном сдвиге в индустрии: на технических интервью все чаще звучит вопрос: «What have you built with AI?»
Почему это критично для тестировщиков?
Работодателям больше недостаточно услышать: "Я использую ChatGPT для написания тест-кейсов". Рынок переполнен теми, кто применяет нейросети просто как умный поисковик. Компании ищут инженеров (включая Manual QA и SDET), которые умеют использовать ИИ для создания решений и реальной оптимизации рабочих процессов.
Опыт разработки (даже небольших) AI-решений становится вашим мощнейшим конкурентным преимуществом.
Что может стать вашим козырем на интервью:
🛠 Собственные микро-тулзы: скрипт для генерации сложных тестовых данных для БД, написанный в паре с Copilot/Claude.
🔄 Автоматизация рутины: Telegram-бот или интеграция в Slack, которая анализирует логи упавших ночных автотестов и выдает краткую выжимку ошибки (summary).
🧠 Улучшение процессов: внедрение AI-ассистентов в CI/CD пайплайн для анализа покрытия или ревью Merge Request'ов.
💡 Пет-проекты: любой небольшой личный проект, где вы прикрутили API от OpenAI/Anthropic для решения бытовой задачи.
Работодатели хотят видеть в вас Builder'а (созидателя), который не боится новых технологий и умеет применять их на практике.
🔗 “What have you built with AI?” is becoming a hiring question
💬 А вам уже задавали подобные вопросы на собеседованиях? Есть ли у вас пет-проекты, скрипты или рабочие тулзы, которые вы собрали с помощью ИИ и которыми гордитесь? Поделитесь своими идеями в комментариях — давайте вдохновлять друг друга! 👇
Shattered Illusions
What Have You Built With AI? Is Becoming a Hiring Question
“What have you built with AI?” caught me off guard on a job application. Now that I’m seeing similar questions from the hiring side, I’ve been thinking about what a useful answer reveals and how building my own tools has given me a new perspective on testing…
👍4❤1
#proQuality_events #proQuality_Conference2026 #proQuality_video
🏁 В заключительные дни ProQuality Conference ’26 спикеры поставили под сомнение два распространенных подхода к тестированию.
Записи выступлений уже доступны:
🔍 Dzmitry Tarasenka и Vladyslav Babenko рассказали, что произошло, когда они отказались от документированных тест-кейсов и привлекли ИИ в качестве помощника для поиска дефектов, которые не удалось выявить с помощью сценарного тестирования.
Запись.
⚙️ Rysard Poplavskij показал, как CodeMie и Claude интегрировали в корпоративный фреймворк на WebdriverIO, чтобы автоматизировать создание сценариев, анализ дефектов и подготовку отчетов в масштабе.
Запись.
📊 Oleksiy Slavutskyy и Anton Yehorov представили подход к регрессионному тестированию ИИ-решений с учетом дрейфа данных: от обнаружения дрейфа до надежных критериев оценки.
Запись.
💡 Daniil Pavlov и Daria Cherepanova завершили конференцию выводами из двух проектов на базе DIAL: о тестировании промптов, бенчмаркинге с использованием датасета Golden Truth и сокращении времени на создание тестовых данных с помощью метапромптинга.
Запись.
▶️ Посмотрите записи четвертого и пятого дней, чтобы получить полную картину, а также практический чек-лист для запуска собственного проекта по тестированию ИИ.
Другие мероприятия ProQuality — на WeAreCommunity.
🏁 В заключительные дни ProQuality Conference ’26 спикеры поставили под сомнение два распространенных подхода к тестированию.
Записи выступлений уже доступны:
🔍 Dzmitry Tarasenka и Vladyslav Babenko рассказали, что произошло, когда они отказались от документированных тест-кейсов и привлекли ИИ в качестве помощника для поиска дефектов, которые не удалось выявить с помощью сценарного тестирования.
Запись.
⚙️ Rysard Poplavskij показал, как CodeMie и Claude интегрировали в корпоративный фреймворк на WebdriverIO, чтобы автоматизировать создание сценариев, анализ дефектов и подготовку отчетов в масштабе.
Запись.
📊 Oleksiy Slavutskyy и Anton Yehorov представили подход к регрессионному тестированию ИИ-решений с учетом дрейфа данных: от обнаружения дрейфа до надежных критериев оценки.
Запись.
💡 Daniil Pavlov и Daria Cherepanova завершили конференцию выводами из двух проектов на базе DIAL: о тестировании промптов, бенчмаркинге с использованием датасета Golden Truth и сокращении времени на создание тестовых данных с помощью метапромптинга.
Запись.
▶️ Посмотрите записи четвертого и пятого дней, чтобы получить полную картину, а также практический чек-лист для запуска собственного проекта по тестированию ИИ.
Другие мероприятия ProQuality — на WeAreCommunity.
👍4❤1
#proQuality_books #softwareTesting #ai
📖 AI Evals in Practice: Testing, reliability, and quality for LLM systems in production (2026)
Автор: Caio Incau
Количество страниц: 216
Язык издания: Английский
LLM-приложения часто выглядят работоспособными на дашбордах, пока их ответы незаметно не деградируют. Книга даёт систематический подход к измерению качества, обнаружению регрессий и принятию решений на основе данных — до и после релиза.
Плюсы:
➕ Практичный подход: создание полноценного Python-инструмента evalkit с датасетами, скорерами и раннерами.
➕ Глубокий разбор продвинутых тем: калибровка LLM-судей, снижение смещений, оценка RAG и агентных траекторий.
➕ Акцент на продакшн-задачи: тестирование промптов в CI, онлайн-сэмплирование и guardrails.
➕ Реальный кейс превращения нестабильного агента в надёжную систему с итоговым проектом и дашбордом.
Минусы:
➖ Требует уверенного владения Python и опыта работы с LLM-приложениями.
➖ Фокус исключительно на оценке систем — другие аспекты ML/AI-инженерии остаются за рамками.
Для кого книга:
✔️ Для тестировщиков LLM, AI-инженеров, разработчиков LLM-приложений и ML-инженеров, создающих продакшн-системы.
✔️ Для техлидов и команд, работающих с промптами, RAG-пайплайнами и AI-агентами.
Об авторе:
Caio Incau — специалист по разработке и тестированию надёжных систем на базе LLM и искусственного интеллекта.
📖 AI Evals in Practice: Testing, reliability, and quality for LLM systems in production (2026)
Автор: Caio Incau
Количество страниц: 216
Язык издания: Английский
LLM-приложения часто выглядят работоспособными на дашбордах, пока их ответы незаметно не деградируют. Книга даёт систематический подход к измерению качества, обнаружению регрессий и принятию решений на основе данных — до и после релиза.
Плюсы:
➕ Практичный подход: создание полноценного Python-инструмента evalkit с датасетами, скорерами и раннерами.
➕ Глубокий разбор продвинутых тем: калибровка LLM-судей, снижение смещений, оценка RAG и агентных траекторий.
➕ Акцент на продакшн-задачи: тестирование промптов в CI, онлайн-сэмплирование и guardrails.
➕ Реальный кейс превращения нестабильного агента в надёжную систему с итоговым проектом и дашбордом.
Минусы:
➖ Требует уверенного владения Python и опыта работы с LLM-приложениями.
➖ Фокус исключительно на оценке систем — другие аспекты ML/AI-инженерии остаются за рамками.
Для кого книга:
✔️ Для тестировщиков LLM, AI-инженеров, разработчиков LLM-приложений и ML-инженеров, создающих продакшн-системы.
✔️ Для техлидов и команд, работающих с промптами, RAG-пайплайнами и AI-агентами.
Об авторе:
Caio Incau — специалист по разработке и тестированию надёжных систем на базе LLM и искусственного интеллекта.
👍4❤2
#ProQuality_interview
Всем привет! С вами снова рубрика Scenario-based вопрос на собеседовании ✨
❓Вопрос: Разработчик говорит, что ошибку не удается воспроизвести на его машине. Ваши действия?
🚦Пример ответа:
Если разработчик не может воспроизвести ошибку, о которой сообщил тестировщик, можно рекомендовать следующее:
✔️Сравнить окружение, в котором была зафиксирована ошибка, с тем, в котором разработчик пытается ее воспроизвести.
✔️Проверить версии браузера и операционной системы, а также состояние кэша на компьютере разработчика.
✔️Собрать логи, скриншоты и HAR-файлы на компьютере разработчика для выявления возможных расхождений.
✔️Предоставить разработчику точные тестовые данные.
✔️Предложить сеанс демонстрации экрана, чтобы показать ошибку в действии.
Всем привет! С вами снова рубрика Scenario-based вопрос на собеседовании ✨
❓Вопрос: Разработчик говорит, что ошибку не удается воспроизвести на его машине. Ваши действия?
🚦Пример ответа:
Если разработчик не может воспроизвести ошибку, о которой сообщил тестировщик, можно рекомендовать следующее:
✔️Сравнить окружение, в котором была зафиксирована ошибка, с тем, в котором разработчик пытается ее воспроизвести.
✔️Проверить версии браузера и операционной системы, а также состояние кэша на компьютере разработчика.
✔️Собрать логи, скриншоты и HAR-файлы на компьютере разработчика для выявления возможных расхождений.
✔️Предоставить разработчику точные тестовые данные.
✔️Предложить сеанс демонстрации экрана, чтобы показать ошибку в действии.
❤5
#automationTesting
Ваш UI-фреймворк может быть слишком сложным.
Playwright уже умеет многое из того, что команды часто реализуют самостоятельно: авторизацию, изоляцию тестов, работу с контекстами браузера и не только.
В сегодняшейм статье автор разберет, как убрать лишний код и сделать тестовый фреймворк проще и надёжнее.
📖 Ваш UI-фреймворк уже написан. Используем возможности Playwright
Ваш UI-фреймворк может быть слишком сложным.
Playwright уже умеет многое из того, что команды часто реализуют самостоятельно: авторизацию, изоляцию тестов, работу с контекстами браузера и не только.
В сегодняшейм статье автор разберет, как убрать лишний код и сделать тестовый фреймворк проще и надёжнее.
📖 Ваш UI-фреймворк уже написан. Используем возможности Playwright
👍3❤1
#softwareTesting #automationTesting
Ручное и автоматизированное тестирование часто существуют параллельно: одни сценарии проверяются вручную, другие покрыты автотестами, а знания о процессах держатся на опыте отдельных людей. Пока продукт небольшой, это работает. Но с ростом числа тестов, окружений и релизных проверок такой подход начинает создавать риски.
В статье автор рассказывает, как выстроить единый процесс взаимодействия между manual QA и automation QA: от выбора кандидатов на автоматизацию и ревью сценариев до регрессионного тестирования, разбора падений и фиксации покрытия.
Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества
Ручное и автоматизированное тестирование часто существуют параллельно: одни сценарии проверяются вручную, другие покрыты автотестами, а знания о процессах держатся на опыте отдельных людей. Пока продукт небольшой, это работает. Но с ростом числа тестов, окружений и релизных проверок такой подход начинает создавать риски.
В статье автор рассказывает, как выстроить единый процесс взаимодействия между manual QA и automation QA: от выбора кандидатов на автоматизацию и ревью сценариев до регрессионного тестирования, разбора падений и фиксации покрытия.
Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества
❤2👍2