ProQuality Community
2.8K subscribers
233 photos
49 videos
2 files
1.5K links
Приветствуем в ProQuality Community – это обмен практиками тестирования между самыми разными специалистами! Присоединяйтесь к нам в youtube https://cutt.ly/8eTjvnl7
Сотрудничество: @andrey_talisman_ivanov
Download Telegram
​​#softwareTesting

Метрики дефектов — мощный инструмент, когда вы понимаете их пределы. Они показывают реальное состояние продукта, помогают найти проблемные зоны и принимать решения на данных, а не на ощущениях. Но ровно до того момента, пока вы не превратили одну из них в самоцель.

В статье автор расскажет о шести анти-паттернах использования метрик дефектов (bug count как личный KPI, «меньше багов = выше качество», абсолютные числа без контекста, среднее время закрытия без разбивки по severity, отсутствие этапа обнаружения, обход reopen rate), объяснит, почему они искажают картину качества, и предложит системный подход с набором связанных метрик (Escape Rate, Severity Distribution, DRE, MTTR, Reopen Rate).

6 ошибок в метриках дефектов, из‑за которых QA теряет контроль над качеством
👍4❤2
😁9❤1👍1
#ProQuality_case

🤖💥 Как AI-агенты ломают CI/CD и почему тестирование стало главным «бутылочным горлышком»: опыт Anthropic

Инженеры Anthropic выпустили статью о том, как внедрение агентного написания кода обрушило их инфраструктуру тестирования. Когда код за вас генерируют агенты, узким местом перестает быть разработка — им мгновенно становятся верификация, тестирование и CI.

📊 Что произошло?
• Инженеры Anthropic теперь выпускают в 8 раз больше кода за квартал (80% этого объема пишет Claude).
• Claude предпочитает дробить задачи: PR стали меньше, но их количество колоссально возросло.
• Пул тестов вырос в 10 раз, а объем CI-джоб подскочил в 25 раз всего за 6 месяцев!

🎯 В чем проблема для тестирования?
Запускать весь тестовый сьют на каждый коммит/PR стало физически невозможно: очереди растягиваются, расходы на раннеры улетают в космос.

Но главное отличие человека от AI-агента — в реакции на падения тестов:

• Опытный инженер видит флакующий или несвязанный тест и может понять: «Это не из-за моих правок, мержить можно».
• AI-агент не обладает таким контекстом. Ложное падение сбивает его с толку, агент начинает бесконечно «чинить» чужой или нерелевантный код. Чтобы агент мог автономно дорабатывать задачи (self-verify), ему нужна детерминированная и максимально быстрая обратная связь.

🛠 Решение: Test Impact Analysis (TIA)
Anthropic полагается на TIA (сервис умного выбора тестов), который определяет точный набор тестов для каждого изменения на базе графа зависимостей и истории прогонов.

Но сервис был написан как монолитный синглтон и при росте нагрузки начал захлебываться. В итоге сервис полностью перепроектировали в stateless-архитектуру с распределенным журналом в in-memory хранилище и горизонтальным масштабированием воркеров.

💡 Главные выводы для QA / SDET:
• Тестирование — новый барьер. Когда генерация кода стоит дешево, ценность переходит в быструю и точную верификацию.
• Test Impact Analysis и изоляция flaky-тестов становятся мастхевом. Без умного отбора тестов пайплайны при агентной разработке просто встанут.
• Закладывайте x10–x25 в инфраструктуру. Если команда начинает активно использовать агентные инструменты вроде Claude Code или Cursor, объем коммитов и запусков тестов вырастет экспоненциально.

🔗 Agentic coding is straining CI. Here's how we scaled test impact analysis at Anthropic
💬 Заметили ли вы в своих проектах рост количества PR и нагрузки на CI из-за AI-инструментов? Используете ли у себя Test Impact Analysis, или все еще гоняете полный сьют на каждый чих? Делитесь в комментариях! 👇
👍4❤1
​​#softwareTesting #proQuality_translation

Greenfield-проекты дают командам свободу создавать системы с нуля, но вместе с этим приносят высокий уровень неопределенности. Отсутствие исторических данных, меняющиеся требования и развивающаяся архитектура требуют особого подхода к тестированию.

Автор статьи разбирает основные вызовы Greenfield-разработки, практики Shift-Left Testing, Exploratory Testing и Risk-Based Testing, а также различия между внутренними и клиентскими проектами.

Что такое Greenfield-проекты и почему их сложно тестировать
🔥3❤1
#ProQuality_case

🎧 Как AI изменил разработку в Spotify и почему узким горлышком снова стало тестирование (а не «плохой код нейросетей»)

В инженерном блоге Spotify вышел большой разбор с анализом последствий масштабного внедрения AI-агентов в разработку (включая миграцию бэкенда на новую версию Java за 3 дня с помощью агентов).

Главный вывод исследования рушит популярный миф: проблема не в качестве AI-кода («AI slop»), а в том, что системы верификации и тестирования не успевают за возросшей скоростью изменений.

📊 Что показала статистика Spotify?
• Объем PR удвоился: с 8 100 до 17 000 смерженных PR в месяц.
• Прямой вины AI в инцидентах нет: при ретроспективе крупных сбоев Spotify не нашел прямой зависимости между авторством кода (AI или человек) и авариями.
• Метрика переделок (rework rate) стабильна: вопреки отраслевым отчетам о росте «мусорного кода», свежий код не приходится переписывать чаще прежнего. Более того, доля работы над качеством и оптимизацией выросла с 27% до 31%.

⚠️ С какими вызовами столкнулись QA и Platform-команды?
Когда скорость генерации изменений удваивается, привычные подходы к тестированию начинают сбоить:

1.Чеки проходят, а прод падает.
Агентные авто-обновления зависимостей успешно проходили все пайплайны проверок, но все равно ломали прод.
• Что изменили: усилили safeguard-проверки, расширили возможности мгновенного отката (automated rollbacks) и запретили применять автоматические изменения вне рабочих часов команд-владельцев.

2. «Зеленые» релизы и скрытая деградация.
В мобильном приложении (777 млн пользователей, 2000+ моделей устройств) отдельные релизы выглядели абсолютно здоровыми по метрикам. Однако микро-регрессии накапливались постепенно или проявлялись только на узких группах девайсов.
• Что изменили: расширили guardrail metrics и перешли от проверки «релиз за релизом» к долгосрочному анализу трендов качества.

3. Рост сложности и размера PR.
Связка «инженер + агент» стала выдавать более объемные и сложные PR. Классические лимиты сложности (рассчитанные на то, сколько кода разработчик может удержать в голове) перестают работать, требуя пересмотра подходов к ревью и статическому анализу.

💡 Главный инсайт для тестировщиков
«AI увеличил нашу способность производить изменения. Следующим барьером стала наша способность их верифицировать».

🔗 AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity
💬 Сталкивались ли вы с ситуацией, когда автотесты и пайплайн «зеленые», но из-за возросшего потока мелких изменений продукт незаметно теряет в стабильности? Как вы отслеживаете такие скрытые регрессии у себя? Делитесь в комментариях! 👇
👍4❤1
#automationTesting

Хорошая архитектура автотестов держится не только на Page Object. Важно, чтобы паттерны, тестовые данные, шаги, проверки и логирование работали как единая система, а не набор разрозненных решений.

В статье автор разберет ключевые паттерны автоматизации и подход к построению поддерживаемой архитектуры тестового фреймворка.

Паттерны автоматизации и архитектура автотестов
👍3❤1
​​#softwareTesting

UX‑тестирование — это проверка того, насколько приложение удобно, понятно и предсказуемо для живого человека. Не для тест‑дизайнера, не для разработчика, а для уставшего пользователя с маленьким экраном, большим пальцем и желанием решить свою задачу за три секунды.

В статье автор расскажет о том, как оценивать пользовательский опыт мобильных приложений без специального софта, длительного обучения и команды адептов психологии.

Тестирование UX для мобильных приложений: чек‑лист без софта и магии
👍4❤2
😁16❤1
#ProQuality_tools

🛠 Chrome DevTools — это не только для разработчиков: как выжимать максимум в тестировании

Многие тестировщики используют DevTools исключительно для того, чтобы «подсмотреть селектор» или скопировать ошибку из консоли. Но внутри браузера спрятан полноценный швейцарский нож для локализации багов и ускорения работы.

Собрали ключевые инсайты и практические трюки на основе статьи:

🔍 1. Фронт или бэк? Вкладка Network рассудит за секунды
Классическая ситуация: на странице не отображаются данные или форма выдаёт странную ошибку. Прежде чем писать разработчику абстрактное «не работает», загляните во вкладку Network:

• Payload / Request: уходят ли корректные параметры на сервер? Если фронт отправил не то — ошибка на стороне UI/фронтенда.

• Response / Status: если запрос ушёл правильно, а сервер вернул 500 Internal Server Error или пустой/невалидный JSON — смело заводите баг на бэкенд.
• Если статус 200 OK и в ответе всё на месте, но на экране пусто или undefined — баг на фронте.

⚡ 2. Проверка локаторов за 5 секунд прямо в Console
Зачем запускать автотест в Selenium/Playwright, чтобы узнать, что селектор сломался?

• $(#id) или $$(.class) — вызов нативных шорткатов DevTools для поиска элементов по CSS.
• $x(//xpath) — моментальная проверка XPath прямо из консоли.

🚧 3. Обход валидации на клиенте через Elements
Проверяете, реализована ли серверная валидация?

• Найдите инпут через Inspect, удалите в DOM-дереве атрибуты required или maxlength="50" и отправьте 200 символов.
• Если бэк принял эти данные — перед вами баг безопасности и отсутствие валидации API.

🐢 4. Network Throttling и баг «двойного клика»
Пока запрос уходит на сервер, кнопка «Оплатить» или «Оформить» должна блокироваться.

• Включите эмуляцию медленной сети (Slow 3G) и быстро кликните дважды.
• Если создалось два заказа или списалась двойная сумма — вы поймали критичный баг!

🔗 7 Chrome DevTools Tricks Every Tester Should Know

💬 А какими трюками в DevTools чаще всего пользуетесь вы? Используете ли локальные оверрайды (Local Overrides), эмуляцию датчиков/геолокации или хватает стандартных Network и Console? Делитесь своими любимыми лайфхаками в комментариях! 👇
👍5❤1
#ProQuality_tasks

Всем привет! С вами снова рубрика задачки ProQuality ✨

Задача про римские цифры 🔢

I V III VII VIII ?

Какая римская цифра заменяет знак вопроса?
❤2
Выбирайте один из вариантов ниже, делитесь идеями и решениями в комментариях под постом 👇

В ближайшую пятницу мы опубликуем ответ на задачу 🤓
Anonymous Poll
5%
XV
25%
XII
65%
XVII
5%
XVIII
❤2
Channel photo updated
#automationTesting

Отладка никогда не была простым делом. В первых компьютерах причины ошибок приходилось искать буквально руками — ненадёжность железа умножалась на человеческие ошибки, и Морис Уилкс (руководитель проекта EDSAC) сетовал, что львиную долю оставшейся жизни скорее всего придётся искать ошибки в собственных программах.

В статье автор расскажет о подходах к группировке ошибок в тестах — от ручного просмотра и grep до автоматической классификации в Allure Report, — а также покажет, как настроить категории падений и сократить время на диагностику сбоев.

Группировка ошибок вручную и автоматически, или чем тестировщику занять своё время
👍2❤1
Желаем всем отличных выходных!🦎

Сегодня вы можете ознакомиться с решением задачи про римские цифры

Все самые интересные задачи и вопросы, в том числе те, с которыми можно столкнуться на собеседовании, мы публикуем в рубрике #ProQuality_tasks
❤3