#ProQuality_case
🤖💥 Как AI-агенты ломают CI/CD и почему тестирование стало главным «бутылочным горлышком»: опыт Anthropic
Инженеры Anthropic выпустили статью о том, как внедрение агентного написания кода обрушило их инфраструктуру тестирования. Когда код за вас генерируют агенты, узким местом перестает быть разработка — им мгновенно становятся верификация, тестирование и CI.
📊 Что произошло?
• Инженеры Anthropic теперь выпускают в 8 раз больше кода за квартал (80% этого объема пишет Claude).
• Claude предпочитает дробить задачи: PR стали меньше, но их количество колоссально возросло.
• Пул тестов вырос в 10 раз, а объем CI-джоб подскочил в 25 раз всего за 6 месяцев!
🎯 В чем проблема для тестирования?
Запускать весь тестовый сьют на каждый коммит/PR стало физически невозможно: очереди растягиваются, расходы на раннеры улетают в космос.
Но главное отличие человека от AI-агента — в реакции на падения тестов:
• Опытный инженер видит флакующий или несвязанный тест и может понять: «Это не из-за моих правок, мержить можно».
• AI-агент не обладает таким контекстом. Ложное падение сбивает его с толку, агент начинает бесконечно «чинить» чужой или нерелевантный код. Чтобы агент мог автономно дорабатывать задачи (self-verify), ему нужна детерминированная и максимально быстрая обратная связь.
🛠 Решение: Test Impact Analysis (TIA)
Anthropic полагается на TIA (сервис умного выбора тестов), который определяет точный набор тестов для каждого изменения на базе графа зависимостей и истории прогонов.
Но сервис был написан как монолитный синглтон и при росте нагрузки начал захлебываться. В итоге сервис полностью перепроектировали в stateless-архитектуру с распределенным журналом в in-memory хранилище и горизонтальным масштабированием воркеров.
💡 Главные выводы для QA / SDET:
• Тестирование — новый барьер. Когда генерация кода стоит дешево, ценность переходит в быструю и точную верификацию.
• Test Impact Analysis и изоляция flaky-тестов становятся мастхевом. Без умного отбора тестов пайплайны при агентной разработке просто встанут.
• Закладывайте x10–x25 в инфраструктуру. Если команда начинает активно использовать агентные инструменты вроде Claude Code или Cursor, объем коммитов и запусков тестов вырастет экспоненциально.
🔗 Agentic coding is straining CI. Here's how we scaled test impact analysis at Anthropic
💬 Заметили ли вы в своих проектах рост количества PR и нагрузки на CI из-за AI-инструментов? Используете ли у себя Test Impact Analysis, или все еще гоняете полный сьют на каждый чих? Делитесь в комментариях! 👇
🤖💥 Как AI-агенты ломают CI/CD и почему тестирование стало главным «бутылочным горлышком»: опыт Anthropic
Инженеры Anthropic выпустили статью о том, как внедрение агентного написания кода обрушило их инфраструктуру тестирования. Когда код за вас генерируют агенты, узким местом перестает быть разработка — им мгновенно становятся верификация, тестирование и CI.
📊 Что произошло?
• Инженеры Anthropic теперь выпускают в 8 раз больше кода за квартал (80% этого объема пишет Claude).
• Claude предпочитает дробить задачи: PR стали меньше, но их количество колоссально возросло.
• Пул тестов вырос в 10 раз, а объем CI-джоб подскочил в 25 раз всего за 6 месяцев!
🎯 В чем проблема для тестирования?
Запускать весь тестовый сьют на каждый коммит/PR стало физически невозможно: очереди растягиваются, расходы на раннеры улетают в космос.
Но главное отличие человека от AI-агента — в реакции на падения тестов:
• Опытный инженер видит флакующий или несвязанный тест и может понять: «Это не из-за моих правок, мержить можно».
• AI-агент не обладает таким контекстом. Ложное падение сбивает его с толку, агент начинает бесконечно «чинить» чужой или нерелевантный код. Чтобы агент мог автономно дорабатывать задачи (self-verify), ему нужна детерминированная и максимально быстрая обратная связь.
🛠 Решение: Test Impact Analysis (TIA)
Anthropic полагается на TIA (сервис умного выбора тестов), который определяет точный набор тестов для каждого изменения на базе графа зависимостей и истории прогонов.
Но сервис был написан как монолитный синглтон и при росте нагрузки начал захлебываться. В итоге сервис полностью перепроектировали в stateless-архитектуру с распределенным журналом в in-memory хранилище и горизонтальным масштабированием воркеров.
💡 Главные выводы для QA / SDET:
• Тестирование — новый барьер. Когда генерация кода стоит дешево, ценность переходит в быструю и точную верификацию.
• Test Impact Analysis и изоляция flaky-тестов становятся мастхевом. Без умного отбора тестов пайплайны при агентной разработке просто встанут.
• Закладывайте x10–x25 в инфраструктуру. Если команда начинает активно использовать агентные инструменты вроде Claude Code или Cursor, объем коммитов и запусков тестов вырастет экспоненциально.
🔗 Agentic coding is straining CI. Here's how we scaled test impact analysis at Anthropic
💬 Заметили ли вы в своих проектах рост количества PR и нагрузки на CI из-за AI-инструментов? Используете ли у себя Test Impact Analysis, или все еще гоняете полный сьют на каждый чих? Делитесь в комментариях! 👇
Claude
Agentic coding is straining CI. Here’s how we scaled test impact analysis at Anthropic
Our CI job volume increased 25x over 6 months. We patched our test selection service three times before finding a sustainable solution.
👍4❤1
#softwareTesting #proQuality_translation
Greenfield-проекты дают командам свободу создавать системы с нуля, но вместе с этим приносят высокий уровень неопределенности. Отсутствие исторических данных, меняющиеся требования и развивающаяся архитектура требуют особого подхода к тестированию.
Автор статьи разбирает основные вызовы Greenfield-разработки, практики Shift-Left Testing, Exploratory Testing и Risk-Based Testing, а также различия между внутренними и клиентскими проектами.
Что такое Greenfield-проекты и почему их сложно тестировать
Greenfield-проекты дают командам свободу создавать системы с нуля, но вместе с этим приносят высокий уровень неопределенности. Отсутствие исторических данных, меняющиеся требования и развивающаяся архитектура требуют особого подхода к тестированию.
Автор статьи разбирает основные вызовы Greenfield-разработки, практики Shift-Left Testing, Exploratory Testing и Risk-Based Testing, а также различия между внутренними и клиентскими проектами.
Что такое Greenfield-проекты и почему их сложно тестировать
🔥3❤1
#ProQuality_case
🎧 Как AI изменил разработку в Spotify и почему узким горлышком снова стало тестирование (а не «плохой код нейросетей»)
В инженерном блоге Spotify вышел большой разбор с анализом последствий масштабного внедрения AI-агентов в разработку (включая миграцию бэкенда на новую версию Java за 3 дня с помощью агентов).
Главный вывод исследования рушит популярный миф: проблема не в качестве AI-кода («AI slop»), а в том, что системы верификации и тестирования не успевают за возросшей скоростью изменений.
📊 Что показала статистика Spotify?
• Объем PR удвоился: с 8 100 до 17 000 смерженных PR в месяц.
• Прямой вины AI в инцидентах нет: при ретроспективе крупных сбоев Spotify не нашел прямой зависимости между авторством кода (AI или человек) и авариями.
• Метрика переделок (rework rate) стабильна: вопреки отраслевым отчетам о росте «мусорного кода», свежий код не приходится переписывать чаще прежнего. Более того, доля работы над качеством и оптимизацией выросла с 27% до 31%.
⚠️ С какими вызовами столкнулись QA и Platform-команды?
Когда скорость генерации изменений удваивается, привычные подходы к тестированию начинают сбоить:
1.Чеки проходят, а прод падает.
Агентные авто-обновления зависимостей успешно проходили все пайплайны проверок, но все равно ломали прод.
• Что изменили: усилили safeguard-проверки, расширили возможности мгновенного отката (automated rollbacks) и запретили применять автоматические изменения вне рабочих часов команд-владельцев.
2. «Зеленые» релизы и скрытая деградация.
В мобильном приложении (777 млн пользователей, 2000+ моделей устройств) отдельные релизы выглядели абсолютно здоровыми по метрикам. Однако микро-регрессии накапливались постепенно или проявлялись только на узких группах девайсов.
• Что изменили: расширили guardrail metrics и перешли от проверки «релиз за релизом» к долгосрочному анализу трендов качества.
3. Рост сложности и размера PR.
Связка «инженер + агент» стала выдавать более объемные и сложные PR. Классические лимиты сложности (рассчитанные на то, сколько кода разработчик может удержать в голове) перестают работать, требуя пересмотра подходов к ревью и статическому анализу.
💡 Главный инсайт для тестировщиков
«AI увеличил нашу способность производить изменения. Следующим барьером стала наша способность их верифицировать».
🔗 AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity
💬 Сталкивались ли вы с ситуацией, когда автотесты и пайплайн «зеленые», но из-за возросшего потока мелких изменений продукт незаметно теряет в стабильности? Как вы отслеживаете такие скрытые регрессии у себя? Делитесь в комментариях! 👇
🎧 Как AI изменил разработку в Spotify и почему узким горлышком снова стало тестирование (а не «плохой код нейросетей»)
В инженерном блоге Spotify вышел большой разбор с анализом последствий масштабного внедрения AI-агентов в разработку (включая миграцию бэкенда на новую версию Java за 3 дня с помощью агентов).
Главный вывод исследования рушит популярный миф: проблема не в качестве AI-кода («AI slop»), а в том, что системы верификации и тестирования не успевают за возросшей скоростью изменений.
📊 Что показала статистика Spotify?
• Объем PR удвоился: с 8 100 до 17 000 смерженных PR в месяц.
• Прямой вины AI в инцидентах нет: при ретроспективе крупных сбоев Spotify не нашел прямой зависимости между авторством кода (AI или человек) и авариями.
• Метрика переделок (rework rate) стабильна: вопреки отраслевым отчетам о росте «мусорного кода», свежий код не приходится переписывать чаще прежнего. Более того, доля работы над качеством и оптимизацией выросла с 27% до 31%.
⚠️ С какими вызовами столкнулись QA и Platform-команды?
Когда скорость генерации изменений удваивается, привычные подходы к тестированию начинают сбоить:
1.Чеки проходят, а прод падает.
Агентные авто-обновления зависимостей успешно проходили все пайплайны проверок, но все равно ломали прод.
• Что изменили: усилили safeguard-проверки, расширили возможности мгновенного отката (automated rollbacks) и запретили применять автоматические изменения вне рабочих часов команд-владельцев.
2. «Зеленые» релизы и скрытая деградация.
В мобильном приложении (777 млн пользователей, 2000+ моделей устройств) отдельные релизы выглядели абсолютно здоровыми по метрикам. Однако микро-регрессии накапливались постепенно или проявлялись только на узких группах девайсов.
• Что изменили: расширили guardrail metrics и перешли от проверки «релиз за релизом» к долгосрочному анализу трендов качества.
3. Рост сложности и размера PR.
Связка «инженер + агент» стала выдавать более объемные и сложные PR. Классические лимиты сложности (рассчитанные на то, сколько кода разработчик может удержать в голове) перестают работать, требуя пересмотра подходов к ревью и статическому анализу.
💡 Главный инсайт для тестировщиков
«AI увеличил нашу способность производить изменения. Следующим барьером стала наша способность их верифицировать».
🔗 AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity
💬 Сталкивались ли вы с ситуацией, когда автотесты и пайплайн «зеленые», но из-за возросшего потока мелких изменений продукт незаметно теряет в стабильности? Как вы отслеживаете такие скрытые регрессии у себя? Делитесь в комментариях! 👇
Spotify Engineering
AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity | Spotify Engineering
👍4❤1
#automationTesting
Хорошая архитектура автотестов держится не только на Page Object. Важно, чтобы паттерны, тестовые данные, шаги, проверки и логирование работали как единая система, а не набор разрозненных решений.
В статье автор разберет ключевые паттерны автоматизации и подход к построению поддерживаемой архитектуры тестового фреймворка.
Паттерны автоматизации и архитектура автотестов
Хорошая архитектура автотестов держится не только на Page Object. Важно, чтобы паттерны, тестовые данные, шаги, проверки и логирование работали как единая система, а не набор разрозненных решений.
В статье автор разберет ключевые паттерны автоматизации и подход к построению поддерживаемой архитектуры тестового фреймворка.
Паттерны автоматизации и архитектура автотестов
👍3❤1
#softwareTesting
UX‑тестирование — это проверка того, насколько приложение удобно, понятно и предсказуемо для живого человека. Не для тест‑дизайнера, не для разработчика, а для уставшего пользователя с маленьким экраном, большим пальцем и желанием решить свою задачу за три секунды.
В статье автор расскажет о том, как оценивать пользовательский опыт мобильных приложений без специального софта, длительного обучения и команды адептов психологии.
Тестирование UX для мобильных приложений: чек‑лист без софта и магии
UX‑тестирование — это проверка того, насколько приложение удобно, понятно и предсказуемо для живого человека. Не для тест‑дизайнера, не для разработчика, а для уставшего пользователя с маленьким экраном, большим пальцем и желанием решить свою задачу за три секунды.
В статье автор расскажет о том, как оценивать пользовательский опыт мобильных приложений без специального софта, длительного обучения и команды адептов психологии.
Тестирование UX для мобильных приложений: чек‑лист без софта и магии
👍4❤2
#ProQuality_tools
🛠 Chrome DevTools — это не только для разработчиков: как выжимать максимум в тестировании
Многие тестировщики используют DevTools исключительно для того, чтобы «подсмотреть селектор» или скопировать ошибку из консоли. Но внутри браузера спрятан полноценный швейцарский нож для локализации багов и ускорения работы.
Собрали ключевые инсайты и практические трюки на основе статьи:
🔍 1. Фронт или бэк? Вкладка Network рассудит за секунды
Классическая ситуация: на странице не отображаются данные или форма выдаёт странную ошибку. Прежде чем писать разработчику абстрактное «не работает», загляните во вкладку Network:
• Payload / Request: уходят ли корректные параметры на сервер? Если фронт отправил не то — ошибка на стороне UI/фронтенда.
• Response / Status: если запрос ушёл правильно, а сервер вернул
• Если статус
⚡ 2. Проверка локаторов за 5 секунд прямо в Console
Зачем запускать автотест в Selenium/Playwright, чтобы узнать, что селектор сломался?
•
•
🚧 3. Обход валидации на клиенте через Elements
Проверяете, реализована ли серверная валидация?
• Найдите инпут через Inspect, удалите в DOM-дереве атрибуты
• Если бэк принял эти данные — перед вами баг безопасности и отсутствие валидации API.
🐢 4. Network Throttling и баг «двойного клика»
Пока запрос уходит на сервер, кнопка «Оплатить» или «Оформить» должна блокироваться.
• Включите эмуляцию медленной сети (Slow 3G) и быстро кликните дважды.
• Если создалось два заказа или списалась двойная сумма — вы поймали критичный баг!
🔗 7 Chrome DevTools Tricks Every Tester Should Know
💬 А какими трюками в DevTools чаще всего пользуетесь вы? Используете ли локальные оверрайды (Local Overrides), эмуляцию датчиков/геолокации или хватает стандартных Network и Console? Делитесь своими любимыми лайфхаками в комментариях! 👇
🛠 Chrome DevTools — это не только для разработчиков: как выжимать максимум в тестировании
Многие тестировщики используют DevTools исключительно для того, чтобы «подсмотреть селектор» или скопировать ошибку из консоли. Но внутри браузера спрятан полноценный швейцарский нож для локализации багов и ускорения работы.
Собрали ключевые инсайты и практические трюки на основе статьи:
🔍 1. Фронт или бэк? Вкладка Network рассудит за секунды
Классическая ситуация: на странице не отображаются данные или форма выдаёт странную ошибку. Прежде чем писать разработчику абстрактное «не работает», загляните во вкладку Network:
• Payload / Request: уходят ли корректные параметры на сервер? Если фронт отправил не то — ошибка на стороне UI/фронтенда.
• Response / Status: если запрос ушёл правильно, а сервер вернул
500 Internal Server Error или пустой/невалидный JSON — смело заводите баг на бэкенд.• Если статус
200 OK и в ответе всё на месте, но на экране пусто или undefined — баг на фронте.⚡ 2. Проверка локаторов за 5 секунд прямо в Console
Зачем запускать автотест в Selenium/Playwright, чтобы узнать, что селектор сломался?
•
$(#id) или $$(.class) — вызов нативных шорткатов DevTools для поиска элементов по CSS.•
$x(//xpath) — моментальная проверка XPath прямо из консоли.🚧 3. Обход валидации на клиенте через Elements
Проверяете, реализована ли серверная валидация?
• Найдите инпут через Inspect, удалите в DOM-дереве атрибуты
required или maxlength="50" и отправьте 200 символов. • Если бэк принял эти данные — перед вами баг безопасности и отсутствие валидации API.
🐢 4. Network Throttling и баг «двойного клика»
Пока запрос уходит на сервер, кнопка «Оплатить» или «Оформить» должна блокироваться.
• Включите эмуляцию медленной сети (Slow 3G) и быстро кликните дважды.
• Если создалось два заказа или списалась двойная сумма — вы поймали критичный баг!
🔗 7 Chrome DevTools Tricks Every Tester Should Know
💬 А какими трюками в DevTools чаще всего пользуетесь вы? Используете ли локальные оверрайды (Local Overrides), эмуляцию датчиков/геолокации или хватает стандартных Network и Console? Делитесь своими любимыми лайфхаками в комментариях! 👇
Medium
7 Chrome DevTools Tricks Every Tester Should Know
Starting with the 5-second Console check that catches a broken locator before Selenium does.
👍5❤1
#ProQuality_tasks
Всем привет! С вами снова рубрика задачки ProQuality ✨
Задача про римские цифры 🔢
I V III VII VIII ?
Какая римская цифра заменяет знак вопроса?
Всем привет! С вами снова рубрика задачки ProQuality ✨
Задача про римские цифры 🔢
I V III VII VIII ?
Какая римская цифра заменяет знак вопроса?
❤2
Выбирайте один из вариантов ниже, делитесь идеями и решениями в комментариях под постом 👇
В ближайшую пятницу мы опубликуем ответ на задачу 🤓
В ближайшую пятницу мы опубликуем ответ на задачу 🤓
Anonymous Poll
5%
XV
25%
XII
65%
XVII
5%
XVIII
❤2
#automationTesting
Отладка никогда не была простым делом. В первых компьютерах причины ошибок приходилось искать буквально руками — ненадёжность железа умножалась на человеческие ошибки, и Морис Уилкс (руководитель проекта EDSAC) сетовал, что львиную долю оставшейся жизни скорее всего придётся искать ошибки в собственных программах.
В статье автор расскажет о подходах к группировке ошибок в тестах — от ручного просмотра и grep до автоматической классификации в Allure Report, — а также покажет, как настроить категории падений и сократить время на диагностику сбоев.
Группировка ошибок вручную и автоматически, или чем тестировщику занять своё время
Отладка никогда не была простым делом. В первых компьютерах причины ошибок приходилось искать буквально руками — ненадёжность железа умножалась на человеческие ошибки, и Морис Уилкс (руководитель проекта EDSAC) сетовал, что львиную долю оставшейся жизни скорее всего придётся искать ошибки в собственных программах.
В статье автор расскажет о подходах к группировке ошибок в тестах — от ручного просмотра и grep до автоматической классификации в Allure Report, — а также покажет, как настроить категории падений и сократить время на диагностику сбоев.
Группировка ошибок вручную и автоматически, или чем тестировщику занять своё время
Хабр
Группировка ошибок вручную и автоматически, или чем тестировщику занять своё время
Отладка никогда не была простым делом. В первых компьютерах причины ошибок приходилось искать буквально руками — ненадёжность железа умножалась на человеческие ошибки, и Морис Уилкс (руководитель...
👍2❤1
Желаем всем отличных выходных!🦎
Сегодня вы можете ознакомиться с решением задачи про римские цифры
Все самые интересные задачи и вопросы, в том числе те, с которыми можно столкнуться на собеседовании, мы публикуем в рубрике #ProQuality_tasks
Сегодня вы можете ознакомиться с решением задачи про римские цифры
Все самые интересные задачи и вопросы, в том числе те, с которыми можно столкнуться на собеседовании, мы публикуем в рубрике #ProQuality_tasks
Telegraph
Задача про римские цифры
I V III VII VIII ? Какая римская цифра заменяет знак вопроса? Ответ: XVII. Первые двадцать римских чисел: I, II, III, IV, V, VI, VII, VIII, IX, X, XI, XII, XIII, XIV, XV, XVI, XVII, XVIII, XIX, XX. Первое число в этом ряду состоит из одной линии, второе…
❤3
