#ProQuality_interview
🤖 «А что вы создали с помощью ИИ?» — новый главный вопрос на собеседованиях
Всем привет! 👋 Планируете искать новую работу или хотите оставаться востребованным специалистом? Тогда обратите внимание на новый тренд, который активно захватывает рынок найма.
Автор статьи в своем блоге опубликовал заметку о важном сдвиге в индустрии: на технических интервью все чаще звучит вопрос: «What have you built with AI?»
Почему это критично для тестировщиков?
Работодателям больше недостаточно услышать: "Я использую ChatGPT для написания тест-кейсов". Рынок переполнен теми, кто применяет нейросети просто как умный поисковик. Компании ищут инженеров (включая Manual QA и SDET), которые умеют использовать ИИ для создания решений и реальной оптимизации рабочих процессов.
Опыт разработки (даже небольших) AI-решений становится вашим мощнейшим конкурентным преимуществом.
Что может стать вашим козырем на интервью:
🛠 Собственные микро-тулзы: скрипт для генерации сложных тестовых данных для БД, написанный в паре с Copilot/Claude.
🔄 Автоматизация рутины: Telegram-бот или интеграция в Slack, которая анализирует логи упавших ночных автотестов и выдает краткую выжимку ошибки (summary).
🧠 Улучшение процессов: внедрение AI-ассистентов в CI/CD пайплайн для анализа покрытия или ревью Merge Request'ов.
💡 Пет-проекты: любой небольшой личный проект, где вы прикрутили API от OpenAI/Anthropic для решения бытовой задачи.
Работодатели хотят видеть в вас Builder'а (созидателя), который не боится новых технологий и умеет применять их на практике.
🔗 “What have you built with AI?” is becoming a hiring question
💬 А вам уже задавали подобные вопросы на собеседованиях? Есть ли у вас пет-проекты, скрипты или рабочие тулзы, которые вы собрали с помощью ИИ и которыми гордитесь? Поделитесь своими идеями в комментариях — давайте вдохновлять друг друга! 👇
🤖 «А что вы создали с помощью ИИ?» — новый главный вопрос на собеседованиях
Всем привет! 👋 Планируете искать новую работу или хотите оставаться востребованным специалистом? Тогда обратите внимание на новый тренд, который активно захватывает рынок найма.
Автор статьи в своем блоге опубликовал заметку о важном сдвиге в индустрии: на технических интервью все чаще звучит вопрос: «What have you built with AI?»
Почему это критично для тестировщиков?
Работодателям больше недостаточно услышать: "Я использую ChatGPT для написания тест-кейсов". Рынок переполнен теми, кто применяет нейросети просто как умный поисковик. Компании ищут инженеров (включая Manual QA и SDET), которые умеют использовать ИИ для создания решений и реальной оптимизации рабочих процессов.
Опыт разработки (даже небольших) AI-решений становится вашим мощнейшим конкурентным преимуществом.
Что может стать вашим козырем на интервью:
🛠 Собственные микро-тулзы: скрипт для генерации сложных тестовых данных для БД, написанный в паре с Copilot/Claude.
🔄 Автоматизация рутины: Telegram-бот или интеграция в Slack, которая анализирует логи упавших ночных автотестов и выдает краткую выжимку ошибки (summary).
🧠 Улучшение процессов: внедрение AI-ассистентов в CI/CD пайплайн для анализа покрытия или ревью Merge Request'ов.
💡 Пет-проекты: любой небольшой личный проект, где вы прикрутили API от OpenAI/Anthropic для решения бытовой задачи.
Работодатели хотят видеть в вас Builder'а (созидателя), который не боится новых технологий и умеет применять их на практике.
🔗 “What have you built with AI?” is becoming a hiring question
💬 А вам уже задавали подобные вопросы на собеседованиях? Есть ли у вас пет-проекты, скрипты или рабочие тулзы, которые вы собрали с помощью ИИ и которыми гордитесь? Поделитесь своими идеями в комментариях — давайте вдохновлять друг друга! 👇
Shattered Illusions
What Have You Built With AI? Is Becoming a Hiring Question
“What have you built with AI?” caught me off guard on a job application. Now that I’m seeing similar questions from the hiring side, I’ve been thinking about what a useful answer reveals and how building my own tools has given me a new perspective on testing…
👍5❤3
#proQuality_events #proQuality_Conference2026 #proQuality_video
🏁 В заключительные дни ProQuality Conference ’26 спикеры поставили под сомнение два распространенных подхода к тестированию.
Записи выступлений уже доступны:
🔍 Dzmitry Tarasenka и Vladyslav Babenko рассказали, что произошло, когда они отказались от документированных тест-кейсов и привлекли ИИ в качестве помощника для поиска дефектов, которые не удалось выявить с помощью сценарного тестирования.
Запись.
⚙️ Rysard Poplavskij показал, как CodeMie и Claude интегрировали в корпоративный фреймворк на WebdriverIO, чтобы автоматизировать создание сценариев, анализ дефектов и подготовку отчетов в масштабе.
Запись.
📊 Oleksiy Slavutskyy и Anton Yehorov представили подход к регрессионному тестированию ИИ-решений с учетом дрейфа данных: от обнаружения дрейфа до надежных критериев оценки.
Запись.
💡 Daniil Pavlov и Daria Cherepanova завершили конференцию выводами из двух проектов на базе DIAL: о тестировании промптов, бенчмаркинге с использованием датасета Golden Truth и сокращении времени на создание тестовых данных с помощью метапромптинга.
Запись.
▶️ Посмотрите записи четвертого и пятого дней, чтобы получить полную картину, а также практический чек-лист для запуска собственного проекта по тестированию ИИ.
Другие мероприятия ProQuality — на WeAreCommunity.
🏁 В заключительные дни ProQuality Conference ’26 спикеры поставили под сомнение два распространенных подхода к тестированию.
Записи выступлений уже доступны:
🔍 Dzmitry Tarasenka и Vladyslav Babenko рассказали, что произошло, когда они отказались от документированных тест-кейсов и привлекли ИИ в качестве помощника для поиска дефектов, которые не удалось выявить с помощью сценарного тестирования.
Запись.
⚙️ Rysard Poplavskij показал, как CodeMie и Claude интегрировали в корпоративный фреймворк на WebdriverIO, чтобы автоматизировать создание сценариев, анализ дефектов и подготовку отчетов в масштабе.
Запись.
📊 Oleksiy Slavutskyy и Anton Yehorov представили подход к регрессионному тестированию ИИ-решений с учетом дрейфа данных: от обнаружения дрейфа до надежных критериев оценки.
Запись.
💡 Daniil Pavlov и Daria Cherepanova завершили конференцию выводами из двух проектов на базе DIAL: о тестировании промптов, бенчмаркинге с использованием датасета Golden Truth и сокращении времени на создание тестовых данных с помощью метапромптинга.
Запись.
▶️ Посмотрите записи четвертого и пятого дней, чтобы получить полную картину, а также практический чек-лист для запуска собственного проекта по тестированию ИИ.
Другие мероприятия ProQuality — на WeAreCommunity.
👍6❤1
#proQuality_books #softwareTesting #ai
📖 AI Evals in Practice: Testing, reliability, and quality for LLM systems in production (2026)
Автор: Caio Incau
Количество страниц: 216
Язык издания: Английский
LLM-приложения часто выглядят работоспособными на дашбордах, пока их ответы незаметно не деградируют. Книга даёт систематический подход к измерению качества, обнаружению регрессий и принятию решений на основе данных — до и после релиза.
Плюсы:
➕ Практичный подход: создание полноценного Python-инструмента evalkit с датасетами, скорерами и раннерами.
➕ Глубокий разбор продвинутых тем: калибровка LLM-судей, снижение смещений, оценка RAG и агентных траекторий.
➕ Акцент на продакшн-задачи: тестирование промптов в CI, онлайн-сэмплирование и guardrails.
➕ Реальный кейс превращения нестабильного агента в надёжную систему с итоговым проектом и дашбордом.
Минусы:
➖ Требует уверенного владения Python и опыта работы с LLM-приложениями.
➖ Фокус исключительно на оценке систем — другие аспекты ML/AI-инженерии остаются за рамками.
Для кого книга:
✔️ Для тестировщиков LLM, AI-инженеров, разработчиков LLM-приложений и ML-инженеров, создающих продакшн-системы.
✔️ Для техлидов и команд, работающих с промптами, RAG-пайплайнами и AI-агентами.
Об авторе:
Caio Incau — специалист по разработке и тестированию надёжных систем на базе LLM и искусственного интеллекта.
📖 AI Evals in Practice: Testing, reliability, and quality for LLM systems in production (2026)
Автор: Caio Incau
Количество страниц: 216
Язык издания: Английский
LLM-приложения часто выглядят работоспособными на дашбордах, пока их ответы незаметно не деградируют. Книга даёт систематический подход к измерению качества, обнаружению регрессий и принятию решений на основе данных — до и после релиза.
Плюсы:
➕ Практичный подход: создание полноценного Python-инструмента evalkit с датасетами, скорерами и раннерами.
➕ Глубокий разбор продвинутых тем: калибровка LLM-судей, снижение смещений, оценка RAG и агентных траекторий.
➕ Акцент на продакшн-задачи: тестирование промптов в CI, онлайн-сэмплирование и guardrails.
➕ Реальный кейс превращения нестабильного агента в надёжную систему с итоговым проектом и дашбордом.
Минусы:
➖ Требует уверенного владения Python и опыта работы с LLM-приложениями.
➖ Фокус исключительно на оценке систем — другие аспекты ML/AI-инженерии остаются за рамками.
Для кого книга:
✔️ Для тестировщиков LLM, AI-инженеров, разработчиков LLM-приложений и ML-инженеров, создающих продакшн-системы.
✔️ Для техлидов и команд, работающих с промптами, RAG-пайплайнами и AI-агентами.
Об авторе:
Caio Incau — специалист по разработке и тестированию надёжных систем на базе LLM и искусственного интеллекта.
👍5❤2
#ProQuality_interview
Всем привет! С вами снова рубрика Scenario-based вопрос на собеседовании ✨
❓Вопрос: Разработчик говорит, что ошибку не удается воспроизвести на его машине. Ваши действия?
🚦Пример ответа:
Если разработчик не может воспроизвести ошибку, о которой сообщил тестировщик, можно рекомендовать следующее:
✔️Сравнить окружение, в котором была зафиксирована ошибка, с тем, в котором разработчик пытается ее воспроизвести.
✔️Проверить версии браузера и операционной системы, а также состояние кэша на компьютере разработчика.
✔️Собрать логи, скриншоты и HAR-файлы на компьютере разработчика для выявления возможных расхождений.
✔️Предоставить разработчику точные тестовые данные.
✔️Предложить сеанс демонстрации экрана, чтобы показать ошибку в действии.
Всем привет! С вами снова рубрика Scenario-based вопрос на собеседовании ✨
❓Вопрос: Разработчик говорит, что ошибку не удается воспроизвести на его машине. Ваши действия?
🚦Пример ответа:
Если разработчик не может воспроизвести ошибку, о которой сообщил тестировщик, можно рекомендовать следующее:
✔️Сравнить окружение, в котором была зафиксирована ошибка, с тем, в котором разработчик пытается ее воспроизвести.
✔️Проверить версии браузера и операционной системы, а также состояние кэша на компьютере разработчика.
✔️Собрать логи, скриншоты и HAR-файлы на компьютере разработчика для выявления возможных расхождений.
✔️Предоставить разработчику точные тестовые данные.
✔️Предложить сеанс демонстрации экрана, чтобы показать ошибку в действии.
❤6
#automationTesting
Ваш UI-фреймворк может быть слишком сложным.
Playwright уже умеет многое из того, что команды часто реализуют самостоятельно: авторизацию, изоляцию тестов, работу с контекстами браузера и не только.
В сегодняшейм статье автор разберет, как убрать лишний код и сделать тестовый фреймворк проще и надёжнее.
📖 Ваш UI-фреймворк уже написан. Используем возможности Playwright
Ваш UI-фреймворк может быть слишком сложным.
Playwright уже умеет многое из того, что команды часто реализуют самостоятельно: авторизацию, изоляцию тестов, работу с контекстами браузера и не только.
В сегодняшейм статье автор разберет, как убрать лишний код и сделать тестовый фреймворк проще и надёжнее.
📖 Ваш UI-фреймворк уже написан. Используем возможности Playwright
👍4❤1
#softwareTesting #automationTesting
Ручное и автоматизированное тестирование часто существуют параллельно: одни сценарии проверяются вручную, другие покрыты автотестами, а знания о процессах держатся на опыте отдельных людей. Пока продукт небольшой, это работает. Но с ростом числа тестов, окружений и релизных проверок такой подход начинает создавать риски.
В статье автор рассказывает, как выстроить единый процесс взаимодействия между manual QA и automation QA: от выбора кандидатов на автоматизацию и ревью сценариев до регрессионного тестирования, разбора падений и фиксации покрытия.
Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества
Ручное и автоматизированное тестирование часто существуют параллельно: одни сценарии проверяются вручную, другие покрыты автотестами, а знания о процессах держатся на опыте отдельных людей. Пока продукт небольшой, это работает. Но с ростом числа тестов, окружений и релизных проверок такой подход начинает создавать риски.
В статье автор рассказывает, как выстроить единый процесс взаимодействия между manual QA и automation QA: от выбора кандидатов на автоматизацию и ревью сценариев до регрессионного тестирования, разбора падений и фиксации покрытия.
Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества
❤3👍2
#softwareTesting
Путь в тестирование редко бывает идеальным. Первые баги, непонятные термины, страх ошибиться, правки тест-кейсов и постоянное обучение проходят практически все начинающие QA.
Автор делится личным опытом стажировки и рассказывает, как выглядит работа тестировщика глазами новичка: без прикрас, но с полезными выводами.
От первого бага до ревью тест-кейсов: как я стала тестировщиком
Путь в тестирование редко бывает идеальным. Первые баги, непонятные термины, страх ошибиться, правки тест-кейсов и постоянное обучение проходят практически все начинающие QA.
Автор делится личным опытом стажировки и рассказывает, как выглядит работа тестировщика глазами новичка: без прикрас, но с полезными выводами.
От первого бага до ревью тест-кейсов: как я стала тестировщиком
Хабр
От первого бага до ревью тест-кейсов: как я стала тестировщиком
Привет, Хабр! Меня зовут Вероника Железникова, я стажёр-тестировщик в команде поиска. Когда я пришла в тестирование, мне казалось, что вокруг все говорят на каком-то своём языке. Регресс, смок, релиз,...
❤5😢1
#ProQuality_news
⚡ От 20 минут до 2: как ускорить заведение баг-репортов с помощью Claude
Знакомая картина: баг воспроизводится за полминуты, а на его оформление уходит ещё 15–20 минут. Расписать подробные шаги, чётко сформулировать фактический и ожидаемый результат, указать окружение, прикрепить логи и оформить всё строго по шаблону команды. Если за спринт находится пара десятков дефектов, оформление тикетов превращается в отдельную рутину.
В статье автор делится элегантным воркфлоу с использованием Claude Projects, который сокращает этот процесс в разы.
🛠 Как это устроено:
1. Один раз настраиваем Claude Project (контекст):
• В системный промпт зашивается принятый в команде шаблон тикета (Jira/YouTrack/Linear).
• В Project Knowledge загружаются примеры хороших баг-репортов вашей команды, глоссарий компонентов и правила выставления Severity / Priority.
2. Процесс заведения бага:
• Отправляем в чат скриншот бага (или сниппет консоли/логов).
• Дописываем буквально 1–2 предложения сути (например: «В чекауте при пустом поле CVV нажал "Оплатить" — экран побелел вместо валидации»).
3. Результат:
• Мультимодальная модель считывает контекст со скриншота, восстанавливает UI-элементы и за секунды выдаёт готовый тикет: от краткого Summary до структурированных Steps to Reproduce и ожидаемого поведения.
• Вам остаётся только провести быструю вычитку (sanity check) и нажать Create ticket.
Такой подход убирает рутинную копирайтинг-часть, сохраняя фокус тестировщика на самом тестировании и верификации фактов.
🔗 My Bug Tickets Used to Take 20 Minutes. Now Claude Files Them in 2.
💬 Используете ли вы уже LLM (Claude, ChatGPT и др.) для составления баг-репортов или тест-кейсов? Или ручное описание всё ещё надежнее, чтобы избежать галлюцинаций в шагах? Делитесь опытом и своими промптами в комментариях! 👇
⚡ От 20 минут до 2: как ускорить заведение баг-репортов с помощью Claude
Знакомая картина: баг воспроизводится за полминуты, а на его оформление уходит ещё 15–20 минут. Расписать подробные шаги, чётко сформулировать фактический и ожидаемый результат, указать окружение, прикрепить логи и оформить всё строго по шаблону команды. Если за спринт находится пара десятков дефектов, оформление тикетов превращается в отдельную рутину.
В статье автор делится элегантным воркфлоу с использованием Claude Projects, который сокращает этот процесс в разы.
🛠 Как это устроено:
1. Один раз настраиваем Claude Project (контекст):
• В системный промпт зашивается принятый в команде шаблон тикета (Jira/YouTrack/Linear).
• В Project Knowledge загружаются примеры хороших баг-репортов вашей команды, глоссарий компонентов и правила выставления Severity / Priority.
2. Процесс заведения бага:
• Отправляем в чат скриншот бага (или сниппет консоли/логов).
• Дописываем буквально 1–2 предложения сути (например: «В чекауте при пустом поле CVV нажал "Оплатить" — экран побелел вместо валидации»).
3. Результат:
• Мультимодальная модель считывает контекст со скриншота, восстанавливает UI-элементы и за секунды выдаёт готовый тикет: от краткого Summary до структурированных Steps to Reproduce и ожидаемого поведения.
• Вам остаётся только провести быструю вычитку (sanity check) и нажать Create ticket.
Такой подход убирает рутинную копирайтинг-часть, сохраняя фокус тестировщика на самом тестировании и верификации фактов.
🔗 My Bug Tickets Used to Take 20 Minutes. Now Claude Files Them in 2.
💬 Используете ли вы уже LLM (Claude, ChatGPT и др.) для составления баг-репортов или тест-кейсов? Или ручное описание всё ещё надежнее, чтобы избежать галлюцинаций в шагах? Делитесь опытом и своими промптами в комментариях! 👇
Medium
My Bug Tickets Used to Take 20 Minutes. Now Claude Files Them in 2.
A screenshot, two lines of explanation, and a Claude Project that already knows how our team writes tickets.
🔥6
#proQuality_books #softwareTesting
📖 Real-World Bug Hunting: A Field Guide to Web Hacking (2019)
Автор: Peter Yaworski
Количество страниц: 264
Язык издания: Английский
Практическое руководство по поиску уязвимостей в веб-приложениях. Разбирает XSS, IDOR, SSRF и другие распространённые типы уязвимостей на реальных кейсах с выплатами от Twitter, Facebook, Google и Uber.
Плюсы:
➕ Чёткое объяснение сложных концепций без лишней «воды» и теории.
➕ Главы о подготовке отчётов об уязвимостях и поиске bug bounty программ.
➕ Приложение со списком рекомендуемых инструментов и ресурсов для дальнейшего развития.
Минусы:
➖ Часть материала может показаться слишком простой для опытных исследователей.
➖ Требует базового понимания веб-технологий (HTTP, клиент-серверное взаимодействие).
➖ Не охватывает продвинутый пентест мобильных и десктопных приложений.
Для кого книга:
✔️ Для начинающих специалистов по кибербезопасности и тестировщиков веб-приложений, осваивающих bug bounty.
✔️ Для веб-разработчиков, желающих понять логику атак и писать безопасный код.
Об авторе:
Peter Yaworski — специалист по кибербезопасности и автор бестселлера Web Hacking 101, помогающий компаниям повышать защищённость веб-приложений.
📖 Real-World Bug Hunting: A Field Guide to Web Hacking (2019)
Автор: Peter Yaworski
Количество страниц: 264
Язык издания: Английский
Практическое руководство по поиску уязвимостей в веб-приложениях. Разбирает XSS, IDOR, SSRF и другие распространённые типы уязвимостей на реальных кейсах с выплатами от Twitter, Facebook, Google и Uber.
Плюсы:
➕ Чёткое объяснение сложных концепций без лишней «воды» и теории.
➕ Главы о подготовке отчётов об уязвимостях и поиске bug bounty программ.
➕ Приложение со списком рекомендуемых инструментов и ресурсов для дальнейшего развития.
Минусы:
➖ Часть материала может показаться слишком простой для опытных исследователей.
➖ Требует базового понимания веб-технологий (HTTP, клиент-серверное взаимодействие).
➖ Не охватывает продвинутый пентест мобильных и десктопных приложений.
Для кого книга:
✔️ Для начинающих специалистов по кибербезопасности и тестировщиков веб-приложений, осваивающих bug bounty.
✔️ Для веб-разработчиков, желающих понять логику атак и писать безопасный код.
Об авторе:
Peter Yaworski — специалист по кибербезопасности и автор бестселлера Web Hacking 101, помогающий компаниям повышать защищённость веб-приложений.
❤5👍2
#ProQuality_case
📉 Эпоха TestRail и Zephyr уходит? Почему команды отказываются от платных TMS
Всем привет! 👋 Где сейчас "живут" ваши тест-кейсы?
Автор в своем блоге подняла отличный вопрос: «Становятся ли системы управления тестированием (TMS) устаревшими?». В статье опубликованы результаты свежего опроса среди специалистов индустрии, и эти данные отлично отражают дух 2026 года.
📊 Главный инсайт: Большинство команд больше не хотят платить за дорогие и неповоротливые enterprise-платформы для управления тестированием.
Вместо этого наметился масштабный сдвиг к двум новым подходам:
1️⃣ In-house разработка (Свои тулзы). Компании предпочитают создавать собственные, легковесные решения, которые идеально встраиваются в их CI/CD пайплайны. С современным уровнем фреймворков и AI-помощников написать кастомную тулзу для тестов стало в разы быстрее и дешевле, чем покупать лицензии на команду.
2️⃣ Использование ИИ. Тестировщики всё чаще отдают генерацию, категоризацию и актуализацию тестовой документации на откуп искусственному интеллекту, храня сценарии прямо в коде (в репозиториях), минуя сторонние интерфейсы.
💸 Почему так происходит? Enterprise-инструменты часто навязывают свои процессы, страдают от избыточного функционала (которым никто не пользуется) и стоят неоправданно дорого. Командам нужна гибкость, скорость и тесная интеграция с кодом, чего классические TMS часто дать не могут.
🔗 Are Test Management Tools Becoming Obsolete?
💬 Ваша компания всё ещё платит за тяжелые решения вроде TestRail, Xray или Allure TestOps? Или вы тоже перешли на кастомные дашборды, хранение тестов в коде и работу через ИИ? Делитесь своим сетапом в комментариях! 👇
📉 Эпоха TestRail и Zephyr уходит? Почему команды отказываются от платных TMS
Всем привет! 👋 Где сейчас "живут" ваши тест-кейсы?
Автор в своем блоге подняла отличный вопрос: «Становятся ли системы управления тестированием (TMS) устаревшими?». В статье опубликованы результаты свежего опроса среди специалистов индустрии, и эти данные отлично отражают дух 2026 года.
📊 Главный инсайт: Большинство команд больше не хотят платить за дорогие и неповоротливые enterprise-платформы для управления тестированием.
Вместо этого наметился масштабный сдвиг к двум новым подходам:
1️⃣ In-house разработка (Свои тулзы). Компании предпочитают создавать собственные, легковесные решения, которые идеально встраиваются в их CI/CD пайплайны. С современным уровнем фреймворков и AI-помощников написать кастомную тулзу для тестов стало в разы быстрее и дешевле, чем покупать лицензии на команду.
2️⃣ Использование ИИ. Тестировщики всё чаще отдают генерацию, категоризацию и актуализацию тестовой документации на откуп искусственному интеллекту, храня сценарии прямо в коде (в репозиториях), минуя сторонние интерфейсы.
💸 Почему так происходит? Enterprise-инструменты часто навязывают свои процессы, страдают от избыточного функционала (которым никто не пользуется) и стоят неоправданно дорого. Командам нужна гибкость, скорость и тесная интеграция с кодом, чего классические TMS часто дать не могут.
🔗 Are Test Management Tools Becoming Obsolete?
💬 Ваша компания всё ещё платит за тяжелые решения вроде TestRail, Xray или Allure TestOps? Или вы тоже перешли на кастомные дашборды, хранение тестов в коде и работу через ИИ? Делитесь своим сетапом в комментариях! 👇
Emna Ayadi
Are Test Management Tools Becoming Obsolete?
Are traditional test management tools still the default choice for testing teams? A LinkedIn poll revealed that 70% of respondents are either building their own solutions or still searching for the…
👍3❤2
#automationTesting
Как автоматизировать вход через passkeys, WebAuthn и ключи безопасности?
В статье автор покажет, как использовать Playwright для тестирования современных механизмов аутентификации без физических устройств.
Автоматизированное тестирование Webauthn с помощью Playwright
Как автоматизировать вход через passkeys, WebAuthn и ключи безопасности?
В статье автор покажет, как использовать Playwright для тестирования современных механизмов аутентификации без физических устройств.
Автоматизированное тестирование Webauthn с помощью Playwright
Хабр
Автоматизированное тестирование Webauthn с помощью Playwright
Авторизация — это сложно… Хотя казалось бы — самая часто используемая фича в мире. Очень многие процессы завязаны на авторизации и аутентификации. Начиная от ваших любимых соцсетей и заканчивая...
❤4
#softwareTesting
Метрики дефектов — мощный инструмент, когда вы понимаете их пределы. Они показывают реальное состояние продукта, помогают найти проблемные зоны и принимать решения на данных, а не на ощущениях. Но ровно до того момента, пока вы не превратили одну из них в самоцель.
В статье автор расскажет о шести анти-паттернах использования метрик дефектов (bug count как личный KPI, «меньше багов = выше качество», абсолютные числа без контекста, среднее время закрытия без разбивки по severity, отсутствие этапа обнаружения, обход reopen rate), объяснит, почему они искажают картину качества, и предложит системный подход с набором связанных метрик (Escape Rate, Severity Distribution, DRE, MTTR, Reopen Rate).
6 ошибок в метриках дефектов, из‑за которых QA теряет контроль над качеством
Метрики дефектов — мощный инструмент, когда вы понимаете их пределы. Они показывают реальное состояние продукта, помогают найти проблемные зоны и принимать решения на данных, а не на ощущениях. Но ровно до того момента, пока вы не превратили одну из них в самоцель.
В статье автор расскажет о шести анти-паттернах использования метрик дефектов (bug count как личный KPI, «меньше багов = выше качество», абсолютные числа без контекста, среднее время закрытия без разбивки по severity, отсутствие этапа обнаружения, обход reopen rate), объяснит, почему они искажают картину качества, и предложит системный подход с набором связанных метрик (Escape Rate, Severity Distribution, DRE, MTTR, Reopen Rate).
6 ошибок в метриках дефектов, из‑за которых QA теряет контроль над качеством
👍4❤2
#ProQuality_case
🤖💥 Как AI-агенты ломают CI/CD и почему тестирование стало главным «бутылочным горлышком»: опыт Anthropic
Инженеры Anthropic выпустили статью о том, как внедрение агентного написания кода обрушило их инфраструктуру тестирования. Когда код за вас генерируют агенты, узким местом перестает быть разработка — им мгновенно становятся верификация, тестирование и CI.
📊 Что произошло?
• Инженеры Anthropic теперь выпускают в 8 раз больше кода за квартал (80% этого объема пишет Claude).
• Claude предпочитает дробить задачи: PR стали меньше, но их количество колоссально возросло.
• Пул тестов вырос в 10 раз, а объем CI-джоб подскочил в 25 раз всего за 6 месяцев!
🎯 В чем проблема для тестирования?
Запускать весь тестовый сьют на каждый коммит/PR стало физически невозможно: очереди растягиваются, расходы на раннеры улетают в космос.
Но главное отличие человека от AI-агента — в реакции на падения тестов:
• Опытный инженер видит флакующий или несвязанный тест и может понять: «Это не из-за моих правок, мержить можно».
• AI-агент не обладает таким контекстом. Ложное падение сбивает его с толку, агент начинает бесконечно «чинить» чужой или нерелевантный код. Чтобы агент мог автономно дорабатывать задачи (self-verify), ему нужна детерминированная и максимально быстрая обратная связь.
🛠 Решение: Test Impact Analysis (TIA)
Anthropic полагается на TIA (сервис умного выбора тестов), который определяет точный набор тестов для каждого изменения на базе графа зависимостей и истории прогонов.
Но сервис был написан как монолитный синглтон и при росте нагрузки начал захлебываться. В итоге сервис полностью перепроектировали в stateless-архитектуру с распределенным журналом в in-memory хранилище и горизонтальным масштабированием воркеров.
💡 Главные выводы для QA / SDET:
• Тестирование — новый барьер. Когда генерация кода стоит дешево, ценность переходит в быструю и точную верификацию.
• Test Impact Analysis и изоляция flaky-тестов становятся мастхевом. Без умного отбора тестов пайплайны при агентной разработке просто встанут.
• Закладывайте x10–x25 в инфраструктуру. Если команда начинает активно использовать агентные инструменты вроде Claude Code или Cursor, объем коммитов и запусков тестов вырастет экспоненциально.
🔗 Agentic coding is straining CI. Here's how we scaled test impact analysis at Anthropic
💬 Заметили ли вы в своих проектах рост количества PR и нагрузки на CI из-за AI-инструментов? Используете ли у себя Test Impact Analysis, или все еще гоняете полный сьют на каждый чих? Делитесь в комментариях! 👇
🤖💥 Как AI-агенты ломают CI/CD и почему тестирование стало главным «бутылочным горлышком»: опыт Anthropic
Инженеры Anthropic выпустили статью о том, как внедрение агентного написания кода обрушило их инфраструктуру тестирования. Когда код за вас генерируют агенты, узким местом перестает быть разработка — им мгновенно становятся верификация, тестирование и CI.
📊 Что произошло?
• Инженеры Anthropic теперь выпускают в 8 раз больше кода за квартал (80% этого объема пишет Claude).
• Claude предпочитает дробить задачи: PR стали меньше, но их количество колоссально возросло.
• Пул тестов вырос в 10 раз, а объем CI-джоб подскочил в 25 раз всего за 6 месяцев!
🎯 В чем проблема для тестирования?
Запускать весь тестовый сьют на каждый коммит/PR стало физически невозможно: очереди растягиваются, расходы на раннеры улетают в космос.
Но главное отличие человека от AI-агента — в реакции на падения тестов:
• Опытный инженер видит флакующий или несвязанный тест и может понять: «Это не из-за моих правок, мержить можно».
• AI-агент не обладает таким контекстом. Ложное падение сбивает его с толку, агент начинает бесконечно «чинить» чужой или нерелевантный код. Чтобы агент мог автономно дорабатывать задачи (self-verify), ему нужна детерминированная и максимально быстрая обратная связь.
🛠 Решение: Test Impact Analysis (TIA)
Anthropic полагается на TIA (сервис умного выбора тестов), который определяет точный набор тестов для каждого изменения на базе графа зависимостей и истории прогонов.
Но сервис был написан как монолитный синглтон и при росте нагрузки начал захлебываться. В итоге сервис полностью перепроектировали в stateless-архитектуру с распределенным журналом в in-memory хранилище и горизонтальным масштабированием воркеров.
💡 Главные выводы для QA / SDET:
• Тестирование — новый барьер. Когда генерация кода стоит дешево, ценность переходит в быструю и точную верификацию.
• Test Impact Analysis и изоляция flaky-тестов становятся мастхевом. Без умного отбора тестов пайплайны при агентной разработке просто встанут.
• Закладывайте x10–x25 в инфраструктуру. Если команда начинает активно использовать агентные инструменты вроде Claude Code или Cursor, объем коммитов и запусков тестов вырастет экспоненциально.
🔗 Agentic coding is straining CI. Here's how we scaled test impact analysis at Anthropic
💬 Заметили ли вы в своих проектах рост количества PR и нагрузки на CI из-за AI-инструментов? Используете ли у себя Test Impact Analysis, или все еще гоняете полный сьют на каждый чих? Делитесь в комментариях! 👇
Claude
Agentic coding is straining CI. Here’s how we scaled test impact analysis at Anthropic
Our CI job volume increased 25x over 6 months. We patched our test selection service three times before finding a sustainable solution.
👍4❤1
#softwareTesting #proQuality_translation
Greenfield-проекты дают командам свободу создавать системы с нуля, но вместе с этим приносят высокий уровень неопределенности. Отсутствие исторических данных, меняющиеся требования и развивающаяся архитектура требуют особого подхода к тестированию.
Автор статьи разбирает основные вызовы Greenfield-разработки, практики Shift-Left Testing, Exploratory Testing и Risk-Based Testing, а также различия между внутренними и клиентскими проектами.
Что такое Greenfield-проекты и почему их сложно тестировать
Greenfield-проекты дают командам свободу создавать системы с нуля, но вместе с этим приносят высокий уровень неопределенности. Отсутствие исторических данных, меняющиеся требования и развивающаяся архитектура требуют особого подхода к тестированию.
Автор статьи разбирает основные вызовы Greenfield-разработки, практики Shift-Left Testing, Exploratory Testing и Risk-Based Testing, а также различия между внутренними и клиентскими проектами.
Что такое Greenfield-проекты и почему их сложно тестировать
🔥3❤1
#ProQuality_case
🎧 Как AI изменил разработку в Spotify и почему узким горлышком снова стало тестирование (а не «плохой код нейросетей»)
В инженерном блоге Spotify вышел большой разбор с анализом последствий масштабного внедрения AI-агентов в разработку (включая миграцию бэкенда на новую версию Java за 3 дня с помощью агентов).
Главный вывод исследования рушит популярный миф: проблема не в качестве AI-кода («AI slop»), а в том, что системы верификации и тестирования не успевают за возросшей скоростью изменений.
📊 Что показала статистика Spotify?
• Объем PR удвоился: с 8 100 до 17 000 смерженных PR в месяц.
• Прямой вины AI в инцидентах нет: при ретроспективе крупных сбоев Spotify не нашел прямой зависимости между авторством кода (AI или человек) и авариями.
• Метрика переделок (rework rate) стабильна: вопреки отраслевым отчетам о росте «мусорного кода», свежий код не приходится переписывать чаще прежнего. Более того, доля работы над качеством и оптимизацией выросла с 27% до 31%.
⚠️ С какими вызовами столкнулись QA и Platform-команды?
Когда скорость генерации изменений удваивается, привычные подходы к тестированию начинают сбоить:
1.Чеки проходят, а прод падает.
Агентные авто-обновления зависимостей успешно проходили все пайплайны проверок, но все равно ломали прод.
• Что изменили: усилили safeguard-проверки, расширили возможности мгновенного отката (automated rollbacks) и запретили применять автоматические изменения вне рабочих часов команд-владельцев.
2. «Зеленые» релизы и скрытая деградация.
В мобильном приложении (777 млн пользователей, 2000+ моделей устройств) отдельные релизы выглядели абсолютно здоровыми по метрикам. Однако микро-регрессии накапливались постепенно или проявлялись только на узких группах девайсов.
• Что изменили: расширили guardrail metrics и перешли от проверки «релиз за релизом» к долгосрочному анализу трендов качества.
3. Рост сложности и размера PR.
Связка «инженер + агент» стала выдавать более объемные и сложные PR. Классические лимиты сложности (рассчитанные на то, сколько кода разработчик может удержать в голове) перестают работать, требуя пересмотра подходов к ревью и статическому анализу.
💡 Главный инсайт для тестировщиков
«AI увеличил нашу способность производить изменения. Следующим барьером стала наша способность их верифицировать».
🔗 AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity
💬 Сталкивались ли вы с ситуацией, когда автотесты и пайплайн «зеленые», но из-за возросшего потока мелких изменений продукт незаметно теряет в стабильности? Как вы отслеживаете такие скрытые регрессии у себя? Делитесь в комментариях! 👇
🎧 Как AI изменил разработку в Spotify и почему узким горлышком снова стало тестирование (а не «плохой код нейросетей»)
В инженерном блоге Spotify вышел большой разбор с анализом последствий масштабного внедрения AI-агентов в разработку (включая миграцию бэкенда на новую версию Java за 3 дня с помощью агентов).
Главный вывод исследования рушит популярный миф: проблема не в качестве AI-кода («AI slop»), а в том, что системы верификации и тестирования не успевают за возросшей скоростью изменений.
📊 Что показала статистика Spotify?
• Объем PR удвоился: с 8 100 до 17 000 смерженных PR в месяц.
• Прямой вины AI в инцидентах нет: при ретроспективе крупных сбоев Spotify не нашел прямой зависимости между авторством кода (AI или человек) и авариями.
• Метрика переделок (rework rate) стабильна: вопреки отраслевым отчетам о росте «мусорного кода», свежий код не приходится переписывать чаще прежнего. Более того, доля работы над качеством и оптимизацией выросла с 27% до 31%.
⚠️ С какими вызовами столкнулись QA и Platform-команды?
Когда скорость генерации изменений удваивается, привычные подходы к тестированию начинают сбоить:
1.Чеки проходят, а прод падает.
Агентные авто-обновления зависимостей успешно проходили все пайплайны проверок, но все равно ломали прод.
• Что изменили: усилили safeguard-проверки, расширили возможности мгновенного отката (automated rollbacks) и запретили применять автоматические изменения вне рабочих часов команд-владельцев.
2. «Зеленые» релизы и скрытая деградация.
В мобильном приложении (777 млн пользователей, 2000+ моделей устройств) отдельные релизы выглядели абсолютно здоровыми по метрикам. Однако микро-регрессии накапливались постепенно или проявлялись только на узких группах девайсов.
• Что изменили: расширили guardrail metrics и перешли от проверки «релиз за релизом» к долгосрочному анализу трендов качества.
3. Рост сложности и размера PR.
Связка «инженер + агент» стала выдавать более объемные и сложные PR. Классические лимиты сложности (рассчитанные на то, сколько кода разработчик может удержать в голове) перестают работать, требуя пересмотра подходов к ревью и статическому анализу.
💡 Главный инсайт для тестировщиков
«AI увеличил нашу способность производить изменения. Следующим барьером стала наша способность их верифицировать».
🔗 AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity
💬 Сталкивались ли вы с ситуацией, когда автотесты и пайплайн «зеленые», но из-за возросшего потока мелких изменений продукт незаметно теряет в стабильности? Как вы отслеживаете такие скрытые регрессии у себя? Делитесь в комментариях! 👇
Spotify Engineering
AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity | Spotify Engineering
👍4❤1
#automationTesting
Хорошая архитектура автотестов держится не только на Page Object. Важно, чтобы паттерны, тестовые данные, шаги, проверки и логирование работали как единая система, а не набор разрозненных решений.
В статье автор разберет ключевые паттерны автоматизации и подход к построению поддерживаемой архитектуры тестового фреймворка.
Паттерны автоматизации и архитектура автотестов
Хорошая архитектура автотестов держится не только на Page Object. Важно, чтобы паттерны, тестовые данные, шаги, проверки и логирование работали как единая система, а не набор разрозненных решений.
В статье автор разберет ключевые паттерны автоматизации и подход к построению поддерживаемой архитектуры тестового фреймворка.
Паттерны автоматизации и архитектура автотестов
👍3❤1
#softwareTesting
UX‑тестирование — это проверка того, насколько приложение удобно, понятно и предсказуемо для живого человека. Не для тест‑дизайнера, не для разработчика, а для уставшего пользователя с маленьким экраном, большим пальцем и желанием решить свою задачу за три секунды.
В статье автор расскажет о том, как оценивать пользовательский опыт мобильных приложений без специального софта, длительного обучения и команды адептов психологии.
Тестирование UX для мобильных приложений: чек‑лист без софта и магии
UX‑тестирование — это проверка того, насколько приложение удобно, понятно и предсказуемо для живого человека. Не для тест‑дизайнера, не для разработчика, а для уставшего пользователя с маленьким экраном, большим пальцем и желанием решить свою задачу за три секунды.
В статье автор расскажет о том, как оценивать пользовательский опыт мобильных приложений без специального софта, длительного обучения и команды адептов психологии.
Тестирование UX для мобильных приложений: чек‑лист без софта и магии
👍4❤2
#ProQuality_tools
🛠 Chrome DevTools — это не только для разработчиков: как выжимать максимум в тестировании
Многие тестировщики используют DevTools исключительно для того, чтобы «подсмотреть селектор» или скопировать ошибку из консоли. Но внутри браузера спрятан полноценный швейцарский нож для локализации багов и ускорения работы.
Собрали ключевые инсайты и практические трюки на основе статьи:
🔍 1. Фронт или бэк? Вкладка Network рассудит за секунды
Классическая ситуация: на странице не отображаются данные или форма выдаёт странную ошибку. Прежде чем писать разработчику абстрактное «не работает», загляните во вкладку Network:
• Payload / Request: уходят ли корректные параметры на сервер? Если фронт отправил не то — ошибка на стороне UI/фронтенда.
• Response / Status: если запрос ушёл правильно, а сервер вернул
• Если статус
⚡ 2. Проверка локаторов за 5 секунд прямо в Console
Зачем запускать автотест в Selenium/Playwright, чтобы узнать, что селектор сломался?
•
•
🚧 3. Обход валидации на клиенте через Elements
Проверяете, реализована ли серверная валидация?
• Найдите инпут через Inspect, удалите в DOM-дереве атрибуты
• Если бэк принял эти данные — перед вами баг безопасности и отсутствие валидации API.
🐢 4. Network Throttling и баг «двойного клика»
Пока запрос уходит на сервер, кнопка «Оплатить» или «Оформить» должна блокироваться.
• Включите эмуляцию медленной сети (Slow 3G) и быстро кликните дважды.
• Если создалось два заказа или списалась двойная сумма — вы поймали критичный баг!
🔗 7 Chrome DevTools Tricks Every Tester Should Know
💬 А какими трюками в DevTools чаще всего пользуетесь вы? Используете ли локальные оверрайды (Local Overrides), эмуляцию датчиков/геолокации или хватает стандартных Network и Console? Делитесь своими любимыми лайфхаками в комментариях! 👇
🛠 Chrome DevTools — это не только для разработчиков: как выжимать максимум в тестировании
Многие тестировщики используют DevTools исключительно для того, чтобы «подсмотреть селектор» или скопировать ошибку из консоли. Но внутри браузера спрятан полноценный швейцарский нож для локализации багов и ускорения работы.
Собрали ключевые инсайты и практические трюки на основе статьи:
🔍 1. Фронт или бэк? Вкладка Network рассудит за секунды
Классическая ситуация: на странице не отображаются данные или форма выдаёт странную ошибку. Прежде чем писать разработчику абстрактное «не работает», загляните во вкладку Network:
• Payload / Request: уходят ли корректные параметры на сервер? Если фронт отправил не то — ошибка на стороне UI/фронтенда.
• Response / Status: если запрос ушёл правильно, а сервер вернул
500 Internal Server Error или пустой/невалидный JSON — смело заводите баг на бэкенд.• Если статус
200 OK и в ответе всё на месте, но на экране пусто или undefined — баг на фронте.⚡ 2. Проверка локаторов за 5 секунд прямо в Console
Зачем запускать автотест в Selenium/Playwright, чтобы узнать, что селектор сломался?
•
$(#id) или $$(.class) — вызов нативных шорткатов DevTools для поиска элементов по CSS.•
$x(//xpath) — моментальная проверка XPath прямо из консоли.🚧 3. Обход валидации на клиенте через Elements
Проверяете, реализована ли серверная валидация?
• Найдите инпут через Inspect, удалите в DOM-дереве атрибуты
required или maxlength="50" и отправьте 200 символов. • Если бэк принял эти данные — перед вами баг безопасности и отсутствие валидации API.
🐢 4. Network Throttling и баг «двойного клика»
Пока запрос уходит на сервер, кнопка «Оплатить» или «Оформить» должна блокироваться.
• Включите эмуляцию медленной сети (Slow 3G) и быстро кликните дважды.
• Если создалось два заказа или списалась двойная сумма — вы поймали критичный баг!
🔗 7 Chrome DevTools Tricks Every Tester Should Know
💬 А какими трюками в DevTools чаще всего пользуетесь вы? Используете ли локальные оверрайды (Local Overrides), эмуляцию датчиков/геолокации или хватает стандартных Network и Console? Делитесь своими любимыми лайфхаками в комментариях! 👇
Medium
7 Chrome DevTools Tricks Every Tester Should Know
Starting with the 5-second Console check that catches a broken locator before Selenium does.
👍5❤1