ProQuality Community
2.8K subscribers
233 photos
49 videos
2 files
1.5K links
Приветствуем в ProQuality Community – это обмен практиками тестирования между самыми разными специалистами! Присоединяйтесь к нам в youtube https://cutt.ly/8eTjvnl7
Сотрудничество: @andrey_talisman_ivanov
Download Telegram
#ProQuality_interview

🤖 «А что вы создали с помощью ИИ?» — новый главный вопрос на собеседованиях

Всем привет! 👋 Планируете искать новую работу или хотите оставаться востребованным специалистом? Тогда обратите внимание на новый тренд, который активно захватывает рынок найма.

Автор статьи в своем блоге опубликовал заметку о важном сдвиге в индустрии: на технических интервью все чаще звучит вопрос: «What have you built with AI?»

Почему это критично для тестировщиков?
Работодателям больше недостаточно услышать: "Я использую ChatGPT для написания тест-кейсов". Рынок переполнен теми, кто применяет нейросети просто как умный поисковик. Компании ищут инженеров (включая Manual QA и SDET), которые умеют использовать ИИ для создания решений и реальной оптимизации рабочих процессов.

Опыт разработки (даже небольших) AI-решений становится вашим мощнейшим конкурентным преимуществом.

Что может стать вашим козырем на интервью:
🛠 Собственные микро-тулзы: скрипт для генерации сложных тестовых данных для БД, написанный в паре с Copilot/Claude.
🔄 Автоматизация рутины: Telegram-бот или интеграция в Slack, которая анализирует логи упавших ночных автотестов и выдает краткую выжимку ошибки (summary).
🧠 Улучшение процессов: внедрение AI-ассистентов в CI/CD пайплайн для анализа покрытия или ревью Merge Request'ов.
💡 Пет-проекты: любой небольшой личный проект, где вы прикрутили API от OpenAI/Anthropic для решения бытовой задачи.

Работодатели хотят видеть в вас Builder'а (созидателя), который не боится новых технологий и умеет применять их на практике.

🔗 “What have you built with AI?” is becoming a hiring question
💬 А вам уже задавали подобные вопросы на собеседованиях? Есть ли у вас пет-проекты, скрипты или рабочие тулзы, которые вы собрали с помощью ИИ и которыми гордитесь? Поделитесь своими идеями в комментариях — давайте вдохновлять друг друга! 👇
👍5❤3
​​#proQuality_events #proQuality_Conference2026 #proQuality_video

🏁 В заключительные дни ProQuality Conference ’26 спикеры поставили под сомнение два распространенных подхода к тестированию.

Записи выступлений уже доступны:

🔍 Dzmitry Tarasenka и Vladyslav Babenko рассказали, что произошло, когда они отказались от документированных тест-кейсов и привлекли ИИ в качестве помощника для поиска дефектов, которые не удалось выявить с помощью сценарного тестирования.
Запись.

⚙️ Rysard Poplavskij показал, как CodeMie и Claude интегрировали в корпоративный фреймворк на WebdriverIO, чтобы автоматизировать создание сценариев, анализ дефектов и подготовку отчетов в масштабе.
Запись.

📊 Oleksiy Slavutskyy и Anton Yehorov представили подход к регрессионному тестированию ИИ-решений с учетом дрейфа данных: от обнаружения дрейфа до надежных критериев оценки.
Запись.

💡 Daniil Pavlov и Daria Cherepanova завершили конференцию выводами из двух проектов на базе DIAL: о тестировании промптов, бенчмаркинге с использованием датасета Golden Truth и сокращении времени на создание тестовых данных с помощью метапромптинга.
Запись.

▶️ Посмотрите записи четвертого и пятого дней, чтобы получить полную картину, а также практический чек-лист для запуска собственного проекта по тестированию ИИ.

Другие мероприятия ProQuality — на WeAreCommunity.
👍6❤1
​​#proQuality_books #softwareTesting #ai
 
📖 AI Evals in Practice: Testing, reliability, and quality for LLM systems in production (2026)
Автор: Caio Incau
Количество страниц: 216
Язык издания: Английский
 
LLM-приложения часто выглядят работоспособными на дашбордах, пока их ответы незаметно не деградируют. Книга даёт систематический подход к измерению качества, обнаружению регрессий и принятию решений на основе данных — до и после релиза.
 
Плюсы:
➕ Практичный подход: создание полноценного Python-инструмента evalkit с датасетами, скорерами и раннерами.
➕ Глубокий разбор продвинутых тем: калибровка LLM-судей, снижение смещений, оценка RAG и агентных траекторий.
➕ Акцент на продакшн-задачи: тестирование промптов в CI, онлайн-сэмплирование и guardrails.
➕ Реальный кейс превращения нестабильного агента в надёжную систему с итоговым проектом и дашбордом.
 
Минусы:
➖ Требует уверенного владения Python и опыта работы с LLM-приложениями.
➖ Фокус исключительно на оценке систем — другие аспекты ML/AI-инженерии остаются за рамками.
 
Для кого книга:
✔️ Для тестировщиков LLM, AI-инженеров, разработчиков LLM-приложений и ML-инженеров, создающих продакшн-системы.
✔️ Для техлидов и команд, работающих с промптами, RAG-пайплайнами и AI-агентами.
 
Об авторе:
Caio Incau — специалист по разработке и тестированию надёжных систем на базе LLM и искусственного интеллекта.
👍5❤2
#ProQuality_interview

Всем привет! С вами снова рубрика Scenario-based вопрос на собеседовании ✨

❓Вопрос: Разработчик говорит, что ошибку не удается воспроизвести на его машине. Ваши действия?

🚦Пример ответа:

Если разработчик не может воспроизвести ошибку, о которой сообщил тестировщик, можно рекомендовать следующее:

✔️Сравнить окружение, в котором была зафиксирована ошибка, с тем, в котором разработчик пытается ее воспроизвести.

✔️Проверить версии браузера и операционной системы, а также состояние кэша на компьютере разработчика.

✔️Собрать логи, скриншоты и HAR-файлы на компьютере разработчика для выявления возможных расхождений.

✔️Предоставить разработчику точные тестовые данные.

✔️Предложить сеанс демонстрации экрана, чтобы показать ошибку в действии.
❤6
#automationTesting

Ваш UI-фреймворк может быть слишком сложным.

Playwright уже умеет многое из того, что команды часто реализуют самостоятельно: авторизацию, изоляцию тестов, работу с контекстами браузера и не только.

В сегодняшейм статье автор разберет, как убрать лишний код и сделать тестовый фреймворк проще и надёжнее.

📖 Ваш UI-фреймворк уже написан. Используем возможности Playwright
👍4❤1
​​#softwareTesting #automationTesting

Ручное и автоматизированное тестирование часто существуют параллельно: одни сценарии проверяются вручную, другие покрыты автотестами, а знания о процессах держатся на опыте отдельных людей. Пока продукт небольшой, это работает. Но с ростом числа тестов, окружений и релизных проверок такой подход начинает создавать риски.

В статье автор рассказывает, как выстроить единый процесс взаимодействия между manual QA и automation QA: от выбора кандидатов на автоматизацию и ревью сценариев до регрессионного тестирования, разбора падений и фиксации покрытия.

Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества
❤3👍2
#softwareTesting

Путь в тестирование редко бывает идеальным. Первые баги, непонятные термины, страх ошибиться, правки тест-кейсов и постоянное обучение проходят практически все начинающие QA.

Автор делится личным опытом стажировки и рассказывает, как выглядит работа тестировщика глазами новичка: без прикрас, но с полезными выводами.

От первого бага до ревью тест-кейсов: как я стала тестировщиком
❤5😢1
😁15❤1
#ProQuality_news

⚡ От 20 минут до 2: как ускорить заведение баг-репортов с помощью Claude

Знакомая картина: баг воспроизводится за полминуты, а на его оформление уходит ещё 15–20 минут. Расписать подробные шаги, чётко сформулировать фактический и ожидаемый результат, указать окружение, прикрепить логи и оформить всё строго по шаблону команды. Если за спринт находится пара десятков дефектов, оформление тикетов превращается в отдельную рутину.

В статье автор делится элегантным воркфлоу с использованием Claude Projects, который сокращает этот процесс в разы.

🛠 Как это устроено:

1. Один раз настраиваем Claude Project (контекст):
• В системный промпт зашивается принятый в команде шаблон тикета (Jira/YouTrack/Linear).
• В Project Knowledge загружаются примеры хороших баг-репортов вашей команды, глоссарий компонентов и правила выставления Severity / Priority.

2. Процесс заведения бага:
• Отправляем в чат скриншот бага (или сниппет консоли/логов).
• Дописываем буквально 1–2 предложения сути (например: «В чекауте при пустом поле CVV нажал "Оплатить" — экран побелел вместо валидации»).

3. Результат:
• Мультимодальная модель считывает контекст со скриншота, восстанавливает UI-элементы и за секунды выдаёт готовый тикет: от краткого Summary до структурированных Steps to Reproduce и ожидаемого поведения.
• Вам остаётся только провести быструю вычитку (sanity check) и нажать Create ticket.

Такой подход убирает рутинную копирайтинг-часть, сохраняя фокус тестировщика на самом тестировании и верификации фактов.

🔗 My Bug Tickets Used to Take 20 Minutes. Now Claude Files Them in 2.
💬 Используете ли вы уже LLM (Claude, ChatGPT и др.) для составления баг-репортов или тест-кейсов? Или ручное описание всё ещё надежнее, чтобы избежать галлюцинаций в шагах? Делитесь опытом и своими промптами в комментариях! 👇
🔥6
​​#proQuality_books #softwareTesting
 
📖 Real-World Bug Hunting: A Field Guide to Web Hacking (2019)
Автор: Peter Yaworski
Количество страниц: 264
Язык издания: Английский
 
Практическое руководство по поиску уязвимостей в веб-приложениях. Разбирает XSS, IDOR, SSRF и другие распространённые типы уязвимостей на реальных кейсах с выплатами от Twitter, Facebook, Google и Uber.
 
Плюсы:
➕ Чёткое объяснение сложных концепций без лишней «воды» и теории.
➕ Главы о подготовке отчётов об уязвимостях и поиске bug bounty программ.
➕ Приложение со списком рекомендуемых инструментов и ресурсов для дальнейшего развития.
 
Минусы:
➖ Часть материала может показаться слишком простой для опытных исследователей.
➖ Требует базового понимания веб-технологий (HTTP, клиент-серверное взаимодействие).
➖ Не охватывает продвинутый пентест мобильных и десктопных приложений.
 
Для кого книга:
✔️ Для начинающих специалистов по кибербезопасности и тестировщиков веб-приложений, осваивающих bug bounty.
✔️ Для веб-разработчиков, желающих понять логику атак и писать безопасный код.
 
Об авторе:
Peter Yaworski — специалист по кибербезопасности и автор бестселлера Web Hacking 101, помогающий компаниям повышать защищённость веб-приложений.
❤5👍2
#ProQuality_case

📉 Эпоха TestRail и Zephyr уходит? Почему команды отказываются от платных TMS

Всем привет! 👋 Где сейчас "живут" ваши тест-кейсы?

Автор в своем блоге подняла отличный вопрос: «Становятся ли системы управления тестированием (TMS) устаревшими?». В статье опубликованы результаты свежего опроса среди специалистов индустрии, и эти данные отлично отражают дух 2026 года.

📊 Главный инсайт: Большинство команд больше не хотят платить за дорогие и неповоротливые enterprise-платформы для управления тестированием.

Вместо этого наметился масштабный сдвиг к двум новым подходам:
1️⃣ In-house разработка (Свои тулзы). Компании предпочитают создавать собственные, легковесные решения, которые идеально встраиваются в их CI/CD пайплайны. С современным уровнем фреймворков и AI-помощников написать кастомную тулзу для тестов стало в разы быстрее и дешевле, чем покупать лицензии на команду.
2️⃣ Использование ИИ. Тестировщики всё чаще отдают генерацию, категоризацию и актуализацию тестовой документации на откуп искусственному интеллекту, храня сценарии прямо в коде (в репозиториях), минуя сторонние интерфейсы.

💸 Почему так происходит? Enterprise-инструменты часто навязывают свои процессы, страдают от избыточного функционала (которым никто не пользуется) и стоят неоправданно дорого. Командам нужна гибкость, скорость и тесная интеграция с кодом, чего классические TMS часто дать не могут.

🔗 Are Test Management Tools Becoming Obsolete?
💬 Ваша компания всё ещё платит за тяжелые решения вроде TestRail, Xray или Allure TestOps? Или вы тоже перешли на кастомные дашборды, хранение тестов в коде и работу через ИИ? Делитесь своим сетапом в комментариях! 👇
👍3❤2
​​#softwareTesting

Метрики дефектов — мощный инструмент, когда вы понимаете их пределы. Они показывают реальное состояние продукта, помогают найти проблемные зоны и принимать решения на данных, а не на ощущениях. Но ровно до того момента, пока вы не превратили одну из них в самоцель.

В статье автор расскажет о шести анти-паттернах использования метрик дефектов (bug count как личный KPI, «меньше багов = выше качество», абсолютные числа без контекста, среднее время закрытия без разбивки по severity, отсутствие этапа обнаружения, обход reopen rate), объяснит, почему они искажают картину качества, и предложит системный подход с набором связанных метрик (Escape Rate, Severity Distribution, DRE, MTTR, Reopen Rate).

6 ошибок в метриках дефектов, из‑за которых QA теряет контроль над качеством
👍4❤2
😁9❤1👍1
#ProQuality_case

🤖💥 Как AI-агенты ломают CI/CD и почему тестирование стало главным «бутылочным горлышком»: опыт Anthropic

Инженеры Anthropic выпустили статью о том, как внедрение агентного написания кода обрушило их инфраструктуру тестирования. Когда код за вас генерируют агенты, узким местом перестает быть разработка — им мгновенно становятся верификация, тестирование и CI.

📊 Что произошло?
• Инженеры Anthropic теперь выпускают в 8 раз больше кода за квартал (80% этого объема пишет Claude).
• Claude предпочитает дробить задачи: PR стали меньше, но их количество колоссально возросло.
• Пул тестов вырос в 10 раз, а объем CI-джоб подскочил в 25 раз всего за 6 месяцев!

🎯 В чем проблема для тестирования?
Запускать весь тестовый сьют на каждый коммит/PR стало физически невозможно: очереди растягиваются, расходы на раннеры улетают в космос.

Но главное отличие человека от AI-агента — в реакции на падения тестов:

• Опытный инженер видит флакующий или несвязанный тест и может понять: «Это не из-за моих правок, мержить можно».
• AI-агент не обладает таким контекстом. Ложное падение сбивает его с толку, агент начинает бесконечно «чинить» чужой или нерелевантный код. Чтобы агент мог автономно дорабатывать задачи (self-verify), ему нужна детерминированная и максимально быстрая обратная связь.

🛠 Решение: Test Impact Analysis (TIA)
Anthropic полагается на TIA (сервис умного выбора тестов), который определяет точный набор тестов для каждого изменения на базе графа зависимостей и истории прогонов.

Но сервис был написан как монолитный синглтон и при росте нагрузки начал захлебываться. В итоге сервис полностью перепроектировали в stateless-архитектуру с распределенным журналом в in-memory хранилище и горизонтальным масштабированием воркеров.

💡 Главные выводы для QA / SDET:
• Тестирование — новый барьер. Когда генерация кода стоит дешево, ценность переходит в быструю и точную верификацию.
• Test Impact Analysis и изоляция flaky-тестов становятся мастхевом. Без умного отбора тестов пайплайны при агентной разработке просто встанут.
• Закладывайте x10–x25 в инфраструктуру. Если команда начинает активно использовать агентные инструменты вроде Claude Code или Cursor, объем коммитов и запусков тестов вырастет экспоненциально.

🔗 Agentic coding is straining CI. Here's how we scaled test impact analysis at Anthropic
💬 Заметили ли вы в своих проектах рост количества PR и нагрузки на CI из-за AI-инструментов? Используете ли у себя Test Impact Analysis, или все еще гоняете полный сьют на каждый чих? Делитесь в комментариях! 👇
👍4❤1
​​#softwareTesting #proQuality_translation

Greenfield-проекты дают командам свободу создавать системы с нуля, но вместе с этим приносят высокий уровень неопределенности. Отсутствие исторических данных, меняющиеся требования и развивающаяся архитектура требуют особого подхода к тестированию.

Автор статьи разбирает основные вызовы Greenfield-разработки, практики Shift-Left Testing, Exploratory Testing и Risk-Based Testing, а также различия между внутренними и клиентскими проектами.

Что такое Greenfield-проекты и почему их сложно тестировать
🔥3❤1
#ProQuality_case

🎧 Как AI изменил разработку в Spotify и почему узким горлышком снова стало тестирование (а не «плохой код нейросетей»)

В инженерном блоге Spotify вышел большой разбор с анализом последствий масштабного внедрения AI-агентов в разработку (включая миграцию бэкенда на новую версию Java за 3 дня с помощью агентов).

Главный вывод исследования рушит популярный миф: проблема не в качестве AI-кода («AI slop»), а в том, что системы верификации и тестирования не успевают за возросшей скоростью изменений.

📊 Что показала статистика Spotify?
• Объем PR удвоился: с 8 100 до 17 000 смерженных PR в месяц.
• Прямой вины AI в инцидентах нет: при ретроспективе крупных сбоев Spotify не нашел прямой зависимости между авторством кода (AI или человек) и авариями.
• Метрика переделок (rework rate) стабильна: вопреки отраслевым отчетам о росте «мусорного кода», свежий код не приходится переписывать чаще прежнего. Более того, доля работы над качеством и оптимизацией выросла с 27% до 31%.

⚠️ С какими вызовами столкнулись QA и Platform-команды?
Когда скорость генерации изменений удваивается, привычные подходы к тестированию начинают сбоить:

1.Чеки проходят, а прод падает.
Агентные авто-обновления зависимостей успешно проходили все пайплайны проверок, но все равно ломали прод.
• Что изменили: усилили safeguard-проверки, расширили возможности мгновенного отката (automated rollbacks) и запретили применять автоматические изменения вне рабочих часов команд-владельцев.

2. «Зеленые» релизы и скрытая деградация.
В мобильном приложении (777 млн пользователей, 2000+ моделей устройств) отдельные релизы выглядели абсолютно здоровыми по метрикам. Однако микро-регрессии накапливались постепенно или проявлялись только на узких группах девайсов.
• Что изменили: расширили guardrail metrics и перешли от проверки «релиз за релизом» к долгосрочному анализу трендов качества.

3. Рост сложности и размера PR.
Связка «инженер + агент» стала выдавать более объемные и сложные PR. Классические лимиты сложности (рассчитанные на то, сколько кода разработчик может удержать в голове) перестают работать, требуя пересмотра подходов к ревью и статическому анализу.

💡 Главный инсайт для тестировщиков
«AI увеличил нашу способность производить изменения. Следующим барьером стала наша способность их верифицировать».

🔗 AI Changed How Spotify Builds. What We Learned (and Fixed) About Quality at Higher Velocity
💬 Сталкивались ли вы с ситуацией, когда автотесты и пайплайн «зеленые», но из-за возросшего потока мелких изменений продукт незаметно теряет в стабильности? Как вы отслеживаете такие скрытые регрессии у себя? Делитесь в комментариях! 👇
👍4❤1
#automationTesting

Хорошая архитектура автотестов держится не только на Page Object. Важно, чтобы паттерны, тестовые данные, шаги, проверки и логирование работали как единая система, а не набор разрозненных решений.

В статье автор разберет ключевые паттерны автоматизации и подход к построению поддерживаемой архитектуры тестового фреймворка.

Паттерны автоматизации и архитектура автотестов
👍3❤1
​​#softwareTesting

UX‑тестирование — это проверка того, насколько приложение удобно, понятно и предсказуемо для живого человека. Не для тест‑дизайнера, не для разработчика, а для уставшего пользователя с маленьким экраном, большим пальцем и желанием решить свою задачу за три секунды.

В статье автор расскажет о том, как оценивать пользовательский опыт мобильных приложений без специального софта, длительного обучения и команды адептов психологии.

Тестирование UX для мобильных приложений: чек‑лист без софта и магии
👍4❤2
😁16❤1
#ProQuality_tools

🛠 Chrome DevTools — это не только для разработчиков: как выжимать максимум в тестировании

Многие тестировщики используют DevTools исключительно для того, чтобы «подсмотреть селектор» или скопировать ошибку из консоли. Но внутри браузера спрятан полноценный швейцарский нож для локализации багов и ускорения работы.

Собрали ключевые инсайты и практические трюки на основе статьи:

🔍 1. Фронт или бэк? Вкладка Network рассудит за секунды
Классическая ситуация: на странице не отображаются данные или форма выдаёт странную ошибку. Прежде чем писать разработчику абстрактное «не работает», загляните во вкладку Network:

• Payload / Request: уходят ли корректные параметры на сервер? Если фронт отправил не то — ошибка на стороне UI/фронтенда.

• Response / Status: если запрос ушёл правильно, а сервер вернул 500 Internal Server Error или пустой/невалидный JSON — смело заводите баг на бэкенд.
• Если статус 200 OK и в ответе всё на месте, но на экране пусто или undefined — баг на фронте.

⚡ 2. Проверка локаторов за 5 секунд прямо в Console
Зачем запускать автотест в Selenium/Playwright, чтобы узнать, что селектор сломался?

• $(#id) или $$(.class) — вызов нативных шорткатов DevTools для поиска элементов по CSS.
• $x(//xpath) — моментальная проверка XPath прямо из консоли.

🚧 3. Обход валидации на клиенте через Elements
Проверяете, реализована ли серверная валидация?

• Найдите инпут через Inspect, удалите в DOM-дереве атрибуты required или maxlength="50" и отправьте 200 символов.
• Если бэк принял эти данные — перед вами баг безопасности и отсутствие валидации API.

🐢 4. Network Throttling и баг «двойного клика»
Пока запрос уходит на сервер, кнопка «Оплатить» или «Оформить» должна блокироваться.

• Включите эмуляцию медленной сети (Slow 3G) и быстро кликните дважды.
• Если создалось два заказа или списалась двойная сумма — вы поймали критичный баг!

🔗 7 Chrome DevTools Tricks Every Tester Should Know

💬 А какими трюками в DevTools чаще всего пользуетесь вы? Используете ли локальные оверрайды (Local Overrides), эмуляцию датчиков/геолокации или хватает стандартных Network и Console? Делитесь своими любимыми лайфхаками в комментариях! 👇
👍5❤1