This media is not supported in your browser
VIEW IN TELEGRAM
Нужна ли регрессия перед релизом? For sure 🤣
😁14🖕1
#softwareTesting
Тестирование LLM и ИИ-приложений требует нового подхода. QA проверяет не только функциональность, но и логическую корректность vs творческий потенциал, точность vs практическая ценность, стабильность vs гибкость, эффективность vs системные ограничения (токены, длина, скорость).
Сегодня автор расскажет о том, как QA-специалисту тестировать LLM и ИИ-приложения с учётом их недетерминированности, субъективности и ограничений, охватывая функциональные проверки, качество ответов, безопасность, производительность и пользовательский опыт.
Как протестировать LLM и ИИ-приложение
Тестирование LLM и ИИ-приложений требует нового подхода. QA проверяет не только функциональность, но и логическую корректность vs творческий потенциал, точность vs практическая ценность, стабильность vs гибкость, эффективность vs системные ограничения (токены, длина, скорость).
Сегодня автор расскажет о том, как QA-специалисту тестировать LLM и ИИ-приложения с учётом их недетерминированности, субъективности и ограничений, охватывая функциональные проверки, качество ответов, безопасность, производительность и пользовательский опыт.
Как протестировать LLM и ИИ-приложение
👍5
#proQuality_books #automationTesting
📖 Design Patterns for High-Quality Automated Tests: Clean Code for Bulletproof Tests (2021)
👤 Автор: Anton Angelov
📄 Количество страниц: 322
Язык издания: Английский
🏆 Книга о том, как создавать высококачественные фреймворки тестирования, используя принципы SOLID и структурные шаблоны. Она идеально подходит тем, кто хочет добиться стабильности, читабельности и масштабируемости автоматизированных тестов.
Плюсы:
➕ Подробные примеры продвинутых шаблонов проектирования: Page Object Model, Decorator, Observer и другие.
➕ Реальные рабочие кейсы, которые легко применить в профессиональных проектах.
➕ Доступ к видеоурокам, помогающим лучше освоить концепции.
➕ Рассматриваются все аспекты: от функциональных тестов до работы с тестовыми данными в разных окружениях.
Минусы:
➖ Не для новичков, требует опыта в программировании и WebDriver.
➖ Некоторым читателям может быть сложно сразу понять сложные концепции.
➖ Высокая плотность информации требует повторного прочтения для полного усвоения.
Для кого книга:
✔️ Опытным QA Automation инженерам, готовым прокачать навыки.
✔️ Инженерам, работающим с Selenium WebDriver и Java.
✔️ Тест-архитекторам, желающим создать масштабируемые и надёжные системы тестирования.
Об авторе:
Anton Angelov — CTO и сооснователь Automate The Planet Ltd, создатель BELLATRIX Test Automation Framework. Антон занимает ключевые роли в разработке автоматизации тестирования.
📖 Design Patterns for High-Quality Automated Tests: Clean Code for Bulletproof Tests (2021)
👤 Автор: Anton Angelov
📄 Количество страниц: 322
Язык издания: Английский
🏆 Книга о том, как создавать высококачественные фреймворки тестирования, используя принципы SOLID и структурные шаблоны. Она идеально подходит тем, кто хочет добиться стабильности, читабельности и масштабируемости автоматизированных тестов.
Плюсы:
➕ Подробные примеры продвинутых шаблонов проектирования: Page Object Model, Decorator, Observer и другие.
➕ Реальные рабочие кейсы, которые легко применить в профессиональных проектах.
➕ Доступ к видеоурокам, помогающим лучше освоить концепции.
➕ Рассматриваются все аспекты: от функциональных тестов до работы с тестовыми данными в разных окружениях.
Минусы:
➖ Не для новичков, требует опыта в программировании и WebDriver.
➖ Некоторым читателям может быть сложно сразу понять сложные концепции.
➖ Высокая плотность информации требует повторного прочтения для полного усвоения.
Для кого книга:
✔️ Опытным QA Automation инженерам, готовым прокачать навыки.
✔️ Инженерам, работающим с Selenium WebDriver и Java.
✔️ Тест-архитекторам, желающим создать масштабируемые и надёжные системы тестирования.
Об авторе:
Anton Angelov — CTO и сооснователь Automate The Planet Ltd, создатель BELLATRIX Test Automation Framework. Антон занимает ключевые роли в разработке автоматизации тестирования.
❤3
#ProQuality_case
Всем привет! Сегодня разбираем реальный кейс 🛒
🔸Trendyol — крупнейшая турецкая e-commerce платформа, принадлежащая в основном китайской группе компаний Alibaba.
🔸В карточках — про путь компании от ручного тестирования → к измеримому качеству:
📍почему при росте команд классические подходы к тестированию перестают работать
📍как построить Test Maturity Model для сотен сервисов
📍какие метрики реально помогают управлять качеством
📍как автоматизация, CI/CD и тестовые практики превращаются в систему
From Manual to Measurable: Scaling Quality with Trendyol’s Test Maturity Model
Всем привет! Сегодня разбираем реальный кейс 🛒
🔸Trendyol — крупнейшая турецкая e-commerce платформа, принадлежащая в основном китайской группе компаний Alibaba.
🔸В карточках — про путь компании от ручного тестирования → к измеримому качеству:
📍почему при росте команд классические подходы к тестированию перестают работать
📍как построить Test Maturity Model для сотен сервисов
📍какие метрики реально помогают управлять качеством
📍как автоматизация, CI/CD и тестовые практики превращаются в систему
From Manual to Measurable: Scaling Quality with Trendyol’s Test Maturity Model
❤4🤓1
#automationTesting
Playwright UI Mode — это удобный инструмент для визуального запуска и отладки автотестов. Он позволяет пошагово воспроизводить выполнение теста и отслеживать, что происходило на каждом этапе.
В статье автор разберет возможности Playwright UI Mode для визуального запуска, отладки и анализа автотестов, включая пошаговое выполнение, работу с локаторами, трассировками, логами и настройку режима в локальной среде, Docker и GitHub Codespaces.
Playwright UI Mode
Playwright UI Mode — это удобный инструмент для визуального запуска и отладки автотестов. Он позволяет пошагово воспроизводить выполнение теста и отслеживать, что происходило на каждом этапе.
В статье автор разберет возможности Playwright UI Mode для визуального запуска, отладки и анализа автотестов, включая пошаговое выполнение, работу с локаторами, трассировками, логами и настройку режима в локальной среде, Docker и GitHub Codespaces.
Playwright UI Mode
❤4
#ProQuality_news
🤬 «Где тесты, Microsoft?»
После недавнего январского обновления Windows 11, которое доставило проблем множеству пользователей (привет, BSOD и отвалы WSL), в сети снова звучит любимый вопрос: «А чем вообще занимаются их тестировщики?».
Но давайте посмотрим на ситуацию профессиональным взглядом:
1️⃣ Масштаб имеет значение. Windows — это бесконечное число комбинаций железа и софта. Даже с миллионом автотестов и армией инсайдеров невозможно покрыть 100% сценариев.
2️⃣ Эффект масштаба. Некоторые баги математически невозможно отловить в лаборатории — они всплывают только тогда, когда нагрузка (или вариативность) достигает миллионов реальных пользователей.
Легко винить корпорацию, но за каждым таким сбоем стоит команда инженеров, которая сейчас в авральном режиме пытается всё починить.
☝️ Главная мысль дня: В таких масштабах качество определяется не отсутствием багов (это утопия), а тем, насколько быстро выкатывается хотфикс.
🔗 Хроника проблем с январским апдейтом
💬 Коллеги, а вы на чьей стороне? «Microsoft скатился» или «Не ошибается тот, кто ничего не деплоит»? Как у вас с багами на проде? 👇
🤬 «Где тесты, Microsoft?»
После недавнего январского обновления Windows 11, которое доставило проблем множеству пользователей (привет, BSOD и отвалы WSL), в сети снова звучит любимый вопрос: «А чем вообще занимаются их тестировщики?».
Но давайте посмотрим на ситуацию профессиональным взглядом:
1️⃣ Масштаб имеет значение. Windows — это бесконечное число комбинаций железа и софта. Даже с миллионом автотестов и армией инсайдеров невозможно покрыть 100% сценариев.
2️⃣ Эффект масштаба. Некоторые баги математически невозможно отловить в лаборатории — они всплывают только тогда, когда нагрузка (или вариативность) достигает миллионов реальных пользователей.
Легко винить корпорацию, но за каждым таким сбоем стоит команда инженеров, которая сейчас в авральном режиме пытается всё починить.
☝️ Главная мысль дня: В таких масштабах качество определяется не отсутствием багов (это утопия), а тем, насколько быстро выкатывается хотфикс.
🔗 Хроника проблем с январским апдейтом
💬 Коллеги, а вы на чьей стороне? «Microsoft скатился» или «Не ошибается тот, кто ничего не деплоит»? Как у вас с багами на проде? 👇
👍7
#softwareTesting
Хороший баг-репорт экономит часы работы, а плохой обычно ведет к нескончаемой переписке в Slack.
В сегодняшней статье автор расскажет о том, как составлять понятные, полезные и вежливые баг-репорты, разберет все на примере простых ситуаций, которые возникают в любом мобильном приложении, на сайте, в банковской системе или в онлайн-магазине.
Как написать отличный баг-репорт
Хороший баг-репорт экономит часы работы, а плохой обычно ведет к нескончаемой переписке в Slack.
В сегодняшней статье автор расскажет о том, как составлять понятные, полезные и вежливые баг-репорты, разберет все на примере простых ситуаций, которые возникают в любом мобильном приложении, на сайте, в банковской системе или в онлайн-магазине.
Как написать отличный баг-репорт
👍4
#proQuality_books #softwareTesting #gameTesting
📖 Тестирование видеоигр (2024)
Автор: Торговкин Александр
Количество страниц: 403
Язык издания: Русский
Книга является специализированным практическим руководством, раскрывающим уникальные методики и процессы тестирования в индустрии видеоигр, от анализа геймплея и графики до проверки сетевой составляющей и баланса. Она предлагает системный взгляд на работу тестировщика игр, основанный на современных реалиях разработки игровых проектов.
Плюсы:
➕Фокусируется именно на специфике игрового тестирования, что делает её ценным источником для тех, кто хочет работать в этой сфере, с вероятным наличием практических примеров, чек-листов и кейсов из реальных проектов.
➕Учитывает современные тренды геймдева (живые сервисы, кроссплатформенность, VR/AR), текущие требования студий и может охватывать актуальный набор инструментов.
➕Ожидается, что автор, как практик, систематизирует обширный и часто хаотичный опыт игрового тестирования, объясняя не только "как", но и "зачем".
Минусы:
➖Книга полезна практически только для целевой аудитории — начинающих гейм-тестировщиков или смежных специалистов, интересующихся этой областью. Для тестировщиков другого ПО ценность будет минимальной.
➖Конкретные примеры игр, интерфейсов или упомянутых инструментов могут устареть быстрее, чем фундаментальные принципы тестирования игр, изложенные в книге.
📖 Тестирование видеоигр (2024)
Автор: Торговкин Александр
Количество страниц: 403
Язык издания: Русский
Книга является специализированным практическим руководством, раскрывающим уникальные методики и процессы тестирования в индустрии видеоигр, от анализа геймплея и графики до проверки сетевой составляющей и баланса. Она предлагает системный взгляд на работу тестировщика игр, основанный на современных реалиях разработки игровых проектов.
Плюсы:
➕Фокусируется именно на специфике игрового тестирования, что делает её ценным источником для тех, кто хочет работать в этой сфере, с вероятным наличием практических примеров, чек-листов и кейсов из реальных проектов.
➕Учитывает современные тренды геймдева (живые сервисы, кроссплатформенность, VR/AR), текущие требования студий и может охватывать актуальный набор инструментов.
➕Ожидается, что автор, как практик, систематизирует обширный и часто хаотичный опыт игрового тестирования, объясняя не только "как", но и "зачем".
Минусы:
➖Книга полезна практически только для целевой аудитории — начинающих гейм-тестировщиков или смежных специалистов, интересующихся этой областью. Для тестировщиков другого ПО ценность будет минимальной.
➖Конкретные примеры игр, интерфейсов или упомянутых инструментов могут устареть быстрее, чем фундаментальные принципы тестирования игр, изложенные в книге.
👍3
#ProQuality_tools
🧲 BugMagnet: Ваш карманный генератор проблем
Если вы всё еще копируете тестовые данные из блокнота или гуглите «XSS payloads» каждый раз перед проверкой формы — этот пост для вас.
BugMagnet — это бесплатное расширение для Chrome и Firefox, которое превращает контекстное меню в мощный инструмент для Exploratory Testing. Оно позволяет в один клик заполнять поля ввода (input, text area) самыми каверзными данными.
Что умеет BugMagnet:
🔹 Граничные значения: Длинные строки, пустые значения, пробелы.
🔹 Локализация: Кириллица, иероглифы, арабская вязь, спецсимволы.
🔹 Форматы: Валидные и невалидные email, URL, даты.
🔹 Безопасность: Готовые пейлоады для SQL Injection, XSS и JavaScript-инъекций.
Почему это удобно:
Вам не нужно переключаться между вкладками или держать открытым файл с данными. Просто нажали правой кнопкой на поле ➡️ выбрали категорию (например, SQL Injection) ➡️ данные уже в поле. Можно добавлять и свои кастомные конфиги.
🔗 Официальный сайт BugMagnet
💬 А вы пользуетесь BugMagnet или у вас свой файл с «любимыми» данными для ломания форм? Делитесь в комментариях! 👇
🧲 BugMagnet: Ваш карманный генератор проблем
Если вы всё еще копируете тестовые данные из блокнота или гуглите «XSS payloads» каждый раз перед проверкой формы — этот пост для вас.
BugMagnet — это бесплатное расширение для Chrome и Firefox, которое превращает контекстное меню в мощный инструмент для Exploratory Testing. Оно позволяет в один клик заполнять поля ввода (input, text area) самыми каверзными данными.
Что умеет BugMagnet:
🔹 Граничные значения: Длинные строки, пустые значения, пробелы.
🔹 Локализация: Кириллица, иероглифы, арабская вязь, спецсимволы.
🔹 Форматы: Валидные и невалидные email, URL, даты.
🔹 Безопасность: Готовые пейлоады для SQL Injection, XSS и JavaScript-инъекций.
Почему это удобно:
Вам не нужно переключаться между вкладками или держать открытым файл с данными. Просто нажали правой кнопкой на поле ➡️ выбрали категорию (например, SQL Injection) ➡️ данные уже в поле. Можно добавлять и свои кастомные конфиги.
🔗 Официальный сайт BugMagnet
💬 А вы пользуетесь BugMagnet или у вас свой файл с «любимыми» данными для ломания форм? Делитесь в комментариях! 👇
Bug Magnet: Exploratory Testing Helper
BugMagnet -- Tools for making exploratory testing easier and more c...
Exploratory testing assistants for Chrome, Firefox, Claude Code and Cursor.
❤7
#automationTesting
В статье автор разберет ключевые проблемы современных подходов к автоматическому тестированию, включая избыточность unit-тестов, нестабильность тестовых контрактов и скрытые затраты на поддержку тестов.
Что мне не нравится в текущем подходе к QAA
В статье автор разберет ключевые проблемы современных подходов к автоматическому тестированию, включая избыточность unit-тестов, нестабильность тестовых контрактов и скрытые затраты на поддержку тестов.
Что мне не нравится в текущем подходе к QAA
🔥3
#ProQuality_news
⚡️ Vibium уже здесь! Новый инструмент от создателя Selenium
Jason Huggins (тот самый человек, который подарил нам Selenium) официально представил Vibium — новый open-source инструмент для автоматизации тестирования, изначально построенный на базе ИИ.
Что нужно знать:
🤖 AI-Native: Vibium изначально заточен под работу с LLM. Вы пишете тесты на естественном языке («Click the signup button»), а нейросеть сама переводит это в действия.
🔧 WebDriver BiDi: Никакого легаси. Инструмент работает на новом бидирекциональном протоколе, что дает мгновенную обратную связь от браузера и делает тесты в разы быстрее и стабильнее.
🩹 Self-Healing: Забудьте про NoSuchElementException. Если верстка изменилась, Vibium сам «поймет» намерение теста и найдет нужный элемент, адаптируясь на лету.
Это огромная веха для комьюнити. Мы переходим от «программирования селекторов» к «тестированию намерений» (Intent-Based Testing).
🔗 Официальный сайт Vibium
🔗 GitHub проекта
💬 Будете пробовать сейчас или подождете стабильного релиза? Пишите в комментарии! 👇
⚡️ Vibium уже здесь! Новый инструмент от создателя Selenium
Jason Huggins (тот самый человек, который подарил нам Selenium) официально представил Vibium — новый open-source инструмент для автоматизации тестирования, изначально построенный на базе ИИ.
Что нужно знать:
🤖 AI-Native: Vibium изначально заточен под работу с LLM. Вы пишете тесты на естественном языке («Click the signup button»), а нейросеть сама переводит это в действия.
🔧 WebDriver BiDi: Никакого легаси. Инструмент работает на новом бидирекциональном протоколе, что дает мгновенную обратную связь от браузера и делает тесты в разы быстрее и стабильнее.
🩹 Self-Healing: Забудьте про NoSuchElementException. Если верстка изменилась, Vibium сам «поймет» намерение теста и найдет нужный элемент, адаптируясь на лету.
Это огромная веха для комьюнити. Мы переходим от «программирования селекторов» к «тестированию намерений» (Intent-Based Testing).
🔗 Официальный сайт Vibium
🔗 GitHub проекта
💬 Будете пробовать сейчас или подождете стабильного релиза? Пишите в комментарии! 👇
GitHub
GitHub - VibiumDev/vibium: The verification layer for coding agents
The verification layer for coding agents. Contribute to VibiumDev/vibium development by creating an account on GitHub.
🔥6
#ProQuality_news
📉 Azure штормило: 10 часов простоя из-за одной настройки
Начало февраля принесло неприятный сюрприз пользователям Azure. Масштабный сбой еще раз доказал: даже идеальная архитектура бессильна перед человеческим фактором и ошибками конфигурации.
Что случилось?
Сервисы в нескольких регионах США были недоступны более 10 часов.
Причина не в «железе» или нехватке мощностей. Все сломало некорректное изменение политики платформы, которое закрыло доступ к хранилищу, необходимому для работы VM.
Последствия:
❌ Глобальные сбои в развертывании и масштабировании (VM Scale Sets).
❌ Проблемы с Managed Identities (а значит, и с авторизацией сервисов).
❌ CI/CD пайплайны и GitHub Actions встали или работали с задержками.
Урок для QA:
Сбой показал, что избыточность (redundancy) ≠ надежность. Если ошибка происходит на уровне конфигурации платформы, она может «положить» систему сразу во всех регионах, игнорируя ваши настройки отказоустойчивости.
🔗 Технический разбор от The Register
💬 Этот инцидент ударил по самому больному — CI/CD.
Как у вас в команде относятся к простоям облака? Есть ли план «Б» (например, локальные стенды), если пайплайны лежат полдня, или это легальный повод для всей команды пойти пить кофе? ☕️
👇 Делитесь в комментариях!
📉 Azure штормило: 10 часов простоя из-за одной настройки
Начало февраля принесло неприятный сюрприз пользователям Azure. Масштабный сбой еще раз доказал: даже идеальная архитектура бессильна перед человеческим фактором и ошибками конфигурации.
Что случилось?
Сервисы в нескольких регионах США были недоступны более 10 часов.
Причина не в «железе» или нехватке мощностей. Все сломало некорректное изменение политики платформы, которое закрыло доступ к хранилищу, необходимому для работы VM.
Последствия:
❌ Глобальные сбои в развертывании и масштабировании (VM Scale Sets).
❌ Проблемы с Managed Identities (а значит, и с авторизацией сервисов).
❌ CI/CD пайплайны и GitHub Actions встали или работали с задержками.
Урок для QA:
Сбой показал, что избыточность (redundancy) ≠ надежность. Если ошибка происходит на уровне конфигурации платформы, она может «положить» систему сразу во всех регионах, игнорируя ваши настройки отказоустойчивости.
🔗 Технический разбор от The Register
💬 Этот инцидент ударил по самому больному — CI/CD.
Как у вас в команде относятся к простоям облака? Есть ли план «Б» (например, локальные стенды), если пайплайны лежат полдня, или это легальный повод для всей команды пойти пить кофе? ☕️
👇 Делитесь в комментариях!
The Register
Azure outages ripple across multiple dependent Microsoft services
: Managed Identity and virtual machine failures triggered knock-on problems throughout cloud platform
👍3
#proQuality_books #automationTesting
📖 Web Automation Testing Using Playwright: End-to-end, API, accessibility, and visual testing using Playwright (2024)
Автор: Kailash Pathak
Количество страниц: 362
Язык издания: Английский
Полное руководство по автоматизации веб-тестирования с использованием Playwright — от базовой установки и написания скриптов до интеграции с CI/CD, API, accessibility и визуального тестирования. Книга охватывает архитектуру Playwright, работу с локаторами, сложными элементами (shadow DOM, iframes), Page Object Model, Cucumber/BDD, параллельное выполнение тестов и применение генеративного ИИ для автоматизации.
Плюсы:
➕ Чёткая структура: от основ до продвинутых техник.
➕ Множество практических примеров и кода.
➕ Охват веб-, API-, accessibility и визуального тестирования.
➕ Сравнения с другими фреймворками (Selenium, Cypress).
Минусы:
➖ Есть "вода" и затянутые объяснения базовых терминов.
➖ Фокус на JavaScript, меньше на других языках.
➖ Не идеальное качество иллюстраций в некоторых версиях.
Для кого книга:
✔️ Автоматизаторы тестирования (начинающие и опытные)
✔️ QA-инженеры, изучающие Playwright
✔️ Разработчики, интегрирующие автотесты в проекты
✔️ Команды, переходящие с Selenium/Cypress на Playwright
📖 Web Automation Testing Using Playwright: End-to-end, API, accessibility, and visual testing using Playwright (2024)
Автор: Kailash Pathak
Количество страниц: 362
Язык издания: Английский
Полное руководство по автоматизации веб-тестирования с использованием Playwright — от базовой установки и написания скриптов до интеграции с CI/CD, API, accessibility и визуального тестирования. Книга охватывает архитектуру Playwright, работу с локаторами, сложными элементами (shadow DOM, iframes), Page Object Model, Cucumber/BDD, параллельное выполнение тестов и применение генеративного ИИ для автоматизации.
Плюсы:
➕ Чёткая структура: от основ до продвинутых техник.
➕ Множество практических примеров и кода.
➕ Охват веб-, API-, accessibility и визуального тестирования.
➕ Сравнения с другими фреймворками (Selenium, Cypress).
Минусы:
➖ Есть "вода" и затянутые объяснения базовых терминов.
➖ Фокус на JavaScript, меньше на других языках.
➖ Не идеальное качество иллюстраций в некоторых версиях.
Для кого книга:
✔️ Автоматизаторы тестирования (начинающие и опытные)
✔️ QA-инженеры, изучающие Playwright
✔️ Разработчики, интегрирующие автотесты в проекты
✔️ Команды, переходящие с Selenium/Cypress на Playwright
❤3👍1
#ProQuality_tasks
Всем привет! С вами снова рубрика задачки ProQuality ✨
Задача про Масленицу 🥞
Маша готовит дюжину блинов за 30 минут. Мама Маши готовит две дюжины блинов за 40 минут. Брат Маши, Паша, съедает 30 блинов за час.
Если они начнут готовить одновременно, то примерно через сколько минут на столе окажется дюжина блинов?
Всем привет! С вами снова рубрика задачки ProQuality ✨
Задача про Масленицу 🥞
Маша готовит дюжину блинов за 30 минут. Мама Маши готовит две дюжины блинов за 40 минут. Брат Маши, Паша, съедает 30 блинов за час.
Если они начнут готовить одновременно, то примерно через сколько минут на столе окажется дюжина блинов?
❤3🔥2