🙃 Почему вы не довольны AI в тестировании? Возможно, вы делаете одну из этих 6 ошибок.
Я сам проходил через них все, внедряя AI-решения в тестировании - от первых экспериментов до пилотов в продакшене.
И часто вижу, как мои команды ловят те же ошибки.
Давайте по порядку
1. Неструктурированные промпты
- Когда AI не понимает, чего от него хотят - не потому что он тупой, а потому что промпт расплывчатый.
- Нет чётких шагов, нет сценария, нет указания формата ответа.
- На выходе: вода, пространные рассуждения, «ни рыба ни мясо».
2. Нет примеров
- Вы просите: "Сделай как надо", но не показываете, что такое "надо".
- Few-shot prompting (несколько примеров input → output) помогает AI лучше уловить формат и суть.
- Без них он будет гадать.
3. Пустая база знаний
- AI не экстрасенс, он работает с тем, что знает.
- Пара примеров - не база. Если вы не загрузили контекст, он будет лепить дубликаты или уходить в сторону.
- Нужна или ручная работа по сбору контекста, или интеграции с системами, или нормальный RAG.
4. Один промпт = много задач
- Типичная ошибка: в одном промпте попросить и ревью требований, и чеклист, и генерацию тестов.
- В итоге всё получается плохо.
- Один промпт - одна задача.
- Разбейте процесс и получите нормальный результат на каждом шаге.
5. Хотите всё и сразу
- "Сгенерируй 50 тест-кейсов на эту фичу".
- А потом удивляетесь, что они поверхностные и однообразные.
- AI ≠ волшебная палочка. Большие задачи - только итеративно. Один промпт - один кейс.
Да, дольше. Зато качественно. Даже для 50 шагов в тест-кейсе
6. Вы не используете AI, чтобы писать промпты
- Это иронично, но факт: промпты, написанные вручную, часто хуже.
- Я давно уже не пишу промпты сам.
- Я описываю, что хочу получить, даю примеры, и прошу AI сам составить промпт.
- Потом валидирую - и в бой.
🎯 Хотите качественный результат - относитесь к промптингу как к инженерной задаче.
И не забудьте: промпт - это тоже часть системы. Его можно (и нужно) тестировать.
Источник
#qa #testing
Подпишись👉 @testlab_qa
Я сам проходил через них все, внедряя AI-решения в тестировании - от первых экспериментов до пилотов в продакшене.
И часто вижу, как мои команды ловят те же ошибки.
Давайте по порядку
1. Неструктурированные промпты
- Когда AI не понимает, чего от него хотят - не потому что он тупой, а потому что промпт расплывчатый.
- Нет чётких шагов, нет сценария, нет указания формата ответа.
- На выходе: вода, пространные рассуждения, «ни рыба ни мясо».
2. Нет примеров
- Вы просите: "Сделай как надо", но не показываете, что такое "надо".
- Few-shot prompting (несколько примеров input → output) помогает AI лучше уловить формат и суть.
- Без них он будет гадать.
3. Пустая база знаний
- AI не экстрасенс, он работает с тем, что знает.
- Пара примеров - не база. Если вы не загрузили контекст, он будет лепить дубликаты или уходить в сторону.
- Нужна или ручная работа по сбору контекста, или интеграции с системами, или нормальный RAG.
4. Один промпт = много задач
- Типичная ошибка: в одном промпте попросить и ревью требований, и чеклист, и генерацию тестов.
- В итоге всё получается плохо.
- Один промпт - одна задача.
- Разбейте процесс и получите нормальный результат на каждом шаге.
5. Хотите всё и сразу
- "Сгенерируй 50 тест-кейсов на эту фичу".
- А потом удивляетесь, что они поверхностные и однообразные.
- AI ≠ волшебная палочка. Большие задачи - только итеративно. Один промпт - один кейс.
Да, дольше. Зато качественно. Даже для 50 шагов в тест-кейсе
6. Вы не используете AI, чтобы писать промпты
- Это иронично, но факт: промпты, написанные вручную, часто хуже.
- Я давно уже не пишу промпты сам.
- Я описываю, что хочу получить, даю примеры, и прошу AI сам составить промпт.
- Потом валидирую - и в бой.
🎯 Хотите качественный результат - относитесь к промптингу как к инженерной задаче.
И не забудьте: промпт - это тоже часть системы. Его можно (и нужно) тестировать.
Источник
#qa #testing
Подпишись👉 @testlab_qa
👍2
🔥Приглашаем на бесплатный открытый вебинар курса «Нагрузочное тестирование»
«Навыки нагрузочного тестирования и их роль в развитии инженера»
На открытом уроке разберём, почему навыки нагрузочного тестирования сегодня — отличная база для профессионального роста, а не узкая специальность. Поговорим, как они помогают развиваться в сторону SRE, эксплуатации, и даже за их пределы.
🎓Что разберём на вебинаре:
— Зачем осваивать нагрузочное тестирование именно сейчас
— Какие навыки НТ наиболее востребованы и как они открывают двери для дальнейшего роста
— Как снижать рутину и повышать эффективность с помощью Grafana и современных инструментов
— Как опыт нагрузочного тестирования переносится из банковского ИТ и в другие сферы
— Перспективы развития до SRE и выше
👉 Зарегистрируйтесь по ссылке: https://vk.cc/cXJTfH
Занятие приурочено к старту курса «Нагрузочное тестирование». На курсе вы не только освоите все практические навыки нагрузочного тестирования, но и научитесь применять их для реального влияния на качество и надёжность продукта.
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
«Навыки нагрузочного тестирования и их роль в развитии инженера»
На открытом уроке разберём, почему навыки нагрузочного тестирования сегодня — отличная база для профессионального роста, а не узкая специальность. Поговорим, как они помогают развиваться в сторону SRE, эксплуатации, и даже за их пределы.
🎓Что разберём на вебинаре:
— Зачем осваивать нагрузочное тестирование именно сейчас
— Какие навыки НТ наиболее востребованы и как они открывают двери для дальнейшего роста
— Как снижать рутину и повышать эффективность с помощью Grafana и современных инструментов
— Как опыт нагрузочного тестирования переносится из банковского ИТ и в другие сферы
— Перспективы развития до SRE и выше
👉 Зарегистрируйтесь по ссылке: https://vk.cc/cXJTfH
Занятие приурочено к старту курса «Нагрузочное тестирование». На курсе вы не только освоите все практические навыки нагрузочного тестирования, но и научитесь применять их для реального влияния на качество и надёжность продукта.
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Ищем QA в команды 2ГИС
Открыты вакансии сразу в несколько команд:
— AI-агенты для 2ГИС
— Highload рекламные системы
— Otello
— CDP и персонализация
— Логистика B2B
Есть роли как для automation QA, так и для lead-позиций.
Что по стеку:
Python, автотесты, backend/API, highload, распределённые системы.
Можно удалённо.
Другие инженерные инсайты от 2ГИС → в Telegram-канале RnD
Открыты вакансии сразу в несколько команд:
— AI-агенты для 2ГИС
— Highload рекламные системы
— Otello
— CDP и персонализация
— Логистика B2B
Есть роли как для automation QA, так и для lead-позиций.
Что по стеку:
Python, автотесты, backend/API, highload, распределённые системы.
Можно удалённо.
Другие инженерные инсайты от 2ГИС → в Telegram-канале RnD
👍2
Что перестаёт работать в тестировании, когда приходит LLM
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз — получил то же самое.
А пару лет назад я начала тестировать продукты на LLM. И почти всё, на чём держится классический QA, перестало работать. Не «усложнилось» — перестало работать как метод.
Ниже — где именно ломается, по пунктам. Если вы тестировщик и заходите в AI, это ваша новая реальность.
https://habr.com/ru/articles/1049482/
#qa #testing
Подпишись👉 @testlab_qa
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз — получил то же самое.
А пару лет назад я начала тестировать продукты на LLM. И почти всё, на чём держится классический QA, перестало работать. Не «усложнилось» — перестало работать как метод.
Ниже — где именно ломается, по пунктам. Если вы тестировщик и заходите в AI, это ваша новая реальность.
https://habr.com/ru/articles/1049482/
#qa #testing
Подпишись👉 @testlab_qa
Команда тестирования находит сотни дефектов, отчёты регулярно пополняются новыми цифрами, но качество продукта не становится понятнее. Причина проста: метрики сами по себе не помогают принимать решения, если их неправильно интерпретировать.
7 июля в 19:00 МСК приглашаем вас на открытый урок, где разберём, какие показатели действительно помогают руководителю видеть состояние продукта и процессов, а какие создают ложное ощущение контроля.
На занятии поговорим о динамике дефектов, распределении ошибок, оценке качества продукта и типичных ошибках при работе с метриками. Покажем, как находить проблемные зоны и принимать решения на основе данных, а не предположений.
Открытый урок проходит в преддверии старта курса «Руководитель группы тестирования (QA Lead)». Это возможность познакомиться с подходами к управлению качеством, задать вопросы эксперту и оценить формат обучения в ОТУС: https://vk.cc/cZbRAa
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
7 июля в 19:00 МСК приглашаем вас на открытый урок, где разберём, какие показатели действительно помогают руководителю видеть состояние продукта и процессов, а какие создают ложное ощущение контроля.
На занятии поговорим о динамике дефектов, распределении ошибок, оценке качества продукта и типичных ошибках при работе с метриками. Покажем, как находить проблемные зоны и принимать решения на основе данных, а не предположений.
Открытый урок проходит в преддверии старта курса «Руководитель группы тестирования (QA Lead)». Это возможность познакомиться с подходами к управлению качеством, задать вопросы эксперту и оценить формат обучения в ОТУС: https://vk.cc/cZbRAa
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Найти сильного специалиста становится всё сложнее и дороже. Но что если часть кадровых задач можно решить внутри команды, помогая сотрудникам быстрее расти и брать на себя больше ответственности?
14 июля в 20:00 МСК приглашаем вас на открытый урок, где мы разберём, как руководителю выстраивать развитие сотрудников через наставничество, передачу знаний и системную работу с потенциалом команды.
Поговорим о различиях между наставничеством и менторством, способах выявления сильных сторон сотрудников, подготовке специалистов к новым ролям и создании устойчивой среды профессионального роста. Рассмотрим практические подходы, которые помогают усиливать команду без расширения штата.
Открытый урок проходит в преддверии старта курса «Руководитель группы тестирования (QA Lead)». Регистрируйтесь, чтобы узнать, как развивать экспертизу команды за счёт внутренних ресурсов и формировать кадровый резерв без постоянного поиска новых сотрудников: https://vk.cc/cZn9gb
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
14 июля в 20:00 МСК приглашаем вас на открытый урок, где мы разберём, как руководителю выстраивать развитие сотрудников через наставничество, передачу знаний и системную работу с потенциалом команды.
Поговорим о различиях между наставничеством и менторством, способах выявления сильных сторон сотрудников, подготовке специалистов к новым ролям и создании устойчивой среды профессионального роста. Рассмотрим практические подходы, которые помогают усиливать команду без расширения штата.
Открытый урок проходит в преддверии старта курса «Руководитель группы тестирования (QA Lead)». Регистрируйтесь, чтобы узнать, как развивать экспертизу команды за счёт внутренних ресурсов и формировать кадровый резерв без постоянного поиска новых сотрудников: https://vk.cc/cZn9gb
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576