Что такое "тестирование на основе данных" с AI?
Anonymous Quiz
10%
Проверка только текстовых данных
6%
Игнорирование пользовательских сценариев
76%
Использование исторических данных для генерации тестов и выявления аномалий
2%
Тестирование без анализа ошибок
6%
Создание случайных тестов
Как AI интегрируется с CI/CD процессом?
Anonymous Quiz
3%
Не интегрируется
3%
Заменяет DevOps
93%
Автоматически запускает тесты при каждом коммите и анализирует результаты
0%
Пишет код вручную
1%
Игнорирует ошибки
Как AI помогает тестировщикам с нагрузочным тестированием?
Anonymous Quiz
3%
Только вручную
1%
Игнорирует пиковую нагрузку
0%
Проверяет дизайн интерфейсов
96%
Моделирует нагрузку и выявляет узкие места системы
0%
Переписывает код приложения
Что AI не может сделать в тестировании без участия человека?
Anonymous Quiz
3%
Генерировать тест-кейсы
5%
Анализировать результаты
4%
Оптимизировать регрессионные тесты
7%
Предсказывать узкие места
81%
Принимать решение о бизнес-логике и приоритетах фиксов багов
В чем уникальность AI при тестировании микросервисной архитектуры?
Anonymous Quiz
97%
Отслеживает связи между сервисами и предсказывает сбои на ранней стадии
0%
Он проверяет только один сервис
3%
Игнорирует взаимодействия
0%
Проверяет только интерфейс
0%
Создаёт тесты вручную
Начнем серию квизов про тестирование ML систем 🌍
На каком наборе данных обычно проводится Pre-train тестирование?
На каком наборе данных обычно проводится Pre-train тестирование?
Anonymous Quiz
17%
Только на тестовом наборе
5%
Только на продакшн данных
67%
На исходных данных, которые использовались для предварительного обучения
2%
Только на случайных данных
9%
Только на валидационном наборе
Что такое "performance testing" модели ML?
Anonymous Quiz
5%
Проверка только интерфейса
1%
Игнорирование вычислительных ресурсов
3%
Тестирование на старых данных
3%
Генерация случайных ошибок
89%
Измерение времени отклика модели, использования памяти и вычислительной нагрузки
Как работает техника "stress testing" в ML?
Anonymous Quiz
1%
Проверка только маленьких наборов данных
0%
Игнорирование ошибок
98%
Модель тестируется на экстремальных или аномальных данных, чтобы выявить её слабые места
1%
Только логирование ошибок
0%
Создание тестов вручную
👍1
В чем суть "A/B тестирования" моделей ML?
Anonymous Quiz
1%
Полная замена модели
1%
Проверка только старых данных
97%
Сравнение двух версий модели на разных подгруппах пользователей для выбора лучшей
1%
Генерация случайных предсказаний
1%
Проверка только метрики precision
Что делает техника "model explainability testing"?
Anonymous Quiz
96%
Анализирует, почему модель приняла определённое решение, выявляя потенциальные ошибки или смещения
2%
Проверяет только точность предсказаний
0%
Игнорирует ошибки
2%
Генерирует тестовые данные
0%
Только логирует результаты
👍1
Что проверяет методика data drift testing?
Anonymous Quiz
4%
Перегрузку сервера
44%
Смещение данных во времени
47%
Изменение распределения данных
4%
Случайные ошибки модели
1%
Количество запросов к API
Для чего используют cross-validation?
Anonymous Quiz
9%
Снижение латентности
61%
Оценка устойчивости модели
3%
Ускорение GPU
22%
Генерация синтетических данных
4%
Оптимизация логов
Что из этого является примером adversarial testing?
Anonymous Quiz
5%
Проверка багов UI
62%
Создание обманных входных данных
6%
Генерация новых фичей
10%
Модульное тестирование
17%
Мониторинг продакшн-сервера
Что выявляет bias testing в ML-модели?
Anonymous Quiz
6%
Ошибки сети
14%
Случайный шум
55%
Предвзятость модели
10%
Проблемы с GPU
14%
Утечки памяти
Что проверяют при stress testing модели?
Anonymous Quiz
1%
UI интерфейс
2%
Точность валидации
93%
Стабильность на экстремальных данных
3%
Количество фичей
1%
Производительность фронтенда
Какая техника чаще всего используется в рекомендательных системах?
Anonymous Quiz
12%
Stress testing
14%
Snapshot testing
12%
Crystal testing
8%
Error flooding
55%
A/B testing
Что из этого НЕ относится к ML-тестированию?
Anonymous Quiz
9%
Data validation
5%
Bias testing
4%
Drift detection
71%
Pixel matching
12%
Model explainability
Продолжаем про ML тестирование...
Теперь вопросы со звездочкой😉
Команда ML видит, что на проде модель выдает странные ответы. Что в первую очередь должен проверить QA?
Теперь вопросы со звездочкой
Команда ML видит, что на проде модель выдает странные ответы. Что в первую очередь должен проверить QA?
Anonymous Quiz
44%
Метрики модели
4%
Формат дат
21%
Архитектуру нейросети
12%
Latency модели
19%
Дубликаты данных
Модель перестала работать после обновления библиотек. Что чаще всего становится причиной?
Anonymous Quiz
14%
Latency модели
12%
Документация пайплайна
27%
NaN в данных
5%
F1-score
43%
Дрейф данных
Модель антифрода показывает 99% accuracy. Почему это может быть опасно?
Anonymous Quiz
7%
F1-score может быть ниже
13%
Latency может вырасти
11%
RMSE будет большой
12%
Unit-тесты сломаны
58%
Accuracy не учитывает дисбаланс классов
QA заметил, что модель скоринга дискриминирует молодые группы людей. Какой инструмент поможет проверить fairness модели?
Anonymous Quiz
23%
Latency тестирование
51%
Fairlearn
10%
Unit-тесты пайплайна
7%
Grafana
8%
RMSE