В чем суть "A/B тестирования" моделей ML?
Anonymous Quiz
1%
Полная замена модели
1%
Проверка только старых данных
97%
Сравнение двух версий модели на разных подгруппах пользователей для выбора лучшей
1%
Генерация случайных предсказаний
1%
Проверка только метрики precision
Что делает техника "model explainability testing"?
Anonymous Quiz
96%
Анализирует, почему модель приняла определённое решение, выявляя потенциальные ошибки или смещения
2%
Проверяет только точность предсказаний
0%
Игнорирует ошибки
2%
Генерирует тестовые данные
0%
Только логирует результаты
👍1
Что проверяет методика data drift testing?
Anonymous Quiz
4%
Перегрузку сервера
44%
Смещение данных во времени
47%
Изменение распределения данных
4%
Случайные ошибки модели
1%
Количество запросов к API
Для чего используют cross-validation?
Anonymous Quiz
9%
Снижение латентности
61%
Оценка устойчивости модели
3%
Ускорение GPU
22%
Генерация синтетических данных
4%
Оптимизация логов
Что из этого является примером adversarial testing?
Anonymous Quiz
5%
Проверка багов UI
62%
Создание обманных входных данных
6%
Генерация новых фичей
10%
Модульное тестирование
17%
Мониторинг продакшн-сервера
Что выявляет bias testing в ML-модели?
Anonymous Quiz
6%
Ошибки сети
14%
Случайный шум
55%
Предвзятость модели
10%
Проблемы с GPU
14%
Утечки памяти
Что проверяют при stress testing модели?
Anonymous Quiz
1%
UI интерфейс
2%
Точность валидации
93%
Стабильность на экстремальных данных
3%
Количество фичей
1%
Производительность фронтенда
Какая техника чаще всего используется в рекомендательных системах?
Anonymous Quiz
12%
Stress testing
14%
Snapshot testing
12%
Crystal testing
8%
Error flooding
55%
A/B testing
Что из этого НЕ относится к ML-тестированию?
Anonymous Quiz
9%
Data validation
5%
Bias testing
4%
Drift detection
71%
Pixel matching
12%
Model explainability
Продолжаем про ML тестирование...
Теперь вопросы со звездочкой😉
Команда ML видит, что на проде модель выдает странные ответы. Что в первую очередь должен проверить QA?
Теперь вопросы со звездочкой
Команда ML видит, что на проде модель выдает странные ответы. Что в первую очередь должен проверить QA?
Anonymous Quiz
44%
Метрики модели
4%
Формат дат
21%
Архитектуру нейросети
12%
Latency модели
19%
Дубликаты данных
Модель перестала работать после обновления библиотек. Что чаще всего становится причиной?
Anonymous Quiz
14%
Latency модели
12%
Документация пайплайна
27%
NaN в данных
5%
F1-score
43%
Дрейф данных
Модель антифрода показывает 99% accuracy. Почему это может быть опасно?
Anonymous Quiz
7%
F1-score может быть ниже
13%
Latency может вырасти
11%
RMSE будет большой
12%
Unit-тесты сломаны
58%
Accuracy не учитывает дисбаланс классов
QA заметил, что модель скоринга дискриминирует молодые группы людей. Какой инструмент поможет проверить fairness модели?
Anonymous Quiz
23%
Latency тестирование
51%
Fairlearn
10%
Unit-тесты пайплайна
7%
Grafana
8%
RMSE
Модель вчера показывала 90% accuracy, сегодня - 70%. Что скорее всего произошло?
Anonymous Quiz
16%
F1-score упал
29%
Latency выросла
33%
Data drift
13%
Ошибка unit-тестов
9%
Проблема с API
Anonymous Quiz
13%
Набор данных, очищенный от выбросов
12%
Набор данных, используемый только для продакшена
21%
Подмножество исходного датасета для тестов
13%
Случайный набор чисел для проверки гипотез
40%
Набор данных для обучения всех моделей
Anonymous Quiz
18%
Баланс классов после обучения
6%
Скорость инференса модели
14%
Интерпретируемость признаков
57%
Качество и корректность данных
5%
Сравнение моделей между собой
Anonymous Quiz
6%
Модель плохо обучена и даёт низкую точность везде
9%
Использование слишком маленького набора данных
5%
Обучение на тестовых данных вместо тренировочных
80%
Модель слишком хорошо подогналась под обучающие данные, но плохо работает на новых
0%
Ошибка в коде обучения модели
Anonymous Quiz
27%
Random Noise Injection
7%
Gradient Clipping
8%
Feature Importance
30%
Oversampling
19%
Batch Normalization
8%
Dropout
Anonymous Quiz
8%
Только качество исходных данных
9%
Архитектура модели
59%
Производительность модели и её обобщающая способность
9%
Сравнение разных библиотек для обучения
14%
Настройка гиперпараметров перед обучением
❤1
Anonymous Quiz
2%
Доля правильных отрицательных предсказаний
31%
Доля правильных предсказаний среди всех данных
10%
Количество TP делённое на общее число объектов
23%
Среднее значение точности и полноты
35%
Доля правильных положительных предсказаний среди всех предсказанных положительных