Нашёл интересное исследование!

LLM умеют генерировать тесты. Но когда код изменился, тесты посыпались — модель сможет их починить и обновить?

Собрали 1 539 реальных сценариев из open-source проектов на Python, Java и Go и оценили LLM на трёх задачах:

🎥Создание тестов с нуля
🎥 Починка тестов, которые сломались после рефакторинга
🎥Доработка тестов под новую или изменившуюся логику

Не на уровне отдельных функций, а на уровне целого тестового файла с контекстом репозитория .

Результат: даже последние модели показывают слабые результаты на починке и обновлении.

Генерация — ок, а вот сопровождение тестов — пока слабое место.

🔗 Статья: huggingface.co/papers/2601.18241
🔗 Код: github.com/trndcenter/TAM-Eval

🎭 Playwright CLI инструмент для AI-агентов

Microsoft выпустили Playwright CLI — обёртку над Playwright, заточенную под работу с coding-агентами (Claude Code, GitHub Copilot и др.).

Зачем, если есть Playwright MCP? Всё просто — токены.
Разница в 4 раза.

Простая задача:
1) открыть страницу
2) кликнуть
3) сделать скриншот

MCP → ~114 000 токенов
CLI → ~26 800 токенов

🔎 Почему MCP дороже?
MCP возвращает всё обратно в LLM: accessibility snapshot страницы, байты скриншотов и т.д. Даже если агенту эти данные не нужны

⚡️Что умеет CLI?
Полный набор команд для управления браузером
Причём в CLI доступно больше команд, чем в MCP по умолчанию

Установка

npm install -g @playwright/mcp@latest
playwright-cli install --skills

🔗 https://github.com/microsoft/playwright-cli

✉ Тестирование email

Обычно тестирование писем сводится к проверке, что запрос ушёл в нужный сервис — замокали клиент, убедились, что subject/body/получатель на месте

Редко, но бывают сценарии, где нужен полный e2e


Решение — SMTP-сервер в docker-compose рядом с приложением. Принимает письма, отдаёт через API

Open-source инструменты:
🟣Mailpit
🟣MailDev
🟣smtp4dev
🟣GreenMail
🟣MailCrab
🟣Inbucket — Сам использовал в своё время

Митап Moscow QA #21

🌎 Онлайн
Начало в 19:00!

➡ Ссылка на трансляцию https://www.youtube.com/watch?v=vBJlV2NSrHA

Полезные скилы для ИИ агента:

Это хорошая основа для вашего фронтенд проекта и тестирования, осталось толко адаптировать под себя

🔗Playwrigh https://github.com/currents-dev/playwright-best-practices-skill/tree/main

🔗React https://github.com/vercel-labs/agent-skills/tree/main/skills/react-best-practices

Больше скилов
1️⃣ skills.sh
2️⃣ skillhub.club
3️⃣ skillsmp.com

Vitest 4 вышел, а я пропустил!


🌐 Browser Mode: Поддержка Playwright и WebDriverIO, доступ к реальным браузерным API (window, document), параллельное выполнение и никаких симуляций

🖼 Встроенная поддержка визуального регрессионного тестирования прямо из коробки

🔎 Trace View и улучшенный дебага


https://vitest.dev/guide/browser/

Я не блогер, пишу заметки по QA — но расскажу про итоги начала года👇

✅ Доделал сайт moscowqa.ru — анонсы, архив митапов, всё на месте
✅ В прошлый четверг помогали коллегам из @piterqa с митапом — выступали консультантами. Приятно, когда QA-сообщество растёт за пределами Москвы

🗓 Впереди два митапа @MoscowQA — в марте и апреле. А в мае — чёрный митап

🎙 Скоро объявим открытый подкаст по книге «Профессиональный TypeScript» Бориса Черного — живая дискуссия, участвовать может каждый, завтра анонс

И да, в промежутках хожу по собесам — но это уже другая история 🙂