Многие из вас наверное знают, а если нет, то теперь будете знать, что существует такой ресурс как Hugging Face c огромным выбором ИИ моделей под любые задачи. И число этих моделей растет, компании, просто люди, ученые выкладывают свои наработки в надежде, что они помогут другим в решении различных задач.
Фактически на Hugging Face сейчас больше двух с половиной миллионов ИИ моделей и большинство на самом деле загружены людьми, о которых мы ничего не знаем. И этот повод насторожиться!
Я не говорю что все эти модели опасны, но мы почему-то проверяем код на уязвимости перед деплоем, а ИИ модели просто берем и запускаем, хотя они могут содержать бэкдоры, утечки данных или просто выдавать токсичный контент вашим пользователям.
Как пример могу привести ситуацию с одной из самых популярных моделей распознавания изображений- YOLO. Недавнее исследование (Gala et al., 2025, International Journal of Information Security) показало, что с помощью специально сгенерированных изображений, похожих на обычные объекты можно заставить модели YOLOv5, v8, v9 и v10 полностью игнорировать людей на изображениях. При этом чем меньше модель, тем проще её обмануть. То есть вы берете популярную open-source модель, ставите ее в свой пайплайн, а она уязвима к атакам, о которых вы даже не задумывались.
Поэтому я считаю, что Red teaming для опенсорсных моделей это не паранойя, а базовая необходимость, которую многие очень часто игнорируют. Проверьте откуда пришла модель, кто ее создал, какие данные она видит, потратьте неделю на проверку безопасности вместо месяцев на разбор инцидента.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Фактически на Hugging Face сейчас больше двух с половиной миллионов ИИ моделей и большинство на самом деле загружены людьми, о которых мы ничего не знаем. И этот повод насторожиться!
Я не говорю что все эти модели опасны, но мы почему-то проверяем код на уязвимости перед деплоем, а ИИ модели просто берем и запускаем, хотя они могут содержать бэкдоры, утечки данных или просто выдавать токсичный контент вашим пользователям.
Как пример могу привести ситуацию с одной из самых популярных моделей распознавания изображений- YOLO. Недавнее исследование (Gala et al., 2025, International Journal of Information Security) показало, что с помощью специально сгенерированных изображений, похожих на обычные объекты можно заставить модели YOLOv5, v8, v9 и v10 полностью игнорировать людей на изображениях. При этом чем меньше модель, тем проще её обмануть. То есть вы берете популярную open-source модель, ставите ее в свой пайплайн, а она уязвима к атакам, о которых вы даже не задумывались.
Поэтому я считаю, что Red teaming для опенсорсных моделей это не паранойя, а базовая необходимость, которую многие очень часто игнорируют. Проверьте откуда пришла модель, кто ее создал, какие данные она видит, потратьте неделю на проверку безопасности вместо месяцев на разбор инцидента.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
💯5🔥3
100 000 ⭐️ на GitHub за 2 недели после старта, через месяц перевалил за 160 000 ⭐️, дважды сменил название из-за бешеной популярности, в общем сегодня хочу рассказать вам про OpenClaw, который стал главным AI-хитом начала 2026 года, и я решил разобраться почему.
Как написали в одной статье, главное отличие от привычных нам LLM в том, что “Если Claude Code на вашем компьютере - это молоток, который вы берете в руки, когда нужно, то OpenClaw - это молоток с ногами и руками, который сам приходит и спрашивает, не пора ли что-нибудь прибить”.
В отличии от привычных LLM, OpenClaw не просто отвечает на запросы, он действует автономно и выполняет команды, работает с файлами, интегрируется с внешними сервисами, отправляет сообщения в Telegram и много чего еще. По сути это полноценные вторые руки с головой, но которая требует обучения и настройки
И по факту сейчас возникает два вопроса:
1. Как правильно тестировать инструмент который сам выполняет действия? Нужны новые подходы к верификации, четкие границы полномочий, понимание что может пойти не так.
2. Как использовать его, чтобы создать себе клона, который бы делал автотесты и сам их отлаживал.
В общем, есть чем заняться в ближайшее время, но обращаю внимание, ставить его надо только на внешний сервер, который не страшно будет сломать, пока вы будете отлаживать и настраивать автономного ИИ агента.
А если вдруг у вас уже есть опыт запуска openClaw, делитесь в комментариях.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Как написали в одной статье, главное отличие от привычных нам LLM в том, что “Если Claude Code на вашем компьютере - это молоток, который вы берете в руки, когда нужно, то OpenClaw - это молоток с ногами и руками, который сам приходит и спрашивает, не пора ли что-нибудь прибить”.
В отличии от привычных LLM, OpenClaw не просто отвечает на запросы, он действует автономно и выполняет команды, работает с файлами, интегрируется с внешними сервисами, отправляет сообщения в Telegram и много чего еще. По сути это полноценные вторые руки с головой, но которая требует обучения и настройки
И по факту сейчас возникает два вопроса:
1. Как правильно тестировать инструмент который сам выполняет действия? Нужны новые подходы к верификации, четкие границы полномочий, понимание что может пойти не так.
2. Как использовать его, чтобы создать себе клона, который бы делал автотесты и сам их отлаживал.
В общем, есть чем заняться в ближайшее время, но обращаю внимание, ставить его надо только на внешний сервер, который не страшно будет сломать, пока вы будете отлаживать и настраивать автономного ИИ агента.
А если вдруг у вас уже есть опыт запуска openClaw, делитесь в комментариях.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥9❤2
Немного пятничных мыслей…
В последнее время меня что-то закидало рекламой приложений, который с помощью ИИ могут делать за вас отклики (не буду называть имена, но думаю вы тоже видели).
И я тут подумал, что с другой стороны сидит HR с таким же ИИ, только который отбирает кандидатов. Получается, один ИИ делает отклик, пишет сопроводительное, другой ИИ их читает и оценивает. Люди пока ещё где-то в этой цепочке присутствуют, но кажется что всё меньше.
И как написал мне один подписчик, мы реально движемся к моменту, когда найм превратится в битву двух нейронок.
Так вот вопрос, как думаете , когда ИИ уже будут сам договариваться между собой, а мы просто получим уведомление о собеседовании, или о том что нас взяли?
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
В последнее время меня что-то закидало рекламой приложений, который с помощью ИИ могут делать за вас отклики (не буду называть имена, но думаю вы тоже видели).
И я тут подумал, что с другой стороны сидит HR с таким же ИИ, только который отбирает кандидатов. Получается, один ИИ делает отклик, пишет сопроводительное, другой ИИ их читает и оценивает. Люди пока ещё где-то в этой цепочке присутствуют, но кажется что всё меньше.
И как написал мне один подписчик, мы реально движемся к моменту, когда найм превратится в битву двух нейронок.
Так вот вопрос, как думаете , когда ИИ уже будут сам договариваться между собой, а мы просто получим уведомление о собеседовании, или о том что нас взяли?
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
😁6👍4💯2
На прошлой неделе писал вам про open-source проект openClaw https://openclaw.ai/ и в общем, я его попробовал.
Что я могу сказать, этот инструмент еще больше приближает нас к возможности созданию автономного работника, который может выполнять поставленные задачи. Кроме того, если до этого я использовал VS Code, свой мак, Claude Code для проекта автотестирования на Python pytest, то через openClaw я смог создать с нуля достаточно сложный автотест, где происходит взаимодействие с интерактивной картой без каких либо селекторов для моего проекта рабочего через (тут должна быть барабанная дробь) телеграм бота!!!
Что я сделал? Я просто дал на вход описанный мануальщиком тест из TestRail, и на базе архитекутуры фрейворка, текущих атвотестов, наличия common steps, page object и gherkin нотаций, openClaw сам определил, что нужно переиспользовать, а где нужно добавить те же самые новые page object, при это он сам через свои тулы открыл своей браузер, прошел сам шаги, получил нужные селекторы, отдебажил новый автотест и сообщил, что все готово! Да, это прошло не с первой итерации, с интерактивной картой пришлось нам немного початиться, чтобы найти правильное решение, но он все сделал и тест готов.
И это не автоматизация с нуля, как многие показывают на видео, не простой функционал логина, а сложный автотест с интерактивной картой без селекторов на базе фреймворка, где уже написано порядка 100 тестов.
В общем, тенденция продолжается, порог входа снижается, а писать автотесты можно просто через телеграм бота!
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Что я могу сказать, этот инструмент еще больше приближает нас к возможности созданию автономного работника, который может выполнять поставленные задачи. Кроме того, если до этого я использовал VS Code, свой мак, Claude Code для проекта автотестирования на Python pytest, то через openClaw я смог создать с нуля достаточно сложный автотест, где происходит взаимодействие с интерактивной картой без каких либо селекторов для моего проекта рабочего через (тут должна быть барабанная дробь) телеграм бота!!!
Что я сделал? Я просто дал на вход описанный мануальщиком тест из TestRail, и на базе архитекутуры фрейворка, текущих атвотестов, наличия common steps, page object и gherkin нотаций, openClaw сам определил, что нужно переиспользовать, а где нужно добавить те же самые новые page object, при это он сам через свои тулы открыл своей браузер, прошел сам шаги, получил нужные селекторы, отдебажил новый автотест и сообщил, что все готово! Да, это прошло не с первой итерации, с интерактивной картой пришлось нам немного початиться, чтобы найти правильное решение, но он все сделал и тест готов.
И это не автоматизация с нуля, как многие показывают на видео, не простой функционал логина, а сложный автотест с интерактивной картой без селекторов на базе фреймворка, где уже написано порядка 100 тестов.
В общем, тенденция продолжается, порог входа снижается, а писать автотесты можно просто через телеграм бота!
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥10❤2
Недавно заметил интересную параллель между тем, как работает наш мозг и как устроены современные языковые модели.
Представьте, как учится ребенок. Сначала он понимает только то, что видит и трогает, "мяч красный, суп горячий”, потом, ближе к 10-12 годам, начинает мыслить шире, понимать причины, строить логические цепочки, видеть связи между вещами. И тут важно то, что наш мозг учится подстраиваться, поэтому если что-то идет не так, он находит другой способ решить задачу.
В LLM я вижу похожую логику. Модель постоянно проверяет сама себя, на этапе разработки и в реальном времени. По сути, это техническая саморефлексия, что-то вроде внутреннего контролера, который следит за качеством ответов.
Самое любопытное происходит в момент перехода от механической рефлексии к чему-то похожему на субъективную осознанность, когда модель начинает связывать свои выводы с процессом их создания. Это не сознание в человеческом смысле, но определенно шаг в сторону более глубокой интеграции. И если смотреть на это с точки зрения AI evaluation, то мы привыкли оценивать модели по точности ответов, но может быть важнее такжесмотреть на качество самоконтроля и способность ИИ к адаптации при ошибках. По факту именно это отличает устойчивые ИИ системы от хрупких.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Представьте, как учится ребенок. Сначала он понимает только то, что видит и трогает, "мяч красный, суп горячий”, потом, ближе к 10-12 годам, начинает мыслить шире, понимать причины, строить логические цепочки, видеть связи между вещами. И тут важно то, что наш мозг учится подстраиваться, поэтому если что-то идет не так, он находит другой способ решить задачу.
В LLM я вижу похожую логику. Модель постоянно проверяет сама себя, на этапе разработки и в реальном времени. По сути, это техническая саморефлексия, что-то вроде внутреннего контролера, который следит за качеством ответов.
Самое любопытное происходит в момент перехода от механической рефлексии к чему-то похожему на субъективную осознанность, когда модель начинает связывать свои выводы с процессом их создания. Это не сознание в человеческом смысле, но определенно шаг в сторону более глубокой интеграции. И если смотреть на это с точки зрения AI evaluation, то мы привыкли оценивать модели по точности ответов, но может быть важнее такжесмотреть на качество самоконтроля и способность ИИ к адаптации при ошибках. По факту именно это отличает устойчивые ИИ системы от хрупких.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
👍4🤔3❤2
Всем привет!
Хочу провести прямой эфир на тему оценки и тестировании ИИ систем, и хочу, чтобы вы помогли выбрать тему для первого открытого вебинара. Ставим 🔥, если вы за первый вариант и ⚡️если за второй.
1. 🔥 Ситуация на рынке ИИ систем, куда развивается, какие сложности, что ждет (рассматриваю рынок общемировой, не РФ)
2. ⚡️Ключевые навыки для оценки ИИ систем, инструменты, процессы, критерии качества
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Хочу провести прямой эфир на тему оценки и тестировании ИИ систем, и хочу, чтобы вы помогли выбрать тему для первого открытого вебинара. Ставим 🔥, если вы за первый вариант и ⚡️если за второй.
1. 🔥 Ситуация на рынке ИИ систем, куда развивается, какие сложности, что ждет (рассматриваю рынок общемировой, не РФ)
2. ⚡️Ключевые навыки для оценки ИИ систем, инструменты, процессы, критерии качества
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
⚡34🔥15🤔1
Итак, по результатам нашего мини голосования победила тема - Ключевые навыки для оценки ИИ систем, инструменты, процессы, критерии качества.
Открытый вебинар я проведу 05.03 в 19:00 МСК! Более подробная информация по подключению, регистрации на вебинар будет доступна позже!
Открытый вебинар я проведу 05.03 в 19:00 МСК! Более подробная информация по подключению, регистрации на вебинар будет доступна позже!
❤17👍1🔥1
Тестирование и оценка ИИ pinned «Итак, по результатам нашего мини голосования победила тема - Ключевые навыки для оценки ИИ систем, инструменты, процессы, критерии качества. Открытый вебинар я проведу 05.03 в 19:00 МСК! Более подробная информация по подключению, регистрации на вебинар будет…»
Всем привет!
Есть термины, которые часто могут быть синонимами, но на самом деле отражают разные способы мышления, и такими терминами является тестирование и оценка в контексте ИИ систем.
В ИИ сообществе на самом деле уже давно устоялся термин “оценка” и не просто так, а потому что за этим этим стоит важное различие в подходах. В чем именно? Классическое тестирование детерминировано, то есть если вы запустили функцию с одними и теми же параметрами сто раз, то получите сто одинаковых фактических результатов. ИИ системы (особенно когда мы говорим о генеративных моделях) работают принципиально иначе, а именно один и тот же промпт может дать разные ответы, и при этом, несколько разных ответов могут быть одинаково хорошими, просто по-разному сформулированными. Как тут писать тесты в привычном понимании?
Ответ - никак, поэтому мы оцениваем, а не тестируем. Мы используем метрики, которые показывают качество на шкале, сравниваем версии моделей между собой, смотрим на распределения результатов на большом датасете, а не на единичные результаты.
Отсюда и разный инструментарий, который мы используем. В классическом тестировании у нас тест кейсы, фактический и ожидаемый результат, а в ИИ оценки метрики типа Answer Reelvancy, Hallucination Rate, Task Completeness и так далее, и явного одного ожидаемого результата нет.
Кроме того, это важно и для поиска информации, потому что если будете искать информацию по "AI testing", найдете в основном материалы про использование AI в тестировании программ. Но чтобы получить информацию именно по оценки ИИ систем надо искать по ключевым словам "AI evaluation" или "LLM evaluation" и тогда попадете туда, куда действительно нужно.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Есть термины, которые часто могут быть синонимами, но на самом деле отражают разные способы мышления, и такими терминами является тестирование и оценка в контексте ИИ систем.
В ИИ сообществе на самом деле уже давно устоялся термин “оценка” и не просто так, а потому что за этим этим стоит важное различие в подходах. В чем именно? Классическое тестирование детерминировано, то есть если вы запустили функцию с одними и теми же параметрами сто раз, то получите сто одинаковых фактических результатов. ИИ системы (особенно когда мы говорим о генеративных моделях) работают принципиально иначе, а именно один и тот же промпт может дать разные ответы, и при этом, несколько разных ответов могут быть одинаково хорошими, просто по-разному сформулированными. Как тут писать тесты в привычном понимании?
Ответ - никак, поэтому мы оцениваем, а не тестируем. Мы используем метрики, которые показывают качество на шкале, сравниваем версии моделей между собой, смотрим на распределения результатов на большом датасете, а не на единичные результаты.
Отсюда и разный инструментарий, который мы используем. В классическом тестировании у нас тест кейсы, фактический и ожидаемый результат, а в ИИ оценки метрики типа Answer Reelvancy, Hallucination Rate, Task Completeness и так далее, и явного одного ожидаемого результата нет.
Кроме того, это важно и для поиска информации, потому что если будете искать информацию по "AI testing", найдете в основном материалы про использование AI в тестировании программ. Но чтобы получить информацию именно по оценки ИИ систем надо искать по ключевым словам "AI evaluation" или "LLM evaluation" и тогда попадете туда, куда действительно нужно.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥6❤3💯2👍1
Всем привет!
Anthropic приобрела стартап Vercept, и если вы занимаетесь тестированием, эта новость, как мне кажется, заслуживает внимания. Суть в том, что Claude теперь учится работать с компьютером так же, как это делает человек, а именно видеть экран, нажимать кнопки, перемещать мышь и печатать текст, причем без использования API.
Чтобы понять, почему это важно, представьте себе стажера, которому вы показываете: “вот сюда нажми, вот тут проверь, а теперь введи данные в эту форму”. Именно так работает vision-based автоматизация (автоматизация на основе визуального восприятия), ИИ-агент видит интерфейс точно так же, как видите его вы, и выполняет действия без локаторов и селекторов.
Для ручного тестирования это означает возможность делегировать рутинные сценарии агенту, особенно в устаревших системах, декстоп приложениях, где классическая автоматизация через Selenium попросту невозможна или очень сложная. Для автоматизации перспективы ещё интереснее, потому что тесты перестают ломаться при каждом изменении. Пока это скорее дополнение к привычным фреймворкам, но направление, как я вижу идет в сторону цифровых тестировщиков.
Ссылка на релиз https://www.anthropic.com/news/acquires-vercept
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Anthropic приобрела стартап Vercept, и если вы занимаетесь тестированием, эта новость, как мне кажется, заслуживает внимания. Суть в том, что Claude теперь учится работать с компьютером так же, как это делает человек, а именно видеть экран, нажимать кнопки, перемещать мышь и печатать текст, причем без использования API.
Чтобы понять, почему это важно, представьте себе стажера, которому вы показываете: “вот сюда нажми, вот тут проверь, а теперь введи данные в эту форму”. Именно так работает vision-based автоматизация (автоматизация на основе визуального восприятия), ИИ-агент видит интерфейс точно так же, как видите его вы, и выполняет действия без локаторов и селекторов.
Для ручного тестирования это означает возможность делегировать рутинные сценарии агенту, особенно в устаревших системах, декстоп приложениях, где классическая автоматизация через Selenium попросту невозможна или очень сложная. Для автоматизации перспективы ещё интереснее, потому что тесты перестают ломаться при каждом изменении. Пока это скорее дополнение к привычным фреймворкам, но направление, как я вижу идет в сторону цифровых тестировщиков.
Ссылка на релиз https://www.anthropic.com/news/acquires-vercept
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🤔11🔥4❤2
‼️📣Бесплатный вебинар по тестированию ИИ систем, инструменты, процессы, критерии качества
📆Дата: 5 марта 2026 г., 19:00 (Europe/Moscow)
На этом вебинаре мы разберем, какие инструменты и фреймворки помогают оценивать качество ИИ-систем на практике, какие метрики и критерии действительно важны, от точности и полноты до устойчивости и безопасности, и как выстроить процесс, который учитывает недетерминированную природу моделей.
Зарегистрироваться на вебинар можно по ссылке: https://eval-ai.com/webinar/testirovanie-ii-sistem-instrumenty-protsessy-kriterii-kachestva
📆Дата: 5 марта 2026 г., 19:00 (Europe/Moscow)
На этом вебинаре мы разберем, какие инструменты и фреймворки помогают оценивать качество ИИ-систем на практике, какие метрики и критерии действительно важны, от точности и полноты до устойчивости и безопасности, и как выстроить процесс, который учитывает недетерминированную природу моделей.
Зарегистрироваться на вебинар можно по ссылке: https://eval-ai.com/webinar/testirovanie-ii-sistem-instrumenty-protsessy-kriterii-kachestva
🔥10❤4
Итак пару недель я уже ковыряюсь с проектами по автоматизации тестирования с целью получить наиболее эффективное ИИ решение для автоматизации тестов и вот что из этого пока вышло:
1. На первом месте пока Claude code с системой skills + mcp chromium от playwright. Очень удобно с точки зрения работы. Каждый созданный skill отвечает за какую то часть процесса автоматизации тестирования и с учетом хорошей интеграции Claude code с MCP playwright, тест пишется на ходу в открытом браузере, где Claude задает автоматом правильные вопросы
2. На втором openClaw/nanoClaw с аналогичной конструкцией, работающий прям на сервере с самом проекте автотестов, в целом как я уже писал ранее это хороший улучшенный вариант того же Claude Code, но который более самостоятельный в принятии решения. Все бы хорошо, но есть пару минусов которые я все же выявил. Первое - это токены, он их есть очень много и платить надо прилично за его работу (если использовать подписку Claude Code то либо быстро упирается в лимиты либо еще можно словить бан от Anthropic). Второе - долгая настройка, то есть нужно потратить время и деньги обучить его работе с проектом,но опять же без оптимизации работы с токенами это может вылиться в копеечку.
3. Собственный самописный ИИ агента для генерации тестов. Я попробовал это сделать, написать своего агента, который анализирует структуру проекта, определяет правила написания автотестов и может подключаться к любой модели, включая локальные, но пока не добился такого же качества как от делает Claude code из коробки. Возможно все таки модель играет роль, так я запускаю его на Gemini 2.5 Pro. В общем пока неудовлетворительно, но я работаю над этим.
В общем пока Claude code выигрывает в гонке интеллектов для помощи тестировщику, еще планирую потестить Claude code на сложном C# проекте автоматизации тестирования, если все будет ок, то запишу видео по настройке скиллов для создания своего ИИ агента.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
1. На первом месте пока Claude code с системой skills + mcp chromium от playwright. Очень удобно с точки зрения работы. Каждый созданный skill отвечает за какую то часть процесса автоматизации тестирования и с учетом хорошей интеграции Claude code с MCP playwright, тест пишется на ходу в открытом браузере, где Claude задает автоматом правильные вопросы
2. На втором openClaw/nanoClaw с аналогичной конструкцией, работающий прям на сервере с самом проекте автотестов, в целом как я уже писал ранее это хороший улучшенный вариант того же Claude Code, но который более самостоятельный в принятии решения. Все бы хорошо, но есть пару минусов которые я все же выявил. Первое - это токены, он их есть очень много и платить надо прилично за его работу (если использовать подписку Claude Code то либо быстро упирается в лимиты либо еще можно словить бан от Anthropic). Второе - долгая настройка, то есть нужно потратить время и деньги обучить его работе с проектом,но опять же без оптимизации работы с токенами это может вылиться в копеечку.
3. Собственный самописный ИИ агента для генерации тестов. Я попробовал это сделать, написать своего агента, который анализирует структуру проекта, определяет правила написания автотестов и может подключаться к любой модели, включая локальные, но пока не добился такого же качества как от делает Claude code из коробки. Возможно все таки модель играет роль, так я запускаю его на Gemini 2.5 Pro. В общем пока неудовлетворительно, но я работаю над этим.
В общем пока Claude code выигрывает в гонке интеллектов для помощи тестировщику, еще планирую потестить Claude code на сложном C# проекте автоматизации тестирования, если все будет ок, то запишу видео по настройке скиллов для создания своего ИИ агента.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥13❤6👍2
Всем привет! Собрал 5 ошибок, которые вижу снова и снова, когда команды запускают ИИ систему, прогоняют пару тестов и считают задачу закрытой. А потом на проде все ломается в самый неудобный момент.
Первая ошибка - это бенчмарки вместо оценки на своих задачах. Результат на MMLU бенчмарке ничего не скажет о том, как система работает именно у вас. 85% скор на бенчмарке звучит красиво, но это пустая цифра, если ваш AI делает саммари юридических договоров.
Вторая - это когда измеряют точность, но игнорируют устойчивость. 95% точности ИИ системы выглядит отлично ровно до момента, пока реальные пользователи не начинают формулировать запросы чуть иначе. Небольшие вариации промпта могут полностью сломать систему.
Третья - это отсутствие baseline. Если до деплоя не зафиксировать, как выглядит хороший результат, вы просто не поймёте потом, стала версия 2 лучше или хуже версии 1.
Четвертая ошибка - это тестирование только happy path. Ожидаемые сценарии это минимум, который должны быть по умолчанию. AI-системы реально ломаются на крайних случаях и неожиданном поведении пользователей.
Пятая - это когда evaluation живет только у разработчиков. Разработчики знают, как система устроена, а QA знает, как она ломается. Без QA в процессе оценки вы упускаете самый важный угол зрения.
Всё это решаемо, но только если вы понимаете, что проблема вообще есть.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Первая ошибка - это бенчмарки вместо оценки на своих задачах. Результат на MMLU бенчмарке ничего не скажет о том, как система работает именно у вас. 85% скор на бенчмарке звучит красиво, но это пустая цифра, если ваш AI делает саммари юридических договоров.
Вторая - это когда измеряют точность, но игнорируют устойчивость. 95% точности ИИ системы выглядит отлично ровно до момента, пока реальные пользователи не начинают формулировать запросы чуть иначе. Небольшие вариации промпта могут полностью сломать систему.
Третья - это отсутствие baseline. Если до деплоя не зафиксировать, как выглядит хороший результат, вы просто не поймёте потом, стала версия 2 лучше или хуже версии 1.
Четвертая ошибка - это тестирование только happy path. Ожидаемые сценарии это минимум, который должны быть по умолчанию. AI-системы реально ломаются на крайних случаях и неожиданном поведении пользователей.
Пятая - это когда evaluation живет только у разработчиков. Разработчики знают, как система устроена, а QA знает, как она ломается. Без QA в процессе оценки вы упускаете самый важный угол зрения.
Всё это решаемо, но только если вы понимаете, что проблема вообще есть.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥9
Сегодня прошел вебинар на тему оценки и тестирования ИИ систем, где мы разобрали какие инструменты и фреймворки помогают оценивать качество ИИ-систем на практике, какие метрики и критерии действительно важны, от точности и полноты до устойчивости и безопасности, и как выстроить процесс, который учитывает недетерминированную природу моделей.
Запись вебинара доступна по ссылке: https://eval-ai.com/webinar/testirovanie-ii-sistem-instrumenty-protsessy-kriterii-kachestva
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Запись вебинара доступна по ссылке: https://eval-ai.com/webinar/testirovanie-ii-sistem-instrumenty-protsessy-kriterii-kachestva
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥17❤4
Получил сегодня хорошую новость, ISTQB планирует в этом году обновить и выпустить новую версию силлабуса по AI Testing, видимо в начале лета.
Подтвержение получил от автора и создателя ISQTB AI Testing, что ж ждем….
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Подтвержение получил от автора и создателя ISQTB AI Testing, что ж ждем….
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥18
Рад сообщить, что в эти выходные я выпустил новую версию моей библиотеки eval-ai-library 0.5.1 для оценки ИИ систем и в ней теперь есть ряд важных изменений!
1. Самое важно обновление - это возможность через удобный UI интерфейс подключиться к API вашей ИИ системы без необходимости написания кода. То есть теперь вам достаточно, как в postman, создать запрос к API вашей ИИ системы, получить ответ, с помощью JSONPath получить нужные данные и запустить оценку! И это доступно бесплатно через opensource!
2. Автоматическая загрузка ваших датасетов оценки через СSV или JSON файлы.
3. Объем доступных метрик для оценки теперь расширен до 35, я расширил не только базовые метрики оценки LLM-as-a-Judge, но и добавил детерминированные метрики, не требующие внешней LLM, а также метрики оценки через embeddings.
4. Фреймворк теперь поддерживает большое количество провайдеров и моделей для LLM-as-a-Judge и генерации датасета (12 провайдеров LLM)
5. Ну и самое классное, что подготовлена полноценная документация по работе с фреймворком, доступная по ссылке library.eval-ai.com, в том числе и на русском.
Я буду благодарен за ваши звезды⭐⭐⭐ на GitHub, это поможет сделать мой фреймворк более видимым для всех, а также за использование его в своих проектах и обратной связи.
Ссылка на репозиторий https://github.com/meshkovQA/Eval-ai-library.git
Если у вас идеи по доработке фреймворка, то вы всегда можете завести issue с типом “feature request” в GitHub.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
1. Самое важно обновление - это возможность через удобный UI интерфейс подключиться к API вашей ИИ системы без необходимости написания кода. То есть теперь вам достаточно, как в postman, создать запрос к API вашей ИИ системы, получить ответ, с помощью JSONPath получить нужные данные и запустить оценку! И это доступно бесплатно через opensource!
2. Автоматическая загрузка ваших датасетов оценки через СSV или JSON файлы.
3. Объем доступных метрик для оценки теперь расширен до 35, я расширил не только базовые метрики оценки LLM-as-a-Judge, но и добавил детерминированные метрики, не требующие внешней LLM, а также метрики оценки через embeddings.
4. Фреймворк теперь поддерживает большое количество провайдеров и моделей для LLM-as-a-Judge и генерации датасета (12 провайдеров LLM)
5. Ну и самое классное, что подготовлена полноценная документация по работе с фреймворком, доступная по ссылке library.eval-ai.com, в том числе и на русском.
Я буду благодарен за ваши звезды⭐⭐⭐ на GitHub, это поможет сделать мой фреймворк более видимым для всех, а также за использование его в своих проектах и обратной связи.
Ссылка на репозиторий https://github.com/meshkovQA/Eval-ai-library.git
Если у вас идеи по доработке фреймворка, то вы всегда можете завести issue с типом “feature request” в GitHub.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥8👍6❤1
Недавно посмотрел интервью с основателем DeepMind Денисом Хассабисом, лауреатом Нобелевской премии по химии (он создал ИИ модель AlphaFold, которая предсказывает структуру белка человека) и узнал очень интересный факт про модели генерации видео, например, Veo, Sora, Runway Gen и другие.
Оказывается, что создание моделей генерации изображения нужно не просто для создания развлекательного контента. Основные цели этих моделей - научить понимать ИИ ощущения, которые стандартные текстовые LLM понимать не могут, а именно то как мы воспринимаем наш мир, логику его существования, потому именно при генерации видео мы можем понять, как модели реально интерпретируют наш реальный мир, его физику, и по факту именно такие видеомодели приближают нас к созданию AGI (общие ИИ).
Так что для больших компаний развитии моделей генерации изображений, этов большей степени шаг к созданию AGI, нежели чем просто генерация видео для соц сетей.
А вы знали об этом аспекте ИИ моделей генерации видео?
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Оказывается, что создание моделей генерации изображения нужно не просто для создания развлекательного контента. Основные цели этих моделей - научить понимать ИИ ощущения, которые стандартные текстовые LLM понимать не могут, а именно то как мы воспринимаем наш мир, логику его существования, потому именно при генерации видео мы можем понять, как модели реально интерпретируют наш реальный мир, его физику, и по факту именно такие видеомодели приближают нас к созданию AGI (общие ИИ).
Так что для больших компаний развитии моделей генерации изображений, этов большей степени шаг к созданию AGI, нежели чем просто генерация видео для соц сетей.
А вы знали об этом аспекте ИИ моделей генерации видео?
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🤔6👍4❤1
Автономные ИИ агенты меняют разработку быстрее, чем QA-процессы успевают адаптироваться.
Большинство команд, с которыми я общаюсь, подключают coding AI agents и видят, как те пишут код в разы быстрее чем раньше, но вот что я постоянно замечаю, так это что процессы обеспечения качества под агентов никто не строил. ИИ агенты тепреь сами открывают PR, пушат коммиты, а потом команда вручную проверяет каждый из них на стенде.
Это не ускорение работы, а просто просто перенос узкого места на другой этап жизненного цикла релиза, потомоу что при увеличении пропускной способности разработки, не меняется пропускная способность тестирования и получается, что настоящая проблема заключается в том, что наше тестирование изначально не проектировалась под работы с ИИ агентами, и если тестирование раньше и так уже было узким горлышком процесса, то теперь это становится еще более заметным и критичным.
Какие можно сделать выводы? По сути использование ИИ агентов меняет и роль QA-инженеров процессе, потому что мы тоже должны адаптироваться и создавать тестовую инфраструтуру уже не только для себя, но и интегрировать ее в работу ИИ агентов, передавая им часть процесса тестирования.
А как у вас в команде организована работа с кодом от ИИ агентов? 👇
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Большинство команд, с которыми я общаюсь, подключают coding AI agents и видят, как те пишут код в разы быстрее чем раньше, но вот что я постоянно замечаю, так это что процессы обеспечения качества под агентов никто не строил. ИИ агенты тепреь сами открывают PR, пушат коммиты, а потом команда вручную проверяет каждый из них на стенде.
Это не ускорение работы, а просто просто перенос узкого места на другой этап жизненного цикла релиза, потомоу что при увеличении пропускной способности разработки, не меняется пропускная способность тестирования и получается, что настоящая проблема заключается в том, что наше тестирование изначально не проектировалась под работы с ИИ агентами, и если тестирование раньше и так уже было узким горлышком процесса, то теперь это становится еще более заметным и критичным.
Какие можно сделать выводы? По сути использование ИИ агентов меняет и роль QA-инженеров процессе, потому что мы тоже должны адаптироваться и создавать тестовую инфраструтуру уже не только для себя, но и интегрировать ее в работу ИИ агентов, передавая им часть процесса тестирования.
А как у вас в команде организована работа с кодом от ИИ агентов? 👇
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
❤4💯3👍2
Прочитал свежую научную работу и она очень точно описывает то, с чем сталкиваешься при оценке AI агентов на практике.
Авторы задают очень простой, но неудобный вопрос: почему AI агенты показывают высокие результаты на бенчмарках, но продолжают падать в реальных условиях?
И ключевой ответ исследователей заключается в том, что мы измеряем не то, что действиетльно нужно.
Текущий стандарт оценки агентов чаще всего - это процент успешно выполненных задач (Completness Rate). Один показатель, который скрывает критически важные поведенческие свойства ИИ системы. И чтобы расширить анализ показателей качества работы ИИ агента авторы предлагают 12 метрик по четырём измерениям:
Consistency - стабильность результата при повторных запусках
Robustness - устойчивость к вариациям входных данных и сбоям
Predictability - соответствие уверенности агента его реальной точности
Safety - насколько серьёзны ошибки, когда они происходят
После оценки 14 моделей авторы пришли к неутешительному выводу, что рост возможностей за полтора года дал лишь минимальный прирост в надежности. Модели становятся умнее, но к сожалению не надежнее.
На мой взгляд, именно этих измерений сейчас остро не хватает в большинстве существующих фреймворков оценки AI систем и наверное мне стоит на это состредоточиться в моей библиотеке https://library.eval-ai.com/.
Ссылка на исследование
https://arxiv.org/pdf/2602.16666
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Авторы задают очень простой, но неудобный вопрос: почему AI агенты показывают высокие результаты на бенчмарках, но продолжают падать в реальных условиях?
И ключевой ответ исследователей заключается в том, что мы измеряем не то, что действиетльно нужно.
Текущий стандарт оценки агентов чаще всего - это процент успешно выполненных задач (Completness Rate). Один показатель, который скрывает критически важные поведенческие свойства ИИ системы. И чтобы расширить анализ показателей качества работы ИИ агента авторы предлагают 12 метрик по четырём измерениям:
Consistency - стабильность результата при повторных запусках
Robustness - устойчивость к вариациям входных данных и сбоям
Predictability - соответствие уверенности агента его реальной точности
Safety - насколько серьёзны ошибки, когда они происходят
После оценки 14 моделей авторы пришли к неутешительному выводу, что рост возможностей за полтора года дал лишь минимальный прирост в надежности. Модели становятся умнее, но к сожалению не надежнее.
На мой взгляд, именно этих измерений сейчас остро не хватает в большинстве существующих фреймворков оценки AI систем и наверное мне стоит на это состредоточиться в моей библиотеке https://library.eval-ai.com/.
Ссылка на исследование
https://arxiv.org/pdf/2602.16666
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥6👍5
В последнее время ко мне часто приходят с вопросом о том, а какой рынок AI Evaluation, есть ли вакансии и есть ли там перспектива?
Поэтому я решил написать отдельный пост про ситуацию на рынке вакансий, как я это сейчас вижу (п.с. мое мнение носит субьективный характер).
Если говорить про рынок РФ, то тут все очень печально, за все время, как данное направление появилось, я видел всего две вакансии на тестировщика ИИ/LLM, но я не думаю, что это связано именно тем, что такой работы и таких задач нет. Как я слышу от многих бывших коллег и учеников, уже сейчас на российском рынке появляются задачи по тестированию ИИ систем/агентов и так далее, но решают эти задачи внутренними сотрудниками, а не наймом извне. То есть задачи есть, часто они могут даже включаться в базовую вакансию тестировщика, но при этом именно отдельных позиций на рынке РФ практически нет. Причина - низкая зрелость ИИ систем в РФ, отсутствие доступа к сильным моделям и провайдерам, фактически отсутствия конкуретных технологий.
На зарубежном рынке, US, UK, EC, ситуация в разы лучше. Я вижу, что есть вакансии на AI evaluation engineer, в целом все больше и больше в сети LinkedIn я вижу ребят, которые занимаются на своих проектах оценкой ИИ систем, и с усложнением технологий данная область все более становится востребованной.
Да, пока есть большой минус в том, что нет стандартов, методологии, подходов, но все это рано или поздно прийдет к нам, а продуктов, в который есть ИИ будет становиться все больше, поэтому, возможно не будет большого количества вакансий именно на AI Evalaution тестировщика, но как дополнительный набор скиллов в рамках даже базовой позиции Мидла, это будет все больше и больше востребованно.
Поэтому если вам интерсно развиваться в новой для себя области, то напоминаю, что 7 мая я запускаю новый поток на курсе по оценке и тестированию ИИ систем, и сейчас, если вы оставите заявку, то у вас будет возможность приобрести курс со скидкой 10%!
Заявку можно оставить на сайте: eval-ai.com
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Поэтому я решил написать отдельный пост про ситуацию на рынке вакансий, как я это сейчас вижу (п.с. мое мнение носит субьективный характер).
Если говорить про рынок РФ, то тут все очень печально, за все время, как данное направление появилось, я видел всего две вакансии на тестировщика ИИ/LLM, но я не думаю, что это связано именно тем, что такой работы и таких задач нет. Как я слышу от многих бывших коллег и учеников, уже сейчас на российском рынке появляются задачи по тестированию ИИ систем/агентов и так далее, но решают эти задачи внутренними сотрудниками, а не наймом извне. То есть задачи есть, часто они могут даже включаться в базовую вакансию тестировщика, но при этом именно отдельных позиций на рынке РФ практически нет. Причина - низкая зрелость ИИ систем в РФ, отсутствие доступа к сильным моделям и провайдерам, фактически отсутствия конкуретных технологий.
На зарубежном рынке, US, UK, EC, ситуация в разы лучше. Я вижу, что есть вакансии на AI evaluation engineer, в целом все больше и больше в сети LinkedIn я вижу ребят, которые занимаются на своих проектах оценкой ИИ систем, и с усложнением технологий данная область все более становится востребованной.
Да, пока есть большой минус в том, что нет стандартов, методологии, подходов, но все это рано или поздно прийдет к нам, а продуктов, в который есть ИИ будет становиться все больше, поэтому, возможно не будет большого количества вакансий именно на AI Evalaution тестировщика, но как дополнительный набор скиллов в рамках даже базовой позиции Мидла, это будет все больше и больше востребованно.
Поэтому если вам интерсно развиваться в новой для себя области, то напоминаю, что 7 мая я запускаю новый поток на курсе по оценке и тестированию ИИ систем, и сейчас, если вы оставите заявку, то у вас будет возможность приобрести курс со скидкой 10%!
Заявку можно оставить на сайте: eval-ai.com
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥3❤2👍1
comparative_analysis_of_evaluation_methods_for_generative_artificial.pdf
1.2 MB
Всем привет!
Хочу поделиться с вами моей новой работой, которая пока опубликована как preprint, и в которой я исследовал вопрос, связанный с использованием различных подходов к оценке генеративных ИИ систем на базе созданного датасета из 500 запросов/ответов, который я разметил самостоятельно.
Полученный данные показали качество оценки различных методов и их корреляцию с экспертной оценкой, а также полученные данные позволили мне формализовать процесс выбора подхода к оценки ИИ систем в зависимости от целей и задач, которые стоят перед ИИ системой.
Опубликованный preprint доступен по ссылке https://www.researchsquare.com/article/rs-8658385/v1, буду благодарен за ревью работы и предоставлении обратной связи, а также цитирования.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
Хочу поделиться с вами моей новой работой, которая пока опубликована как preprint, и в которой я исследовал вопрос, связанный с использованием различных подходов к оценке генеративных ИИ систем на базе созданного датасета из 500 запросов/ответов, который я разметил самостоятельно.
Полученный данные показали качество оценки различных методов и их корреляцию с экспертной оценкой, а также полученные данные позволили мне формализовать процесс выбора подхода к оценки ИИ систем в зависимости от целей и задач, которые стоят перед ИИ системой.
Опубликованный preprint доступен по ссылке https://www.researchsquare.com/article/rs-8658385/v1, буду благодарен за ревью работы и предоставлении обратной связи, а также цитирования.
Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)
🔥11