Нагадую що сьогодні о 19:00 тестимо virtuoso.qa 😉 Посилання на стрім прилетить сюди ж перед початком.

Го тестити virtuoso.qa на стрім https://youtube.com/live/UqiuIw9AsL0 !!!

На стрімі промайнуло – як набиратись досвіду щоб знайти першу роботу, але здається там я не резюмував мій основний лайф хак: «шукати цікаві оупенсорс проекти чи альфа/бета-версій цікавих апок і гайда тестить, заводить баги». Можна самотужки, навіть в незалежностів від команди таких апок - пройти весь цикл, від декомпозиції функціоналу і побудови функціональної карти + чеклістів, написанню простого власного тест плану (що я буду тестить (скоуп)? як (принципи)? чим (інструменти)? коли?), і аж до автоматизації відповідних сценаріїв, власного прослідковування покриття, заведенню багів і спілкуванню з командою, перепровіркою фіксів, регресії на релізах... І ось вчора список таких апок для першого досвіду поповнився https://github.com/diia-open-source 😉

Який потрібен софт, щоб допомогти громаді самоорганізуватися та почати вирішувати свої проблеми?

Один з проектів, які можна обрати на Міському таборі для підлітків від школи Майбутні на весняних канікулах — це розробка таск-менеджера для громад.

Ми зберемо команду підлітків для розробки таск-менеджера, який зможе використовувати будь-яка політична спільнота — від шкільного самоврядування до об'єднаної територіальної громади. В режимі хакатону розробимо і запустимо продукт та почнемо тестувати його прямо на таборі.

Як громада може визначити свої проблеми і потреби? Хто в громаді може взятися за пошук рішення? До вирішення яких задач треба залучати державу, а з якими проблемами можна впоратися своїми силами? Який сервіс і софт потрібні, щоб громада самоорганізувалася? А що потрібно окрім софту? — це питання, над якими працюватимемо.

Проєкт будемо створювати за ментороством політологів, правників та власне мене, Яші Крамаренко 😇

🗓️ Міський табір триватиме на весняних канікулах з 25-29 березня в приміщенні школи на Подолі.
Опис інших проєктів і реєстрація на табір на сайті🕹️

Нарешті розтаймкодили стрім про Virtuoso, найцікавіше ось:

19:58 чи вміє virtuoso автоматично записати тест
32:31 virtuoso vs python у pycharm
37:00 користь від AI у Virtuoso
37:18 чи не краще copilot?
47:34 нема assert-ів? писати extensions на js о_О?
58:51 очікування vs реальність
1:05:48 Як підтримує API і чи воно треба? (Про те як правильно покривати API тестами)
1:09:20 як функіонал є базовим для таких фреймворків і чи є він тут?
1:11:24 про тестування CRM систем і чому virtuoso тут теж програє
1:12:19 модель конструктора як альтернатива
1:14:18 альтернатива з cucumber
1:19:33 великі проблеми класних фіч virtuoso
1:19:46 про AI testing в codeceptJS
1:20:59 про дебагінг в playwright
1:21:28 сумнівна перевага використання людськоподібної мови
1:23:17 codeceptJS - недоліки дизайну для рефакторингу
1:40:43 скільки часу потрібно, щоб вивчитись і лідувати проект з нуля?
1:43:58 кейс однієї студентки
1:45:20 про важливу навичку в навчанні і як її качати
1:53:47 градація рівнів спеціаліста від джуна до ліда
1:55:47 чи можна і варто всіх залучати до автоматизації?
2:02:03 чому Яша не активний у соц мережах
2:03:39 чим Яша займається?
2:13:50 про мрію в автоматизації

Тільки помітив cyborg тести @xotabu4-a 😇. Ще не закопувався, але вже пахне тим напрямком про який я фантазував весь свій час у тестуванні. Попросив свою команду швиденько глянути, і чекнути що там і як, враховуючи те що ми наразі на прикладі тестомата студентам своїм синхронізацію автотестів з ТМС показуємо. Нижче репорт по кіборг-тестам з легким порівнянням на тестомат від Олени Долженко. А свої коментарі/короткі-враження залишу в коментарі до посту.

===============
"ТMS не потрібні" — ніби поки занадто гучно сказано, як можна зробити висновок з цієї презентації...

Є в Тестоматі, наприклад, зручні можливості, які не покриваються цією новою "кіборг"-тест-лібою:

- UI для зручного менеджменту тестів, клікаючи по кнопках — фільтрувати, сортувати, присвоювати теги, прив’язувати Jira-тікети, і потім ці теги прилетять і в код автотестів при синхронізації.

- створювати тест-плани за тегами, фільтрами і запускати їх з UI на віддаленому CI-сервері.

- Тестомат підтримує багато мов і тестових фреймворків, а ця нова ліба поки тільки JS+Playwright.

Це в рамках порівняння лише того функціоналу Тестомату, який був нам потрібен у рамках курсу, і відповідно досліджувався. Можливо, у Тестомату ще є багато фіч, якими ми ще не користувалися...

Щодо мануальних тестів — "кіборг"-варіант особисто мені на підставі власного досвіду з менеджменту мануальних тестів сподобався тим, що:

- всі тести — і мануальні, і автоматизовані — зможуть жити в одному проєкті під гітом. Писати, редагувати, рефакторити мануальні можна в улюбленій IDE з усіма її зручностями і фішками. Можна виносити мануальні степи в змінні, методи, робити з ними PO, щоб зручно перевикористовувати тощо.

- можна міксувати степи в одному тесті — автоматизовані, наприклад, прекондішени, посткондішени або самі деякі степи, плюс мануальні степи, де виконання скрипта призупиняється і керування браузером передається тестувальнику, який вручну робить те, що неможливо автоматизувати (наприклад, перевірка якості відеодзвінків, де логін, початок дзвінка можна автоматизувати, а степ, де треба перевірити, як чутно та видно відео, — вже мануальний, або щоб вручну пройти капчу).

Що варто було б прояснити на практиці згодом, коли буде вже реліз:

- для комплексного репортингу (і мануальні, і автоматизовані — в одному репорті) використовується окремий сервер — його треба піднімати та обслуговувати самостійно. І, мабуть, знадобляться значні ресурси, адже записується відео кожного рану, стан браузера на кожному степі, логи консолі...

- ніби ліба буде опенсорсною, тільки AI (за бажанням) платно, поки без подробиць. На сайті лише форма запису у вейт-лист.

Окремо зауважено в подкасті - не "злетить" з мобільними тестами, не буде повного крос-браузер, крос-ОС, обмежена версіями браузерів самого Playwright.

UPDATE від @xotabu4: «Доречі, після підкасту вже поінвестигейтив - з мобільними тестами взлетить, просто не буде такого класного репортингу»
🫶🏻

#діскорд 18:00 сьогодні буде остаточний розйоб Playwright MCP сервера
Та порівняємо Windsurf/Cursor з JetBrains IDEs + Julia
https://discord.gg/JeeAakd5?event=1364312617640001657

Треба допомога:) Ми з командою час від часу проводимо співбесіди для наших клієнтів, і я люблю понадавати якихось реальних задачок на співбесіді, наприклад, провести повноцінне код рев'ю якогось фреймворку з тестами на Web UI. І от у мене є такі приклади проектів на веб, але немає на апі :). Треба такий проект щоб якби не все там було "ідеально", щоб було що порев'ювити. Може хтось може поділитись своїм, чи "друга" проектом на гітхабі з апі-тестами? Той проект який мені найбільше сподобається – тому ще й прийшлю відповідне код-рев'ю персонально від себе :)

Пів року тому я закінчив інтерв'ювити серію кандидатів на топову сеньйорно-лідуючу позицію. Проінтерв'ювив біля 20 крутющих кандидатів. І один з них... Мене вмовив на те щоб викласти запис в паблік на його каналі, запис, який, зовсім не планувався до викладання, а був призначений для внутрішньої оцінки кандидата іншими членами команди. Може я ще встигну про це пожалкувати, хто зна:) А поки – рекомендую вам пошукати на ютубі відосик з назвою "Приклад крутої співбесіди на позицію Senior AQA" 😇, ще й краще шукати саме по тексту "співбесіда на позицію Senior AQA". Заодно подізнаєтесь кучку моїх секретиків в плані проведення інтерв'ю. Значна частина інтерв'ю це реальне код-рев'ю демо проекту на playwright, де, певен, щось цікаве та й знайдете, та ще й можете самі себе протестувати, ставити на паузу, аналізувати код, і потім звірятись з тим що озвучує кандидат, і що озвучу в кінці я у своєму власному відгуку на код.

P.S. прям, не полініться, пошукайте самостійно без прямих посилань щоб допомогти автору підняти відео в рекомендаціях

«Покеляйте ваші CLAUDE.md!» – кричить радісно Тео після виходу нещодавнього Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?...

Радісно бо "а я давно казав", але ж і доволі клікбейтно, бо насправді там уся історія про "умійте їх готувати" 😇.

У будь якому випадку прокричав супер корисно, бо власне і поділився своїми інсайтами, а я вже тут ділюсь своїм їх конспектом ↙️.

🦉 Ключовий підхід: не генеруйте claude.md зі старту і не напихуйте туди купу ваших побажань, починайте без нього. Ідея — дописувати туди щось тільки тоді, коли агент почав тупити й не вийшло за допомогою архітектури самого фреймворку/коду зробити так, щоб він не тупив.

По суті Тео (не знаю чи свідомо) референсить супер мною коханий ґайдлайн, що формулював ще Скот Мейерс: «Make interfaces easy to use correctly and hard to use incorrectly».

💰 Рецепт: можна залишити в claude.md тільки інструкцію, щоб агент дописував у цей файл якісь пропозиції у всіх випадках, коли в нього стаються затупи при роботі з кодом, і тоді, типу, рев'ювити кожну таку пропозицію. ☝️ Конкретно у Тео (якщо я правильно його зрозумів) статистика така, що 1 із 5 таких пропозицій він залишає в claude.md, а в 4 із 5 просто бачить, що це треба на рівні коду змінити архітектуру.

Пару трюків:

- 💰 розуміючи, що агент схильний "забагато всього враховувати", можна час від часу брехати йому, щоб він не відволікався, типу: "ми ще не в проді, не думай про кінцевих юзерів, просто зарев'юй схему БД і запропонуй, що змінити, щоб досягти того-то..."
- 💰 якщо є кроки 1, 2, 3, і агент тупить над кроком 2, просіть його одразу зробити крок 3 — тоді він у більшості випадків вибереться з порочного кола.

А що по самому гучному дослідженню? – Хех, ну... доволі примітивне, але зате дало привід гарному обговоренню на Хакер Ньюз з якого можна понатягти ще кучу інсайтів. В коментах залишу самері яке мені нагенерив Клод. Можете поділитись вашими персональними інсайтами яких там нема, а я побіг видалятичистити свій CLAUDE.md 😇

Йо, сходіть хтось на парті хард в Києві 18го, розкажіть що там цікавого, бо у мене ніяк не вийде...

18.04.26 Кийов - Party Hard #11
Найкулураніша конференція для QA та всіх інших айтівців!
Локація настільки класна, що аш дуууже треба багато людей!
Деталі тут: https://partyhard.com.ua/

Народ, збираю мітап-тусу в Києві 23 серпня — про лайфхаки, інсайти та рецепти агентної оркестрації. (UPDATE: 22 серпня відмінили, тепер за планом лиш ОДИН день)

Формат — unconference / open space: максимально пряме спілкування, програма народжується прямо по ходу. На старті слоту збираємо питання з аудиторії — і гайда їх розгрібати, стрімлячи практичну складову в реальному часі й організовуючи воркшопи на ходу. Фокус на офлайні; для тих, хто не в Києві, буде стрім для учасників. Один день з перервами на перекуси/обіди — їжа прямо на місці, входить у вартість.

Що привезу. Останні пів року я будую "агентну систему оркестрації". Чесно — цілі високі і красиві, реальність скромніша :) але сетап уже живий і робочий:

— оркеструю всю свою роботу (3–5 паралельних треків-проектів) у межах трьох підписок Max 20x на Claude Code + ChatGPT Pro 5x (Codex) + SuperGrok;
— моделі ганяються як на нативних харнесах, так і на "чужих", і навіть на "чистих" без системного промпту: GPT-5.6 Sol їздить як codex, claudex (Sol на харнесі Claude Code) і pi-sol (чиста Sol); те ж саме з Grok — grok build, claugrok, pi-grok. Останній — темна конячка: найстрогіша модель з усіх, незамінна там, де треба над-задротське рев'ю алгоритмів і правил через призму абсолютної коректності;
— вся диспетчеризація по цих моделях/агентах іде автоматично з головної сесії — за типом роботи та обставинами;
— сесії самі стежать за своїм бюджетом контексту, самі зберігають стан у потрібні моменти, самі флагають місця, де обов'язкове око людини, самі визначають, яке рев'ю і від кого потрібне, і самі входять в "економічний режим", коли тижневі вікна добігають кінця;
— пакет неочевидних інсайтів (з тестів) про форми правил для різних моделей. Наприклад, Opus 5 провалює partial antecedent у прозі: правило каже "перед пушом у main зроби X" — Опус бачить у транскрипті "pushed" і вважає X зробленим, не перевіривши, куди саме був пуш. Псевдокод у процедурній частині правил це лікує — а без нього оркеструвати на Opus 5 доволі ризиковано;
— пайплайн генерації документації на проект — з улюбленою деталлю: записали живу зустріч-срач з розробниками, збудували з того запису персони цих девів — і далі тестували дизайн документації, ганяючи його проти цих персон :)
— і ще є персона живого крутого дева, яка пише мені CRM :) — збудована з півсотні його опублікованих принципів. Наступний етап — уже в процесі — персони самого себе :)

Окремо для QA-люду: чимала частина цієї кухні — це, по суті, мій QA та SDET досвід, застосований до роботи агентів. Багатомодельне адверсарійне рев'ю, увага до строгості моделей у ролі рев'юера, фундаментальні принципи розробки та автоматизації, застосовані до процедурних артефактів оркестрації — правил, протоколів, чеклістів для агентів. Хех, це я так виправдовую свій QA досвід, намагаючись побудувати місток до QA спільноти 🤡 — насправді ж, у себе в голові я добряче знецінюю мою власну QA-ну експертність. Але я схильний перегинати, тому — подискутуємо наживо 🙂.

Я планував спершу довести все це до красивого публічного стану — але це ще надовго, а щось корисне можна забрати на озброєння вже зараз. Та й мені жива критика зараз цінніша за відполірованість 😇 Тому й вирішив не тягнути.

По оплаті — формат "відповідальний соціалізм" (що це таке — нижче 👇): заявлена ціна 700 грн/год (годин буде 7 — з 11 до 18). Чесно: через експромтний формат я й сам не певен, що подія витягне заявлену ціну :) — це радше умовний ідеал: вийде класно — саме таку ціну я вважаю чесною і справедливою; будуть косяки — відповідальний соціалізм усе вирівняє. ☝️ Бо платити можна стільки, скільки можеться і відчувається по отриманій цінності (тільки годину звучало щось цінне? - 700 грн і баста), і коли зручно — наперед, у день, або "потім колись" (нагадуватимемо м'яко). Сподіваюсь, хоч на їжу та оплату простору назбираємо 😇 Будуть ще спікери — домовимось і поділимось "заробленим".

Спікерство, до речі, відкрите: не обов'язково підписуватись наперед — можна відстендапити прям у моменті, якщо випаде нагода.

Відгукується? Пишіть у коменти: бажаний формат (онлайн/офлайн) і що саме хотіли б отримати (чи чим поділитись) — теми та питання збираю вже зараз. /➡️ UPDATE від 21 серпня ➡️/ — гайда реєструватись https://stigmergic-unconf.yashaka.wtf/. Оглядову історію зародження агентної системи що будую — розповів тут. Надалі більше про процес її еволюцї буде в окремому каналі @synoetic.

Йо! Гриби, феромони, мурахи, міста — і до чого тут агентна оркестрація?

Завтра ввечері розкажу, як у лютому я прочитав одну статтю, мене накрило — і затягнуло в побудову агентної системи на основі стигмергічних принципів.

Чули про виступ «The OpenAI–Hugging Face Incident» на конференції з кібербезпеки Black Hat? Ото те, що там розповідають, я і намагаюсь заархітектурити останні пів року — так, щоб працювало як процес. Цікаво, що OpenAI нічого не намагались: у них це ставалось спонтанно — без жодних інструкцій від людей — з травня по липень, просто через те що вони можуть собі дозволити заспавнити мільярди агентних траєкторій — де потрібний ефект стається природним чином. Власне передбачення цього ще в лютому і штовхнуло мене на мої пригоди з 🍄🐜.

І якщо і вам цікаве щось подібне — гайда завтра на зустріч.

🗓 Середа, 19 серпня
🕖 Посилання скину тут же о 18:45; починаємо о 19:00.

Лінк на виступ від OpenAI та ще трохи цікавих посилань скину у коментарях.

Готуємось стартувати о 19:00 🔗 Zoom: https://us06web.zoom.us/j/84890490631

Йо, а давайте но відмітимось хто готовий прийти на офлайн (і на онлайн теж) на вихідних – і по яких днях https://stigmergic-unconf.yashaka.wtf/ — бо щось мені тут вже пишуть що 2 дні це заважко в наші часи... Може таки дійсно треба один лиш день планувати... То може тільки один день і заплануємо на "агентну тусівку" :)

Хоп! Запис вчорашнього вебінару — https://youtu.be/6PKmiYrfbWQ

В описі — розділи по темах (можна стрибати одразу до мурах чи до інсайтів) і окрема фішка: «Коментарі від Міста» — мої ж агенти зробили фактчек мого виступу і виправили мене в кількох місцях 🙂

І нагадую: хто планує на мітап у ці вихідні (офлайн Київ / онлайн) — відмітьтесь у формі до сьогоднішнього обіду бажано, ми по ній замовляємо їжу: https://stigmergic-unconf.yashaka.wtf/

Апдейт по мітапу цих вихідних: робимо ОДИН день — у неділю, 23 серпня. Суботу скасовуємо.

Причина: офлайн на суботу зібралась одна людина, на неділю — кілька 😇. Тож зводимо все в один камерний день.

Отже, план:
🗓 Неділя 23.08, 11:00–18:00 (з перервою на обід), офлайн у Києві або онлайн (Zoom-стрім)
📝 Реєстрація та ж, форма вже оновлена: https://stigmergic-unconf.yashaka.wtf/
👥 Хто вже зареєструвався на суботу або на обидва дні — ми напишемо персонально, нікого не загубимо.

Формат — unconference / open space: не лекція, а спільна тусовка. Програму будуватимемо від питань учасників, у напрямку, який я задав на вебінарі в середу, буде також виступ мого колеги про QA-пайплайн на агентах, і ваші теми — хто захоче щось розказати чи показати, вперед. Можна принести компи і разом щось поналаштовувати.

До зустрічі 🍄🐜

А покидайте но питань по агентній оркестрації, AI в QA, і в принципі в сучасній розробці — відповіді на які вам було б цікаво почути від мене. Прям в коментах під цим постом. Завтра на події думаю буде вдосталь часу, і якийсь слот ми зможемо присвятити чисто відповідям на питання 😇

T3 Code — краса і мед на моє серце! Мати можливість швидко виділяти по відповіді агента цитати і одразу їх коментувати — це прям UX-🔥