🆗 Selective Test Execution at Stripe: Fast CI for a 50M-line Ruby monorepo

#testing #engineering

Цікавий кейс того, як зробили імпакт аналіз для автотестів в Stripe.

💡 Ідея

Запускати тільки ті автотести, які тестують конкретну зміну в PRі. Замість запуску 100 000 тестів на кожен PR, можна запускати декілька сотень. Як результат - швидший та більш точковий фідбек на те, де щось зламалося.

🛠 Імплементація

Очевидний варіант це статичний аналіз залежностей: який код тестує який тест. Це непогано працює для статично типизованого коду. В Stripe використовується динамічно-типізована мова Ruby. Тому розробники додали інструментальний код, що слідкує які файли використовувались під час запуску тесту. На основі цього будуються scope для тестів та їх індекси.

📚 Почитати більше про підхід

1. Accelerated Continuous Testing with Test Impact Analysis – Part 1
2. The Rise of Test Impact Analysis
3. Speed up testing by using Test Impact Analysis (TIA)

А ви користуєтесь impact analysis у вашій автоматизації?

Огляд книги: Team Guide to Software Testability

#books #testing

Книга для тих, хто хоче нарешті розібратись в тому, що ж таке testability.

Багато вправ та порад, як говорити про testability із різними людьми - менеджерами, девелоперами, архітекторами.

Рекомендую.

P.S. З одним з авторів ми навіть записували випуск подкасту.

Огляд книги: Zero Knowledge, Infinite Trust

#books #blockchain

Для тих, хто хоче почитати цікаву історію про те, як математик пройшов шлях від дослідницької роботи, яку ігнорували інші математики, до технології, яка зараз оцінюється в 8 мільярдів доларів.

Для тих, хто хоче зрозуміти ідею Zero-Knowledge Proofs - технології, яка дозволяє довести, що твердження правдиве без розкриття самого твердження.

Цікава книжка. Нагадала мені трохи Phoenix Project (якщо ви його не читали - рекомендую також).

Smart Learning with AI tools - воркшоп для тих, хто хоче навчитися вчитися

Вітаю!

Запрошую на свій воркшоп, де розповім як вчитися краще та як ШІ-інструменти в цьому допоможуть.

Кому це буде корисно:
• якщо ви читаєте багато інформації, а памʼятаєте й використовуєте мало
• якщо набуті знання швидко забуваються
• якщо ви "забиваєте" на навчання, бо воно аж занадто складне
• якщо ви проходите курси, але розвитку нема
• якщо вам треба постійно розбиратись в нових проєктах та коді

Якщо ви хочете отримати мета-навичку, яку можна застосувати в будь-де (не тільки в ІТ)

Формати участі:

🔹 Explorer
2 онлайн-заняття в прямому ефірі + записи назавжди + PDF з концепціями + добірка інструментів і ресурсів

🔹 Practitioner
Все з Explorer + 2 додаткові практичні заняття в малій групі + закритий чат з тренером
⚡️ Лише 20 місць

📅 Старт: 6 липня 2026
Формат: онлайн, прямі трансляції + записи доступні назавжди

Чекаю всіх на воркшопі!

Огляд книги: Software Testing with Generative AI

#books #testing

Сьогодні вівторок, а значить час для нового огляду книжки з тестування.

Цього разу - це книжка 2024 року про те, як використовувати ШІ в тестуванні.
Автор книги - Mark Winteringham (він же написав "Testing Web APIs")

Що там в книжці?
• як ефективно писати промпти
• як підходити до використання ШІ в тестуванні (наприклад для тест планів, тестових даних та автоматизації
• як трошки тюнити моделькі для кращих відповідей

P.S. З автором ми таком записували подкаст на цю тему - можна подивитись тут.

The New SDLC With Vibe Coding

#ai #engineering

Google пошарив невеличкий (51 сторінка) whitepaper на тему використання ШІ в розробці.

Написано дуже якісно, майже без води. Якщо хочеться отримати дуже високорівневу базову базу з того, як зараз використовують ШІ - можна почитати.

Ключові інсайти:

1. Інженер (тест інженер також) стає арбітром якості. Він допомагає агенту визначати коректність системи та виставляє рамки перевірок.

2. Vibe coding та agentic engineering це дві частини одного спектру. Сучасна розробка дрифтує від одного екстремуму до іншого

3. Якість згенерованого коду залежить від наданого контексту, а не від крутості промтів

4. Vibe coding гарний для прототипів, але потім погано масштабується та коштує дуже дорого. Крім того - це паталогічний генератор масивів технічного боргу.

5. Тести стають одним із способів комунікації з ШІ системою.

6. Звичайних тестів не достатньо. Потрібно перевіряти проміжне міркування агенту під час роботи.

7. AI-based розробка це не тільки про модель. Це модель + обвʼязка (harness)

8. Інженер стає диригентом роботи ШІ агентів

9. Ключова навичка найближчі роки - не вміння написати більше коду, а вміння грамотно управляти агентами

10. Впроваджуючи ШІ треба думати не тільки про "швидше генерувати код". а про загальну вартість володіння. Бо токени можна спалити дуже легко

Стрім про блокчейн разом з QA SENPAI

#blockchain #video #testing

Пару тижнів тому я завітав на стрім до Паші (QA Senpai). Поговорили про тестування блокчейну та крипту.

Ділюся записом стріма.

Я знову забив на курси та втратив бажання вчитися ...

• Гроші вже витрачені, але черговий курс й досі не пройдений.
• Книжки з тестування купив, але вони збирають пил на поличці та чекають на свій час.
• Рекомендовані відео та статті ретельно складаються в окрему теку в закладках браузера.
• Список задач на навчання все росте, а з ним росте тривога та прокрастинація.

На навчання ніколи немає вільного часу, фокусу. Навіть, коли починаю вчитися, то мій запал швидко згасає, а фокус миттєво переключається (на нове відео чи рілз).

Чому? Бо навчання без плану, без закріплення, без практики, без цілі. Таке навчання продукує лише "кашу в голові", ніж щось корисне.

Але всі навколо щось вчать, отримують сертифікати, ростуть у посадах! Це створює ще більше тривоги! І я знову купую нові курси ....

• Перша проблема - це відсутність цілі та плану.
• Друга проблема - це відсутність знань, які допоможуть навчатися швидше.
• Третя проблема - це відсутність системи, яка не дасть забути навчене вже пару днів.

Усі три проблеми ми розберемо та вирішемо на моєму онлайн воркшопі "Smart Learning with AI tools". В ньому я зібрав ті інструменти та техніки, які я пробував сам та які працюють. Ми також подивимось, як ШІ інструменти можуть підсилити ці техніки та зробити навчання ще ефективнішим.

Чекаю вас на воркшопі вже наступного понеділка, о 18:00!

🧠 Відкриваємо додатковий набір у практичну групу воркшопу Smart Learning with AI Tools, який стартує вже сьогодні!

Цей воркшоп побудований на сучасних дослідженнях того, як працюють мозок, пам'ять і процес навчання. Після нього ви зможете не просто споживати інформацію, а швидко перетворювати її на практичні навички та вибудувати власну систему навчання для опанування будь-якої нової теми.

Перша практична група заповнилася лише за 3 дні. Після цього ми отримали десятки повідомлень від тих, хто не встиг долучитися, тому відкриваємо ще один набір.

У форматі Practitioner, крім теоретичних занять та корисних матеріалів, ви отримаєте:
✅ 2 практичні заняття в прямому ефірі — 11 та 18 липня, 11:00–13:00 (із записами);
✅ покрокові демонстрації та виконання практичних завдань разом із тренером;
✅ доступ до закритого чату, де можна ставити будь-які запитання та отримувати зворотний зв'язок.

⚡ У групі лише 20 місць. Це остання можливість долучитися до практичного формату та отримати максимум від воркшопу.

📍ДЕТАЛІ ТА РЕЄСТРАЦІЯ

🧪 Тест-кейси не знайдуть усі баги в продукті

#testing #books

Тест-кейси перевіряють те, що ми очікуємо. Але найцікавіші проблеми часто живуть там, де ніхто не очікував їх побачити: у несподіваних сценаріях, спотворених даних, граничних значеннях і припущеннях команди.

Ось тут і потрібне дослідницьке тестування. Таке тестування - це не просто “поклацати навмання без плану”. Дослідницьке тестування має свої структуру та правила.

Одна з найкращих книжок на тему дослідницького тестування - це "Explore It!" від Elisabeth Hendrickson.

Поділюся трьома неочевидними інсайтами з книги:

1. Tested = checked + explored. Частина checked - це там, де ми перевіряємо чи система працює так, як було задумано в очікуваних умовах. Таке тестування можна (й треба) автоматизувати. А частина explored - це дослідження додаткових ризиків.

2. Для того, щоб почати дослідницьке тестування треба підготувати чартер - короткий опис конкретної сесії тестування. Він складається з цілі, ресурсів та інформації яку ми хочемо дослідити.

3. Щоб заохотити команду робити аналіз ризиків разом, можна зіграти з ними в спеціальну гру під назвою "Nightmare Headline Game".

Більше подробиць - у огляді книги в моєму блозі.

From ad-hoc prompting to Agentic Engineering: Latest trends in AI

#ai #engineering #video

В цю середу я прийняв участь у першому івенті від AI Chapter в Ministry of Testing. Поговорили про нещодавну роботу від Гугла на тему agentic engineering.

Запис можна подивитись тут.

Fintech Engineering Handbook

#engineering

Для тих, хто працює над банківським чи фінансовим софтом - я знайшов дуже цікавий гайд із найважливішими принципами та паттернами.
Буде корисним для тестувальників також.

Бо якщо ви знаєте типові помилки - ви можете будувати свою стратегію тестування навколо них.
Або хоча б враховувати ризики.

Що таке тестування?

#thought

Проходжу зараз один курс по ШІ (як же без нього) та зустрів таке порівняння.

An eval works the way a thermometer does. It does not make the patient healthier. It just gives you a number you can trust. Before you have one, "done" is a feeling.

Якщо подумати, то в цьому порівнянні можна легко замінити слово eval на тестування.

Тобто тестування саме по собі не робить продукт якісним. Тестування тільки дає інформацію. Але без цієї інформації "зроблено" - це тільки відчуття.

А ви як думаєте?

🎙Сувора QA Конференція #002


Всім привіт. Я навіть і не знав, що онлайн конференції можуть бути крутими та корисними.

Але виявляється - можуть. Тому запрошую вас на Сувору QA Конференцію #002.

Цього разу тема конференції більше ніж актуальна - AI in Testing!

Де: онлайн, два виступи на день - вранці та ввечері.
Коли: 28 вересня – 2 жовтня.
Купити білет: conference.grygorenko.tech

Я також у програмному комітеті конференції та допомагаю формувати програму.

Тож маю для вас промокод ROMANOV на знижку при купівлі квитка. Але промокод діє до кінця серпня, і всього на 15 квитків.

Побачимось на конференції!

Різниця між Testing та Checking

#testing

В своїй книзі "Taking Testing Seriously" James Bach та Michael Bolton розповідають чим тестування (testing) відрізняється від перевірки (checking).

Тестування - це процес оцінки продукту шляхом його вивчення через досвід, дослідження та проведенням експериментів з ним.

Перевірка – це механістичний процес перевірки тверджень про продукт.

Перевірки - треба автоматизувати. Тестування автоматизувати дуже складно.

Огляд книги: "Taking Testing Seriously: The Rapid Software Testing Approach"

#books #testing

Сьогодні вівторок, а значить час для нового огляду книжки з тестування.

Цього разу - книга від "дідів" в тестуванні - Джеймса Баха та Майкла Болтона.

В книзі можна знайти майже все - від філософії тестування, до ШІ, автоматизації та signal-based testing.