Мой баг дня (записки тестировщика)
243 subscribers
169 photos
23 videos
11 files
126 links
Precondition:
Repro steps:
1. ...
2. ...
3. ...
Expected: good
Actual: bad

Связь: @MyachinDA
Download Telegram
Уже несколько лет я вынашиваю идею некого доклада под условным названием "Этот фреймворк вам не нужен", в котором бы хотел донести мысль, что затаскивание 100 фреймворков, упрощающих написание автотестов, генерации отчётов, запуска этих тестов, интеграции их куда угодно — это страшное зло и ужасная практика.

И вот, думаю, может в этом году всё-таки заняться написаним. Потому мне требуется помощь коллективного разума.

Знаете ли вы исследования, которые бы сказали, влияет ли стоимость исследования на качество исследования? Вот мне кажется, что стоимость исследования и его качества хоть и коррелируют, но прямой зависимости нет. Имею в виду что высококачественные исследования наверняка сильно дороже плохих и просто бесполезных, но отвратительное исследование тоже может быть очень дорогим ведь. Просто сделано жопой.

Вот есть ли исследования, которые бы осветили этот вопрос?
Сейчас не про баг. Просто я, наконец, написал статью про то, как подготовить Android устройство для ребёнка. Опыт показывает, что родители понятия не имеют о том, что в Android (в тех, которые с Google Play Services) всё, что нужно для контроля за ребёнком, уже есть.

https://myachinqa.blogspot.com/2022/01/android.html

Не нужны никакие платные решения. И уж точно не нужны решения, которые будут рекламу на весь экран показывать. Всё бесплатно (ну как бесплатно - это Google, сами понимаете), доступно с Android, iOS, Web (с оптимизацией в т.ч. под мобильные телефоны) и очень хорошо интегрировано с ОС.
This media is not supported in your browser
VIEW IN TELEGRAM
Ну и баг тоже. На мос.ру нельзя внести изменения в профиль, потому что шапка пропадает
И чего было придумывать вот ту историю, что людям "лолипоп" тяжело произносить и потому сладостей больше не будет
https://myachinqa.blogspot.com/2022/03/blog-post.html описал свои мысли о том, как бы лучше Яндексу и другим организовать работу своих доставок, дабы утечек не могло бы быть чисто технически
👍1
Мне в Signal пришёл вот такой развод
Ни один антивирус, разумеется, не детектирует ссылку
Те ТГ каналы об инфобезе, на которые я подписан, все игнорируют очень любопытную вещь.

Вот все (кто варится в ИБ) слышали про CVE-2022-0847 - Dirty Pipe в Linux kernel 5.8 и выше (уже исправлена: https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=9d2231c5d74e13b2a0546fee6737ee4446017903)

Google затащил фикс к себе 24 февраля: https://android-review.googlesource.com/c/kernel/common/+/1998671 Этой уязвимости подвержены только самые свежие устройства, такие как Galaxy S22 от Samsung и Pixel 6 Pro от Google.

Но вот из-за чего я пишу это сообщение. Google так и не выпустил обновление для Android. Фикса нет ни в мартовских, ни в апрельских обновлениях безопасности:
- https://source.android.com/security/bulletin/2022-03-01
- https://source.android.com/security/bulletin/2022-04-01

Нет их ни в общих наборах, ни в персональных для Pixel. И тогда Samsung сам выпустил обновление для своих телефонов, закрыв уязвимость: https://security.samsungmobile.com/securityUpdate.smsb

Почему google не выпускает обновление? Уж не является ли эта дыра - для кого надо дыра? И тот, "кто надо", попросил Гугл придержать с обновлением, а Гугл и взял под козырёк?
👍1
Клиент ВТБ Онлайн под Андроид весит 400+ МБ: https://cdn.vtb.ru/apk/vtbonline.apk Странные люди
Натив под абсолютно всё. Зачем?
Идея для шоу. Сначала о каком-то проекте рассказывают менеджеры этих проектов. Показывают рекламные ролики этих проектов. Берут интервью у довольных пользователей.
Так набирают с десяток разных проектов разных фирм. Везде радуга и пони.

А потом тестировщики этих проектов собираются в баре, знакомятся, общаются, пьют. И начинают друг другу рассказывать об этих проектах.

Вот тут и будет самый жир шоу. Послушать, что там творится на самом деле.
👍2
Извините за фото, а не скриншот, но вот так.

Это Win11 на 1440p без масштабирования
👍3
Смотрели Мобиус? Если нет, я написал для вас краткую суть:

- Мы почитали документацию и сейчас вам перескажем её, но кратко. По ссылке вы найдёте полную

- Мы посмотрели одну штуку, которая в статусе пре-альфа-прототип и даже начали внедрять. Она так красиво показывает анимации!!!

-Мы внедрили когда-то одну штуку, которая была в статусе пре-альфа-прототип, у нас всё падало, обратной совместимости апи не было, мы потратили миллиарды человеколет на сопровождение и багфикс, но теперь мы перешли, наконец, на другую штуку. Кстати, на момент презентации эта штука устарела на 15 версий, т.к. у нас там депенсити хелл, но мы всё равно расскажем, как всё получилось круто.

- Мы прикрутили красивые графики к CI. Они, конечно, ничего не означают и нужны только для вау-эффекта. Первые 2 часа мы сами в шоке были, ведь всё так красиво - кривые, спидометры, секции пирогов. Потом все забили на это хрен, конечно. Но посмотрите на скриншоты, ну круто же.

- Мы нашли очень крутой и хитрый баг, зарепортили о нём Гуглу, но Гугл кладёт на нас болт. Это, конечно, супер специфичный сценарий и вряд ли кто-то до конца жизни столкнётся с таким. Но мы всё равно расскажем вам свою историю, чтобы вы думали, насколько же мы крутые и шарим, а вы просто дно и не шарите.

- Наше приложение при старте лезло в сеть, чтобы отобразить на стартовом экране данные, весом в смешные 15 мегабайт. У нас всё работало в нашей идеальной сети на супер товопых устройствах, но нищеброды чёт ныли. Мы подключили наших супер экспертов и они придумали мега-технологию: кэш.

- Существуют фермы мобильных устройств. У нас, вот, есть. Спасибо за внимание.

- Флаттер сила! Нет, у нас нет плюсового кода, а почему вы спрашиваете?
👍7
Мой баг дня (записки тестировщика)
Смотрели Мобиус? Если нет, я написал для вас краткую суть: - Мы почитали документацию и сейчас вам перескажем её, но кратко. По ссылке вы найдёте полную - Мы посмотрели одну штуку, которая в статусе пре-альфа-прототип и даже начали внедрять. Она так красиво…
Как же я мог забыть про бриллиант. Спасибо коллеге, что напомнил.

Мы делаем 4 релиза в неделю и вот наш секрет:
1. Выпускаем билд. Т.к. цель - количество, а не качество, билд - говно.
2. Выпускаем хот фикс. Теперь билд хотя бы не падает на старте
3. Делаем пересборку с инкрементом версии. Нет, новой функциональности или багфикса нет. Только поднятие версии и всё
4. Повторяем предыдущий шаг ещё раз

Вот знаете, иногда бывает, что во время мозгового штурма предлагаешь какой-то бред, просто чтобы посмеялись и разрядили обстановку. А тут ребята натурально хвастаются, что 8 раз в месяц (считаю, что в месяце 4 недели) выпускают один и тот же билд без изменений и 4 раза в месяц выпускают сбоку, с заведомо проблемами.
👍6
Теперь утечка у ГикБрейнса. Это говорит о том, что ИБ отдел не обучался на собственных курсах или что курсы такие?
👍6
Коллеги автотестеры. Я уже смирился с вашими слипами в коде. Но заклинаю вас, прекратите бороться с флаками путём двух-трёх перезапусков.

Всякий раз, когда вы считаете, что это допустимый подход, прям вешайте себе лещей или просите кого-нибудь отвесить его вам. Вы можете связаться со мной, я приёду и отвешаю лично, только чтобы вы перестали делать перезапуски.

Нестабильный автотест - это не работающий тест вовсе. Его надо переписать или выбросить к хренам, заменив на другие, пусть даже несколько вместо одного.

У меня для вас есть три объяснения, почему нельзя делать перезапуски:
1. Вы привыкните к тому, что это нестабильный тест и пропустите момент, когда он станет падать не из-за внешней проблемы, типа тупой тестовой сети, а из-за проблемы продукта, например его зависания
2. Вы привыкните к подходу "количество тестов важнее их качества". А потом, когда к вам приду я, мне придётся всё это выбрасывать и писать снова, но уже как положено. Возможно придётся выбросить и вас, потому что необучаемые идиоты не должны допускаться к станку. Шучу, конечно. Просто большая масса тестов с заметной долей нестабильных не будет ничего говорить о стабильности продукта. Другими словами, время, потраченное на написание таких тестов было убито зря. Буквально, вы зря прожили в мире вот те часы жизни, которые уже никогда не вернёте
3. Я так сказал

Мигающие тесты с перезапусками допустимы только в случае, когда вы нарочно работаете с плохих условиях и вам нужно знать лишь только жив продукт или умер. То есть если тест и после пяти перезапусков стабильно не проходит, то только тогда пойдёте разбираться с причиной. Но даже в этом случае это не может быть тест из набора, которым проверяется качество продукта. Это пригодно для просто индикации, когда тест гоняется бесконечно 24/7. У меня таких тестов менее десятка и все они выполняются за 1 проход и этот проход занимает 3 минуты. Тесты не выключаются никогда, кроме как на обслуживание.

Но даже это ничтожное количество бесконечных тестов с 2 попытками прохода стабилизировал несколько дней. И продолжаю это делать — не смотря на то, что в данном конкретном случае флаки доспустим с натяжкой, т.к. он не про продукт, а про доступность инфраструктуры, которой я не управляю, всё равно повторы — зло.
Будни тестировщика. Замер потребления трафика на видеозвонке передней и задней камерой. Чтобы кодеку приходилось создавать как можно больше ключевых кадров, выбрал единственный kPop клип, который знаю
👍5