It’s all about scale!

Общались на днях на 1:1 с одним из продактов и наткнулись на одну простую мысль, которой можно описать вообще любое изменение в Dodo IS сейчас. Все что мы делаем сейчас нужно для масштабирования. Я не про технику, нет, точнее, не только про нее. Я про бизнес в целом. Масштабировании во всем – в клиентах, в подходах к качеству, новых странах, развитии брендов, маркетинговых коммуникациях, доставке, в инфраструктуре и аналитике, работе с данными и дизайне. Во всем!

В чем эта задача помогает нам масштабироваться? А изменение вот этих процессов поможет нам масштабироваться? А если сравнить две опции, какая из них лучше позволяет нам масштабироваться? А в чем масштабируемся? По идее все задачки растут из масштабирования и лишний раз задать такие вопросы себе значит лучше понять что стоит делать, а что можно отложить.

🚨 У нас сегодня развалилась к херам Dodo IS!

Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты четыре(!) часа испытывали проблемы в самый пиковый день.

У нас за вечер:
* DDoS на 2.8млн запросов в минуту.
* Пуши, которые свалили мобильное приложение, а затем и сайт.
* Наш плохой релиз, который непонятно как сломал центр системы.
* Сломался мониторинг раза 3-4 за вечер.
* Дикая нагрузка на базу.

Все эти ошибки умножали эффект друг на друга.

Этим падением мы фактически уронили наш уровень сервиса, который должны держать. Когда мы роняем SL, мы останавливаем релизы и переключаемся на технические работы! Такие падения означают что мы сделали перекос в сторону фичей и недостаточно внимания уделяли нагрузке и качеству решений.

Что мы обычно делаем в такой ситуации? По сути наш конвеер не работает и нам надо остановить релизы. Когда ты нарушаешь SL, это означает что ты делаешь слишком большой перекос в сторону фичей.

С понедельника будет 2 важных изменения в работе команд Dodo IS.
* Мы останавливаем продуктовые релизы, касающиеся приема заказа до восстановления к уровню SLO. В релиз пойдут только фиксы и технические улучшения системы
* Команды Ordering и CVM Евразии останавливают свою работу и переключаются в обязательном порядке на технические работы по восстановлению уровня сервиса.

Помимо них другие команды так же будут вовлечены – инженеры инфраструктуры, команда нагрузки, по мере необходимости мы будем переключать и другие команды в помощь.

Адский феил с нашей стороны.

Будем рассказывать о нем и пост-мортем сделаем публичным.

Что происходит после пятничного инцидента?
Даже в текущих условиях, когда многие ребята уехали, мы продолжаем работать и продолжаем разбираться с пятничным инцидентом.

Рассказываю что у нас происходит, как мы строим работу после инцидента.

Если кратко объяснить процесс, то все управление Dodo IS сейчас проходит через CTO, Пашу Притчина. Когда мы бежим быстро, когда нам нужен темп и развитие, хорошо работает децентрализация и 100% свобода в принятии решений. Когда тебе надо притормозить, важен консерватизм и снизить вероятность ошибок, работает обратный режим централизации, когда все изменения проходят ревью через одну небольшую команду, дающую возможность релизить.

Фактически мы разделились на 3 группы
• Первое направление – пост-мортем. Над ним сейчас работает небольшая команда. Пост-мортем это не только сам анализ причин, но и ретроспектива на наши действия, восстановление полной картины событий, какие симптомы когда срабатывали, как мы на них реагировали, кого подключали и т.д. Эдакий полный лог произошедшего с выводами и изменениями в процессах.
• Второе направление – исследование конкретных гипотез. Здесь работают команды нагрузки, SRE и разработчики, чтобы проверять конкретные варианты причин. Да, мы пока на 100% не можем однозначно утверждать что стало причиной инцидента (часто триггер инцидента не совпадает с истинной причиной). Среди гипотез в том числе, например, попадание на плохую стойку в датацентре во время скейла. Года 2 назад такое было (подтверждено от MS, ну вот, даже такое бывает).
• Третье и самое большое направление – это фиксы. Здесь работают несколько команд и даже при том что корневая причина конкретного инцидента еще не установлена, у нас гарантированно есть места в системе, которые мы знаем, которые требуют улучшения и влияют на стабильность. Часть симптомов мы уже понимаем и так же снимаем нагрузку. Пример – перевод всех консьюмеров на новый сервис меню, что снизит нагрузку на самый больной компонент системы. Таких задач много, тут работает сразу несколько команд, координация оч простая через техлида.

Ежедневно есть синки общие и синки по конкретным направлениям.

Продуктовые команды сменили фокус и работают над повышением Service Level (SL). Продуктовые релизы мы делаем, но очень ограниченно, с нагрузкой и обязательными дополнительными ревью. К примеру, у нас есть комитмент рекламный, который мы не можем перенести и под него готовим изменения. Все гибко, обсуждаемо и всегда действуем по ситуации.

Когда будут следующие детали, напишем.

Вот так теперь выглядит мой menu bar. Есть оч классное приложение для osx Clocker. Удобно настраивать таймзоны, иметь их всегда перед глазами. Но самое впечатляющее для меня то что это приложение опенсорсное. Код к нему открыт на github. Автору большой респект и донат 🙂

Какую же крутоту запустил Дринкит!

Теперь можно позвать друга/знакомого/коллегу на кофе!
Представьте — сидите в офисе, работу работаете, наконец закончили задачку и хочется сделать перерыв. В приложении Дринкит, из списка контактов выбираете коллегу и отправляете приглашение. Адресат соглашается и вы идете вместе пить Латте трюфель с сырной пенкой. Кайф!

Кофе объединяет!

#dodois

Геолокация. Она в Додо стала уже чем-то нарицательным, сколько было к ней подходов и все время что-то происходило что мы ее откладывали раз за разом. Смена приоритетов, сложность работ, опять смена приоритетов. И люди. Кто-то начинал, не доводил, занимался другим или уходил из компании.

Казалось бы геолокация, пф, фигня. Точку на карте поставить и по ней определить адрес куда доставлять? Ребята, ну вы че, серьезно, это неужели такая сложная задача?

“5 минут работы программиста” ©

Давайте смотреть, что там внутри
1. Ввод адреса. Можно по карте, можно вводом в строке и получением address suggesstion от геопровайдера. У нас много стран, поэтому надо уметь интегрироваться с разными геопровайдерами и подключать их без пересборки приложений. Окей, это влияет на архитектуру, про плагины я уже рассказывал, подход общий, но надо сделать и тут их.
2. Яндекс API, которое нам нужно для address suggesstion, не умеет такого ). Значит надо договориться с Яндексом чтобы научились и сделали API под нас. Окей, это еще время на переговоры, тесты, исправления багов, учитывая что эту работу делаем не мы, ее вообще сложно прогнозировать по срокам.
3. Бэкофис надо научить работать с координатами. У нас есть курьерское приложение, управление зонами доставки (для каждой пиццерии зоны доставки делятся еще на сектора и управляются динамически в зависимости от загрузки). Надо поженить все элементы бэкофиса с новой системой гео и работой по координатам и адресам.
4. Новая админка нужна для работы с новой гео системой.
5. У нас доставка и у нас уже есть огромная база адресов и зон доставок, которые надо смигрировать на новую систему работы с координатами. Это сложно, поэтому можем разбить работу на 2 части: для тех, кого не мигрируем и для тех, кого без миграции не запустим. С первой полегче, но вторую все равно надо придумывать как сделать.
6. Нужно научить работать партнеров и управляющих пиццериями с новой системой, подготовить инструкции, сделать их на разных языках, видосики записать обучающие.

Я не говорю сейчас в контексте запусков MVP версий, гипотез и прочего, это все можно делать, можно сильно резать функционал, что-то оставлять вручную, запускать одну страну без масштабирования и т.д. Это все реально и мы иногда так делаем. Но все же нам надо думать о глобальном продукте, который уже работает в 16 странах и для которого ключевая идея – уметь масштабироваться!

4 страны уже работают – Великобритания, Вьетнам, Польша и Нигерия. Едем дальше! 😃

@ctodevelopers

Давно хотел написать небольшую статью о том, какими инструментами (прежде всего софтом) пользуюсь регулярно, в ежедневной работе.

Notion

Notion стал отличным единым пространством, где можно держать всю информацию о проекте, команде, продукте, компании, о чем угодно. 100500 возможностей на все случаи жизни. Няшность Notion можно любить или ненавидеть, но по функционалу, объединенному в одном продукте, аналогов у него нет.

Для меня Notion — это прежде всего один из инструментов коммуникаций с командой. Когда мы в 2021 пересобирали стратегию Dodo IS, формировали 3 ключевых пункта стратегии, мы их описали максимально емко и зафиксировали в Notion. Они не потеряли актуальность и очень полезны для новичков. Вспомнить об этом можно по ссылке.

Slack

Инструмент, изменивший рабочие коммуникации и частично ранивший (ну, не убил, но точно ранил) почту. Slack дает нам много возможностей автоматизации, например на тех же инцидентах. Автоматические сообщения, назначения на роли при инцидентах, формирование драфта пост-мортема, банально тригернуть инцидент или получить доступ на продакшн можно просто командой в слаке.

Я отдельно много использую Saved Items. Если понимаю что есть что-то, чему надо уделить внимание, но не прямо сейчас, заношу в Saved и в конце дня/недели разбираю.

Bear

Мне часто проще написать, чем нарисовать. Удобнее, с текстом мне работать проще и, порой, быстрее. Bear стал для меня тем редактором, в который хочется возвращаться.

Он спокойный, красивый, я как будто раскрываю его на полный экран и как будто в отдельный кабинет пришел чтобы меня никто не трогал и можно выгрузить мысли. Тот же Notion не такой, не дает такого ощущения. Bear’у недостает функционала, нет табличек, нет оформления без Markdown символов. Ждем в новой версии под именем Panda.

Даже несмотря на все огрехи, все равно Bear использую много.

Things

Многие знают этот продукт. Использую его просто по назначению, для планирования дня или проекта какого-то. Не скажу что прям с Things у меня получилась любовь и/или жесткая дисциплина в стиле “доделай все что отмечено в задачках дня”, но система удобная и помогает во многих случаях, когда есть прилеты. Алгоритм оч простой:
• записываешь в inbox
• в конце дня разбираешь и решаешь, стоит ли вообще переносить в дела или просто выкинуть и забыть
• то что остается, переносим либо в проект, либо в конкретный день
Главное в таких системах — периодически ревьювить что у тебя там в списках, в инбоксе, в проектах. Раз в день или неделю, кому как удобно.

Miro

Miro я начал использовать еще когда он был Realtimeboard, еще до того как я присоединился к Додо. Miro — это идеал для человека, который мыслит визуально, которому проще нарисовать схему, чем описать парой абзацев текста. Бесконечный “White Board с маркером“ позволит наглядно проиллюстрировать любой проект или задумку.

Miro сильно вырос за последние годы и стал незаменимым инструментом командной работы. С кучей мелких приятных фишичек вида “следи за человеком”, таймингом, удобством для работы в группах.

Clocker

Классное бесплатное приложение, которое на верхней панели OS X показывает время в разных городах. Очень удобное и настолько простое что даже великолепное. Доступно в сторе .

MullvadVPN

Как по мне, один из лучших и самых легких VPN сервисов. Не самое большое покрытие по странам, но его более чем хватает. Простой, легкий и быстрый. Найти можно тут Mullvad VPN .

Superpowered

Очень удобное дополнение для календаря. Подсказывает когда встреча начнется, можно быстро подключиться к созвону, показывает агенду и приглашенных людей. А еще дает возможность отправить кому-то вовне, кто хочет забукать со мной встречу (например на менторинг или обсуждение продукта). Еще один простой и легкий инструмент Superpowered .

Kindle

Ну и бонус, девайс 🙂 Абсолютное открытие 2022 года для меня. Небольшой, легкий, всегда под рукой. Просто имея рядом киндл, стал больше читать. Кратно больше!

🔥Додо в топ-10 работодателей в IT в 2022 году!

В прошлом году мы были в рейтинге на 41 месте. В позапрошлом наш бренд еще не был достаточно большим, чтобы вообще попасть в рейтинг.

Работа над поддержкой людей внутри компании и продвижением их опыта и историй снаружи, готовность этих самых людей включаться и делиться тем что у нас происходит – вот ключ к успеху.

С 2020 года мы проходим кризисы один за другим. Проходим их так что не теряем команду, укрепляем ее и развиваем бизнес. Каждый день. Мы падаем и встаем, находим какую-то дичь в Dodo IS и чиним, развиваем продукты и бизнес, открываем новые страны. Ежедневно мы делаем то, что умеем, и делаем это каждый раз чуть лучше, чем раньше, в любых обстоятельствах!

Что хотите делайте, но с этими ребятами хоть в огонь, хоть в воду!

Вот буквально только что появилась информация о том что 50% сотрудников твиттера сокращают. Да, все этого ждали уже некоторое время, но все равно одно дело ждать, другое дело когда вот оно происходит сейчас.

Вообще сокращений очень много. Много hiring freeze. На сайте Layoffs.fyi агрегирована вся информация. Twitter, Microsoft, Stripe, DocuSign, Snapchat. Огромное количество разработчиков, менеджеров, аналитиков, сейлзов и маркетологов выйдут на рынок.

Но я хоть немного попробую найти тут позитив.

Учитывая что многие сокращения происходят с компенсациями, я уверен что найдется большое количество людей, которые захотят попробовать создать свой стартап. Сделать то что давно хотели, но не хватало времени, сил, не решались. Через года 2 нас ждет стартапный бум очередной. И лет через 5 эти люди, у которых сейчас стресс и неизвестность, скажут что то что с ними случилось, их увольнение, было одним из лучших событий в их жизни.

Я проходил как раз такую историю, знаю о чем говорю.

Ноябрь для нас – активная фаза проработки целей на 2023й год, уточнения стратегии и развития.

Глобально для Dodo IS стратегия не меняется, три ключевые идеи остаются, но мы все детальнее уточняем и адаптируем приоритеты в зависимости от развития концепций и рынков в Dodo Brands.

Мы проводим работу в четыре этапа.

🕐 Первый этап
Мы работаем по системе OKR, а значит мы понимаем каких целей на каких рынках мы хотим достичь. Цели определяют наши действия, в том числе конкретный вектор развития в Dodo IS.

Первое что мы делаем – определяем глобальные цели Dodo Brands. На развитии каких рынков мы фокусируемся? Чего мы хотим добиться от каждого из них?

У нас 5 рыночных направлений сейчас:
• Дринкит
• Донер 42
• Международное развитие пиццы
• Пицца и Дринкит в Дубае
• Пицца в Евразии

Каждый из рынков действует в рамках общей стратегии Dodo Brands и определяет свои цели.

🕑 Второй этап
На втором этапе мы пытаемся соонести цели рынков и понять, есть ли у нас в продукте некие “невозвратные точки”, не сделав которые в ближайший год в Dodo IS, мы угробим развитие на ближайшие 2-3 года, просто опоздаем. Сюда могут входить наши долги по стабильности или сложности с открытием и локализацией стран, продуктовые проблемы, что угодно.

Формируем 3-4 ключевых цели, в которые будем инвестировать в глобальной платформе Dodo IS. Здесь идет работа не только по целям в стиле “хотим сделать X” или “достичь метрики Y”, мы оперируем больше деньгами. К примеру, мы будем дальше упарываться в развитие персонализации и для этого нам нужны соответствующие инструменты на основе сервисов клиентского профиля и дата-платморфы.

Готовим план распределения денег внутри Dodo IS: в какие продукты и команды мы инвестируем больше и ради чего, а в какие продукты инвестиции снижаем и почему. Отвечает за этот план распределения денег команда c-lvl Dodo Engineering.

🕒 Третий этап
Мы начинаем определять конкретные цели в каждом продукте и, соответственно, приоритеты. Здесь важно сделать одну ремарку о нашей структуре. Я об этом рассказывал, у нас есть рыночные команды с большой долей автономии, их ключевая особенность – мочь сделать все что нужно для целей своего рынка. Но глобал тоже вовлечен, т.к. заинтересован в том чтобы решения делались универсальными.

Как понять что делать, а что нет? Чему отдать приоритет? Как вообще сравнить порой несравнимые вещи?

Одно из важнейших качеств продакта – это чуйка, которая помогает вот в таких условиях сделать правильный выбор. Чуйка эта строится на понимании бизнеса и как раз на то как он будет развиваться в ближайшией 2-3 года. Это надо понимать продакту, не только бизнесу.

🕓 Четвертый этап
Остается очень простая процедура – собрать все в одну презентацию и рассказать об этом на всю компанию. Наверное, это самая простая часть, когда мы уже понимаем что планируем делать, кратко и ясно донести это до всей компании. Такая презентация запланирована на начало декабря.

🦜 Коммуникации
Отдельно скажу про коммуникации.

Мы проводим много встреч и презентаций, чтобы сформировать цельную картину у продактов, техлидов и разработчиков. Информация не застаивается у одних людей и быстро распространяется по командам, чтобы у каждого был максимально широкий контекст.

Этапы проработки целей на уровне каждого продукта построены не последовательно. Они сильно переплетаются по времени, дорабатываются и фактически прорабатываются вместе. Уже на уровне сырых целей Dodo Brands мы прикидываем как изменится Dodo IS и обсуждаем это с продактами. Это дает обратную связь, дорабатываются и уточняются идеи.



❓А как вы работаете с целями и обновлением стратегии? С удовольствием пообщаюсь с вами на тему того, как у вас устроена работа со стратегией IT-продуктов. Как вы ее делаете? Какие сложности? Как собрать все воедино, когда оффлайн бизнес сочетается с онлайном?

Пишите в личку, пообщаемся, возможно наш опыт будет полезен.

Уже несколько раз разные люди приходили с вопросом с чего начать вход в IT. Речь не про джунов, а именно про начало с нуля. Причем спрашвали как люди, которые хотят сменить специальность, так и школьники и студенты начальных курсов, которые еще только определяются чем заняться.

Вопрос часто звучит примерно так: “Посоветуйте курсы/книги, с которыми начать вход в IT?”.

Я не буду говорить про сложности текущего состояния рынка найма, что все усложнилось и т.д. Я всем даю примерно одну рекомендацию с чего начать вход в IT.

Каждый раз у меня примерно один и тот же ответ. Вообще не важно какой курс и книжку взять. Можно взять любую книгу типа “Основы Python” или любого другого языка программирования. Можно выбрать абсолютно любой бесплатный базовый курс по любому языку программиварования, хоть Javascript, Python, C#, Java, Swift, не важно. Начать читать/изучать/проходить курс и смотреть, насколько прет решать задачки. Ищешь ты время чтобы побольше поделать? Засиживаешься до ночи, чтобы разобраться с задачкой? Когда ложишься спать, думаешь о том как бы переделал тот цикл или интерфейс?

Не важен результат, не важно будет получаться или нет, важен ответ на очень простой вопрос – торкает тебя от самого процесса или нет ?

Если торкает, то можно уже думать о системном обучении, искать проекты, пробовать проходить собеседования (да, можно прям сразу), искать стажировки. Вот тут уже имеет смысл более детальный план. Если нет, то вы как минимум вы не потратите лишних денег 🙂

Снова иногда участвую в финальных собеседованиях. Не во всех, конечно, но побольше последнее время. Какой кайф, какие клевые люди к нам идут. После 21 сентября на рынок вышло много очень толковых ребят, которым не дают возможности работать удаленно. Казалось, после пандемии, вопросов об удаленке уже может не быть, но сейчас удаленка для многих компаний это “да, возможно, в любом регионе РФ”.

Я подключаюсь к финалам не просто так, на финале мы проверяем мотивацию, упоротость (в хорошем смысле), обучаемость, “командность”. Много факторов, которые определяют насколько легко человек к нам вольется. Я вижу кто к нам идет, вижу во многих ребятах потенциал, который можно реализовать с ростом нашего бизнеса, нашего продукта и Dodo IS.

Мы продолжаем нанимать и нам не важно, в какой вы стране. Если вы разработчик или SRE, дата инжинер или дата сайнтист, тимлид или техлид, продакт или аналитик, QA или Performance QA и ищите/задумываетесь о смене работы – пишите прям в личку, побеседуем! 🙂

Тоже с нетерпением ждете в начале следующего года GPT 4?

ChatGPT написал Android-приложение!

Что?! Как?! Что получилось? Рассказывает Максим Качинкин на Хабре, скорей открывайте!

Вот уже 3 месяца я живу в Дубае. Оброс бытом, увидел несколько сторон города и никак не могу отогнать от себя мысль о схожести Дубая и Dodo IS. Они стараются развиваться быстрыми темпами, быть глобальными и притягивать людей.

Как бы я ни пытался подсократить статейку, она не влезает в телеграм по-нормальному. Поэтому на medium.

Вчера в 21:36 заказал на Amazon бутсы футбольные старшему сыну. Сегодня в 8:59 их доставили. Это Amazon!

12 часов не прошло, мне доставили заказ.

В книжке The Everything Store есть глава о том как Amazon начинал разработку софта для собственных складов. Они смотрели готовый софт, думали как он будет работать, как его адаптировать и понимали что все не подходит и надо пилить свою систему. Над ними смеялись, крутили пальцем у виска, мол, ребята, разработка дело дорогое, куча готовых инструментов, а вы тут свой софт собираетесь пилить для складов, ну удачи.

А сейчас, в том числе с помощью этого софта, Amazon доставляет мне заказы менее чем за 12 часов!

Сорри, но я не могу удержаться от аналогии с Dodo IS. Масштаб, конечно, у нас сильно меньше, но логика та же. Если бы на старте использовали готовый софт, не делали бы свою Dodo IS, даже не представляю чего бы нам стоила поддержка 16 стран и была бы она вообще возможна. А сейчас норм, спокойно готовимся к новым!

23 сентября 2022 года мы рухнули на 4 часа. Прием заказа превратился в тыкву, мы не смогли обслужить пуши, мы не смогли обслужить акции и в итоге клиенты часа испытывали проблемы в самый пиковый день.

Обещали рассказать публично о причинах такого жесткого падения. Написание полноценной статьи по пост-мортему задачка несколько более сложная, чем просто разобрать причины и пофиксить. Пост-мортем у нас появился сильно раньше, но именно публичная статья вышла вот только сейчас.

Что в статье?
• Вся хронология событий.
• 4 гипотезы о возможных причинах и как мы пытались понять какие из реальны.
• Чего нам не хватило, что пошло не так во время самого инцидента.
• Какие наши действия помогли решить инцидент.
• Описание детальных причин, до которых мы в итоге докопались и что с ними делали.

Работаем дальше! 🙂