На фоне мобилизации в России как-то не поднимается рука писать про всякие отвлечённые размышления. И тут Главред очень чётко сформулировал мысли, бродившие во мне последнее время 👇🏾

Успокоительный контент не сейчас

Сейчас не время успокаивать людей всякими медитативными играми, чашечками чая и заголовочками про заботу о себе. Мысль-то верная, но в соцсетях сейчас выглядит как издевательство. У людей в голове ужас и ощущение смерти, а какой-нибудь бренд такой: «Подборка из 10 успокаивающих игр и промокод на чашечку какао».

Сейчас нужно не затуманивать и не расслаблять, а бодрить и вносить ясность, насколько это возможно. А если нечего писать — можно и не писать.

Гайд по шорткатам

На сайте Эппловской базы знаний есть страничка о клавиатурных шорткатах Макоси. Рекомендую прочитать её внимательно, это займёт минут десять, зато наверняка вы найдёте классные способы ускорить работу :).

Для себя я нашёл из неочевидных:
Option + Brightness Up / Brightness Down — нежное изменение яркости экрана (давно страдал без этого :D). Аналогично работает и для громкости.
Cmd + Ctrl + Q — заблокировать экран (ещё можно нажать на тачайди незнакомым ему пальцем дольше >0.5 секунды)
Ctrl + Cmd + Space — вызвать панель с эмодзиками
Cmd + K (в Finder) — подключиться к серверу по адресу
Option + Cmd + Y (в Finder) — открыть слайдшоу для выделенных файлов (это особенно бесило, что нет простого и тупого способа посмотреть фоточки в папке)
Shift + Cmd + Delete (в Finder) — открыть диалоговое окно чистки корзины. Если добавить ещё Option —  почистит без спросу.
Shift + Cmd + . (в Finder) - показать/спрятать скрытые файлы (спасибо Pablo за этот шоткат :) )
Shift + Option + Cmd + V — вставка текста без форматирования. Особенно полезно в почте, чтобы текст не вставился 72 кеглем в синем цвете, потому что так было на страничке, откуда вы скопировали
Shift + Cmd + ? — открыть меню поиска по экшнам из меню в текущем приложении

PERSONNUMMER!!!

Вы не поверите. Свершилось. 4 месяца и 28 дней я ждал этого момента. И вот, когда я уже отчаялся и смирился с пунктом контракта долгосрочного съёма жилья, гласящего, что если нет персоннуммера, я должен оставить 3-х месячный залог, как оно произошло.

В пятницу я нашёл себя на сайте hitta.se.

Что в этом такого, спросите вы? А то, что он черпает информацию из налоговой, а значит, меня, наконец-то, там зарегистрировали и, как следствие, присвоили персоннуммер! ААААААА 🥳!!!

Никакого трёхмесячного залога за жильё! Возможность регаться на государственных сервисах, в каршерингах, программах лояльности и прочей ерунде! Возможность получить ID-карту, и завести шведский банк и Bank-ID, которым можно электронно подписывать документы и логиниться в ещё большее количество сервисов! Возможность получить в соц. страховании выплаты на ребёнка! И многое другое, о чём я пока даже не в курсе.

Так что вчера мы съездили на радостях в Нючёпинг и подписали бессрочный договор аренды с компанией на 2.5 комнатную квартиру (две спальни + большая кухня/гостиная) с ноября. Арендная плата будет порядка 10500-11000 крон (1000$) с коммунальными платежами (надеюсь :D).

Быть посредственностью

Всю жизнь я имел одну за другой амбициозные мечты: сначала стать известным музыкантом-тромбонистом (и собирать стадионы), потом известным психологом (чтобы все слушали, как я любого излечиваю за одну сессию).

Накануне 30 лет я смирился, что де-факто я айтишник. И опять прилепилось вот это, что обязательно надо стать известным. Психотерапия и личные попытки адекватно оценить мои склонности к достигаторству показывали, что величием во мне не пахнет, но мечта «добиться» продолжала капать на мозг: что я недостаточно стараюсь, что в мои годы иные уже имели огромные компании или их знало полмира.

И вот, что-то щёлкнуло в голове, и я смирился с тем, что я посредственность. И слово это почти устратило свою негативную коннотацию. Кто я? Обычный айтишник-иммигрант, поигрываю на музыкальном инструменте, балуюсь в психологию, есть семья и ребёнок. Не сделал ничего экстраординарного с точки зрения достигатора: ни компании, ни славы, даже в опенсорс не законтрибьютил ни строчки.

Однако ж, в посредственности открылась и другая сторона — в отсутствии личностных провалов. В цельности, сбалансированности. Да, я не добился экстраординарного в одном из направлений в жизни, но у меня в целом всё хорошо: с достатком, с гармонией внутри, с семьёй, с близкими, с хобби. Меня редко бомбит от того, что люди или я сам не такие, как я ожидал. И я учусь любить то хорошее и замечательное, что уже сложилось в жизни. Знаю, попахивает оправданием. Возможно, отчасти так и есть.

Жизнь в Швеции подсветила этот внутренний конфликт особенно сильно. Есть ощущение, что здесь люди гораздо спокойнее относятся к отсутствию мировых амбиций, больше наслаждаются простой, сбалансированной жизнью, без блистательных побед и сокрушительных катастроф. С простыми прогулками по лесам и озёрам, барбекю по выходным и чистым, ухоженным двориком. И есть в этом свой особенный кайф: спокойный, простой, без истерик.

Для меня вопрос стоит в следующем: так ли важно ли мне лично достигать? Или важно что-то другое, например, иметь хорошие отношения с важными мне людьми? На чём я сфокусируюсь сегодня, а чем готов пожертвовать?

Not alone!

Помните, 25 января я оставил пост о том, что ищу дата инженера? Так вот, не прошло и года, как наконец свершилось чудо ко мне в команду вышла новая коллега, чему я невероятно рад! 🙂 Во-первых, появится больше времени/ресурсов на фичи, во-вторых — просто приятно, когда можешь с кем-то разделить инженерные радости и горести.

Процесс, конечно, оказался ни разу небыстрым — с момента размещения вакансии до выхода на работу прошло 9 месяцев. Пару месяцев ушло на отклики, ещё пара — на процесс интервью + оффер, 3 месяца на ожидание решения от Миграхуна и месяц на доставку резидентской карты. Ну и ещё месяц на всякие прочие задержки. И если с Миграхуном мы сделать ничего не можем, то ускорить интервью/оффер и поиск кандидатов, вероятно, можно попытаться.

Хорошая новость для россиян-разработчиков заключается в том, что новая коллега — из Петербурга, а значит, есть пруф, что устроиться в европейскую компанию из России и переехать всё ещё реально. Дерзайте, ребята 🇸🇪.

Факап 2.0

Привет! Больше месяца не выходил на связь: сначала летал в отпуск в Турцию (виделись с мамой и тёщей, вернулся в Швецию с тромбоном и кошкой), потом было лень, а потом у нас упала главная перегрузка данных на две недели, пока позавчера я её не дочинил. Но обо всём по порядку и сегодня про data outage.

Помните, я рассказывал про свой первый (и полуторный) в жизни серьёзный факап в продакшне? Так то, оказывается, был не факап, а лёгкая прогулка со счастливым концом. А вот 1 декабря, через день после невинного сообщения в слаке от девопсов: «мы тут завтра будем базу апдейтить, надеюсь, всё будет норм, но посмотрим» когда базу основного приложения обновили с MySQL 5.7 до версии 8.0, у нас встала колом перегрузка данных из неё.

Настали беспокойные дни: в логах джобы практически пустота, в духе «коннекшн чёт упал по таймауту», в кишках MySQL особо никто не разбирается, все очевидные конфиги базы с таймаутами подняли до 4 часов, но джобы продолжают падать. Заметили, что стабильно падают одни и те же таблицы. Поделав запросы к справочным таблицам MySQL'а, обнаружили, что проблемы возникают с таблицами, которые >±1 ГБ, остальные же грузятся без проблем, с той же скоростью, что и прежде. Но стоит таблице быть на 100 МБ больше порога — и она повисает при перегрузке навечно.

Поддержка AWS показала себя неповоротливой и бездумно следующей нелепым рекомендациям: посоветовали пересобрать в таблицах статистику по индексам, при том, что в перегрузках используется выражение SELECT * FROM TABLE, грузящее всё таблицу целиком, и индексы, естественно, не используются. Быстро стало понятно, что спасение утопающих — дело рук самих утопающих.

Для перегрузки мы использовали PySpark, крутяющийся на кластере от AWS — Glue. Окей, решил я, раз перегрузка втупую не работает, давай тащить по частям, нарезая данные по какому-нибудь индексированному столбцу. И тут я словил второй бугурт от AWS: они умудрились сломать фундаментальную функциональность замечательного спарка — правильно и оптимально тащить из БД данные в параллель и по частям! Они эту функциональность переделали, но так, что в MySQL она приводила к параллельным запросам ВСЕЙ таблицы в несколько потоков, вместо того, чтобы запрашивать в каждом потоке свой кусочек. А теперь представьте, что у вас есть таблица на 100 ГБ, которую вы решили порезать на куски по 100 МБ. Да-да, вы только что сделали 1000 запросов к базе на сканирование всей таблицы целиком, и теперь она исполняет запрос на 100 ТБ суммарно. Браво, амазон.

Окей, но в Glue же можно использовать обычные нормальные спарковские датафреймы, без переделанных амазоном функций? Дока говорит, что да, просто напиши дополнительный параметр, и всё будет работать как и прежде. Но...))) Нет, они и это сломали! При попытке задать такой параметр, всё тихо падает с какой-то невнятной ошибкой, даже если 1-в-1 скопипастить код из официальной документации. Бугурт 2.0, браво амазон 2.0.

В итоге пришлось отказаться от их кластера и просто собрать свой собственный спарк на собственной виртуалке, который прекрасно и без проблем отрабатывает джобы. Желание перенести в гугловское облако всё, что исторически оставалось на амазоне, выросло раз, эдак, в десять.

AWS, если ты читаешь эти строки, надеюсь тебе хотя бы стыдно.

Final переезд в Nyköping

В ноябре мы наконец переехали на постоянное место жительства. Этому предшествовали: 1 месяц жизни в Airbnb по приезду в прекраснейшей и заповедной Nacka; 2 месяца там же у коллеги, полетевшего в Америку в командировку и 3 месяца жизни в Gustavsberg, пока ждали, когда достроят дом в Нючёпинге. Густавсберг остался в наших с женой сердцах!. И вот, наконец, мы в first hand rental (снятом напрямую у компании бессрочно) таунхаусе в Nyköping, в 100 км от Стокгольма.

Нючёпинг был выбран около-рандомным тыком в карту: хотели попробовать пожить вне Стокгольма, в ±глубинке, но чтобы до Стокольма можно было удобно доехать (чтобы мне катать в офис раз в неделю, на скоростном поезде 1 час до центра), чтобы рядом было море и бассейн (желания жены), ну и в целом миленький городок а-ля мой родной Троицк.

Пришлось долго проковыряться с транспортом для переезда: к тому моменту уже был куплен стол с подъёмным механизмом, так что ни пешком, ни на легковом такси уже было не уехать. Позвонил в три сервиса по аренде минивэнов с грузовым отсеком, везде отказали «по-шведски»: не перезванивали, а когда я не выдержал и позвонил сам — за 2 минуты сказали «ой, сорян, все машины разбронированы, ага, ну удачи». Бесит!

Благо, в Швеции распространён каршеринг v0.5 (есть и v1.0, но для него нужен BankID, которого у меня пока нет): в двух популярных сетях заправок можно прийти (можно забронировать заранее) и взять машину напрокат посуточно. Есть легковухи, есть минивэны, есть грузовые с подъёмным механизмом. Мы выбрали минивэн. Спасибо CirkleK Hyrbil! Обошлось в 200-250 евро с топливом.

Переезжали в два дня: в первый я приехал без всего на электричке принять заказ от Икеи (вместе с матрасом и постельном бельём, на котором я и заночевал в эту ночь 🙂 ), на следующий день на минивэне уже приехал обратно за семьёй и вещами, погрузились и отправились в новый дом. И вот, мы осели! 🙂

Жильё 75 квадратов, второй этаж, выход на террасу, евротрёшка (это когда 2 спальни и 30 квадратная кухня-зал), 950 евро в месяц без электричества. Платёжка на электричество вызывает судорожное предвкушение, т.к. отопление электричеством, что выражается в 1700 квт*ч в месяц. Ждём первую.