phind.com делает все ваши треды публичными по дефолту

Я тут не раз рекомендовал пользоваться phind.com для разработки. Однако, сегодня я обнаружил у него очень неприятную особенность: по дефолту, если не настраивать никакие галки в профиле, он не только использует историю запросов для обучения (что делают практически все в бесплатных версиях, хотя в chatGPT даже в бесплатной версии можно выписаться).

Самая жесть, что по дефолту phind.com ещё и делает всю историю вашего с ним общения публичной для всего интернета — можно взять ссылку на тред и пошарить с кем угодно — другой сможет её прочитать. И это полбеды, ведь ссылка уникальная и сгенерирована случайно, но эти треды через этот же самый phind можно искать промптом! Обнаружил я это случайно, когда спросил его о чём-то, а в ответ он мне навыдавал кучу ссылок на чужие треды. И что-то я сомневаюсь, что люди, которые их создавали, были морально готовы, что другие люди смогут их прочитать.

То есть кто угодно может забить промпт в phind.com или тупо в гугле, и выйти на ссылку вашего с ним треда, если вы не поставили соответствующую галку в настройках. Это пиздец 🤬. Как если бы гугол по умолчанию сливал всю мою историю поисков в интернет.

Прекрасный пост от Василия Половнёва на тему, как эффективно онбордиться в новую компанию. И замечательно встроенная рекламная интеграция по ходу дела 😀

Середина лета в бюро и новые сотрудники

В бюро проходит середина лета — скидка 25% на электронные продукты и неделя мастер-классов преподавателей:
https://bureau.ru/news/2024/midsummer/

Я, к сожалению, в мастер-классах не участвую, потому что в дороге. Но если бы участвовал, то рассказал бы, как новичку или стажёру произвести впечатление на коллег в первые недели работы.

Я бы начал с минимальной гигиены, базовых навыков, без которых работать мучительно. Понимание задачи, дедлайны, согласование, умение формулировать просьбы и вопросы. Вот это всё:
https://www.youtube.com/watch?v=qe8agAd5omw&list=PLHxrtSGVWqFu8oM9EPZ95OPbnoKMdMYar

Затем я бы дал два совета:
Не страдайте в тишине. Если вы застряли, если ничего не получается, поднимите руку и попросите о помощи. Лучше отвлечь коллегу на 15 минут, чем просидеть пару дней без дела в страхе побеспокоить коллегу или показаться тупым.

Если вас наняли, значит, компания заинтересована в том, чтобы вы как можно скорее начали приносить ей пользу. Значит, у вашего лида, ментора или старшего товарища зарезервировано время на помощь и онбординг. Ничего страшного не произойдёт, если вы попросите его о помощи.

Спрашивайте «почему?» и «зачем?». Если вас наняли, значит, компания уверена в том, что вы умный и клёвый чувак, который поможет ей заработать больше денег. Чтобы помочь с этим, нужно разобраться в продукте и продуктовых решениях. С этим помогают вопросы: почему и зачем?

Зачем мы используем jQuery в 2024? Почему мы используем Preact, а не React? Почему расстояние от картинки до картинки 72 пикселя? Зачем в сертификатах текст с отличием? Почему сертификаты выдаются через неделю после окончания курса?

Ответы на подобные вопросы помогут быстрее въехать в продукт, код и доменную область. Больше того, помогут в будущем принимать хорошие решения и, конечно, подсветят проблемные зоны. Если ответ «так сложилось исторически» или «мы не успевали к релизу», то это неплохой кандидат на рефакторинг.

Заметьте, что я пишу «неплохой кандидат», потому что не стоит сразу кидаться исправлять и рефакторить что-то без «зачем» и «почему». Может оказаться так, что вы отрефакторите что-то, что просто не нужно было трогать.


Советы я бы обязательно приправил историями из жизни. Например, о том, как я отрефакторил рейк-таск, который никому не был нужен. Видели бы вы этот код, СОЛИДнее некуда.

Или как я просидел 20 часов за компом, гоняясь за багом в Хроме, а можно было просто перенести релиз на день вперёд. Достаточно было поднять руку и поговорить с дизайнером.

И конечно, я бы навтыкал кучу всратых мемов в слайды. Просто потому, что могу.

Тут я бы свернул мастер-класс и напомнил бы об акции и скидке на все электронные продукты бюро:
https://bureau.ru/news/2024/midsummer/

Блогерский кризис

Раз за разом нахожу себя в ситуации, когда последний пост был месяц назад, а о чём написать — не нахожу. Похоже, у меня случился творческий кризис блогера-перееха, когда все свежие впечатления уже позади, установилась рутинная жизнь, а новое если и происходит, то не факт, что заслуживает публикации. Ведь когда я пишу посты, хочу, чтобы они были полезны, хоть бы и в самом широком смысле. При этом, я и бросать писать не собираюсь. Так и бьюсь в конфликте: и написать хочется, и непонятно о чём. Чтобы разорвать этот порочный круг, расскажу, что происходило/происходит в моей жизни.

Мы купили минимальный набор шведского хайкера в виде палатки, надувного матраса и одеялся и съездили в отпуск на Аландские острова. Особо не буду распространяться здесь, они заслуживают отдельного поста, но я не Варламов, так что просто скажу, что это очень приятная, богатая красивой природой финско-шведская островная даль, где самый крупный город — чуть более 10 тысяч человек населения. Было хорошо 🙂

Я продолжаю работать в Fishbrain. Здесь хорошо: несмотря на уже пятую (или шестую? 😀) за три года смену менеджеров, со всеми работать комфортно, в чём, несомненно, заслуга наших прошлого и настоящего CEO, а также People & Culture отдела. Есть и грустная сторона: за прошедшие два года численность компании упала практически в два раза, в ближайший год роста не намечается, а значит, сидеть нам, двум дата инженерам, ещё неопределённое время без перспектив роста, как карьерных, там и зарплатных — ведь причина этих сокращений в финансах. Так что я лениво просматриваю входящие предложения и откликаюсь на вакансии компаний, где хотел бы работать. Пока из этого ничего не вышло, во многом из-за моего желания работать 4/5 дней в неделю удалённо, в то время как компании опять охватила идея вернуть всех в офис. Штош, не мне их судить.

Я начал учить Rust. Так как на работе я изучил большую часть полезного для компании и интересного мне и, я немножко заскучал. Сперва мои вечера скрашивала шестая Цива, но потом я обнаружил себя учащим язык программирования Rust. Долго порывался выучить что-то ещё, кроме питона, но для дата инженера совершенно непонятно, что и зачем учить: эскуэль с питоном и фреймворками покрывает 95% задач, к скале у меня предубеждение из-за близости к джяве (да и, опять-таки, зачем, чисто чтобы экстеншны к спарку писать? Сомнительно...). Остальные языки применимы в дата инженерии примерно на 1%.

Раст же долгое время привлекал моё внимание: сперва появился убойный линтер для питона Ruff, написанный на нём, потом те же ребята запилили замену pip (под названием uv), но это были лишь тулзы для питона, ради которых не было смысла учить раст. И вот, на расте запилили датафрейм фреймворк pola.rs, пригодный для дата инженерных задач, а пара коллег рассказали, что знают отличный курс по расту от Алексея Кладова, написавшего для него server protocol (штука, которая позволяет вашей IDE проверять код, подчёркивать его и советовать советы). Так что я открыл книгу по расту и пошёл учить. Впечатления от него тянут на отдельный пост, так что оставлю их на потом)

Rust

Надо сразу оговориться, что единственный язык программирования, который я знаю — Python, а потому мой взгляд на Rust будет искажён этим восприятием. Конечно, более уместно было бы сравнивать его с плюсами, которые он косплеит, но последний раз я писал на них 20 лет назад в школе и это был хеллоуворлд. Поэтому сравнение будет с питоном, а значит я не буду ничего писать про memory safety и отсуствие сборщика мусора, главные рекламируемые преимущества раста.

Питон и раст очень разные языки в разрезе сферы их использования. Насколько я знаю, единственное, в чём они пересекаются — на обоих можно писать бэкенд) Дальше идут различия: питон используется в Data, ML, в CI/CD как замена башу, Rust же используется в системном программировании (драйверы, системные утилиты), программировании микроконтроллеров, криптографии, игровых движках, дев-тулы для других языков (привет, ruff и uv). Так что раст практически не даёт мне альтернативы для решения задач, решаемых питоном — но он открывает дверь в новые направления разработки.

Раст заставляет по-другому думать про код и даёт глубинное понимание, что происходит внутри. Приходиться думать о том, на стэке будет храниться переменная или в куче (а для начала вообще вспомнить, что это такое), продумывать заранее, какого размера будут коллекции, фиксированного или динамического. В расте приходится сразу писать типы: хотя я это делаю и в питоне, но в питоне они меня ни к чему не обязывают, так как являются лишь аннотациями. В расте же код не скомпилируется, если тип некорректный. Питон снимает с тебя эту когнитивную нагрузку, реализуя всё наиболее обощённым и не самым оптимальным способом, давая взамен простоту синтаксиса.

Компилятор в расте это топ. Признаюсь, я НИКОГДА не могу написать на питоне код с первого раза, чтобы он делал то, что мне надо. То отступ потеряешь, то тип перепутаешь, то параметры местами. И это следствие динамичности питона — встроенный линтер пайчарма не отругает тебя за эти действия в большинстве случаев, и даже если поставить ruff и mypy, они не всегда способны вывести и проверить типы. В расте же это решает линтер компилятора. Типы выводятся компилятором всегда. Так что если ты написал фигню, редактор кода сразу подчеркнёт код красненьким. В итоге, когда ты исправил все ошибки до компиляции, программма РАБОТАЕТ с первого раза. Это просто меджик после питона.

Вообще линтер из компилятора раста это отдельная песня. Мало того, что он отлавливает большинство ошибок до запуска, он ещё и предлагает, как переписать куски кода, которые ты по незнанию написал криво. Иногда доходит до смешного: напишешь 20 строчек кода, потом начинаешь принимать саджешнсы от линтера, и через 3 итерации ОК-ОК-ОК твой код схлопывается в три строчки. Да, линтер умеет генерировать замену коду, чтобы вы просто ткнули в редакторе ОК и новый код встал вместо вашего. Топ.

В расте вообще прекрасно устроен DevEx. Это и подробная и понятная документация, в которой прямо на сайте ты можешь запустить куски кода и увидеть результат, а потом побаловаться и поменять что-то в этом коде; и выдаваемые компилятором и линтером объяснения ошибок, которые просто за ручку тебя водят по коду и объясняют откуда, почему и зачем эта ошибка, и как её исправить; и чудесная обучающая программа прямо на офф. сайте, где можно выбрать, как учить раст: по книге, по примерам или по интерактивному курсу. Всё бесплатно.

В чём же наколка? Да в том, что раст, сука, сложный. И это не только потому, что я блондинка питонист — практически все интернеты жалуются, что раст язык с тугим learning curve. Тут дело не только в том, что он низкоуровневый, как си++, у раста очень богатый синтаксис. Мне кажется, он использует все существующие в природе виды скобок, комбинации амперсандов, вертикальных черт, нижних подчёркиваний, и всё это что-то значит. Иногда в одной семантической единице умещается пара десятков идентификаторов, которые надо прочитать, распарсить и удержать в голове. Конечно, это тренируется, но порой мне приходится тратить 20 минут, чтобы воткнуть, что тут вообще блин происходит (см. пример со скрина).

Rust basics

Впечатления
Уф, я дочиталь Rust Book. Это было тяжеловато: то было слишком сложно, то я терял мотивацию и делал большие перерывы, так что в итоге на прохождение книги ушло порядка 4 месяцев. И это только база: чтобы писать уверенно, нужно довести эту базу до автоматизма, разведать набор best-in-class библиотек и фреймворков, приучиться писать как расташин, а не как питонист, пересевший на раст. И всё это в условиях отсуствия цели или видения, куда его присунуть 🤷.

Начинать учить язык с лекций Алексея Кладова (который написал Language Server Protocol для раста) оказалось не лучшим выбором для начинающего: если первые пара лекций обзорные и заходят легко, то с каждой последующей сложность растёт экспоненциально. Я отложил их до момента, когда захочу прокачаться до уровня Advanced.

Кому стоит учить Rust?

Девиз языка: "A language empowering everyone to build reliable and efficient software." Раст доставляет перформанс уровня C и бóльшую надёжность из коробки, за которые придётся заплатить сложностью языка, и невозможностью как в питоне наговнякать по-быстренькому в REPL.

Он подойдёт там, где важно не по-быстрее с постоянно изменяющимися требованиями, а заранее запланировав, да понадёжнее: в системном программировании, embedded системах, вероятно, в финтехе. При этом его слабая сторона — относительная негибкость, о чём рассказывает геймдев-разработчик, разочаровавшийся в расте именно по этой причине.

Из-за сложности, я бы так же не советовал его в качестве первого языка, так как мотивация может закончиться раньше, чем язык будет освоен. Тем, кто сомневается, советую учить питон: он простой, понятный и имеющий широчайшую сферу применения. Но если вы уверены в стойкости своего желания и готовы потратить много времени — вперёд, к ржавчине 🤘!

Как учить
Для начала, можно прочитать статью у JetBrains. By default, есть три официальных стула пути: book, rustlings course, rust by example. Если вам с книгой быстро становится скучно, смотрите book на youtube от прекрасного @letsgetrusty. Также не упустите короткие, понятные и насыщенные другие видео про раст на его канале. Порой сказанное там не 100% корректно, но это с лихвой перекрывается полученной пользой.

Ну и когда оцените свою мощь, переходите к лекциям Кладова — они глубокие, показывают много того, чего нет в rust book, рассказывают о деталях работы rust компилятора. Но дуже сложные.

В качестве бонуса для питонистов, рекомендую почитать статью itamar'а про то, как заворачивать раст код в питонячьи библиотеки. Я не думал, что это настолько просто, и нужен лишь простой советский...

Потерянный пост

Поделюсь блогерской болью. Для меня до сих пор публиковать посты это стресс, так как перфекционист внутри свербит и хочет, чтобы посты были без ошибок, мысль сформулирована чётко, а если пост разделён на несколько, они вышли подряд без опоздания.

Когда я начинал канал, постил сообщения прямо в него. Но каждый раз напрягает, что стоит нажать enter без зажатого shift, и вместо новой строки ты отправишь в канал недоделанное сообщение сотням людей.

Кроме того, написать пост с одного захода у меня никогда не получается: в итоге я пишу, переписываю, меняю местами блоки текста, пока не получится внятно. Иногда на это уходит 10 минут, иногда целый час. Поэтому я быстро поднял кубер перешёл на написание постов в Saved Messages и отправку с помощью Forward message, стирая упоминание имени автора.

Однако, если в сообщении есть картинки, по каким-то одной телеге известным законам форварднуться может только первая картинка — без текста и без остальных картинок. Вроде смотришь в сохранённых сообщениях, вычитываешь, тестируешь — всё в порядке, постишь в прод канал — нате, картиноча. АААА. Бежишь быстренько стирать и перепощивать.

Вот и вчера это случилось вновь. Запостить всё нормально удалось попытки с пятой, и где-то на четвёртой, разволновавшись от собственной и тележьей криворукости, я впопыхах стёр... предыдущий пост про смену работы и уход в hemnet.se. И восстановить его в отведённые 5 секунд на передумывание я не успел. Так что пост исчез не потому, что компания передумала, если что 😃

Я написал в саппорт с просьбой восстановить пост, но надежды на это мало: во-первых телега везде заявляет, что то, что удалено — то удалено (ну-ну), а во-вторых, сколько раз в саппорт не обращался, мне ни разу даже ответа никакого не приходило.

Спасибо добрым людям, которые переслали мне пост из своих сохранёночек. А также тем, кто подсказал, что в tgstat.com можно найти все опубликованные посты, включая удалённые, если в поиске отжать фильтр Hide deleted.

Ваши прекрасные, тёплые, доброжелательные, поздравительные реакции и комменты это, к сожалению, не вернёт, но по крайней мере я верну пост обратно)

Меняю работу (^ repost ^)

Я проработал в Fishbrain больше 3-х лет — для меня это беспрецедентный срок! До этого лишь на одной работе я задержался больше 2-х лет, и то потому, что она была первая, а я не знал, чего хотел (тогда мне помог сдвинуться психотерапевт).

Я очень многому научился в этой компании: быть фулл-стэк дата инженером, который и инфру подкрутит, и джобу запилит, и дата модельки напишет; впервые поработал с облаком. Я увидел множество инженерных практик здорового человека: от миграции с MySQL на Postgres с возможностью обратного отката, до инцидент-менеджмента без поиска виноватых.

Однако ж, я упёрся в потолок по трём фронтам: зарплата моя выросла до топ-n среди инженеров в ситуации, когда с финансами у компании туго. Профессионально новых горизонтов тоже не предвиделось, так как всё, что могло быть полезно компании, я освоил, а на другое нет ресурсов и приоритета. Карьерного роста также не ожидалось — мы команда из двух инженеров и в ближайший год это не изменилось бы точно. Так что я заскучал настолько, что даже начал учить раст (спойлер: я прочитал Rust Book, фух).

Вообще, я планировал выучить раст и потом искать работу, возможно, на нём. Но в середине этого процесса в мой линкедин ворвался рекрутер из hemnet.se — эдакая Яндекс.Недвижимость в Швеции. Это не был оффер мечты, но был по всем статьям лучше моей ситуации в Фишбрейне, так что я решил его принять. Трудно найти крутой оффер, когда работаешь в отличной компании, гораздо проще, когда готов на что угодно, лишь бы свалить (те, кто знают мою историю с обоссанным туалетом в офисе, понимают о чём речь) :D.

Итак, 2 декабря я выхожу в Hemnet. Забавно, что в моей команде будет Илья, работавший со мной в Fishbrain, а продактом в Hemnet скоро выйдет Юхан, бывший у нас временным продактом. Это огромная разница с Москвой: здесь по ощущениям айти мир связан друг с другом через 3 рукопожатия, в то время как в Москве — через 4-5, из-за чего встретить знакомого было редкостью. Здесь — наоборот) С одной стороны это прикольно, с другой, красноречиво говорит о размере рынка — он на порядок меньше.

Опрос для аналитиков

Когда количество подписчиков перевалило за 500, ко мне стали периодически приходить с предложениями запартнёриться или прорекламировать что-нибудь в канале. До сих пор я всем отказывал: не потому, что я такой гордый, а потому, что не видел никакой пользы в том, что они предлагают. Но в этот раз случилось приятное исключение 🙂.

Мне написали из newhr.org. Они ищут айтишников и делают исследования рынка айти в России и вне. Я люблю посмотреть, кто и сколько зарабатывает; интересно было почитать про уехавших и неуехавших в 22-24 годах (спойлер: вернулось меньше, чем обычно рассказывают). Довольно тенденциозно выглядит исследование про уехавших CTO, но, вероятно, это нормально для выборки из уехавших (иначе бы они не были уехавшими).

Они делают исследование рынка аналитиков в 2024 году, аналогичное предыдущему за 2023 год, и попросили поделиться ссылкой на опрос, чтобы собрать репрезентативную выборку. В исследовании: какие скиллы используют аналитики, на какие компании работают, удалёнка или офис, какие компании нравятся/не нравятся, и, конечно же, голосом Дудя «СКОЛЬКО ЗАРАБАТЫВАЮТ» с динамикой роста ЗП. Взамен упомянут меня в исследовании и воткнут ссылочек на канал :).

Мне подобные исследования помогают оценить, могу ли я претендовать на большую ЗП, есть ли рядом интересные ответвления по скиллам, которые я упускаю. Стать соучастником этого благого дела можно за 20 минут заполнив опросник.

Проходить могут все, кто считает себя аналитиком: продукта, данных, бизнеса, и т.д. К сожалению, я уже 3 года как не аналитик, но они намереваются в следующем году сделать аналогичное про DE 🔥. Буду ждать!

📋 Опрос тут

Питон, файлы, AWS

Питонячу тут очередную загрузку данных из апишки в амазоновский s3. Упрощённо, кладу ответ от API в файл и отгружаю в s3.upload_file():

with file as open("wb"):
   file.write(data)  # пишем bytes, потому что так хочет `s3.upload_file`
    filename = file.name  # `s3.upload_file` требует строковый путь к файлу в качестве аргумента

   s3 = boto3.client("s3")
   s3.upload_file(filename, "some_bucket", "some_path")

На бакет загружается пустой файл. Wat? Пробую ещё раз. Результат, разумеется, не меняется.

В file данные записываются. s3.upload_file, разумеется, рядом в сотне мест используется и работает.

Внимание, вопрос: почему так происходит? Похожий код на GCP, (внезапно) работает корректно 😃️️️️️️

Питон, файлы, AWS, ч. 2
Не забываем смывать

Изначально я пофиксил код с помощью file.seek(0), ведь по опыту, именно из-за его отсутствия обычно возникают проблемы неконсистентности файла при записи и последующем чтении. Правда, это справедливо в случае, когда записываешь и читаешь через один файловый объект, а в примере выше файл читается разными файловыми объектами (s3 открывает файл самостоятельно и отдельно).

Поэтому меня удивило, что такой фикс сработал:

    ...
    file.write(data)
    filename = file.name

    file.seek(0)
    s3.upload_file(filename, "some_bucket", "some_path")
    ...

Однако ж, как верно подметил Михаил в комментах, более прямолинейная причина была в не вызванном file.flush(). Почему file.seek(0) из моего исправления также фиксит проблему — непонятно. Возможно, он неявным образом продуцирует flush со стороны ОС, но это выше моих познаний питона и линукса, и полагаться на такой «артефакт» точно не стоит.

Конечно же, предыдущий пост задумывался исключительно ради тупого каламбура в заголовке поста: «Не забываем посикать». Но так как мой изначальный фикс с вызовом file.seek(0) после записи оказался хоть и рабочим, но неточным, — заголовок пришлось изменить 🥲.

Впрочем, трудно переоценить символизм трансформации заголовка из «Не забываем посикать» в «Не забываем смывать» 🤪.

База
Всё дело в том, что когда питон пишет в файл, запись проходит несколько буферов-прослоек, часть из которых находится вне его контроля (например, буфер операционки). Поэтому, перед тем, как читать этот файл из другого места, нужно сделать .flush(), чтобы данные из буфера были записаны («смыты») на диск и могли быть целостно прочитаны другим куском кода или процессом (в данном случае, библиотекой AWS).