Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
В комментах спросили с чего начать изучение DE с нуля:

1) Найти курсы по DE, посмотреть какие инструменты и технологии указаны там в программе курса. Выписать их себе (инструменты, не курсы) в план на изучение, и искать статьи, видео уроки, курсы по этим инструментам\технологиям.
2) Найти людей, которые работают в этом направлении, и спросить у них, что они чаще всего используют в работе, как вообще выглядят задачи, и что стоит изучить. Выписать тоже в список.
3) Изучать и отрабатывать на практике (искать тестовые задания выложенные в сети, придумать себе пет-проект), на тренажёрах.

Готово, вы великолепны.

Первым шагом — идём на бесплатный курс от Data Learn https://datalearn.ru/ от Дмитрия Аношина https://t.me/rockyourdata (которому лично я очень благодарен за его курс, т.к. я не чистый DE, я всё-таки Data Analyst, в первую очередь (в частности Web Analyst / Marketing Analyst, если говорить про доменную экспертизу). И его курс мне помог освоить дополнительные инструменты, чтобы делать не только DA задачи, но и DE (и потом ещё и офер на работу Data Engineer получить).

Поэтому этот курс, это прям первейшее что надо открыть. И по мере изучения профессии и инструментария — гуглить уже уроки и документацию по каждому отдельному инструменту, изучать их глубже, тренироваться на практике.

Перечень DEшных buzzwords, с чем я сталкивался на практике в работе — python, sql, airflow, dbt, postgresql, clickhouse, google bigquery, tableau, powerbi, google data studio, looker, spark, kafka (было дело пускал руки и в AWS пару раз, но чаще работал с Гугловой экосистемой).

Как можно это всё освоить:
1) Осваиваем SQL — https://stepik.org/course/63054/(бесплатный тренажёр, очень качественный), https://stepik.org/course/90778/ (это более прикладной ПЛАТНЫЙ, но дешёвый, курс, с SQL именно под Data задачи) и отдельно курс по оконным функциям https://stepik.org/course/95367/ (стоит копейки, но стоит того, окошки на собесах часто спрашивают)
2) Осваиваем Питон — я изучал по https://stepik.org/course/67/ и https://stepik.org/course/512/ (оба бесплатные), но, говорят, что https://stepik.org/course/58852/ и https://stepik.org/course/68343/ гораздо лучше по части донесения информации (оба бесплатные) и https://stepik.org/course/82541/ (третья ступень, платная, про неё ничего не слышал)
3) Осваиваем азы Pandas — https://stepik.org/course/74457/ (бесплатно)
4) Осваиваем азы Airflow — https://stepik.org/course/99527/promo#toc (платный)
5) Осваиваем архитектуру и вообще Базы Данных — https://stepik.org/course/551/ (бесплатно) , тут и про архитектуры, и про Нормальные Формы и т.п. https://stepik.org/course/70710/ (бесплатно) — более глубокое погружение в БД и СУБД.
6) Осваиваем Git — полно бесплатных уроков на ютубе, практиковаться можно на своём гитхаб аккаунте.
6) Осваиваем Облака — https://practicum.yandex.ru/ycloud/ (бесплатный курс), я предпочитаю Google Cloud Platform, но для простоты доступности (к Гугл Облаку надо карту привязывать, а с этим щас проблемы могут быть) начать освоение можно с Yandex.Cloud или VK Cloud
7) Осваиваем Spark, Kafka, Hadoop — не могу посоветовать бесплатные курсы, т.к. осваивал их на платных курсах и «в бою» на задачах сразу, гугля «КАК СДЕЛАТЬ ___ в Spark», и с помощью коллег. Но начни с модулей бесплатного Data Learn, а там сориентируешься куда гуглить и как. И, возможно, вот этот курс https://stepik.org/lesson/699607/ (бесплатно) подойдёт для азов и обзорного понимания Спарка
8) Осваиваем dbt — у них свои бесплтаные курсы прям на сайте лежат https://courses.getdbt.com/collections

Когда Data Learn и курсы выше будут пройдены — можно идти к Карпову на https://karpov.courses/dataengineer (за деньги, дорого). И погружаться в более ядрёные штуки под присмотром наставников и кураторов.
75👍43🔥26🥰1
Как улучшить английский в документации

Часто аналитик/технический писатель сталкивается с документацией написанной на английском языке, или же самому приходится писать ее на английском языке, в данной статье автор - технический писатель, постарался не просто дать рекомендации о том, как можно избежать распространённых ошибок, но и подсветил те отличительные черты английского языка, которые к этим ошибкам приводят. Познавательно и интересно))

Прейти
👍26🔥16🍓1
Нам нравится говорить об инновациях и будущем, электромашины, дроны, жизнь на марсе, криптовалюта, спутниковый интернет на малых орбитах и еще много чего нового, инновационного, хотя по факту базовые проблемы не решены. Но я не о проблемах в этом канале пишу.

Хотя иногда жалуюсь на эксплуатацию корпоративного мира, тяжкий труд на галерах и не сбывшиеся мечты, где все есть и ничего не надо делать😇

Хотя обратить ваше внимание на одну маленькую инновацию, за которой я наблюдаю - passwordless. Еще в 2021 году я писал в посте про Microsoft и его идеи об отмене паролей.

Это вам конечно не полет на марс, но именно такие скучные инновации двигают индустрию вперед. Вообще вся отрасль кибер безопасности не такая популярная. Лично мне заниматься безопасностью аналитических решений всегда скучно, но цена ошибки это репутация компании. Данные утекают в интерент легко, яндекс еда и другие яндекс сервисы не дадут соврать.

Так вот, я хотел вам сообщить, что тема passwordless активно развивается, и уже не кажется чем-то необычным.

В интернете достаточно много информации о последних инновациях в этой области, есть множество компаний и стартапов, которые работают в этой области и самое главное, эти компании добавляют ценности клиентам и делают жизнь клиентов лучше.

Сейчас некоторые компании инвестируют в passkey.

Passkey is the company’s implementation of an industry standard designed to remove passwords for online authentication. Earlier this year, Apple, Google and Microsoft joined hands with the FIDO Alliance and the World Wide Web Consortium to work on removing passwords for user authentication across the platforms.

Ссылки по теме:
Apple, Google and Microsoft team up on passwordless logins
Apple presentation - Meet passkeys
What is Apple Passkey, and how will it help you go passwordless?
Google - Passwordless login with passkeys
What is PassKey?

А вам какие инновации видятся?
👍10🍌3🌚2
Нашу любимую Ийтишечку колбасит не по-детски:
Сегодня в Твиттере все получили письмо счастья - Twitter Employees to Learn of Layoffs Friday Morning. А я ведь откликался к ним на вакансии, но даже не позвали на собеседование. Судьба уберегла. Вообще у Твиттера много перспектив - Should Twitter embrace porn and compete with OnlyFans?

Главный конкурент желтого такси - Lyft увольняет 13% процентов . У меня было с ними собеседование на менеджера DE, и я помню вопрос, как я буду нанимать кандидатов, чтобы diversity&inclusion показатели улучшать. Наверно, поэтому меня и не взяли, чтобы не портить статистику белым мужиков, а сейчас бы вообще было бы грустно, белый русский мужик. Судьба уберегла.

Амазон окончательно забуксовал, акции уже 88$, ну ведь не зря же я продал по 120$?! Надо слушать меня в таких вопросах😉 - Amazon Freezes Corporate Hiring. Вообще Amazon увольняет людей пачками постоянно, просто это у них по-другому делается и называется. Поэтому, мы вряд ли узнаем про mass layoff. В Амазоне я работал, и мне там нравилось, и возможно когда нибудь вернусь. Летом мои 5-6 попыток не увенчались успехом, судьба уберегла. Безос красавчик, вовремя взял бабло и слился, пусть сами там разгребают🕺🏻

Stripe Cuts 14% of Staff, Was ‘Much Too Optimistic’ About E-Commerce Boom - как вы можете догадаться, я тоже туда откликался на вакансию, и как и твиттер, мне никто не ответил. Судьба уберегла.

Coinbase Revenue Drop Cushioned By Interest Income - и к ним я откликался и тоже никто не написал.

Вообще я везде откликался в поисках самой большой зарплаты и самой интересной работы.

Почему крутые компании страдают? Я нашел ответ!

The first big takeaway from the massive recalibrations going on is that leaders dramatically overestimated tech’s pandemic-fueled boom. Even as Covid-19 shut down much of the economy, the digital realm continued to thrive. But as we know, that trend didn’t last.

The second big takeaway is that the miscalculations of Stripe and other companies can’t be pinned solely to strategy missteps over the last two years.

That’s because for the last ten years tech companies, including Snap, Meta Platforms, Google and even Stripe, have been working from a different playbook. They were minting—and spending—money at incredible rates. They massively overpaid for talent —because they could. Their margins were amazing. They acquired huge companies at high prices because what else were they going to do with all their capital?

And now the economy and investors’ fears have hit them hard. The part they don’t like to talk about so much is that the competition has also caught up with them—including many traditional companies that have become more tech savvy and efficient about serving their customers.
That seems to be a far bigger reckoning than the adjustment of growth levels post-pandemic, and it is a trend that is playing out at great speed. It’s related to the macroenvironment but it is also fa
r deeper, and its impact will be immense.

В целом нужно быть готовым ко всему, и поэтому я всегда говорил, не надо полностью доверять своему работодателю и быть супер лояльным, для них это просто бизнес, при необходимости вас сольют и скажут

In an effort to place "ВАША КОМПАНИЯ" on a healthy path, we will go through the difficult process of reducing our global workforce on Friday. We recognize that this will impact a number of individuals who have made valuable contributions to "ВАША КОМПАНИЯ" but this action is unfortunately necessary to ensure the company’s success moving forward.

Поэтому думайте прежде всего о себе и своих близких, всех хороших выходных!
👍85🍌5😢32🌭1
This media is not supported in your browser
VIEW IN TELEGRAM
И смешно и грустно, а главное это реальность наша🙃
😁61🤡30👎13🔥7🤣3🍌3🤮1💩1💯1
Все знают, что английский язык очень нужен в ИТ, так как практически все решения западные или часто мы работает в иностранных компаниях, где есть иностранцы, и наш рост зависит от английского. А сейчас еще многие собеседуются в иностранные компании.

Недавно, читал статью в Harvard Business Review, и оказалось, плохой английский один из барьеров для карьерного роста в западных компаниях. Этого нет в требования, просто так показывает практика.

Какие есть варианты учить английский?
-Курсы английского 2-3 раза в неделю по 1,5-2 часа
-Курсы английского онлайн
-Курсы английского с носителем языка онлайн, обычно 1 час, 2-3 раза в неделю
-Поехать в школу на 3-4 недели в Англию, Канаду или еще куда-нибудь
-Доп курсы английского на работе (2-3 раза в неделю по 1 часу)
-Курсы английского выходного дня
-Интенсивы
-Возможно некоторые, пользуются гипнозом.

Эти варианты, первое, что приходит на ум. Все зависит от уровня английского, и если у вас был английский в школе или в университете как обычный предмет, то значит ваш уровень английского не на высоте. Возможно вы уже приноровились читать документацию, но писать и говорить это не просто.

Как было у меня? У меня английский был в школе, потом в Университете. Я знал топики, например о России или достопримечательностях, но я не умел писать и говорил очень плохо. Вообще всем знакомо понятие языковой барьер и он действительно существует.

Я пользовался многими вариантами, которые сверху, но они давали очень низкий КПД, и главная причина это отсутсвие эффекта погружения. Когда мы занимаемся английским, мы все равно находимся мыслями в русско язычном пространстве, продолжаем думать на русском и отвлекаться. Отсюда и отсутствие результата.

Что я делал:
1)Самое крутое, что я когда-либо делал, это волонтерство через world4u ru (не знаю как теперь у них дела), я выбирал проект в Европе, и ехал на 1-2 месяца, жил в интернациональном лагере, где говорил на английском. Так я победил свой языковой барьер. Цена вопроса была - виза+билет на самолет. Друзья ездили в Штаты работать, тоже было эффективно.

2)Начиная с 2010 года я искал работу за границей, иногда случались собеседования и оттачивал терминологию и рассказ о своей профессиональной деятельности. Лучший сайт для поиска https://www.indeed.com/worldwide тут можно любую страну выбрать и вперед, так же можно посмотреть на предложения. Кстати возможно смотреть аналитику по ключевым словам, например Snowflake vs Redshift и тп.

3)Банальные вещи как: Смотрел сериалы с субтитрами, слушал подкасты, читал проф литературу на англ, было 2 репетитора по Skype носители языка (больше как подготовка к IELTS). То есть максимум языка.

Был показательный случай. Я сдал IELTS тест на 6-6.5. Мне нужно было 7 по всем предметам для Австралии. 4-ре месяца я занимался 7 дней в неделю английским, у меня были курсы на работа, просто курсы, 2 преподавателя носители языка. В таком режиме нон стоп, я был 4 месяца, и что вы думаете? Я сдал IELTS на те же балы, только письмо на пол бала выше. Это был финиш, тогда я окончательно осознал важность погружения, а все остальное очень не эффективно. В итоге, подался в Канаду, там были ниже требования:)

Эффект погружения так же важен и в программирование или изучения нового инструмента.

Кстати, если кому нужно IELTS прокачать, лучший вариант на rutracker org скачать PDF учебники по IELTS, там экзамены прошлых лет, обычно 4 экзамена в одной книге, можете попробовать свои силы. Там вообще куча материалов на английском.

Поэтому мой вам совет, если вам нужен английский, старайтесь найти вариант с полным погружением, ни одна вечерняя школа или носитель языка по скайпу вам не поможет, нужно минимум месяц куда-нибудь уехать, где нет русскоговорящих, тогда вы заполните пробелы и выйдите на новый уровень.

Еще вспомнил как ходил в Москве в английский клуб с чаем и печеньками, где на ломанном английском все общаются, на такое время лучше не тратить.

Расскажите как вы учили/учите язык?
👍72🔥104😁1🥴1
Амазон выложил в бесплатный доступ курсы по AWS https://www.amazon.com/s?i=courses&rh=p_27%3AAWS+Training+%26+Certification
80🔥24👍12
Про бесплатный доступ к курсам по AWS Амазон — короч доступно только для US.
Поэтому, врубайте ВПН на USA, заводите новый аккаунт, укажите в настройках в адресе аккаунта любой рандомный адрес в США и телефон в США.

«Купите» за $0 любой курс, нажмите Start, и потом смело вырубайте ВПН, и с обычного ip «покупайте» остальные нужные курсы за $0.

[апдейт] в комментах подсказали — «Если что новый акк не надо заводить, впн и смены адреса доставки достаточно»
24👍14
Табличка с типами данных для хранения данных, которые используются в аналитике. Какие еще есть и для чего?
👍28
Всем привет!
2022-11-10 (четверг) вебинар в 21:00 по мск
Тема: Как аналитику составить огненное 🔥 резюме и попасть в зарубежную компанию?
Ссылка на вебинар: https://youtu.be/6N7KReARb4s

Как раз актуалочка для вас (так как в чате периодически есть разговоры про работу в том числе и как устроиться в зарубежную компанию)

Рассказывает Крис - ранее тимлид команд аналитики, сейчас - ментор и автор канала Айти психолог.
За 7 лет работы в айти Крис просмотрела около пяти сотен резюме: сначала поработав аналитиком в HR бразильского стартапа, а позже как руководитель в бразильском убере и российском Яндексе.

На вебинаре мы обсудим:
- на чем в CV сделать акцент, подавая заявки за границу
- типичные ошибки или «почему ваше CV скинут в сброс даже не посмотрев»
- что актуально в CV сейчас

Будет полезно аналитикам - в первую очередь, но также и прожектам, продактам, разработчикам и всем, кто подаётся в айти компании за границу.
👍31🤮5🔥3🍓3👎1🏆1
Forwarded from Борис опять
Снова про поиск работы.

MANGA/FNAAG компании присылают кандидатам очень подробные гайды о том, как готовиться к их собеседованиям, и большинство из них можно просто посмотреть в интернете. Там и про технические вопросы, и про поведенческие, и про то, как проходить литкод. Гайды полезные для подготовки в целом, даже если не планируете идти в корпорацию монстров. Собрал некоторые в одном посте.

Google:
Общий гайд: https://careers.google.com/interview-tips/
Технический: https://techdevguide.withgoogle.com/paths/interview/?programming_languages=python

Meta:
SWE: https://www.metacareers.com/swe-prep-onsite/
DE: https://www.metacareers.com/DE-prep-onsite/

Microsoft:
Общий гайд: https://careers.microsoft.com/us/en/interviewtips

Amazon:
Общий гайд: https://www.amazon.jobs/en/landing_pages/interviewing-at-amazon
SWE: https://www.amazon.jobs/en/software-development-interview-prep?INTCMPID=OAAJAZ100026B#/

Если бы я готовился искать работу, то прошел бы технический гайд от Google или от Meta, т.к. мне кажется они максимально по делу.
🔥62👍7🤨2👏1
Вчера был замечательный день, приехал в Сиэтл с семьей, первый раз после пандемии, сходил в офис на работу, с коллегой первый вас увиделись оффлайн, который всю жизнь живет в пригороде Сиэтла.

Прийти в офис на работу, и целый день посвятить одной работе, уже роскошь, поэтому было очень приятно провести так день.

За целый день я его научил использовать dbt, snowflake, dbeaver, рассказал про terraform и airflow и помог ему сделать несколько образцовых pull request, и подарил бутылку канадского сидра.

Мы обсудили консерваторов и республиканцев, легальность оружия, свои зарплаты и тп. Разница ментальности конечно колоссальная от типичного канадца, хотя разница всего в 200км.

Вообще интересно, парень зарабатывает неплохо, а ездит на тойоте короле, которой 20лет и живет в съеме. Я уверен, что он хотел бы больше, но боится сделать шаг. И так много людей бояться желать большего.

Поэтому, никогда не надо бояться хотеть больше! Мы сами себя урезаем, всегда есть возможности, просто надо захотеть и сделать!
👍109🔥238🎉5🥱2😁1🍾1
Forwarded from { между скобок } анонсы 📣 (Grisha Skobelev)
🗓 14 ноября, 20:00 по мск “Жизнь после senior”

Обсудим карьеру разработчика после позиции Senior, разберемся, какие есть карьерные возможности и как жить вне менеджерского трека. Рассмотрим, что такое Staff+ и ответим на вопрос в чем разница между Staff+ и Senior. Также разберем типы Staff инженеров, поговорим о roadmap для Staff+ и о прохождении собеседований.

Встречаемся 14.11 в 20:00 по мск в Zoom

@backend_megdu_skobkah
👍23👎9🔥5💩4🤮2
Всем привет, хотел кратко написать про рекламу в канале. Очевидно, реклама всех бесит и ее эффективность мала, чем больше рекламы, тем хуже эффективность. Некоторых она бесит настолько, что люди уходят. Хотя, уходят чаще из-за моих постов, не связанных с аналитикой.

У меня нет цели монетизировать канал или даталерн. Самый главный бонус для меня был до 2018 - возможность слетать и выступить на конференцию в Москву. Возможно, когда-нибудь, эта опция вернется.

Если вас бесит реклама, то sorry. Но для меня это удобный вариант получать рубли и помогать племяшкам в РФ. Так что если видите рекламу, можете просто проскролить или поставить соответствующий эмоджи. Я всего лишь помогаю осваивать рекламные бюджеты😀
👍211456🔥5
Стал слушать "1984" Джорджа Оруелла. Услышал очень полезный совет - "Соблюдая маленькие правила, можно нарушать большие".

Очень полезный совет для корпоративного мира и частично отвечает на вопрос как все успевать.

А у вас какие любимые цитаты из книг? Поделитесь в комментариях.
🔥67👍12🤡8👎2
Лично я довольно далеко от крипты и так и не получилось вложиться. Из последних новостей развал биржи FTX. Так много все про это говорят, что даже стало интересно, как так произошло, и попалась простая и понятная статья - Как кудрявый пухляш сломал крипту: самая полная история краха биржи FTX

Вообще вспоминается Леня Голубков. А вы знаете такого? Вот как раз рассмотрели про развал пирамиды UST/Luna в статье «Я не халявщик, я партнер»: как обещали надежные 20% годовых в долларах на блокчейне, и почему всё развалилось

И вот еще в догонку Крах Celsius: почему даже порномодель в команде крипто-банка не поможет заработать 18% годовых

Интересно как там поживает глава Microstrategy? Бывший лидер BI. Хотя вот есть статья - MicroStrategy на грани банкротства от 6 мая, хотя компания все еще на плаву.

А есть те, кто успел вовремя выйти и заработать свой миллион?

Вот если бы были лишние деньги, я бы тоже купил биткоин, может надо сбор открыть на народный биткоин?
👍16🍌5😁3👎2😱1🌭1
Достаточно большой список англоязычных материалов, которые подходят для инженеров уровня middle+.

Если вы новичок, лучше не тратить на это время, пока что, и разобраться с простыми вещами. А по SQL использовать другие ресурсы.

Алгоритмы это вообще отдельный зверь, который не каждому понадобится. Но всем рекомендую изучить самые основа, чтобы понимать, что такое O(N), time complexity и space complexity.

По структурам данных я никогда не получал вопросов на собеседованиях, но иногда полезно понимать, какие бывают, чтобы лучше выбрать для своей задачи (если у вас есть кодинг в реальной задаче)
👍68🏆6👏1🙏1
Так как я сам когда-то "варился" в консалтинге, делал сайты для своих проектов, то всегда очень интересно смотреть на дизайн сайта схожей сферы. Раньше мне нравился сайт Slalom и Quantum Black. Но я нашел абсолютного фаворита в этой области - Montreal Analytics. Обычный бутик по BI и Data Engineering, но с очень креативным дизайнером.

Если говорить про мой опыт, то сайт это вообще последнее, что влияет на эффективность консалтинга и привлечение клиентов, но если он есть, да еще такой красивый, то почему бы и нет.

А вот история про мой консалтинг. Отчасти сайт еще делает свою работу, часто люди в Канаде пишут, что там работают, и я, как директор даты, подтверждаю их работодателю, когда мне звонят или пишут. Работает безотказно.
🔥18👍61