Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
В чатике Инжиннирг Данных мы обсуждали Data Mesh, и Никита Бабуров скинул несколько хороших вводных материалов по этой теме:

Как с помощью Data Mesh разломать ваше DWH — Евгений Ермаков, Яндекс GO

Introduction to Data Mesh with Zhamak Dehghani

Data Mesh in Practice - Max Schultze

Ну и книга Data Mesh (есть pdf? кидайте в комменты)

Статья, которая легла в основу книги https://martinfowler.com/articles/data-monolith-to-mesh.html


Мне не доводилось внедрять дата меш, как я понимаю это для крупных компаний, у кого уже безнадега в аналитическом (их) решении(ях), то им самое время задуматься о таком концепте и начать думать о своих данных как о продукте.

Как вы понимаете data mesh?
👍20🤬2
У Microsoft прошла их главная конференция Microsoft Ignite. И конечно есть видео, где расскажут все, что касается аналитических решений.

https://youtu.be/IN1xNRFX3ic
👍2
Прошло мое выступление на SmartData с докладом Инжиниринг Данных в Microsoft, 45 слайдов за 45 минут и даже время осталось на вопросы🤗

Рассказал вкратце про задачи аналитики и инжиниринга данных, про трудоустройство, про проекты за 2 года в играх, и про специфику инструментов и технологий.

Организация конференции очень хорошая, надеюсь когда-нибудь смогу приехать и рассказать что-нибудь со сцены. Рано или поздно будет запись и я смогу поделиться.

PS кепка прям поспела за день до конференции:)
🔥68👍26
Forwarded from Data Apps Design (Artemiy Kzr)
Databricks + Wheely Proof of Concept

I will be assessing Databricks as our new data platform (to succeed AWS Redshift)

– Requirements to E - L - T
– Current setup description
– Proof of Concept plan

Desired business impact:

– Cost effective (at least compared to what we currently spend on AWS Redshift reserved flat rate)
– Performance gains desired
– Extended features support (H3, in-database ML, Advanced analytics, ...)
– Access to ecosystem (docs, solutions, code examples, how-to guides)
– Democratization of access to data and data-related services: built-in Notebook experience
– No degradation (performance, outage, timeouts, job failures) in comparison with current state
👍5🤔41
А вот еще интересные новости про Databricks - Databricks Is Trimming Its Valuation While Other Startups Are Slashing Theirs, Snowflake уже публичная компания и они упали на 44 процента с прошлого года, а Darabricks еще не публичная, и каждый год стартапы заполняют форму 409 А, в которой производится оценка компании и пересчитывается цена акции

Valuation in most recent funding round: $38 billion (August 2021)

Public market comp: Snowflake, down 44% since August 2021

Last 409A common share price: $55.77, down 7% from last year

Last valuation implied by 409A: $31 billion

Fidelity share price: Cut Series H shares by 33% to $48.68 as of May

Вообще это хороший показатель, значит Databricks действительно оправдывает ожидание клиентов и это хорошая технология. Поэтому пост выше про Wheely я могу лишь только их поддержать, так как сам работал 2 года с Databricks и мне решение понравилось. Единственный недочет был это локальная разработка без ноутбуков.
👍8
Давайте проведем опрос, кто сколько получает на руки в месяц в рублях или долларах (курс 60р). Понятно, что и цены разные везде, но все равно интересно посмотреть распределение. Можете в комментах писать сколько в месяц на руки, страну и чем занимаетесь:)
Anonymous Poll
8%
Безработный
4%
Студент
7%
До 60т (1к$)
25%
60т-120т(1к$-2к$)
26%
180-240т(3т$-4т$)
22%
240т-480т(4т$-6т$)
4%
480т-720т(6т$-8т$)
2%
720т-1млн20т(8т$-13т$)
0%
1млн20т-1.5млн (13т$-18т$)
1%
1.5млн+ (18т$+)
👍3
В воскресенье — новый выпуск «Исповеди аналитика»

Говорить будем с Дмитрием Аношиным, крутым экспертом по аналитике и инжинирингу данных.

Больше 12 лет Дмитрий создает аналитические решения. Работал в Amazon, Microsoft Xbox и других топовых по мировым меркам командах. Уже 7 лет он живет и работает в Канаде, до этого — в Черногории и Москве.

Дмитрий написал несколько книг по аналитике, обучает облачным вычислениям в The University of Victoria и ведет свой Телеграм-канал @rockyourdata.

А еще он делится опытом и знаниями на datalearn.ru — получить навыки по аналитике и инжинирингу данных там можно бесплатно.

Уверен, разговор будет интересным. Эфир пройдет на моем YouTube-канале в это воскресенье, 23 октября, в 18:00 по Москве. Подписывайтесь и жмите на колокольчик, чтобы не пропустить! Ну а пока есть время подписаться на канал Дмитрия и посмотреть его курсы.

Подпишитесь на уведомления и мы напомним вам о вебинаре по почте - https://alexkolokolov.com/ru/confession#reg
🔥43👍21
Очень приятное, и поучительное чтиво перед началом выходных! Самое интересное, что есть прямая корреляция между опросом я проводил и идеями в статье.

Опрос вообще тянет на целую статью на хабре, начинаю от банальных ошибок в вопросе и восприятии цифр, элементарной невнимательности и лени автора для перепроверки написанного, невнимательности большинства отвечающих (как раз идея think fast and slow) и путей к высоким заработкам, а главное, что делать с деньгами, как планировать цели и перестать верить в чудеса карьерного роста. Ну и вообще понятно, что если поднапрячься можно по всему миру получать сносные деньги за интересную работу.
👍25
😁81🔥10👏1
Forwarded from HR хроники
Платформы для поиска удаленной работы и заказов.

Огромное количество людей добровольно или вынуждено выбирают удалённую работу или подработку, хотя это конечно же подходит далеко не всем специальностям.

Указанные ниже платформы - агрегаторы заказов и услуг, предлагают фрилансеру широкое разнообразие форматов взаимодействия и
большое количество заказов с возможностью работы из любой точки мира.

Мой слабый испанский заставил меня подробно изучить данный вопрос, и свои находки я предлагаю вам в виде списка:

📌 Flexjobs.com
⁃ это один из самых известных веб-сайтов. На сегодняшний день порядка 6000 компаний предлагает 27 000 заказов (из них почти 2000 - это HR- заказы). Там можно найти предложения о работе на полный рабочий день, а также внештатные проекты и подработку.

📌 PeoplePerHour.com
- это английская платформа, которая связывает компании с фрилансерами для работы в Интернете. Типа посредника.

📌 Weworkremotely.com
⁃ один из лучших веб-порталов для удаленной работы. Очень простой в обращении и с доступом к списку, в котором можно узнать все предложения.

📌 Careerbuilder.com
- в основном американский поисковик работы и проектов, но также позволяет получить доступ к предложениям о работе практически во всем мире.

📌 Toptal.com
- рынок труда, который соединяет фрилансеров со стартапами и компаниями в Кремниевой долине, а также за ее пределами.

📌 Digitalnomads.world :
- это не про проекты, а про жизнь в формате цифровых кочевников - расширенный список возможностей, лайфхаки и поддержка сообщества по всему миру.

📌 Onlineprojects.ru
- на ресурсе есть актуальный список российских бирж фрилансеров, все ссылки кликабельны. Заказов HR не много, но они есть!

И в качестве бонуса (вдруг кому-то пригодится), для испаноязычных есть
📌 RemotoJob.com
⁃ это сообщество профессионалов, работающих удаленно с доступом к предложениям удаленной работы и заказам.

Регистрация на всех ресурсах простая, также есть возможность без регистрации просто посмотреть какие заказы есть, какие требования предъявляются и какие деньги предлагаются.

Кстати, не для всех из них нужно знание языка, есть заказы и на русском. К тому-же любой сайт открывается в режиме онлайн перевода)
👍31🔥8
Ребята в посте снизу постарались собрать список бесполезных курсов, которые еще и дают бесполезный диплом😜 и главное за конский ценник.
😁21
Forwarded from Data & IT Career
Собрали для вас обучающие онлайн-программы в области анализа данных, после обучения на которых можно получить официальный документ - диплом о профессиональной переподготовке.

Яндекс Практикум
Курс «Аналитик данных»
Курс «Аналитик данных плюс»
Буткемп "Аналитик данных"
Курс «Специалист по Data Science»
Курс «Специалист по Data Science плюс»
Буткемп "Специалист по Data Science"
Курс «Инженер данных»
Курс «Системный аналитик»

Нетология
Аналитик данных
Аналитик данных с нуля до middle
Data Scientist
Data Scientist: старт в профессии
Data Scientist с нуля до middle
Машинное обучение
Дата-инженер с нуля до middle
Аналитик BI
Аналитик BI с нуля до middle
Продуктовый аналитик: с нуля до middle
Системный аналитик
Системный аналитик с нуля до middle
DataOps-инженер
Дата-журналист: истории, основанные на данных

SkillFactory
Полный курс по анализу данных
Профессия "Аналитик данных"
Полный курс по Data Science
Профессия "Data Scientist"
Специализация «Продуктовая аналитика»
Курс Маркетолог-аналитик

GeekBrains
Специалист по аналитике
Аналитик больших данных
Инженер-аналитик
Инженер-аналитик Мастер
Инженер-аналитик PRO
Data Science
Data Science в медицине
Инженер Искусственного интеллекта
Продуктовый аналитик
Бизнес-аналитик
Бизнес аналитик в ИТ
BI (Business Intelligence) аналитик
Аналитик коммерческих данных
Системный аналитик

Skypro
Аналитик данных

Otus
Специализация "Machine Learning"
Специализация "Системный аналитик"

#DA #курсы #paid 💸 #диплом
🔥19👍11🤬8😁4
Common table expressions, они же CTE в SQL, используются в dbt для запуска sql model (запроса). Много пишут про их неэффективность и деградацию скорости. Вот еще один пример стати на эту тему https://techwithadrian.medium.com/the-hidden-risk-of-using-ctes-53b241e256b2
🤔6😁2
По отзывам очень хорошая книга - Calling Bullshit: The Art of Skepticism in a Data-Driven World

Bullshit isn't what it used to be. Now, two science professors give us the tools to dismantle misinformation and think clearly in a world of fake news and bad data.

Посвящается всем, кто работает с данными. Если есть Pdf присылайте в комменты.
👍28
Сегодня задался простым вопросом, продавать ли акции Microsoft, их цена почти 250 US$ или не продавать, хотя бы просто иметь кеша на черный день, потому что большинство технологических стоков уже не очень ликвидны. Например, я упусти момент когда нужно было продавать акции Амазон по 3600$, но кто мог подумать, что это будет максимум😏 Одно меня точно радует, что в последние 2 года у меня не было лишних денег на крипту.

Сегодня искал на reddit ответ на свой вопрос и не нашел, зато нашел интересный пост - Should I sell my microsoft stock and buy PLTR? 2х летней давности. В комментариях с умным видом говорил о том, что надо покупать PLTR акции, компания топчик и будет расти. Потом я посмотрел, сколько же сейчас они стоят - 8$, а были 35$. Поэтому совет оказался не очень. Я сам год назад такие советы всем раздавал😄

Сегодня попалась еще одна интересная новость - Apple, Microsoft and Alphabet Grapple With Bond Investment Losses в которая говорят о крупных компаниях, которые теряют деньги.

Как у вас настрой? Как с финансовым планированием? Насколько вы оптимистично настроены?
👍11😁10
😁58🔥22🤬9👍2😢2
Forwarded from KD
FREE UDEMY Course - Snowflake SnowPro Core Certification Practice Exam
(For the first 1000 enrollments only)

Grab the highest rated UDEMY Course on Snowflake Core Certification!

Enrollment Link :

https://www.udemy.com/course/snowflake-snowpro-certification-practice-questions/?couponCode=24EFD9D9E223CEA84BDE

Happy Learning !
Online Snowflake Training 
8👍6
Forwarded from Sergey Gromov
Коллеги, радостная новость - несмотря на турбулентность наша команда выпустила ETL-круг Громова 2022 &Connectors - исследование русских ETL-инструментов, API и коннекторов, российское ПО бизнес-аналитики (включая open-source инструменты)
Его уже получили все, кто зарегистрировался на https://russianbi.ru/ и теперь мы его отправляем стандартно при регистрации.
В скором времени выйдет СУБД-круг. Остаемся на связи и всем успешных внедрений!
👍14😁11🤔3😢2💩2🔥1🤩1🤮1
Forwarded from Data & IT Career
Работа на российскую компанию из-за рубежа: нюансы и риски
https://t.me/foranalysts/4882
https://vc.ru/hr/525349-rabota-na-rossiyskuyu-kompaniyu-iz-za-rubezha-nyuansy-i-riski
https://t.me/dataengineering_chat_ru/55993
😁8👍7😢1💩1