Инжиниринг Данных
23.5K subscribers
1.98K photos
56 videos
192 files
3.2K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Forwarded from HR хроники
Платформы для поиска удаленной работы и заказов.

Огромное количество людей добровольно или вынуждено выбирают удалённую работу или подработку, хотя это конечно же подходит далеко не всем специальностям.

Указанные ниже платформы - агрегаторы заказов и услуг, предлагают фрилансеру широкое разнообразие форматов взаимодействия и
большое количество заказов с возможностью работы из любой точки мира.

Мой слабый испанский заставил меня подробно изучить данный вопрос, и свои находки я предлагаю вам в виде списка:

📌 Flexjobs.com
⁃ это один из самых известных веб-сайтов. На сегодняшний день порядка 6000 компаний предлагает 27 000 заказов (из них почти 2000 - это HR- заказы). Там можно найти предложения о работе на полный рабочий день, а также внештатные проекты и подработку.

📌 PeoplePerHour.com
- это английская платформа, которая связывает компании с фрилансерами для работы в Интернете. Типа посредника.

📌 Weworkremotely.com
⁃ один из лучших веб-порталов для удаленной работы. Очень простой в обращении и с доступом к списку, в котором можно узнать все предложения.

📌 Careerbuilder.com
- в основном американский поисковик работы и проектов, но также позволяет получить доступ к предложениям о работе практически во всем мире.

📌 Toptal.com
- рынок труда, который соединяет фрилансеров со стартапами и компаниями в Кремниевой долине, а также за ее пределами.

📌 Digitalnomads.world :
- это не про проекты, а про жизнь в формате цифровых кочевников - расширенный список возможностей, лайфхаки и поддержка сообщества по всему миру.

📌 Onlineprojects.ru
- на ресурсе есть актуальный список российских бирж фрилансеров, все ссылки кликабельны. Заказов HR не много, но они есть!

И в качестве бонуса (вдруг кому-то пригодится), для испаноязычных есть
📌 RemotoJob.com
⁃ это сообщество профессионалов, работающих удаленно с доступом к предложениям удаленной работы и заказам.

Регистрация на всех ресурсах простая, также есть возможность без регистрации просто посмотреть какие заказы есть, какие требования предъявляются и какие деньги предлагаются.

Кстати, не для всех из них нужно знание языка, есть заказы и на русском. К тому-же любой сайт открывается в режиме онлайн перевода)
👍31🔥8
Ребята в посте снизу постарались собрать список бесполезных курсов, которые еще и дают бесполезный диплом😜 и главное за конский ценник.
😁21
Forwarded from Data & IT Career
Собрали для вас обучающие онлайн-программы в области анализа данных, после обучения на которых можно получить официальный документ - диплом о профессиональной переподготовке.

Яндекс Практикум
Курс «Аналитик данных»
Курс «Аналитик данных плюс»
Буткемп "Аналитик данных"
Курс «Специалист по Data Science»
Курс «Специалист по Data Science плюс»
Буткемп "Специалист по Data Science"
Курс «Инженер данных»
Курс «Системный аналитик»

Нетология
Аналитик данных
Аналитик данных с нуля до middle
Data Scientist
Data Scientist: старт в профессии
Data Scientist с нуля до middle
Машинное обучение
Дата-инженер с нуля до middle
Аналитик BI
Аналитик BI с нуля до middle
Продуктовый аналитик: с нуля до middle
Системный аналитик
Системный аналитик с нуля до middle
DataOps-инженер
Дата-журналист: истории, основанные на данных

SkillFactory
Полный курс по анализу данных
Профессия "Аналитик данных"
Полный курс по Data Science
Профессия "Data Scientist"
Специализация «Продуктовая аналитика»
Курс Маркетолог-аналитик

GeekBrains
Специалист по аналитике
Аналитик больших данных
Инженер-аналитик
Инженер-аналитик Мастер
Инженер-аналитик PRO
Data Science
Data Science в медицине
Инженер Искусственного интеллекта
Продуктовый аналитик
Бизнес-аналитик
Бизнес аналитик в ИТ
BI (Business Intelligence) аналитик
Аналитик коммерческих данных
Системный аналитик

Skypro
Аналитик данных

Otus
Специализация "Machine Learning"
Специализация "Системный аналитик"

#DA #курсы #paid 💸 #диплом
🔥19👍11🤬8😁4
Common table expressions, они же CTE в SQL, используются в dbt для запуска sql model (запроса). Много пишут про их неэффективность и деградацию скорости. Вот еще один пример стати на эту тему https://techwithadrian.medium.com/the-hidden-risk-of-using-ctes-53b241e256b2
🤔6😁2
По отзывам очень хорошая книга - Calling Bullshit: The Art of Skepticism in a Data-Driven World

Bullshit isn't what it used to be. Now, two science professors give us the tools to dismantle misinformation and think clearly in a world of fake news and bad data.

Посвящается всем, кто работает с данными. Если есть Pdf присылайте в комменты.
👍28
Сегодня задался простым вопросом, продавать ли акции Microsoft, их цена почти 250 US$ или не продавать, хотя бы просто иметь кеша на черный день, потому что большинство технологических стоков уже не очень ликвидны. Например, я упусти момент когда нужно было продавать акции Амазон по 3600$, но кто мог подумать, что это будет максимум😏 Одно меня точно радует, что в последние 2 года у меня не было лишних денег на крипту.

Сегодня искал на reddit ответ на свой вопрос и не нашел, зато нашел интересный пост - Should I sell my microsoft stock and buy PLTR? 2х летней давности. В комментариях с умным видом говорил о том, что надо покупать PLTR акции, компания топчик и будет расти. Потом я посмотрел, сколько же сейчас они стоят - 8$, а были 35$. Поэтому совет оказался не очень. Я сам год назад такие советы всем раздавал😄

Сегодня попалась еще одна интересная новость - Apple, Microsoft and Alphabet Grapple With Bond Investment Losses в которая говорят о крупных компаниях, которые теряют деньги.

Как у вас настрой? Как с финансовым планированием? Насколько вы оптимистично настроены?
👍11😁10
😁58🔥22🤬9👍2😢2
Forwarded from KD
FREE UDEMY Course - Snowflake SnowPro Core Certification Practice Exam
(For the first 1000 enrollments only)

Grab the highest rated UDEMY Course on Snowflake Core Certification!

Enrollment Link :

https://www.udemy.com/course/snowflake-snowpro-certification-practice-questions/?couponCode=24EFD9D9E223CEA84BDE

Happy Learning !
Online Snowflake Training 
8👍6
Forwarded from Sergey Gromov
Коллеги, радостная новость - несмотря на турбулентность наша команда выпустила ETL-круг Громова 2022 &Connectors - исследование русских ETL-инструментов, API и коннекторов, российское ПО бизнес-аналитики (включая open-source инструменты)
Его уже получили все, кто зарегистрировался на https://russianbi.ru/ и теперь мы его отправляем стандартно при регистрации.
В скором времени выйдет СУБД-круг. Остаемся на связи и всем успешных внедрений!
👍14😁11🤔3😢2💩2🔥1🤩1🤮1
Forwarded from Data & IT Career
Работа на российскую компанию из-за рубежа: нюансы и риски
https://t.me/foranalysts/4882
https://vc.ru/hr/525349-rabota-na-rossiyskuyu-kompaniyu-iz-za-rubezha-nyuansy-i-riski
https://t.me/dataengineering_chat_ru/55993
😁8👍7😢1💩1
🔥37😁16👍31🤔1
Мы слышали про lake house подход много раз, где существует 3 основных решения - Delta Lake, Hudi, Iceberg.

Я работал 2 года с Delta Lake, так как использовал Databricks (Spark), именно они и contribute into delta lake.

А вот интересная статья про работу и использование Apache Iceberg https://medium.com/insiderengineering/apache-iceberg-reduced-our-amazon-s3-cost-by-90-997cde5ce931
🔥11👍7
🔥32👍17
Кстати в продолжения темы про продажу стоков. Очень не хотелось продавать в тот день, так как все росло.
Напомню, Microsoft стоил - 247US$, Amazon - 120US$. Но я решил продать и не ждать уже ничего, хотя здравый смысл говорил об обратном. И даже на след день все подорожало на 2$ после продажи. А еще через день все компании объявили о своих доходах за квартал, все недобрали и все упало, теперь Microsoft - 226US$, Amazon - 110US$. Все логично, либо продавайте как есть, либо ждите несколько лет.
🔥11😢6👍3
Накопилось несколько полезных ссылок по dbt:
Data Engineering with Snowpark Python and dbt - это, как я понимаю, новинка😁

Complexity: the new analytics frontier - dbt уже 6 лет +, обзор того, как это было и как сейчас

How we structure our dbt projects - классика, как нужно все организовывать в dbt проекте

dbt(Data Build Tool) Tutorial - tutorial по dbt. Я уже год с dbt работаю, уже могу и сам учить😊 но вы же знаете что это будет дорого и долго🙈

The Most Efficient Way to Organize Dbt Models - еще одна статья про то, как нужно делать правильно. А то они не знают - "Нормально делай, нормально будет"!😚

dbt Style Guide - ну а если вы на стиле, как я🕺🏻, то тут можно посмотреть стильные гайды.
👍23😁3🎉31
Forwarded from Nikita Baburov
😢31😁15🤔53👍2
Forwarded from nonamevc
Венчурный капиталист Томаш Тунгуз (Tomasz Tunguz) поделился прекрасным постом по итогам конференции Monte Carlo
про будущее дата-индсутрии на 2023 год.

Томаш как-то объявил, что в 2020 году мы вошли в декаду дату-стартапов и последовательно развивает этот тезис в своем блоге. За последние пару лет его работодатель, VC фонд, Redpoint Ventures проинвестировал в HEX, ClickHouse, Materialize, Monte Carlo, Omni. Большинство этих сделок лидидровал Томаш, так что прислушаться к его советам стоит.

Главные тезисы:

1. В 2021 году стартапы в области данных привлекли в общей сложности более $60 млрд, что составляет более 20% от всех венчурных долларов в мире.

2. Облачные хранилища данных (DWH) будут отвечать за 75% рабочих нагрузок (workloads) к 2024 году. За последние пять лет облачные DWH выросли с обработки 20% workloads до 50%. Оставшуюся часть составляют локальные базы данных. За это время объем отрасли вырос с $36 млрд до $80 млрд.

3. Workloads, связанные с данными, разделяются на три группы. In-memory бд, такие как DuckDB, будут доминировать в локальном анализе даже весьма массивных файлов. DWH сохранят классическое применение в BI и аналитике. Data lakes данных будут обслуживать таски, работающие с обработкой массивных данных, но которым не требуется высокая latency - и делать это за половину стоимости хранения.

4. Metrics layers объединит стек данных. Сегодня существует два разных направления в работе с данными – BI и машинное обучение. В первом случае мы используем ETL для перекачки данных в DWH, затем в BI или инструмент исследования данных. Отличие процессов машинного обучения том, что на выходе – обслуживание модели и обучение модели. Metrics layers станет единым местом определения метрик и характеристик, объединяя стек и потенциально перемещая обслуживание и обучение моделей в базу данных.

5. Большие языковые модели изменят роль инженеров по обработке данных. Здесь Томаш восхищается Copilot и верит, что подобные технологии, продвинут работу по проектированию данных на более высокий уровень абстракции.

6. WebAssembly (WASM) станет неотъемлемой частью приложений для работы с данными для конечных пользователей. WASM - это технология, которая ускоряет работу по браузера. Страницы загружаются быстрее, обработка данных происходит быстрее, а пользователи становятся счастливее.

7. Ноутбуки завоюют 20% пользователей Excel. Из 1 млрд. пользователей Excel в мире 20% станут пользователями, пишущими на Python/SQL для анализа данных. Эти блокноты станут приложениями для работы с данными, используемыми конечными пользователями внутри компаний, заменив хрупкие Excel и Google Sheets.

8. SaaS-приложения будут использовать облачные DWH в качестве бэкенда для чтения и записи (см.статью выше). Сегодня данные о продажах, маркетинге и финансах хранятся в разрозненных системах. Системы ETL используют API для передачи этих данных в DWH для анализа. В будущем программные продукты будут создавать свои приложения на базе DWH, чтобы воспользоваться преимуществами централизованной безопасности, ускорения процессов закупок и смежных данных. Эти системы также будут записывать данные в DWH.

9. Data Observability становится обязательным условием. Команды по работе с данными будут согласовывать показатели времени безотказной работы/точности данных. Сегодня команды по работе с данными сталкиваются с 70 инцидентами на 1000 таблиц.


@mobilefirstasia
👍46🔥2