Алгоритмы и структуры данных

Два учебных модуля:
1️⃣ Нотация Big-O, оценка сложности алгоритмов
2️⃣ Базовые структуры данных

Когда:
🗓 По четвергам, 07.12.2023 и 14.12.2023
🕓 17:00 - 20:00 (Москва) / 20:00 - 23:00 (Алматы/Астана)

Инструктор: Саша Климов, ML Engineer @ Ebay
Гуру MLOps и выпускник МФТИ. В прошлом, Саша работал в Альфа-Банке, в отделе CRM, где выстроил всю MLOps архитектуру.

Список любимых инструментов (из популярных): Python, Kubernetes, Airflow, базы данных (включая векторные).

Если вам было страшно начать погружение в мир оценки сложности алгоритмов, то приходите послушать теорию с понятными примерами из практики.

Три пакета участия:
1. 🧑‍💻 полный (ДЗ, обратная связь, общий чат)
🔥 доступно только 4 места в учебной группе
2. 🎁 выпускник курсов BigData Team
скидки до 40% и возможность записаться на 1 или 2 модуля
3. 👀 посмотреть
- доступ только к Zoom-сессиям

Подробная информация по стоимости и правилам подачи заявки - под катом.

🧑‍🏫👩‍🏫 Data Engineer, готовимся к собеседованию

На выпускном Практического курса по Big Data прозвучал хороший вопрос: на что обратить внимание при подготовке к собеседованию на роль Data Engineer'а.

Решили поделиться с вами нашими рекомендациями:
1️⃣ Понимание принципов Map Reduce
2️⃣ Понимание принципов работы Spark и опыт работы с ним
3️⃣ Качество написание кода на Python (aka промышленная разработка)
4️⃣ SQL и SQL поверх Big Data (e.g. Hive)
5️⃣ Понимание принципов работы Kafka (обработка данных в Near Real-Time, NRT)

На TOP-5 остановиться невозможно, поэтому продолжаем:
6️⃣ Принципы работы NoSQL (CAP, денормализация данных)
7️⃣ Оркестрация экспериментов, Airflow
8️⃣ Оркестрация окружений, Docker, Kubernetes
9️⃣ Кейсы из жизни (e.g. оптимизация пайплайнов)
🔟 Soft Skills

Как говорится: last but not least, поэтому касательно последнего пункта намекнем на то, что вас хорошенько могут проверять на соответствие принципам компании по ходу технического собеседования:
- см. например Amazon Leadership Principles
- и присмотри себе в библиотеку книгу Cracking the Coding Interview: 189 Programming Questions and Solutions

Полезно? Ставь лайк и делись с друзьями 😉
Всем удачных собеседований!

BigData Team: the way you learn best
#work #study

🤡 Пятница

Если вам не подходит JSON для организации данных, то возможно вам подойдет ...

Прошлый выпуск: плохие практики от руководителя инфраструктуры BigData Team.

Как всегда, приветствуются лайки 🔥 и комментарии, заряжаемся пятничным настроением.

#meme

😳 Как говорится "нет времени объяснять..."

🎁😍 Очень, очень приятно, что наши курсы дарят в качестве подарка на Новый Год.

До чего это довело:
🔥 Разобрали все места на январском курсе промышленной разработки на Python и уже резервируют места на набор в июне!

Тем временем, мы подводим итоги года, осталось подвести итоги последнего курса (Python для анализа [больших] данных) и можно готовиться к Новому Году 🌲⛄️🍾

#work #study

▶️🎙 Tech Orda, развитие человеческого капитала в сфере IT

Пока ваш организм еще переваривает оливье, предлагаю послушать про опыт прошлых лет и перспективы обучения при поддержке государства в 2024.

Жақажанов Бахытжан, CEO Product Bee
Сансызбай Алиби, CEO Outpeer
Алексей Драль, CEO BigData Team
Ведущий: Данай Даиров, главный менеджер офиса программ финансирования

Ссылка на ролик на YouTube:
▶️ https://youtu.be/_UIvrDivOG4?feature=shared

P.S. буду благодарен, если кто-нибудь скинет time-коды для аннотации видео (обновим пост)

#work #study

🎬🎄 Продлеваем новогоднее настроение

У нас уже была подборка мультфильмов (рекомендации наших слушателей), которые можно пересматривать бесконечно. Если вы уже посмотрели все, то ловите новую: мультфильмы, которые продлят ваше новогоднее настроение и помогут верить в чудеса!

❄️ 101 далматинец
❄️ Питер Пен
❄️ Эрнест и Селестина
❄️ Бесподобный мистер Фокс
❄️ Хранители снов
❄️ Кошмар перед Рождеством
❄️ Маленький принц
❄️ Короткометражные мультфильмы Варежка, Котенок Гав и Щелкунчик.

Они погружают в такое мягкое и беззаботное время, когда все вокруг - невероятная сказка!

Смотрели что-нибудь из этой подборки? Пишите в комментариях, что больше всего тронуло вашего внутреннего ребенка.

P.S. Создатель подборки большой фанат старых и коротких мультфильмов 🤗

🌐 ✍️🫱🏻‍🫲🏾 Чек-лист посещения конференции

https://vc.ru/hr/995535-chek-list-poseshcheniya-konferencii

Мне недавно задали вопрос:
❓Я никогда не ходил(а) на конференции. Как это правильно делать?

Bullet points:
* Чек-лист слушателя
* Чек-лист спикера
* Чек-лист неправильного досуга
* Чек-лист правильного досуга
* 2 пасхалки
* предложения по развитию темы про конференции

Если материал полезный - накидайте emoji и комментариев. Тизер из статьи на фото.

#work #study

🛠 news: проблема отображения сертификатов

Наблюдается проблема с отображением электронных сертификатов на сайте (см. скрин). Вернемся с отдельным анонсом, как только ситуация будет исправлена.

Просим сохранять спокойствие и в случае острой необходимости расслабиться и полистать вредные заметки от руководителя инфраструктуры.

✅🛠 news: сертификаты снова доступны

Downtime отображения сертификатов составил 2 дня

Long story short:
- напоролись на Cross-Origin Read Blocking (CORB)
- подняли новый Nginx сервис для выдачи сертификатов
- сделали миграцию данных со старого сервиса на новый
- прикрутили на сайте выдачу сертификатов через новый сервис
- ...
- PROFIT

Картинка для хорошего настроения в пятницу и выходные.
- понравилось - жми лайк
- есть время для просвещения - почитай про CORB
- хочешь получить красивый сертификат - тебе сюда 😉

👩‍💻 Выпускники, карьерные истории, продвинутый поток

В начале декабря мы делились историями успехами некоторых выпускников: карьерные истории 2023

Как вы догадываетесь, это только начало истории. По запросу организаторов грантовой программы Tech Orda (Astana Hub) делимся результатами обучения по нашей продвинутой программе обучения BDE++.

А также продолжаем собирать обратную связь в комментариях о самых интересных для вас карьерных историях успеха. Что звучит наиболее интересным, переход c Junior до Middle или с Middle до Senior?

Ставь ❤️ в первом случае и ❤️‍🔥 во втором.

#work #study #BigDataTeam #TechOrda #AstanaHub

🖼👽 Генеративный дизайн для вашей бабушки, Google Gemini

https://vc.ru/services/1028493-generativnyy-dizayn-dlya-vashey-babushki-google-gemini

❓Надоело пользоваться VPN, платными подписками, скачивать предобученные модели или обучать родственников подписываться на рекламные каналы в телеграм, чтобы получить доступ к сервисам по генерации изображений с помощью нейронок?

Мне тоже, поэтому я решил поделиться лайфхаками по использованию Google Gemini. В статье вы узнаете:
* откуда ноги растут
* подводные камни и лайфхаки использования
* немного ликбеза про известные проблемы нейронок (prompt engineering и галлюцинации)
* и, конечно же, пошаговый план для генерации собственных изображений на русском языке (без регистрации и смс)

Тизеры из статьи на фото.

🔥 Да наступит в комментариях межгаллактический кулинарный battle. Ваш ход!

#work #life #study

🔬 Новости науки и техники, обзор LLM, arXiv

Large Language Models: A Survey
https://arxiv.org/pdf/2402.06196.pdf

by Shervin Minaee, Tomas Mikolov, Narjes Nikzad, Meysam Chenaghlu Richard Socher, Xavier Amatriain, Jianfeng Gao

Почему стоит обратить внимание на эту статью: Томас - один из авторов word2vec, подхода, который перевернул мир NLP в 2013-м (42k цитирований), а за свою научную карьеру собрал уже более 100k цитирований.

Сравним: Yann LeCun, лаурет премии Тьюринга за нашумевшие нейронки, имеет 3 статьи с количеством цитирований более 10k. Один из ведущих ученых по рекомендательным системам, Joe Konstan, - всего одну и до 100k публикаций еще не добрался.

Структура статьи:
* Large Language Models
* How LLMs are built
* How LLMs are used and augmented
* Popular datasets for LLMs
* Prominent LLMs’ performance on benchmarks
* Challenges and future directions

Налетай, торопись, покупай изучай живопись! (классика жанра)

Выделен еще один автор, why? 🤔

За лайк и репост в карму плюс 🤗

#study #work

🎂 Волшебному змию автоматизации интернета 33 годика

❗️Языку разработки Python стукнуло 33 года (см. Wikipedia). Чуть не пропустили, благо подсказал товарищ на LinkedIn.

Я обожаю Python. Поэтому только из тех репозитариев компании, которые у меня под рукой (рабочие проекты после обновления ноута), более 50k строк кода на Python:

workspace$ find . -name "*.py" | xargs wc -l | tail -1
  52036 total

Давайте в комментариях каждый поделится своим уровнем питонячести и репозиторием Python, который он любит. У нас, как вы можете догадаться, довольно много NDA, поэтому я могу поделиться только учебным курсом по Python на GitHub: https://github.com/big-data-team/python-course

А по ссылке выше (LinkedIn) товарищ делится крутым репозиторием по LLM авторства Андрея Карпатого.

Лайки и репосты - как всегда приветствуются 😉

#study #work

📚 Классы и ООП, полезные материалы

Было несколько запросов в фидбеках на полезные материалы по классам и ООП. Мы проводим занятие по ООП в рамках подготовительного курса Python для анализа [больших] данных, Py4BDA
🗓 23.09.2024 - 16.12.2024, полное описание

Для тех, кто желает прокачаться прямо сейчас (не дожидаясь сентября), мы подготовили список ресурсов, с учетом специфики Python и разного уровня подготовки.

🟢 beginner level
- Классы в Python
- Про ООП от Real Python

🟡 intermediate level
- Спецификация @property
- Управление доступа к атрибутам с помощью @property
- Спецификация Python: Data model
- Python's Mutable vs Immutable Types: What's the Difference?

🔴 advanced level
- Python Descriptors: An Introduction
- Descriptor HowTo Guide

Лайфхаки:
- Перегрузка функций (подсказки типов данных в IDE)

Спасибо за вопросы и удачного погружения в тематику. Если полезно, то сохрани на память, поставь 🔥 и перешли коллегам.

BigData Team: the way you learn best
#work #study

📚 SDE Best Practices: поведение vs реализация

На курсе промышленной разработки на Python задают много крутых вопросов. Продолжаю делиться ответами на некоторые из них.

❓Вопрос: должен ли класс реализовывать метод __eq__?

Рекомендую взять в практику тезис:

следует тестировать поведение, а не реализацию

Рассмотрим реализацию класса Point с атрибутами x и y:

class Point:
    def __init__(self, x, y):
        self.x = x
        self.y = y

Создадим объекты класса a и b:

a = Point(x=1, y=2)
b = Point(x=1, y=2)

Вопрос: как вы будете проверять, что объекты равны?

Логичный ответ:

a == b

// это была проверка поведения

Вы не будете проверять:

a.x == b.x and a.y == b.y

// это была бы проверка реализации

Тесты вашего приложения должны быть наполнены проверкой поведения, а не реализации. В этом случае код будет гораздо легче поддерживать и обновлять.

Вернемся к оригинальному вопросу: если не реализовать метод __eq__, то будут объекты a и b будут неравны. Почему? Какое поведение __eq__ по умолчанию?

#work #study

😴 Плохие практики от руководителя инфраструктуры

Заряжаемся настроением на выходные. Лайки 🔥 и комментарии, приветствуются.

👉 прошлый выпуск

#meme