👨‍💻 О Data Engineer'ах

Кто такой Data Engineer, откуда взялся и чем занимается — смотрите в видео. А если хотите стать дата-инженером сами, то не упустите шанс попасть на последний запуск 2025-го года в формате Full (с менторской поддержкой).

Практический курс по Big Data:
🗓❗️28.07.2025 — 05.10.2025
🧑‍💻 структура курса + отзыв Романа
🧑‍🎓 еще отзывы выпускников: Сергей
▶️ пример видеоролика с курса (5 min)
👉 записаться

Истории успеха для вдохновения:
— Жанбулат, Big Data Engineer, KZ
— Ердаулет, Big Data Engineer, FAANG/MANGA

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study

🧠 Как из одного курса, лени и пары фейлов построить экосистему

В интернете кто-то не прав, а точнее 99.997% населения Земли, которые почему-то решили, что можно не получать степень магистра по распределенным вычислениям и дискутировать на тему Big Data.

На самом деле не шуточная статья про:
— пользу и вред для бизнеса от ленивых программистов
— удачные неудачные названия и их последствия
— почему нельзя просто взять платформу X

В финале вас ждет напутственная байка и предложение для энтузиастов, которых ограничивают известные вам LMS.

Статья: life.bigdatateam.org/lazy-ecosystem-from-fail-to-scale

Приглашаю почитать и подискутировать.

// подружиться в 👉 LinkedIn | Facebook | Instagram
#life #work #study

❤️‍🔥 Достижения BigData Team за 3 года #digest

Коротко:
1. Новости бизнеса
2. Новости образования
3. Технологические обновления
4. Социальные проекты и жизнь вокруг

1️⃣ Новости бизнеса

— открылись в Казахстане (BigData Team KZ)
— стали участниками Astana Hub
— выступили на локальных и международных конференциях
🇰🇿 Central Asia Media Forum
🇰🇬 Как построить свой AI
🇳🇱 Evolution of Data Engineering Role
🌎 Work in Science vs Industry (Entrepreneur Perspective)

Провели обучения топ-менеджеров по Big Data, Python и Gen AI:
🚥 для министерства транспорта
🐝 для ведущего телеком-оператора в РК
🟥 и дополнили hard-скилами по Python топ-менеджеров из телекома в РФ

Придумали крутую архитектуру для расширения кластерных мощностей за счет облака без потери консистентности для еще одного крупного телеком и его аналитического отдела. Аутсорс и консалтинг топовых международных экспертов в IT, Big Data, MLOps - тоже welcome.

Завели партнеров для реализации социальных проектов:
— bigdatateam.org/ru/grant-bdmle-2025

2️⃣ Новости образования

Запустили ряд новых курсов и направлений обучения. Добавили полноценные 8-месячные специализации для работы по профессии Big Data или Machine Learning Engineer. И наоборот добавили гранулярности для тех, кто хочет прокачать конкретные навыки за 3-4 недели в своем графике.

Для тех, кто хочет в Data Science:
— перезапустили Практический курс по Machine Learning
🗓 проводим раз в год звездным составом

Для тех, кто не уверен в своих силах и только осваивается в IT, разработали подготовительный курс по Computer Science и анализу данных:
— Python for [Big] Data Analysis

Для тех, кто хочет учиться в любое время:
— запустили ежемесячные МООК-форматы (Lite и Medium)

Не забыли и про выпускников. Нужно подготовиться к собеседованию, освежить практические навыки или хочется порешать задачи, которые не успел(а) сделать в период обучения:
👉 пиши менеджерами курса с паролем хочу в Grader
или оставляй заявку в форме на странице курса

По просьбе тех, кто еще не понимают, какой профиль ему ближе (разработка или аналитика), предоставляем возможность определиться по ходу обучения, получив релевантный опыт в каждой сфере. Доступно в рамках 8-месячной специализации Big Data / Machine Learning Engineer:
▶️ 10-минутное видео, что это и как


3️⃣ Технологические обновления

— обновили (и периодически обновляем) Hadoop кластер
— запустили обучение на платформе open edX, сделали интеграцию по протоколу LTI с нашей платформой для прокачки навыков (aka Grader). Осознали утопичность и ограничения open edX, пилим свою платформу.
— обновили дизайн
— сделали upgrade внутренней аналитики, угнали все данные в Metabase. Теперь строим метрики качества и делаем образовательные исследования за более, чем 5-летний период 🔥


4️⃣ Социальные проекты и жизнь вокруг

Для тех, кому нужна грантовая поддержка:
— реализуем обучение для граждан Казахстана (программа Tech Orda)
— разрабатываем платформу для отбора на международные гранты (спасибо сообществу IT-друзей BigData Team)

Просвещение. Провели ряд митапов. Некоторые — открытые для всех, другие — только для слушателей курсов или членов профессионального сообщества BigData Team:
🧬 BigData Team митап "Наука, индустрия и IT"
🐹 Митап про карьеру в IT
🍪 Как мы все будем жить без 3rd party идентификаторов
☀️ Летний MeetUp, Big Data in production
🛠 soft vs hard skills, профессиональный рост
🦜 Групповая работа (технологии, парадигмы, Agile)

Походили в гости на подкасты:
🎙 Tech Orda, развитие человеческого капитала в сфере IT
🎙 Данные люди»: Дата сайентисты — жрецы нового времени

Расширияем профессиональное сообщество BigData Team в Казахстане: proof.

Завели блог-платформу, где пишем об IT, жизни и путешествиях:
— life.bigdatateam.org

Появилась жизнь и возвращемся к реализации своей мечты:
— мерч в премиальном качестве

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#work #life #digest

🚂 Курс по Big Data уже в пути — но ещё можно запрыгнуть

🔹 Пока участники второго потока настраивают кластеры и запускают первые MapReduce, ты ещё можешь присоединиться.

🗓 Обучение: 28.07 — 05.10
🔥 Это последний Full-запуск 2025 года — с практикой, поддержкой менторов и возможностью задать свой ритм.

📉 Формат гибкий: — хочешь — проходишь весь курс — хочешь — берёшь только нужные блоки:
• HDFS, MapReduce, Hive
• Spark: from zero to hero
• Kafka, NoSQL, Data Layout

🔹 Чтобы успеть на первую часть и пройти курс целиком, лучше присоединиться до 5 августа

Ваш курс — это топ из всего, что я видел. Я занимался на Coursera, на разных платформах, и, действительно, у вас всё настолько качественно проработано: и отношение, и обновления, и быстрое оперативное решение всех проблем. У меня только положительные эмоции после курса. В итоге я понимаю, что в голове осталось немало полезной информации, тем более что задачи очень хорошо практически закрепляются. Если просто посмотрел видео и пошёл бы дальше, то осталось бы, как Алексей изначально говорил, процентов 10 в лучшем случае, с непониманием что это за информация и что с ней дальше делать. Я остался очень доволен и курсом, и полученным результатом.

(c) Сергей, выпускник курса Big Data

📋 Посмотреть программу
👉 Записаться
▶️ Смотреть пример урока (5 мин)

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

P.S. Нейросеть показала, как выглядит «последний шанс» визуально. Мы просто не стали мешать :)

#BigData #study #последнийвагон

🧠 Big Data не только для дата-инженеров

Думаете, курс по Big Data — только для тех, кто уже живёт в Spark и пишет на Scala? А вот и нет.

На наш практический курс приходят разработчики, аналитики, дата-сайентисты, инженеры из разных сфер — и каждый находит в программе что-то своё. Вот как это работает:

🧑‍💻 Разработчики
Вы уже уверенно программируете, но хотите выйти за рамки CRUD, API и одиночных серверов?
На курсе вы научитесь работать с распределенными системами, запускать кластеры и использовать технологии вроде Hadoop, Spark и Kafka. Эти навыки — ключевые для тех, кто проектирует современные системы и работает с большими объемами данных. А заодно — это сильный плюс к вашему техническому профилю и карьерному треку.

📊 Аналитики
Вы работаете с SQL и BI, но чувствуете потолок? С помощью Hive, NoSQL и распределенных хранилищ вы сможете решать более масштабные задачи, быстрее обрабатывать большие объемы данных и писать отчеты, которые реально влияют на бизнес. Попробуйте!

🧑‍🔬 Data Scientists
Если модель плохо работает — часто дело не в модели, а в данных. Этот курс поможет вам глубже понять, как собирать, хранить, чистить и укладывать данные. И как это влияет на обучение и масштабирование ML-моделей. Welcome aboard!

🔹 Курс подойдет тем, кто:
- хочет систематизировать опыт в больших данных
- ищет практику: задания, кластер, обратную связь
- работает в команде, где данные уже копятся, но никто толком не знает, как их использовать. И вы сможете стать тем, кто это поменяет.

📍 Формат — МООК с поддержкой.
Вы учитесь по коротким предзаписанным видео (5–10 мин) — в удобное для себя время. Есть менторская поддержка, комментарии от инструкторов и разработчиков по сложным вопросам. А главное — доступ к многопользовательскому кластеру, где вы тренируетесь на практике, а не в теории — эта возможность есть только у нас.

Последний в этом году курс по Big Data уже начался, но еще можно войти до завтра, 5 августа, чтобы плавно влиться в процесс. Успевайте!

📋 Посмотреть программу
👉 Записаться
▶️ Смотреть пример урока (5 мин)

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#BigDataTeam #bigdata #study #последнийвагон

💻 Bash-трюки, которые сэкономят тебе пару часов уже сегодня

Иногда кажется, что консоль — это скучно и «только для админов».
Но как только осваиваешь пару приёмов — начинаешь двигаться по проекту быстрее, находить нужное и обрабатывать данные, не отвлекаясь на лишние окна.

📂 Поиск файлов
— Быстро найти подстроку во всех .log-файлах в текущей папке и подпапках:
grep -nHr --include=*.log error .
# или через find:
find . -name "*.log" -exec grep -nH error '{}' '+'

— Найти пять самых «тяжелых» файлов в папке и ее подпапках:
find . -type f -exec stat -c '%s %n' '{}' '+' | sort -rn | head -5

— Найти самые большие файлы только в текущей папке
ls -lrhS

📊 Работа с датасетами
— Посчитать строки в датасете:
wc -l data.csv

— Посмотреть первые строки датасета:
head -n 20 data.csv

🌐 Загрузка и архивы
— Скачать файл и сразу передать его на распаковку
curl -s https://example.com/data.tar.gz | tar -vxz

— Запустить на удаленной машине одну команду (например проверить свободное место) и сразу завершить соединение
ssh user@host df -h /

⚡ Чем меньше времени уходит на рутину — тем быстрее появляются результаты, будь то аналитика или машинное обучение.

Мы начинаем с таких команд уже в первом модуле BDMLE — чтобы потом спокойно работать с миллионами строк данных и реальными кластерами.

📌 Успей подать заявку до 17 августа — грант 400 000 ₸ от Tech Orda для граждан Казахстана🇰🇿.

BigData Team: the way you learn best

#study #BDMLE #BigDataTeam #TechOrda #AstanaHub

🔬 Наука vs индустрия: как выбрать свой путь

После университета встаёт классический вопрос: остаться в науке или уйти в индустрию? Это две перпендикулярные траектории или можно совместить?

На встрече поговорим:
– чем отличается жизнь в исследовательской группе от работы в компании;
– где больше свободы, ответственности и рисков;
– что выбирают мои коллеги в IT и предпринимательстве — и с какими результатами.

В основе — мой опыт и истории людей, побывавших на стульях ученых, инженеров и предпринимателей.

📅 28 августа, 19:00 (Мск) / 21:00 (Алматы)
📍 формат: онлайн
👉 регистрируйтесь по ссылке — пришлём доступ в день лекции.

P.S. Большое спасибо всем, кто поделился своим опытом для подготовки доклада, а также дополнениями на лекции в ШМТБ.

// подружиться в 👉 LinkedIn | Facebook | Instagram
#life #study

🎓 Как подать заявку на грант BDMLE?

Чтобы не запутаться в условиях подачи на гранты Big Data / Machine Learning Engineer, сделали инфографику.

Подробнее о каждом конкурсе:
🇰🇿 Граждане Казахстана — конкурс Tech Orda
🌍 Участники из других стран — международные гранты

👉 Сохраняйте картинку и подавайте заявку заранее — это повышает шансы пройти отбор. Если вы не прошли в своей волне, заявка автоматически переносится на следующую.

🎁 Граждане Казахстана, не получившие гранты Tech Orda, попадают в третью волну отбора на международные гранты.

Ищем тех, кто готов менять будущее вместе с нами.

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study #BDMLE #BigDataTeam #TechOrda #AstanaHub

🎓 BDMLE × Tech Orda, результаты отбора — волна I

Отчитываемся по итогам первой волны конкурса на гранты Tech Orda 🚀

На курс BDMLE выделено 38 грантов от Tech Orda по 400,000 ₸.

По итогам I волны мы отправили предложения на согласование грантов ТОП-5 кандидатам (~10% грантов). Все остальные участники автоматически переходят в II волну, где распределим до 50% грантов.

📅 Даты волн:
— I волна: тестирование до 17.08 23.59
— II волна: тестирование до 24.08 23.59
— III волна: тестирование до 31.08 23.59

📩 Со всеми кандидатами I волны мы связались по почте. Если вдруг письмо не дошло — проверьте «Спам» или напишите на techorda@bigdatateam.org (можно и в комментариях к этому посту).

Истории успеха для вдохновения: раз, два и три.

Всем удачи!

BigData Team: the way your learn best
#work #study #BigDataTeam #TechOrda #AstanaHub

🎥 Алексей Драль рассказывает о международных грантах

Big Data / ML Engineer: условия, дедлайны и как принять участие

Подробнее о каждом конкурсе:
🇰🇿 Граждане Казахстана — конкурс Tech Orda
🌍 Участники из других стран — международные гранты

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study #BDMLE #BigDataTeam #TechOrda #AstanaHub