В нашей магистратуре “Наука о данных” НИТУ МИСиС, как оказалось, легко могут встретиться:
🚑 38-летний бывший врач-реаниматолог, который работал на “скорой”, но со школьной скамьи мечтал обучать машины
💻 25-летний программист, который мечтает работать с нейроинтерфейсами и попасть в компанию к Илону Маску
💃40-летняя студентка из Испании, которая хочет внести свой вклад в мировой прогресс, а толчком для изучения IT стала пандемия
Из какой сферы приходят в data science?
Кто они — будущие data scientists?
Как выбирают программу?
О чем мечтают?
И о том, какую роль сыграла пандемия, читайте в нашей статье 👉🏻 https://habr.com/ru/company/skillfactory/blog/527604/
🚑 38-летний бывший врач-реаниматолог, который работал на “скорой”, но со школьной скамьи мечтал обучать машины
💻 25-летний программист, который мечтает работать с нейроинтерфейсами и попасть в компанию к Илону Маску
💃40-летняя студентка из Испании, которая хочет внести свой вклад в мировой прогресс, а толчком для изучения IT стала пандемия
Из какой сферы приходят в data science?
Кто они — будущие data scientists?
Как выбирают программу?
О чем мечтают?
И о том, какую роль сыграла пандемия, читайте в нашей статье 👉🏻 https://habr.com/ru/company/skillfactory/blog/527604/
📌Сегодня отвечаем на вопрос: «Что помогает учиться в онлайн-магистратуре "Наука о данных"»?
В магистратуре вы можете получить образование в новой для себя сфере, даже если ваш базовый диплом совершенно другой.
Но, перед тем как сдать вступительный экзамен и поступить, желательно самостоятельно освоить минимум знаний для учебы.
◽️ Основы языка программирования Python.
Python — один из основных инструментов для дата-сайентиста.
В первом семестре студенты будут изучать программирование на Python и большим плюсом станет, если вы уже понимаете основы синтаксиса Python.
◽️ Понимание разделов математики, такие как — статистика, теория вероятности, математический анализ, линейная алгебра.
Без знаний математики не обойтись ни одному дата-сайентисту.
Статистика и теория вероятности используется для анализа данных.
А линейная алгебра и математический анализ — нужны для понимания и применения алгоритмов машинного обучения.
◽️ Навыки коммуникации или soft skills.
Дата-сайентист никогда не работает в одиночку!
В магистратуре много проектной работы, в которой нужно быть не просто исполнителем, а полноценным командным игроком.
Во время проектных практикумов и хакатонов, студенты будут пробовать себя в разных ролях: project manager, product manager, team lead.
Кроме создания продукта с нуля, студенты научатся презентовать его, а также слушать и понимать друг друга, получать и давать сбалансированную обратную связь.
В магистратуре вы можете получить образование в новой для себя сфере, даже если ваш базовый диплом совершенно другой.
Но, перед тем как сдать вступительный экзамен и поступить, желательно самостоятельно освоить минимум знаний для учебы.
◽️ Основы языка программирования Python.
Python — один из основных инструментов для дата-сайентиста.
В первом семестре студенты будут изучать программирование на Python и большим плюсом станет, если вы уже понимаете основы синтаксиса Python.
◽️ Понимание разделов математики, такие как — статистика, теория вероятности, математический анализ, линейная алгебра.
Без знаний математики не обойтись ни одному дата-сайентисту.
Статистика и теория вероятности используется для анализа данных.
А линейная алгебра и математический анализ — нужны для понимания и применения алгоритмов машинного обучения.
◽️ Навыки коммуникации или soft skills.
Дата-сайентист никогда не работает в одиночку!
В магистратуре много проектной работы, в которой нужно быть не просто исполнителем, а полноценным командным игроком.
Во время проектных практикумов и хакатонов, студенты будут пробовать себя в разных ролях: project manager, product manager, team lead.
Кроме создания продукта с нуля, студенты научатся презентовать его, а также слушать и понимать друг друга, получать и давать сбалансированную обратную связь.
📌Онлайн-формат: почему стоит учиться в онлайн-магистратуре.
В современном мире совершенно невозможно предугадать или спланировать ближайшее будущее.
Мы мечтаем о понятной, надежной жизни, но реальность такова, что приходится жить в мире VUCA —нестабильном, неопределенном, сложном и неоднозначном, а пандемия — лишний раз нам это доказала.
Именно поэтому, обучение онлайн — разумное решение не только в 2020 году.
Несмотря на скепсис про эффективность онлайн-обучения, на примере нашей магистратуры, мы видим явные положительные стороны:
▪️ Студенты могут учиться в своём собственном темпе и по своему собственному графику, совмещая учебу с работой и личной жизнью.
▪️ Вернуться к пройденному материалу можно в любое время, по мере необходимости.
▪️ В онлайне застенчивым или сдержанным студентам проще развивать коммуникативные навыки.
▪️У нас есть кураторы, которые смогут найти решение по любому вопросу 24/7, а в прохождении модуля помогут эксперты курса. Получить ответ от эксперта можно в любом удобном формате: письменно и устно.
Отзыв нашей студентки — подтверждающий вышесказанное (смотрите в следующем посте)
В современном мире совершенно невозможно предугадать или спланировать ближайшее будущее.
Мы мечтаем о понятной, надежной жизни, но реальность такова, что приходится жить в мире VUCA —нестабильном, неопределенном, сложном и неоднозначном, а пандемия — лишний раз нам это доказала.
Именно поэтому, обучение онлайн — разумное решение не только в 2020 году.
Несмотря на скепсис про эффективность онлайн-обучения, на примере нашей магистратуры, мы видим явные положительные стороны:
▪️ Студенты могут учиться в своём собственном темпе и по своему собственному графику, совмещая учебу с работой и личной жизнью.
▪️ Вернуться к пройденному материалу можно в любое время, по мере необходимости.
▪️ В онлайне застенчивым или сдержанным студентам проще развивать коммуникативные навыки.
▪️У нас есть кураторы, которые смогут найти решение по любому вопросу 24/7, а в прохождении модуля помогут эксперты курса. Получить ответ от эксперта можно в любом удобном формате: письменно и устно.
Отзыв нашей студентки — подтверждающий вышесказанное (смотрите в следующем посте)
Рубрика «Отзывы наших студентов».
«Отсутствие бюрократии в образовательном процессе. Пожаловалась я на недостаток тренажёров – мне прислали. Где-то выявили ошибку - выявили - заменили. Проблема ошибок и опечаток, кстати общая с офлайном, они ведь не зависят от того, задание дано онлайн или офлайн. Только в онлайне — это исправляется гораздо быстрее».
#отзывы
«Отсутствие бюрократии в образовательном процессе. Пожаловалась я на недостаток тренажёров – мне прислали. Где-то выявили ошибку - выявили - заменили. Проблема ошибок и опечаток, кстати общая с офлайном, они ведь не зависят от того, задание дано онлайн или офлайн. Только в онлайне — это исправляется гораздо быстрее».
#отзывы
📌С понедельника стартует новая дисциплина для наших студентов:
⚙️Современные методы решения инженерных задач⚙️
✨Курс разработал кандидат технических наук, доцент, заведующий кафедрой автоматизации НИТУ «МИСиС» и преподаватель с 43-м стажем — Калашников Евгений Александрович
Курс состоит из 4 модулей:
1️⃣ «Оценка экономических и производственных параметров для формализации инженерной задачи»
2️⃣ «Балансовая модель экономики производства»
3️⃣ «Линейная производственная модель»
4️⃣ «Планирование производственно-экономических процессов»
После прохождения курса, студенты научатся:
▪️Применять современные теоретические и экспериментальные методы разработки математических моделей исследуемых объектов и процессов, относящихся к профессиональной деятельности по направлению подготовки.
▪️Проводить математическое моделирование процессов, оборудования, средств и систем автоматизации, контроля, диагностики, испытаний и управления с использованием современных технологий научных исследований, разрабатывать алгоритмическое и программное обеспечение средств и систем автоматизации и управления.
▪️ Демонстрировать практические навыки для решения проблем и проведения ко́мплексных исследований; системное понимание применяемых технических решений, технологий и процессов в области, соответствующей образовательной программе; глубокое понимание экономических, организационных и управленческих вопросов (управление проектами, управление рисками и управление изменениями).
⚙️Современные методы решения инженерных задач⚙️
✨Курс разработал кандидат технических наук, доцент, заведующий кафедрой автоматизации НИТУ «МИСиС» и преподаватель с 43-м стажем — Калашников Евгений Александрович
Курс состоит из 4 модулей:
1️⃣ «Оценка экономических и производственных параметров для формализации инженерной задачи»
2️⃣ «Балансовая модель экономики производства»
3️⃣ «Линейная производственная модель»
4️⃣ «Планирование производственно-экономических процессов»
После прохождения курса, студенты научатся:
▪️Применять современные теоретические и экспериментальные методы разработки математических моделей исследуемых объектов и процессов, относящихся к профессиональной деятельности по направлению подготовки.
▪️Проводить математическое моделирование процессов, оборудования, средств и систем автоматизации, контроля, диагностики, испытаний и управления с использованием современных технологий научных исследований, разрабатывать алгоритмическое и программное обеспечение средств и систем автоматизации и управления.
▪️ Демонстрировать практические навыки для решения проблем и проведения ко́мплексных исследований; системное понимание применяемых технических решений, технологий и процессов в области, соответствующей образовательной программе; глубокое понимание экономических, организационных и управленческих вопросов (управление проектами, управление рисками и управление изменениями).
📌В онлайн-магистратуре «Наука о данных» прошла ежемесячная внеучебная встреча.
Кто следит за новостями магистратуры, знает, что внеучебные встречи проводятся регулярно с целью — немного расслабиться и пообщаться с коллегами 🫂
В этот раз встреча прошла в формате игры под названием «Данетка» — командная активность, в которой ведущий задаёт ситуацию, и отвечает на вопросы игроков односложным «Да» или «Нет».
Такой подход помогает развить критическое мышление 🧠
Всего было решено 11 задач, затрачено около 1 часа.
Местами были трудности, чтобы задать верный вопрос ведущему, но в итоге удалось решить все задачи.
Чтобы вы прониклись духом нашей встречи, предлагаем решить одну из задач 🙂
⁉️ Задача «Девушка надевает гипс себе на руку, с которой ничего не случилось. Зачем?»
Ждем ваши варианты ответов в комментариях👇🏻
Кто следит за новостями магистратуры, знает, что внеучебные встречи проводятся регулярно с целью — немного расслабиться и пообщаться с коллегами 🫂
В этот раз встреча прошла в формате игры под названием «Данетка» — командная активность, в которой ведущий задаёт ситуацию, и отвечает на вопросы игроков односложным «Да» или «Нет».
Такой подход помогает развить критическое мышление 🧠
Всего было решено 11 задач, затрачено около 1 часа.
Местами были трудности, чтобы задать верный вопрос ведущему, но в итоге удалось решить все задачи.
Чтобы вы прониклись духом нашей встречи, предлагаем решить одну из задач 🙂
⁉️ Задача «Девушка надевает гипс себе на руку, с которой ничего не случилось. Зачем?»
Ждем ваши варианты ответов в комментариях👇🏻
📌На шаг ближе к цели — студенты онлайн-магистратуры завершили курс «Высшая математика и алгоритмы машинного обучения» ⚙️
Курс длился 7 недель, в завершение студенты смогли проверить полученные знания на практике 🧠
Студентов разделили на команды по 5–6 человек и дали задачу, на основе которой нужно выполнить задания.
👉🏻 Задача: Представьте, что вы богатый и успешный глава хедж-фонда, демонстрирующего рекордные показатели прибыли. К вам обращается инвестор. Он хочет приумножить свои миллионы и готов перевести деньги на ваш счёт в течение часа. НО! Если вы допустите ошибку и потеряете часть его вложений, он объявит вам войну.
Вроде бы и несложно, но именно в этот момент — на вашей дороге появляется достаточно сильный конкурент, который наступает вам на пятки.
Ваша задача — проанализировать рынок, найти оптимальный и наиболее выгодный вариант, чтобы удержаться в лидирующих позициях и не нажить себе сильного врага.
1️⃣ задача — Визуализировать данные
Необходимо загрузить данные и выполнить задания:
◽️построить графики стоимости акций на начало каждого дня
◽️ отразить на графике объёмы торгов за каждый день. Прокомментировать полученные графики: определить, какие события могли повлиять на повышение объёма (отчёт компании, кризис и т. п.)
◽️добавить ко всем графикам легенду
◽️определить, цены каких компаний наиболее и наименее коррелированны
2️⃣ задача — Смоделировать данные
Обучить линейную регрессию для предсказания цены закрытия на текущий день. В качестве фичей возьмите цены открытия нескольких компаний за 7 дней до текущего.
Цель обучения — предсказать цену закрытия на последний день рассматриваемого промежутка для одной из компаний.
3️⃣ задача — Спроектировать анализ данных
Попробовать разные варианты доработки, но помнить и про переобучение — чем больше признаков, тем больше модель способна «запомнить» исходные данные и менее эффективна для работы с «реальными» данными.
Пример идеи для доработки:
✨Если взять цены в качестве исходных данных, модель будет плохо работать с будущим — цены, как правило, это сильно изменчивая категория. Имеет смысл рассмотреть относительные изменения цен за предыдущие N дней (буквально — насколько цены последующих дней отличаются от цен за предшествующий период).
На решение задач было чуть меньше 2 недель, студенты представили своё решение на семинаре, а после получили обратную связь от Эмиля Магеррамова
Первый семестр подходит к концу и совсем скоро — сессия🚀
О первой сессии в магистратуре поговорим в следующий раз!
Курс длился 7 недель, в завершение студенты смогли проверить полученные знания на практике 🧠
Студентов разделили на команды по 5–6 человек и дали задачу, на основе которой нужно выполнить задания.
👉🏻 Задача: Представьте, что вы богатый и успешный глава хедж-фонда, демонстрирующего рекордные показатели прибыли. К вам обращается инвестор. Он хочет приумножить свои миллионы и готов перевести деньги на ваш счёт в течение часа. НО! Если вы допустите ошибку и потеряете часть его вложений, он объявит вам войну.
Вроде бы и несложно, но именно в этот момент — на вашей дороге появляется достаточно сильный конкурент, который наступает вам на пятки.
Ваша задача — проанализировать рынок, найти оптимальный и наиболее выгодный вариант, чтобы удержаться в лидирующих позициях и не нажить себе сильного врага.
1️⃣ задача — Визуализировать данные
Необходимо загрузить данные и выполнить задания:
◽️построить графики стоимости акций на начало каждого дня
◽️ отразить на графике объёмы торгов за каждый день. Прокомментировать полученные графики: определить, какие события могли повлиять на повышение объёма (отчёт компании, кризис и т. п.)
◽️добавить ко всем графикам легенду
◽️определить, цены каких компаний наиболее и наименее коррелированны
2️⃣ задача — Смоделировать данные
Обучить линейную регрессию для предсказания цены закрытия на текущий день. В качестве фичей возьмите цены открытия нескольких компаний за 7 дней до текущего.
Цель обучения — предсказать цену закрытия на последний день рассматриваемого промежутка для одной из компаний.
3️⃣ задача — Спроектировать анализ данных
Попробовать разные варианты доработки, но помнить и про переобучение — чем больше признаков, тем больше модель способна «запомнить» исходные данные и менее эффективна для работы с «реальными» данными.
Пример идеи для доработки:
✨Если взять цены в качестве исходных данных, модель будет плохо работать с будущим — цены, как правило, это сильно изменчивая категория. Имеет смысл рассмотреть относительные изменения цен за предыдущие N дней (буквально — насколько цены последующих дней отличаются от цен за предшествующий период).
На решение задач было чуть меньше 2 недель, студенты представили своё решение на семинаре, а после получили обратную связь от Эмиля Магеррамова
Первый семестр подходит к концу и совсем скоро — сессия🚀
О первой сессии в магистратуре поговорим в следующий раз!
📌Добрый день!
Сегодня хотим поделиться с вами статьей, в которой наши студенты детально рассказали о том, как они собрали открытый датасет в рамках первого хакатона онлайн-магистратуры «Наука о данных»⛓
Переходите по ссылке 👉🏻 https://habr.com/ru/company/skillfactory/blog/534682/ ✅
Сегодня хотим поделиться с вами статьей, в которой наши студенты детально рассказали о том, как они собрали открытый датасет в рамках первого хакатона онлайн-магистратуры «Наука о данных»⛓
Переходите по ссылке 👉🏻 https://habr.com/ru/company/skillfactory/blog/534682/ ✅
Хабр
Как собрать датасет за неделю: опыт студентов магистратуры «Наука о данных»
Привет, Хабр! Сегодня хотим представить вам некоммерческий открытый датасет, собранный командой студентов магистратуры «Наука о данных» НИТУ МИСиС и Zavtra.Onlin...
📌Ура! Первый семестр в онлайн-магистратуре «Наука о данных» НИТУ МИСиС подходит к концу, совсем скоро сессия!
Рассказываем о первой сессии в магистратуре🙂
Алгоритм формирования итоговой оценки
✍️Все испытания пройдут в письменной форме.
✔️Оценка за зачет и зачет с оценкой, будет выставлена по итогам усвоения материалов на платформе и посещения вебинаров/семинаров в течение семестра.
Зачёты:
◽️Английский язык для IT
◽️Программирование на Python
◽️Организация и технология научных исследований
◽️Высшая математика для машинного обучения
За все вышеперечисленные предметы — зачёт ставится автоматом за пройденный курс на платформе.
Экзамены:
🛠Современные методы решения инженерных задач
Оценка комплексная и включает в себя — оценку за индивидуальное расчётно-графическое задание + посещение всех практических занятий группы + активность на этих занятиях (при этом условии можно получить автомат).
Формат экзамена — выполнение заданий из имеющегося перечня с оценкой от преподавателя.
🤖Основные алгоритмы машинного обучения
Чтобы допустили до экзамена, нужно посетить все занятия группы и выполнить задания на платформе.
Экзамен будет проходить на платформе.
Формат экзамена — выполнение на платформе теоретических заданий и практических задач за отведённое время.
Рассказываем о первой сессии в магистратуре🙂
Алгоритм формирования итоговой оценки
✍️Все испытания пройдут в письменной форме.
✔️Оценка за зачет и зачет с оценкой, будет выставлена по итогам усвоения материалов на платформе и посещения вебинаров/семинаров в течение семестра.
Зачёты:
◽️Английский язык для IT
◽️Программирование на Python
◽️Организация и технология научных исследований
◽️Высшая математика для машинного обучения
За все вышеперечисленные предметы — зачёт ставится автоматом за пройденный курс на платформе.
Экзамены:
🛠Современные методы решения инженерных задач
Оценка комплексная и включает в себя — оценку за индивидуальное расчётно-графическое задание + посещение всех практических занятий группы + активность на этих занятиях (при этом условии можно получить автомат).
Формат экзамена — выполнение заданий из имеющегося перечня с оценкой от преподавателя.
🤖Основные алгоритмы машинного обучения
Чтобы допустили до экзамена, нужно посетить все занятия группы и выполнить задания на платформе.
Экзамен будет проходить на платформе.
Формат экзамена — выполнение на платформе теоретических заданий и практических задач за отведённое время.
📌Добрый день!
Вот-вот наступит Новый год, впереди целых 10 дней каникул 🎄
Предлагаем провести их с пользой, поэтому делимся с вами — списком полезной литературы от академического директора программы Ивана Ямщикова 🥁
📚Список литературы на первый семестр 📚
🔹Туганбаев А. А. Линейная алгебра: учебное пособие Электронная библиотека Москва: Флинта, 2017
🔹Юрчук, С. Ю. Методы математического моделирования: учебное пособие Электронная библиотека Москва: МИСиС, 2018
🔹М. Лутц “Программирование на Python, 4-е издание”
🔹Франсуа Шолле: Глубокое обучение на Python.
https://www.labirint.ru/books/645742/
p.s. ещё больше примеров и кода
🔹Николенко, Кадурин, Архангельская: Глубокое обучение. Погружение в мир нейронных сетей.
Подробнее: https://www.labirint.ru/books/622166/
p.s. дружить с математикой
🔹Бенджио, Гудфеллоу, Курвилль: Глубокое обучение.
Подробнее: https://www.labirint.ru/books/620686/
p.s. для тех, кто хочет подробнее и с базовой математикой
🔹Перевод книги Эндрю Ына «Страсть к машинному обучению»
Главы 1 — 14
https://habr.com/ru/post/419757/
p.s. в качестве чтения перед сном
С наступающим! ❤️
Вот-вот наступит Новый год, впереди целых 10 дней каникул 🎄
Предлагаем провести их с пользой, поэтому делимся с вами — списком полезной литературы от академического директора программы Ивана Ямщикова 🥁
📚Список литературы на первый семестр 📚
🔹Туганбаев А. А. Линейная алгебра: учебное пособие Электронная библиотека Москва: Флинта, 2017
🔹Юрчук, С. Ю. Методы математического моделирования: учебное пособие Электронная библиотека Москва: МИСиС, 2018
🔹М. Лутц “Программирование на Python, 4-е издание”
🔹Франсуа Шолле: Глубокое обучение на Python.
https://www.labirint.ru/books/645742/
p.s. ещё больше примеров и кода
🔹Николенко, Кадурин, Архангельская: Глубокое обучение. Погружение в мир нейронных сетей.
Подробнее: https://www.labirint.ru/books/622166/
p.s. дружить с математикой
🔹Бенджио, Гудфеллоу, Курвилль: Глубокое обучение.
Подробнее: https://www.labirint.ru/books/620686/
p.s. для тех, кто хочет подробнее и с базовой математикой
🔹Перевод книги Эндрю Ына «Страсть к машинному обучению»
Главы 1 — 14
https://habr.com/ru/post/419757/
p.s. в качестве чтения перед сном
С наступающим! ❤️
Labirint.RU
Глубокое обучение на Python
Глубокое обучение - Deep learning - это набор алгоритмов машинного обучения, которые моделируют высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований. Согласитесь, эта фраза звучит угрожающе. Но...
📌Добрый вечер!
Сегодня расскажем вам о событиях в жизни магистратуры «Наука о данных» за эту неделю.
Подошла к концу первая сессия! Ура! 🥳
Наши студенты на шаг ближе к своей цели — освоить новую для себя профессию🎯
Напоминаю, что с 3 го семестра мы разделимся на три трека:
▫️Artificial Intelligence Developer
▫️Big Data Engineer
▫️Machine Learning Developer
🛤Чтобы помочь студентам сделать правильный выбор на своем карьерном пути — мы организовали Q&A встречу по треку Big Data Engineer, с экспертом из индустрии — Виталием Худобахшевым (тимлид в Jet Brains, разработчик плагина Big Data Tools)
Такие встречи пройдут по всем трём трекам, а пока делимся с вами некоторыми вопросами и ответами:
▪️Как выглядит рабочий день дата инженера, исключая совещания? Пришёл и что делает? Проверят всё ли живо и чинит или что-то пишет?
«Часто чинит и разгребает инциденты, которые довольно часты на практике. Чистит код, улучшает/добавляет pipeline. Условно говоря следит, чтобы всё не развалилось. Работа по входящим задачам от других отделов в пределах компетенции специалиста».
▪️Какие инструменты будут использоваться наибольшим образом? На каком уровне мы будем работать с этим?
«Apache Spark — очевидный лидер среди используемых инструментов, Hadoop — не понимать, как работает этот инструмент также нельзя (Spark работает поверх Hadoop, к примеру) и вся инфраструктура вокруг Hadoop важна для того, чтобы понимать, как кластера существуют. Hive важен для аналитики. DataGrip как самый продвинутый инструмент для работы с SQL, т. е. опять же к аналитике ближе. Koalos фреймворк для получения API Pandas, просто работающий поверх Apache Spark. Dask — фреймворк на чистом пайтоне, много времени изучение не должно занять, но и без него нельзя. Kafka — это продюсер большого количества контента, который после попадает в JDBC, Hadoop, а после попадает в Spark».
▪️Будет ли возможность брать дисциплины из нескольких треков или нужно строго выбрать один?
«Такая возможность будет, но нужно чётко понимать, что объём будет довольно-таки большой».
Сегодня расскажем вам о событиях в жизни магистратуры «Наука о данных» за эту неделю.
Подошла к концу первая сессия! Ура! 🥳
Наши студенты на шаг ближе к своей цели — освоить новую для себя профессию🎯
Напоминаю, что с 3 го семестра мы разделимся на три трека:
▫️Artificial Intelligence Developer
▫️Big Data Engineer
▫️Machine Learning Developer
🛤Чтобы помочь студентам сделать правильный выбор на своем карьерном пути — мы организовали Q&A встречу по треку Big Data Engineer, с экспертом из индустрии — Виталием Худобахшевым (тимлид в Jet Brains, разработчик плагина Big Data Tools)
Такие встречи пройдут по всем трём трекам, а пока делимся с вами некоторыми вопросами и ответами:
▪️Как выглядит рабочий день дата инженера, исключая совещания? Пришёл и что делает? Проверят всё ли живо и чинит или что-то пишет?
«Часто чинит и разгребает инциденты, которые довольно часты на практике. Чистит код, улучшает/добавляет pipeline. Условно говоря следит, чтобы всё не развалилось. Работа по входящим задачам от других отделов в пределах компетенции специалиста».
▪️Какие инструменты будут использоваться наибольшим образом? На каком уровне мы будем работать с этим?
«Apache Spark — очевидный лидер среди используемых инструментов, Hadoop — не понимать, как работает этот инструмент также нельзя (Spark работает поверх Hadoop, к примеру) и вся инфраструктура вокруг Hadoop важна для того, чтобы понимать, как кластера существуют. Hive важен для аналитики. DataGrip как самый продвинутый инструмент для работы с SQL, т. е. опять же к аналитике ближе. Koalos фреймворк для получения API Pandas, просто работающий поверх Apache Spark. Dask — фреймворк на чистом пайтоне, много времени изучение не должно занять, но и без него нельзя. Kafka — это продюсер большого количества контента, который после попадает в JDBC, Hadoop, а после попадает в Spark».
▪️Будет ли возможность брать дисциплины из нескольких треков или нужно строго выбрать один?
«Такая возможность будет, но нужно чётко понимать, что объём будет довольно-таки большой».