Друзья, делаю 2D игру на Python.

Для закрепления и отработки ООАП решил сделать игру-платформер.

Буду использовать игровой движок https://github.com/pythonarcade/arcade.

Цель: сделать игру на 20+ классов.

Пожелайте мне удачи. =)

Проектирование ETL процесса👨‍💻

1) Сколько слоев данных в хранилище?
- чаще всего встречаются слой стейджинга и витрины данных, реже — слой детальных интегрированных данных;
- стейджинг нужен для хранения данных в формате системы-источника, витрина данных — для хранения данных в виде измерений и фактов;
- для каждого из слоёв создается отдельная модель данных;

2) Какой тип загрузки больше всего подходит?
- инкрементальная загрузка - обрабатывает только ту порцию данных, которая изменилась по отношению к прошлой загрузке, тем самым сокращая объём обрабатываемых данных;
- полный пересчет - в большинстве случаев применяется для обработки небольших объёмов данных;
- архивная загрузка - загрузки архивных данных за прошедшие периоды;

3) Какие алгоритмы преобразования нужно применить?
- маппинг, или S2T - это документ, который отражает трансформации полей источника на поля приёмника;

4) Как данные связаны между собой и какую последовательность загрузки выбрать?
- измерения всегда загружаются в первую очередь;
- факты загружаются после измерений, так как используют их данные;
- проверить таблицы с измерениями, чтобы понять, нет ли в них связей между собой;

5) Проектируем систему восстановления.
- в случае сбоев процессы должны продолжать свою работу с момента падения;
- нужно настроить проверку статуса загрузки — загружался ли объект ранее;
- нужно настроить сохранение статуса загрузки — в случае успешной загрузки об этом должна создастся запись;

Архитектура компонентов Airflow

Путь задачи в Airflow

#мысли

Главная задача специалиста по работе с данными: "Помогать бизнесу. Мы помогаем бизнесу быть эффективнее!".

Я бы сказал, что это относится не только к инженерам данных, но и ко всем разработчикам. Мы пишем код не ради кода. Не соревнуемся в сложности решения той или иной задачи, а всегда помним про главную задачу.

Бизнес зарабатывает - мы получаем ЗП. Все довольны.

И при поиске работы мы должны рассказывать не про скиллы, а про ценность, которую мы смогли внести в бизнес.

Важно понимать, как именно работа проделанная дата инженером влияет на то, что происходит с бизнесом.

MindMap Инженера данных👨‍💻

Нашел великолепный ресурс по Data Engineering: https://dataengineering.wiki/

Обязательно к изучению!

Как вам такое рабочее место?😍

#словарик

Redis - хранилище данных, применяемые как очереди сообщений;

Apache Kafka - очереди сообщений с соответствующим базам данных уровнем надежности;

Супер инфа по оптимизации SQL🔥🔥🔥

Перевалило за 1000 коммитов на github. =)

Кто не подписан, давай подпишемся друг на друга.🤓

https://github.com/avagners

​Друзья, теперь я работаю в Райффайзенбанк! 🔥🔥🔥

Уровни изоляции транзакций👨‍💻

Для меня этот год является годом открытий. 😌

1) Пошёл в зал. Занимаюсь с тренером. Результат огонь🔥🔥🔥.

2) На работе выдали macbook pro 16 на M1. Впервые пользуюсь продукцией эпл. 👨‍💻

3) Прошёл курс массажа. Поправил хорошенько спину. 💪

4) Сломал 2 руки. Попробовал ДМС. Услуги в частной клинике на высоте. Никогда прежде не использовал ДМС, хотя мне все предыдущие работодатели их оформляли. ДМС понравилось)😅

Вот такие дела)

Что-то на вертикалианском)🧐

Травмы рук выбили меня из колеи. Я сделал перерыв во всех своих обучениях. Оставил только работу. Мне и на работе много чего приходится нового изучать.

- на курсе "Инженер данных" буду переводиться в другой поток, который меня догонит в конце июля. То есть перерыв беру почти на 2 месяца. К этому времени, надеюсь, можно будет снять артез на левой руке. На текущий момент завершил 55% курса.

- если вы помните, я параллельно изучаю ООП. В рамках занятий мне нужно спроектировать и реализовать прототип игры 2D-платформера. Осталось сделать реализацию классов.
Тоже, в связи с травмой, не подходил к решению данной задачи. Постараюсь доделать до какого-то минимального уровня как можно скорее.

При этом хочу отметить, что мои занятия по изучению ООП не прошли зря. Чувствуется значительное развитие мышления. На работе не теряюсь в коде. То есть уже чувствуется результат. Прям рад, что "проклюнулась" очередная способность) да, ещё цыплёнок, но уже что-то может)

---
P.s. на работе была встреча 1:1 по итогам месяца работы. Руководитель дал оценку, что я оказался "выше ожиданий". Также отметил, что я здорово влился в команду.

Получать такую оценку приятно)

Друзья, как у вас дела? Как успехи? 💪

У меня были контрольные снимки. Вроде всё хорошо. Доктор обрадовал тем, что разрешил постепенно подключать левую руку во время работы за ноутбуком! 🎉🎉🎉

Решил читать научные статьи на актуальные для меня темы.

Вот статья, которая знакомит с проблемой маленьких файлов на HDFS и способами ее решения.

https://doi.org/10.1016/j.jksuci.2021.09.007

#HDFS #hadoop