движки SQL-on-Hadoop и форматы с которыми они работают

#hadoop #sql

На сегодня мой коммерческий опыт состовляет 20 месяцев 27 дней. То есть неполные 2 года.

Последние несколько месяцев я был погружён исключительно в работу. Никакой учёбы. Никаких курсов, дополнительных задач, книг.

Это позволило немного перевести дыхание, отдохнуть, подумать о том, что сделано и что предстоит ещё сделать.

Сегодня руки уже позволяют работать в штатном режиме (это очень радует). И уже совсем скоро я снова погружаюсь в учёбу.

Возвращаюсь в учебный график👨‍💻

Из новостей:
- завершил крутой курс по основам ООАП (он мне дал реально очень много важной базы);
- с понедельника возобновляю занятия на курсе "Инженер данных" на ЯП;
- начинаю знакомиться с парадигмами программирования;

В целом у меня отличное настроение! =)
Я в предвкушении новых знаний и навыков)

Были контрольные снимки!
Они хорошие - кости срослись =) Травмотолог меня выписал.
Он был удивлен как хорошо срослись кости. Так же удивился, что я уже настолько хорошо разрабатываю движения.
Сказал, что для моего перелома это очень хороший результат.
Осталось посетить реабилитолога и походить на физиопроцедуры. =)

С момента падения прошло 2 месяца и 5 дней. =)

Что касается программирования на канале👨‍💻

Предполагаю, что в ближайшее время я буду здесь писать почаще. Скорее всего это будут довольно короткие сообщения. Порой слабосвязанные между собой. Что-то похожее на поток мыслей.

Что бы вы хотели тут видеть?
Больше из практики или больше из теории?

Например, я бы с удовольствие здесь оставлял некоторые заметки по теме парадигм программирования, которые сейчас изучаю)

Спасибо всем, кто принял участие в опросе.

Где и кем я работаю?👨‍💻

Я сейчас работаю в команде, которая занимается развитием и поддержкой datalake платформы.

Задачи довольно разнообразные. Разработчики поделены на 2 группы, которые работают вместе: одни, кто больше в devops, и вторые, кто больше в data engineer.

У меня роль DE.

Задачи правда разнообразные. От написания скриптов в rundeck, создания dashboard-ов в Grafana и до написания отдельных пакетов, модулей, ботов, dag-ов airflow.

#истории_из_практики

#вайб #с_дочкой #кофе #утро

Крайне важно внимательно читать условия задачи.
Из-за невнимательности можно допустить серьезную ошибку, которая, в лучшем случае, приведет к невынужденной трате времени.

Например, по этой причине я потратил лишнее время на тест, не давая правильный ответ на вопрос ниже.
А нужно было просто внимательно перечитать сам вопрос)

#мысли_в_слух

Декларативное программирование -- это про то, "что" надо сделать, а не "как".

#парадигмы_программирования #из_теории

Рекурсивные вычисления -- это сердце декларативного программирования.

#парадигмы_программирования #из_теории

А вы знали, что существуют рекурсивные типы данных?

Списки различий -- это частный случай структур различий.
Структуры различий -- это частные случаи аккумуляторов.

#парадигмы_программирования #из_теории

Персистентные структуры данных -- это структуры данных, для которых хранится история их изменений.

#парадигмы_программирования #из_теории

А вы знали, что списки - это рекурсивная структура данных?
Деревья - тоже рекурсивная структура данных!

Раньше для меня список был просто линейной структурой данных, которая содержит какой-то набор значений.
Если это связный список, то каждый элемент имеет ссылку на следующий. Если двусвязный, то каждый элемент имеет ссылку на соседние элементы.

Оказывается список - это еще рекурсивная структура - за каждым элементом списка следует более маленький список!
Дерево - это иерархическая рекурсивная структура данных - за каждым элементом дерева следует произвольное количество более маленьких деревьев!

#парадигмы_программирования #из_теории

Написать декларативную программу -- значит, спроектировать эту программу как множество определений чистых рекурсивных функций, комбинируя их по правилам программирования высшего порядка.

#парадигмы_программирования #из_теории

А вы знали, что рекурсии бывают прямыми и непрямыми?

Прямая рекурсия означает, что функция явно вызывает себя в своём теле. 
Непрямая рекурсия означает, что функция вызывает другую функцию, которая вызывает исходную функцию.

#парадигмы_программирования #из_теории

Коллекция - это разновидность АТД, которая группирует набор значений в одну составную сущность (контейнер).

Разновидности коллекций:
- кортежи и записи - в декларативной модели;
- массивы и словари - в state-full модели (императивной);

#парадигмы_программирования #из_теории

Виды и свойства АТД

Безопасность:
1) Открытый АТД - внутреннее представление доступно;
2) Защищенный (безопасный) АТД - внутреннее представление скрыто/недоступно;

Состояние:
3) Stateless-АТД - экземпляры АТД недоступны для изменений, создаются новые сущности;
4) Stateful-АТД - экземпляры АТД доступны для изменений, имеют явное состояние.

Бандлинг:
5) Распакованный АТД - данные отделены от операций;
6) Запакованный АТД - данные и операции хранятся вместе (ООП);

Различные комбинации этих 3-х свойств дают разные способы реализации АТД.

#парадигмы_программирования #из_теории