Ровно 2 года назад исполнилась моя мечта детства и я "официально" стал программистом)🥳

21.10.2021 был первый рабочий день в должности разработчика. Это был Магнит, команда по работе с Биг Датой (SQL, Python, Hadoop, Informatica).

Моему счастью не было предела. Я был очень горд и счастлив - в должности на пропуске значилась запись "Разработчик". Вы даже не представляете как это было для меня важно и какие это были эмоции).

———
P.s. хотел подвести некоторые итоги. Но решил что сегодня хочу просто поделиться позитивными эмоциями.

Прочитал интересную статью Мышление письмом/моделированием.

Ссылка на статью: https://ailev.livejournal.com/1513051.html

Великолепная статья о том, что мышления без письма не бывает. Мышления в вакууме (без записывания этих мыслей) нет. Ну или оно есть, но крайне не эффективно. Это то же самое что забивать гвоздь голыми руками - если что-то и получится, то это будет долго, больно, с плохими результатами. Это больше имитация бурной деятельности, чем настоящая работа.

Давно размышляю о важности ведения заметок, написании статей, постов в социальных сетях. Это не только помогает лучше запоминать новую информацию, но помогает расширять круг друзей, партнеров, единомышленников, помогает в карьере, помогает в росте доходов.

В учебе это вообще must have. Если я прочитал что-то и не записал прочитанное собственными словами, то можно сказать, что я зря потратил время. И так к своим 31 годам я потратил таким образом очень и очень много времени. Мой КПД был крайне низким (напоминаю про забивание гвоздей голыми руками). Жаль ли мне? Да, однозначно жаль. Мог бы я действовать по-другому? Видимо на тот момент нет.

Сейчас у меня семья, 2-е детей. Время летит очень и очень быстро. Два года назад я взял курс на изменение ситуации. Смог сменить профессию, повысить доход. Смог немного лучше понять как устроена жизнь на самом деле, а не так как я себе представлял. Смог наработать некоторую систему приоритетов для себя. И самое главное понял что медлить больше нельзя. Нельзя дальше плыть по течению. Нельзя, делая дела привычным для меня образом, достичь новых результатов. Нужно меняться и действовать по-другому.

Как раз мышление письмом - это один из инструментов, который крайне важно взять на вооружение. Например, эта заметка является результатом работы с этим инструментом.

​Я теперь понимаю как приятно учителям, преподавателям, коучам, наставникам и всем тем, кто кого-то чему-то обучает, когда (внимание!) люди четко выполняют рекомендации, которые они дают. =)

Это же реально кайф! =)

Неожиданно для себя в октябре получил вот такую обратную связь, сам того не ожидая)

Постепенно перехожу к изучению программирования на более высоком уровне. 👨‍💻
Не на уровне реализации, а на уровне проектирования.

И тут столько всего интересного)))

Стили программирования, архитектуры программирования, паттерны проектирования.

Например, в октябре познакомился с примерно 3-мя десятками стилями программирования! 😃
Я даже не мог представить что столько есть!

...монолит, стековая машина, структурное программирование, пайплайны, рекурсия, конвейеры с продолжением, объектные абстракции, обмен сообщениями, АТД, инверсии управления, рефлексия, аспектно-ориентированное программирование, динамическая расширяемость, защитное программирование, ленивые потоки, несколько стилей по параллелизму, Map Reduce, MVC, REST, MVP...

Кстати, после знакомства со стилями программирования стал лучше понимать нашего одного сеньора)))

Сейчас:
- изучаю книгу Эрика Фримена «Head First. Паттерны проектирования»🔥

Неделю назад был зрителем на круглом столе, на котором говорили о паттернах проектирования.

Круглый стол был организован лидерами Python-сообщества в банке.
Был приглашен внешний эксперт из другого банка.

Ожидание перед встречей:
- узнаю как используют паттерны проектирования в проде люди с большим опытом;

Реальность:
- узнал, что это довольно холиварная тема. Оказывается есть три лагеря: "За", "Против", "Иногда за, иногда против"
🤪

​Пролетели 6 месяцев работы в текущей команде.

Напомню, что сейчас работаю в платформенной команде, которая занимается развитием и поддержкой Data Lake (Hadoop, Spark, Hive, Tez, и т.д.).

В компании широко распространена система обратной связи. Коллеги друг другу довольно регулярно пишут на корпоративном сайте обратную связь. Эту обратную связь видят руководители. Она учитывается во время аттестации. Никогда бы не подумал, но эта система очень мотивирует и она мне нравится. Приятно получать обратную связь по итогам своей работы. Приятно и удобно писать обратную связь коллегам.

Так вот, я собрал обратную связь от коллег внутри команды и от соседних команд. (см. комментарии)

👨‍💻Завершил чтение книги "Head First. Паттерны проектирования." Фримен Э., Робсон Э., Сьерра К., Бейтс Б

Классная книга. Что тут можно еще добавить?
Как-то давно я открывал эту книгу, но закрыл ее на первой же главе. У меня было убеждение, что это крайне сложная тема. И читая про все эти абстракции, у меня просто закипал мозг. Я был однозначно не готов для знакомства с темой.

Сейчас же я прошел довольно большой путь прежде, чем заново открыть эту книгу. Последовательно изучил множество базовых тем в программировании, прошел курс по ООАП. Все это позволило изучить эту книгу практически на одном дыхании. Я читал главу за главой, изучал код на Java (который видел впервые), пробовал воспроизвести некоторые примеры на Python, и практически все сразу понимал. Это реально круто.

Одной из полезнейших глав, на мой взгляд, является последняя глава про использование паттернов в реальном мире. В этой главе напоминают о том, что такое паттерны сами по себе, когда и где их использовать, акцентируют внимание, что
- во-первых, это не серебряная пуля,
- во-вторых, предлагают 100 раз подумать прежде, чем использовать паттерны,
- в-третьих, акцентируют внимание на том, что нужно проектировать системы не на основе паттернов проектирования, а прежде всего на основе ОО-принципов.

Было забавно прочитать следующие строки в конце книги:
"Одну минуту — я прочитала всю книгу, а теперь вы говорите, чтобы я НЕ ИСПОЛЬЗОВАЛА паттерны?''

Ответ несет в себе глубокий смысл:
"Конечно, мы хотим, чтобы вы использовали паттерны! Но мы еще больше хотим, чтобы вы были хорошим ОО-проектировщиком."

Структура книги, картинки, примеры кода, диаграммы, диалоги между паттернами у камина, диалоги между учителем и учеником - все это позволяет с интересом и максимально эффективно провести время за книгой.

Рекомендую.
10/10.

Мои итоги 2023 года 🌲🎄

Для меня это год открытий. Такого кол-ва изменений и нового жизненного опыта я не получал ранее.

Выделил 3 темы:
- достижение целей по доходу;
- профессиональное развитие;
- прочее.

———
С наступающим НГ!🥂

https://telegra.ph/Itogi-2023-goda-12-31-11

Была первая тренировка в зале с тренером после травмы рук!
🔥🔥🔥
+100500 к энергии!

[Начал год с изучения highload-систем]

Что это такое? Какие виды бывают? С какими проблемами и задачами сталкивались и сталкиваются разработчики? Какие есть решения? Для чего они создаются? Из каких базовых механизмов строятся такие системы?

Это обширная, крайне важная и очень интересная тема. Решил в этом году копнуть в глубину данного вопроса. Тем более я сейчас сталкиваюсь с такими системами ежедневно на работе.

Например, выделяют 2 класса таких систем:

1) Приложения, высоконагруженные данными (data-intensive applications, DIA) - класс ситуаций, когда проблемой становится объём, качество или сложность данных, обрабатываемых системой.

2) Приложения, высоконагруженные вычислениями (compute-intensive, CIA) - класс ситуаций, когда проблемой становится нагрузка на процессоры.

--
Для погружения в тему взял книгу "Высоконагруженные приложения. Программирование, масштабирование, поддержка" Мартин Клеппман.

[SQL, Spark, брокеры сообщений или итоги аттестации]

На прошлой неделе завершилась моя первая аттестация с прицелом на повышение грейда внутри компании.
Аттестацию проходил по роли Инженер данных.

По итогам 2-х технических интервью грейд повысить не удалось.
Но, у меня есть 2 месяца, чтобы подтянуть следующие темы:
- SQL (практика)
- Spark (больше теория)
- Брокеры сообщений (теория)

Через 2 месяца пробую пройти тех. интервью еще раз.

———
По всем темам у меня есть материалы для подготовки.
Планирую каждый день:
- решать задачи по SQL,
- изучать предложенные материалы по Spark и брокерам сообщений.

Пусть будет

Пусть будет - 2

2 часа ночи. Семья спит.

А у меня:
- декларативная вычислительная модель;
- модель обмена сообщениями (модель акторов);

[Мои итоги первого квартала 2024 года]

1) Познакомился со следующими параллельными моделями программирования:
- декларативная параллельная модель;
- модель обмена сообщщениями;
- параллельная модель с поддержкой состояния;
- распределенная вычислительная модель (в процессе);
2) Прочитал "Компьютерные сети" Таненбаум Э.;
3) Прочитал "Современные операционные системы", Таненбаум Э.;
4) Изучил С;
5) Написал свою виртуальную стековую машину;

На работе:
6) Получил премию по итогам прошлого года (никогда ранее такие премии не получал);
Ради шутки могу сравнить это только со страховой выплатой за поломанные руки, которую получил в прошлом году)))

А так первый квартал выдался сильно насыщенным.
7) Съездили с семьей в Сочи, катались на велосипеде по Олимпийскому парку.

8) Закрыл одну из целей на год - купил машину в семью (б/у). Последний раз у меня машина была 7 лет назад).

9) Весь квартал ходил в зал с тренером два раза в неделю (результат огонь!).
10) Важно! Оборудовал себе рабочее место дома (стол, кресло, хороший монитор).

А как у вас прошел первый квартал?

[C 1 апреля]

Спешу сообщить, что в первом квартале я был не так хорош и пункты со 2-го по 5-й не являются действительными. К сожалению.

Но я хочу в некотором будущем поработать над ними.

[Цели на 2 квартал]

Хочу попробовать вернуться к формату ежедневных отчетов в канале.
Не знаю, что из этого выйдет. Боюсь облажаться. Но стоит попробовать.

Сегодня хочу опубликовать некоторые цели на квартал.

1) Пройти аттестацию:
- изучить SPARK;
- изучить брокеры сообщений;
- подтянуть SQL;

2) Завершить знакомство с параллельными моделями программирования;

3) Доп. активности:
- прочитать "Операционные системы. Основы и принципы" Х. Дейтел
Нашел 2 издания: 1987-го и 2009-го. Было бы интересно сравнить). А потом хотел бы перейти к Таненбауму)

---
Сегодня в рамках знакомства с распределенной вычислительной моделью изучал модель отказа/сбоя:
- полный и частичный отказ,
- простые случаи обработки сбоев,
- синхронное и асинхронное обнаружение сбоев,
- обработчик бездействия сети,
- тайм-ауты и что с ними делать.

👨‍💻

[Spark и не только]

Сегодня начал просмотр материалов по Spark. Узнал немного историю создания и некоторую базу.

Apache Spark ™ — это многоязычный движок для выполнения обработки данных в локальном или кластерном режимах со встроенными модулями для SQL, потоковой передачи, машинного обучения и обработки графов.

В кластерном режиме приложения Spark выполняются как независимые наборы процессов, координируемые объектом SparkContext в основной программе (называемым программой-драйвером).

Об этой архитектуре следует отметить несколько полезных вещей:

1) Каждое приложение получает свои собственные процессы-исполнители, которые работают на протяжении всей работы приложения и выполняют задачи в нескольких потоках. Преимущество этого заключается в изоляции приложений друг от друга как со стороны планирования (каждый драйвер планирует свои собственные задачи), так и со стороны исполнителя (задачи из разных приложений выполняются в разных JVM). Однако это также означает, что данные не могут совместно использоваться различными приложениями Spark (экземплярами SparkContext) без их записи во внешнюю систему хранения.
2) Spark не зависит от базового менеджера ресурсов. Поскольку он может создавать процессы-исполнители и они взаимодействуют друг с другом, его относительно легко запустить даже в менеджере ресурсов, который также поддерживает другие приложения (например, YARN/Kubernetes).
3) Программа-драйвер должна прослушивать и принимать входящие соединения от своих исполнителей на протяжении всего своего существования (например, см. spark.driver.port в разделе конфигурации сети). Таким образом, программа-драйвер должна иметь сетевую адресацию с рабочих узлов.
4) Поскольку драйвер планирует задачи в кластере, его следует запускать рядом с рабочими узлами, желательно в той же локальной сети. Если вы хотите отправлять запросы в кластер удаленно, лучше открыть RPC для драйвера и заставить его отправлять операции поблизости, чем запускать драйвер далеко от рабочих узлов.

———

По распределенной вычислительной модели знакомился с:
- вопросом безопасности распределенных систем;
- общей схемой разработки распределенного приложения;

———

"Операционные системы. Основы и принципы" Х. Дейтел — 2,5%