На изображении показан процесс, который является визуальной метафорой на основе популярной песни Михаила Шуфутинского "Третье сентября". Этот процесс можно интерпретировать как ETL-процесс в дата инженерии, если рассматривать его с точки зрения последовательных шагов обработки данных:

1️⃣ Извлечение (Extract): "Календарь" и "Фото твоё" — это источники данных.
2️⃣ Трансформация (Transform): Шаги, включающие "Я календарь переверну" и "На фото я твоё взгляну", можно рассматривать как этапы обработки данных.
3️⃣ Загрузка (Load): Результатом является "План дальнейших действий", что можно интерпретировать как целевой набор данных.

🔘 Идемпотентность
Идемпотентность подразумевает, что повторное выполнение одного и того же процесса не изменяет результат. В данном контексте, если процесс повторяется каждый год, и результат всегда одинаков ("Третье сентября" каждый год), можно сказать, что процесс идемпотентен.

🔘 Логические ошибки
С точки зрения логики ETL, основной вопрос возникает с условием:

✖️ Если каждый год мы переворачиваем календарь и смотрим на фото, и снова наступает третье сентября, то это выглядит как бесконечный цикл. Это может быть проблемой с точки зрения времени выполнения и целевого состояния данных.
✖️ Условие, где говорится "Ведь было всё у нас вчера" (если сравнивать с 2 сентября), похоже на попытку логической проверки, но нет явного указания, что происходит, если проверка не пройдена.

〰️〰️〰️〰️〰️〰️〰️〰️

Итак, в данной схеме отсутствует четкая логическая развязка, которая позволила бы избежать бесконечных повторений или учесть ошибки. Это не совсем обычная ситуация для стандартного ETL-процесса, где такие аспекты должны быть четко определены.

Следовательно, несмотря на творческую интерпретацию процесса как ETL, для практического применения в дата инженерии потребовалось бы уточнение и исправление логических ошибок, связанных с итерациями и условиями.

#ai #chatgpt #meme #шуфутинский #de #etl

2️⃣0️⃣ найденных периодических решений задачи трёх тел

Задача трёх тел — это классическая проблема в небесной механике, заключающаяся в предсказании движения трёх небесных тел, взаимодействующих друг с другом гравитационно. В отличие от задачи двух тел, которая имеет аналитическое решение, задача трёх тел гораздо сложнее и, как правило, не имеет простого аналитического решения. Однако для некоторых начальных условий возможно найти периодические решения, когда все три тела возвращаются к своим исходным позициям и скоростям после некоторого периода времени.

Гифка показывает 20 таких периодических решений задачи трёх тел. Эти решения были найдены среди множества других возможных траекторий, которые могли бы быть хаотичными или непредсказуемыми. Периодические решения являются уникальными, так как они показывают, как три тела могут двигаться в сложных, но предсказуемых паттернах, не сталкиваясь и не улетая бесконечно далеко друг от друга.

В данной гифке:

1️⃣ Каждое решение представляет собой уникальную траекторию движения трёх тел. Тела притягиваются друг к другу гравитационными силами, что создает разнообразные орбитальные паттерны.
2️⃣ Периодичность означает, что после завершения одного полного цикла движения тела возвращаются к своим начальным условиям, повторяя тот же путь снова и снова.
3️⃣ Комплексность движений демонстрирует, как даже при относительно простых начальных условиях система может вести себя очень сложно, создавая интересные и красивые орбитальные паттерны.

Такие визуализации помогают учёным лучше понять динамику многотелых систем, что имеет важные приложения в астрономии и физике, включая предсказание орбит планет, спутников и астероидов.

#three_body_problem #3_body_problem

🪐 Задача трёх тел и ETL-пайплайны: Чему можно научиться у космоса

Задача трёх тел показывает, как сложно всё может быть, когда несколько объектов взаимодействуют друг с другом. В ETL-пайплайнах данные из разных источников тоже взаимодействуют и проходят через сложные процессы, прежде чем попасть в хранилище.

💡 Идея для дата-инженеров: Как в задаче трёх тел важно найти устойчивые орбиты, так и в ETL важно наладить надёжные и предсказуемые пути для данных. Оптимальные методы и инструменты помогут сделать процесс обработки данных стабильным и точным, даже если всё кажется запутанным.

🙂 Из забавного, на просторах телеги живёт бот 3_body_problem_bot, который генерирует симуляцию гравитационного взаимодействия трёх случайных тел каждые 12 часов.

👩‍💻 GitHub проекта.

Доброго понедельника 🙃

#meme #dev #qa #tests

👩‍💻 Bash Scripting для начинающих

1️⃣ run-shell-script

2️⃣ bash-variables

3️⃣ bash-arguments

4️⃣ bash-arrays

5️⃣ bash-arithmetic-operators

6️⃣ bash-strings

7️⃣ if-else-bash

8️⃣ bash-loops

9️⃣ bash-functions

🔟 bash-automation

#linux #bash #dev