🆕🔥Новый.
👉 Tasks, Operators и TaskFlow API
📝 Task - базовая единица выполнения Airflow. В этой части разбираются классические Operator, PythonOperator, BashOperator, современный @task, автоматические зависимости, XCom, границы применимости и практические ошибки.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/tasks-operators-taskflow-api/
👉 Tasks, Operators и TaskFlow API
📝 Task - базовая единица выполнения Airflow. В этой части разбираются классические Operator, PythonOperator, BashOperator, современный @task, автоматические зависимости, XCom, границы применимости и практические ошибки.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/tasks-operators-taskflow-api/
🆕🔥Новый.
👉 Планирование в Airflow
📝 Расписание в Airflow задаёт не просто момент старта, а интервалы данных. Главные понятия части: logical_date, data_interval_start, data_interval_end, catchup, backfill и ручной запуск.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/planirovanie-airflow/
👉 Планирование в Airflow
📝 Расписание в Airflow задаёт не просто момент старта, а интервалы данных. Главные понятия части: logical_date, data_interval_start, data_interval_end, catchup, backfill и ручной запуск.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/planirovanie-airflow/
🆕🔥Новый.
👉 Шаблонизация Airflow, контекст выполнения и Jinja
📝 Шаблоны позволяют подставлять runtime-данные Airflow в поля операторов: даты интервала, params, Variable, Connection, XCom. Главная цель части - научиться параметризовать DAG-и без datetime.now(), хардкода и небезопасной сборки строк.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/shablonizatsiya-airflow-kontekst-vypolneniya-jinja/
👉 Шаблонизация Airflow, контекст выполнения и Jinja
📝 Шаблоны позволяют подставлять runtime-данные Airflow в поля операторов: даты интервала, params, Variable, Connection, XCom. Главная цель части - научиться параметризовать DAG-и без datetime.now(), хардкода и небезопасной сборки строк.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/shablonizatsiya-airflow-kontekst-vypolneniya-jinja/
🆕🔥Новый.
👉 Sensors в Airflow, ожидание внешних событий
📝 Sensor - специальный оператор ожидания: файла, времени, внешнего DAG-а, SQL-условия или произвольной проверки. Главная цель части - научиться ждать внешние события без захвата worker-слотов и без превращения Airflow в polling-сервис.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/sensors-airflow-ozhidanie-vneshnih-sobytii/
👉 Sensors в Airflow, ожидание внешних событий
📝 Sensor - специальный оператор ожидания: файла, времени, внешнего DAG-а, SQL-условия или произвольной проверки. Главная цель части - научиться ждать внешние события без захвата worker-слотов и без превращения Airflow в polling-сервис.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/sensors-airflow-ozhidanie-vneshnih-sobytii/
🆕🔥Новый.
👉 Assets в Airflow и зависимость от данных
📝 Asset описывает данные как контракт между producer DAG и consumer DAG. В этой части разбирается asset-aware scheduling: downstream DAG запускается не потому, что другой DAG завершился, а потому что конкретные данные были обновлены.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/assets-airflow-zavisimost-dannyh/
👉 Assets в Airflow и зависимость от данных
📝 Asset описывает данные как контракт между producer DAG и consumer DAG. В этой части разбирается asset-aware scheduling: downstream DAG запускается не потому, что другой DAG завершился, а потому что конкретные данные были обновлены.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/assets-airflow-zavisimost-dannyh/
🆕🔥Новый.
👉 Task Groups в Airflow, большие DAG
📝 TaskGroup в Airflow помогает сделать большой DAG читаемым: сгруппировать этапы, скрыть визуальный шум и показать pipeline блоками. Главное - помнить, что группа не создаёт отдельный DAG и не заменяет архитектурное разделение кода.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/task-groups-airflow-bolshie-dag/
👉 Task Groups в Airflow, большие DAG
📝 TaskGroup в Airflow помогает сделать большой DAG читаемым: сгруппировать этапы, скрыть визуальный шум и показать pipeline блоками. Главное - помнить, что группа не создаёт отдельный DAG и не заменяет архитектурное разделение кода.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/task-groups-airflow-bolshie-dag/
🆕🔥Новый.
👉 Airflow: Работа с БД, API, файлами и внешними системами
📝 Airflow редко выполняет полезную работу изолированно: обычно DAG связывает БД, API, object storage, файлы и внешние jobs. Главная цель части - научиться строить retry-safe интеграции через Operators, Hooks, Connections и идемпотентные записи.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/airflow-rabota-bd-api-fai-lami/
👉 Airflow: Работа с БД, API, файлами и внешними системами
📝 Airflow редко выполняет полезную работу изолированно: обычно DAG связывает БД, API, object storage, файлы и внешние jobs. Главная цель части - научиться строить retry-safe интеграции через Operators, Hooks, Connections и идемпотентные записи.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/airflow-rabota-bd-api-fai-lami/
🆕🔥Новый.
👉 Airflow Executors, очереди, масштабирование и производительность
📝 Airflow Executors определяет, где и как реально запускаются Task Instance: локально, на Celery workers, в Kubernetes Pods или через несколько executors. Часть показывает, как управлять параллелизмом, очередями, pools, приоритетами, ресурсами и типовыми bottlenecks.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/airflow-executors-ocheredi-masshtabirovanie/
👉 Airflow Executors, очереди, масштабирование и производительность
📝 Airflow Executors определяет, где и как реально запускаются Task Instance: локально, на Celery workers, в Kubernetes Pods или через несколько executors. Часть показывает, как управлять параллелизмом, очередями, pools, приоритетами, ресурсами и типовыми bottlenecks.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/airflow-executors-ocheredi-masshtabirovanie/
🔥2
🆕🔥Новый.
👉 Продвинутые приёмы разработки Airflow DAG-ов
📝 Продвинутый Airflow начинается там, где DAG-и становятся переиспользуемыми компонентами: фабрики, custom operators, hooks, sensors, plugins и версионирование. Цель части - строить расширяемую кодовую базу без нестабильного parse-time и зависимости от внутренних API.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/prodvinutye-razrabotki-airflow-dag/
👉 Продвинутые приёмы разработки Airflow DAG-ов
📝 Продвинутый Airflow начинается там, где DAG-и становятся переиспользуемыми компонентами: фабрики, custom operators, hooks, sensors, plugins и версионирование. Цель части - строить расширяемую кодовую базу без нестабильного parse-time и зависимости от внутренних API.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/prodvinutye-razrabotki-airflow-dag/
🔥1
🆕🔥Новый.
👉 Архитектурные паттерны Airflow в реальных системах
📝 Airflow лучше работает как orchestration layer: он управляет порядком, расписанием, retries, логами и зависимостями, но тяжёлые вычисления передаёт внешним системам. В этой части - production-паттерны: dbt, Spark, Kubernetes, warehouse, API ingestion, replayability, backfill, cost control и governa
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/arhitekturnye-patterny-airflow-realnyh-sistemah/
👉 Архитектурные паттерны Airflow в реальных системах
📝 Airflow лучше работает как orchestration layer: он управляет порядком, расписанием, retries, логами и зависимостями, но тяжёлые вычисления передаёт внешним системам. В этой части - production-паттерны: dbt, Spark, Kubernetes, warehouse, API ingestion, replayability, backfill, cost control и governa
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/arhitekturnye-patterny-airflow-realnyh-sistemah/
🆕🔥Новый.
👉 Прикладной набор production-рецептов Airflow
📝 Прикладной набор production-рецептов Airflow: безопасный ETL, backfill, API pagination, Dynamic Mapping, assets, sensors, alerts, CI, pools, DAG factory и runbooks. Цель - дать готовые паттерны, которые можно адаптировать под реальные проекты.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/prikladnoi-nabor-production-retseptov-airflow/
👉 Прикладной набор production-рецептов Airflow
📝 Прикладной набор production-рецептов Airflow: безопасный ETL, backfill, API pagination, Dynamic Mapping, assets, sensors, alerts, CI, pools, DAG factory и runbooks. Цель - дать готовые паттерны, которые можно адаптировать под реальные проекты.
🌐 https://docs-python.ru/other/apache-airflow-kakuyu-problemu-reshaet/prikladnoi-nabor-production-retseptov-airflow/
🆕🔥Новый.
👉 Утилита Pandoc в Linux.
📝 Pandoc не просто "конвертер файлов", а промежуточный слой между форматами документов. Главная идея: входной формат читается в структурное представление, затем это представление записывается в целевой формат.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/
👉 Утилита Pandoc в Linux.
📝 Pandoc не просто "конвертер файлов", а промежуточный слой между форматами документов. Главная идея: входной формат читается в структурное представление, затем это представление записывается в целевой формат.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/
🔥1
🆕🔥Новый.
👉 Форматы ввода и вывода в pandoc
📝 Формат в pandoc - это не просто расширение файла, а выбранный reader или writer. Правильный выбор --from, --to и расширений Markdown определяет, какие элементы документа сохранятся, а какие будут упрощены или потеряны.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/formaty-vvoda-vyvoda-pandoc/
👉 Форматы ввода и вывода в pandoc
📝 Формат в pandoc - это не просто расширение файла, а выбранный reader или writer. Правильный выбор --from, --to и расширений Markdown определяет, какие элементы документа сохранятся, а какие будут упрощены или потеряны.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/formaty-vvoda-vyvoda-pandoc/
👍1
🆕🔥Новый.
👉 Командная строка pandoc: базовые и важные опции
📝 Команда pandoc - это декларативное описание конвертации: вход, формат чтения, формат записи, параметры документа и путь результата. Важно научиться читать команду как pipeline, а не как набор флагов.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/komandnaya-stroka-pandoc-bazovye-vazhnye-optsii/
👉 Командная строка pandoc: базовые и важные опции
📝 Команда pandoc - это декларативное описание конвертации: вход, формат чтения, формат записи, параметры документа и путь результата. Важно научиться читать команду как pipeline, а не как набор флагов.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/komandnaya-stroka-pandoc-bazovye-vazhnye-optsii/
👍1
🆕🔥Новый.
👉 Markdown для Pandoc: правильная разметка документов
📝 Pandoc Markdown лучше воспринимать как переносимый исходный код документа. Чем чище структура Markdown, тем стабильнее экспорт в HTML, DOCX, PDF, EPUB и другие форматы.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/markdown-pandoc-pravilnaya-razmetka-dokumentov/
👉 Markdown для Pandoc: правильная разметка документов
📝 Pandoc Markdown лучше воспринимать как переносимый исходный код документа. Чем чище структура Markdown, тем стабильнее экспорт в HTML, DOCX, PDF, EPUB и другие форматы.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/markdown-pandoc-pravilnaya-razmetka-dokumentov/
👍1
🆕🔥Новый.
👉 HTML, CSS и standalone-документы в pandoc
📝 HTML-вывод в pandoc делится на два режима: фрагмент для встраивания и полноценный документ. Практическая ценность появляется при управлении --standalone, CSS, ресурсами, оглавлением, якорями и шаблонами.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/html-css-standalone-dokumenty-pandoc/
👉 HTML, CSS и standalone-документы в pandoc
📝 HTML-вывод в pandoc делится на два режима: фрагмент для встраивания и полноценный документ. Практическая ценность появляется при управлении --standalone, CSS, ресурсами, оглавлением, якорями и шаблонами.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/html-css-standalone-dokumenty-pandoc/
👍1
🆕🔥Новый.
👉 Формат PDF в pandoc
📝 PDF в pandoc почти всегда создаётся через внешний PDF-движок. Главная задача разработчика - выбрать правильный промежуточный формат и engine: LaTeX, Typst, HTML/CSS, ConTeXt или ms.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/format-pdf-pandoc/
👉 Формат PDF в pandoc
📝 PDF в pandoc почти всегда создаётся через внешний PDF-движок. Главная задача разработчика - выбрать правильный промежуточный формат и engine: LaTeX, Typst, HTML/CSS, ConTeXt или ms.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/format-pdf-pandoc/
👍1
🆕🔥Новый.
👉 Формат DOCX в pandoc
📝 DOCX-вывод в pandoc строится вокруг стилей Word, а не вокруг ручного форматирования. Ключевой инструмент - --reference-doc: он задаёт стили, поля, размер страницы, колонтитулы и другие свойства итогового документа.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/format-docx-pandoc/
👉 Формат DOCX в pandoc
📝 DOCX-вывод в pandoc строится вокруг стилей Word, а не вокруг ручного форматирования. Ключевой инструмент - --reference-doc: он задаёт стили, поля, размер страницы, колонтитулы и другие свойства итогового документа.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/format-docx-pandoc/
👍1
🆕🔥Новый.
👉 EPUB, презентации и нестандартные выходные форматы в Pandoc
📝 Pandoc полезен не только для HTML, DOCX и PDF. Он также закрывает задачи книг, слайдов, notebook-файлов, chunked-документации, man-страниц, Vim help и других специальных форматов.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/epub-prezentatsii-nestandartnye-vyhodnye-formaty-p/
👉 EPUB, презентации и нестандартные выходные форматы в Pandoc
📝 Pandoc полезен не только для HTML, DOCX и PDF. Он также закрывает задачи книг, слайдов, notebook-файлов, chunked-документации, man-страниц, Vim help и других специальных форматов.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/epub-prezentatsii-nestandartnye-vyhodnye-formaty-p/
👍1
🆕🔥Новый.
👉 Автоматизация в Pandoc: Python, Makefile, Docker и CI/CD
📝 Автоматизация превращает pandoc из ручной CLI-команды в воспроизводимый build pipeline. Цель этой части - собрать документы одинаково локально, в Docker и в CI/CD, с проверками, логами и понятными ошибками.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/avtomatizatsiya-pandoc-python-makefile-docker-ci-c/
👉 Автоматизация в Pandoc: Python, Makefile, Docker и CI/CD
📝 Автоматизация превращает pandoc из ручной CLI-команды в воспроизводимый build pipeline. Цель этой части - собрать документы одинаково локально, в Docker и в CI/CD, с проверками, логами и понятными ошибками.
🌐 https://docs-python.ru/other/utilita-pandoc-linux/avtomatizatsiya-pandoc-python-makefile-docker-ci-c/
👍1