400 subscribers
229 photos
47 videos
11 files
309 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt

Буст канала тут - https://t.me/boost/data_engi
Download Telegram
😁932
😁11
📌Познавательная статья про фича-флаги.

Оказывается есть стандарт OpenFeature с которым фича-флаги выглядят ещё более удобными и привлекательными при разработке.

openfeature.dev
OpenFeature GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
👏5
DE
📌Познавательная статья про фича-флаги. Оказывается есть стандарт OpenFeature с которым фича-флаги выглядят ещё более удобными и привлекательными при разработке. openfeature.dev OpenFeature GitHub
Feature flags (или флаги функций) важный инструмент в современном программировании. Они позволяют тебе включать и выключать определённые функции в коде без необходимости вносить изменения в основной код базы. Это особенно полезно при разработке и тестировании новых функций.

✔️ Преимущества использования feature flags

1️⃣ Контроль над функциями:
Можно безопасно тестировать новые функции на ограниченной группе пользователей.

2️⃣ Ускорение разработки:
Новые функции могут быть внедрены быстрее, так как их можно включать или выключать без релиза новой версии приложения.

3️⃣ Уменьшение риска:
Если новая функция вызывает проблемы, её можно быстро отключить, минимизируя влияние на пользователей.

4️⃣ Персонализация:
Различные пользователи могут видеть разные наборы функций в зависимости от своих предпочтений, групп или политик безопасности.

Влияние feature flags на кодовые базы

1️⃣ Усложнение кода:
При неправильном использовании количество условий в коде (многообразие if-elif, которые ты так любишь 🙃) может увеличиться, что сделает его сложнее для чтения и сопровождения.

2️⃣ Тестирование:
Необходимо тестировать каждую комбинацию включённых и выключенных флагов, что может увеличить объём работы тестировщиков.

3️⃣ Технический долг:
Если feature flags не удаляются после стабилизации функции, они могут накопить технический долг, усложняя кодовую базу.

📎 Заключение

Feature flags являются мощным инструментом при правильном использовании, помогая управлять развитием продукта и уменьшать риски. Однако важно следить за их количеством и своевременно удалять неиспользуемые флаги, чтобы поддерживать кодовую базу в чистоте.

#dev #featureflags #if
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7
😁8
Python Web app framework from the creators of FastAI
Looks dope

https://fastht.ml/
7😁1
Gleam. Убийца Rust/Elixir? Опять?

В узких кругах любителей функционального программирования этот язык обсуждали уже давно и далеко не один раз. Но вот несколько месяцев назад случился релиз 1.0.0 версии и покатилась маленькая, но гордая волна хайпа. С момента релиза уже успела выйти версия 1.3.0 и некоторое количество видосов о языке (раз, два) 😎

Вы спросите: ну и че это за очередной бесполезный язык?
Отвечаю: по сути на erlang решили натянуть статическую типизацию и сверху посыпать сахаром из Rust, Elm, OCaml. И оно вроде как даже получилось. И похоже даже работает😑

Из интересного:
🔣 Компилятор написан на Rust
🔣Язык поддерживает два рантайма: erlang vm и javascript (NodeJS, Deno, Bun)
🔣 Код на gleam можно встроить в код на elixir и получить бенефиты от обоих миров. Уже есть обвязки для этого (тык)
🔣 Из коробки есть набор джентельмена: компилятор, пакетный менеджер, форматер, LSP
🔣 В документации есть подсказки-сравнения с другими языками, чтобы было проще вкатиться (например для python, elixir, rust)
🔣 Программистов на gleam называют Gleamlins (глимлины?)
🔣 Есть hot reload от erlang, но с оговорками
🔣 В языке нет неявных исключений и нет типа Infinity, поэтому деление на ноль вернет ноль
🔣 Авторы говорят, что можно тащить в прод

Что думаете? Очередной убийца c++/rust/elixir/whatevername, про которого все забудут? Или все же он найдет свою смузи нишу?🤓
Please open Telegram to view this post
VIEW IN TELEGRAM
😁5
Forwarded from DataEng
В мае этого года прошла самая большая конференция по Python - PyCon US 2024. К сожалению, уже несколько лет подряд доклады с этой конференции выходят с большой задержкой. Этот год не стал исключением. Буквально только неделю назад стали доступны большинство докладов для просмотра на Ютубе. Плейлист всех видео смотрите тут. Я же выделю наиболее релевантные доклады для нас:

Cheuk Ting Ho: PyO3 101 - Writing Python modules in Rust
3-х часовой туториал по написанию расширений на Rust для Python.

Yan Yanchii: Pointers in Python
Солидный туториал для любителей покопаться в "кишках" Питона.

Renne Rocha: Gathering data from the web using Python
Трёхчасовой туториал про веб-скрейпинг на Scrapy. Начинающим дата инженерам может быть весьма полезен.

Aya Elsayed, Rhythm Patel: No More Raw SQL: SQLAlchemy, ORMs & asyncio
Воркшоп по SQLAlchemy. Полезно, если у вас небольшой опыт с ORM, в частности с алхимией.

Reuven M. Lerner: Times and dates in Pandas
Доклад про работу со временем и датами в pandas. Полезно, взял фишечки для себя, хотя в последнее время не так часто работаю с pandas для анализа данных.

Lynn Root: The Design of Everyday APIs
Полезный доклад для разработчиков публичных библиотек, да и не только публичных. Удобство и красота реализации интерфейсов программ.

Sebastian Buczyński: Having fun with pydantic and pattern matching
Обзор фишечек при работе с pydantic и сопоставлениями по шаблону.

Alex Monahan, Gabor Szarnyas: Python and SQL: Better Together, Powered by DuckDB
Про DuckDB, Python и SQL на стероидах.

David Hewitt: How Python Harnesses Rust through PyO3
Про Rust в экосистеме Python от автора PyO3.

Ссылка на полный плейлист докладов.
❤‍🔥81
Обход блокировки 📺


пошаговый гайд:


. Показываешь этот пост своему сисадмину, DevOps-у или любому другому человеку, заведующему в компании облаками. Ну или если и у тебя есть доступы, делаешь сам.

0⃣. Идешь в Яндекс.Облако и разворачиваешь виртуалку из образа OpenVPN Access Server. Для виртуалки используешь зону ru-central-d (другие скорее всего тоже будут работать). Про группы безопасности, NAT, ssh-ключи говорить не буду, ты умный - справишься. Цена вопроса от 600 до 2k ₽ в месяц. Обычно хватает минимального конфига виртуалки, поэтому берёшь shared CPU 20-50% и не паришься. Вероятно фокус с сервером в другом российском крупном облаке тоже сработает, но это нужно проверять.

1️⃣. Когда сервер поднимется, идешь в админку по адресу https://ip_vm:943 и вбиваешь логин openvpn, а сгенерированный пароль подсматриваешь в консоли, последовательном порту прям в веб-морде, или по ssh.

2️⃣. В админке OpenVPN сервера в разделе User Management -> User Permissions создаёшь столько учёток сколько хочешь (совет - включи для юзеров автологин и автоимпорт конфигурации, и запрети менять пароль, остальные настройки можешь не трогать). Учёток можно сделать сколько угодно, НО бесплатная версия сервера будет поддерживать только 2 конкурентные сессии, остальных выкидывать, имей в виду.

3️⃣. Качаешь клиент OpenVPN Connect под ЛЮБУЮ ПЛАТФОРМУ. На этом этапе ты уже должен понять почему этот способ по-настоящему айтишный, а попытки установить goodbyeDPI на смартфон своей бабушки лучше оставить мамкиным хакерам. Ну и плюс многие не относят себя к той категории людей которым норм только в браузере видосики смотреть, если у ютуба есть приложение - хочется им пользоваться, так удобно. Ровно то же касается и Smart TV.

4️⃣. Запускаешь клиент, жмёшь , вбиваешь айпи сервера, сертификат, вбиваешь пароль, жмёшь две галочки на автологин и автоконнект.

5️⃣. PROFIT.


Получаешь секьюрное соединение, российский айпишник и все причитающиеся с этого плюшки. Смотришь из 🇷🇺 контент высочайшего качества, на любом устройстве, БЕЗ РЕКЛАМЫ. Для релокантов, которые не хотят отдавать $11 за Youtube Premium способ тоже рабочий.

PS: Ну и попутно не попадаешь в базу китайских хакеров, скачав какую-то ультимативную DPI штуку на 👩‍💻.

PPS: Если не будешь шарить этот пост прям очень сильно, то 📱 не прикроет эту дверку (на самом деле за 5 лет так и не прикрыл), и ты будешь спокойно пользоваться этим способом только своим коммунити. Цени это.

#vpn #dev
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥9😁3
🖼️
PostgreSQL 16 изнутри

Разработчик СУБД Postgres Professional выпустил новую книгу «PostgreSQL 16 изнутри». Электронная версия находится в свободном доступе . Автор книги — Егор Рогов, директор по развитию образовательных программ Postgres Professional.

Первое издание этой книги, основанной на 14-й версии PostgreSQL, вышло в марте 2022 года и обновлено до версии 15. В связи с большим читательским интересом компания перевела книгу на английский язык. Позже она стала самым популярным тематическим изданием 2023 года по версии Postgres Weekly и была включена в список профессиональной литературы на официальном сайте сообщества PostgreSQL.

В текущем издании книги «PostgreSQL 16 изнутри» учтены замечания читателей, исправлены опечатки и отражены изменения, произошедшие в версии PostgreSQL 16. Postgres Professional также обновил локализованную документацию для PostgreSQL 16.

#db #sql #postgres #postgresql
Please open Telegram to view this post
VIEW IN TELEGRAM
10
Forwarded from DataEng
Ребята из Supabase не перестают радовать! 😲

На днях в сети появился новый сервис от Supabase: https://postgres.new. Это data modeling сервис на базе Postgres со встроенным AI ассистентом. Запуск Postgres прямо в браузере возможен благодаря https://pglite.dev/. Это облегчённая версия Postgres, упакованная в WASM.

Целевая аудитория сервиса:

— аналитики данных
— дата инженеры
— студенты, изучающие реляционные базы данных, в частности PostgreSQL
— разработчики, разрабатывающие схемы таблиц

Пример работы с сервисом смотрите на Ютубе.
14
1😁14❤‍🔥1
🖼️

Дата-инженерия в 2024 году находится на пороге значительных изменений, движимых стремительным развитием ИИ и облачных технологий. В этом году основной акцент делается на интеграцию AI и ML в каждую часть технологического стека, что позволяет автоматизировать анализ данных и повышать их надежность. Также наблюдается массовый переход к облачным платформам, которые обеспечивают масштабируемость и гибкость для обработки больших объемов данных, что становится критическим фактором для компаний, стремящихся оставаться конкурентоспособными.

Ключевые тренды включают использование архитектур Data Mesh для децентрализованного управления данными, активное внедрение Apache Iceberg для обработки больших наборов данных, а также расширение возможностей наблюдаемости данных, что становится важным для поддержания надежности ИИ-продуктов. В совокупности эти тренды определяют будущее дата-инженерии, где данные становятся полноценным продуктом, а команды по работе с данными все больше похожи на программные команды.

Не упусти возможность быть в авангарде этих изменений — будущее уже здесь!

#de #dev #dataengineering
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7
🖼️ Airflow 2.10.0

Сегодня выкатили новую версия Apache Airflow — 2.10.0
В релизе много полезных изменений и фиксов, а также новых фич:

▶️ декораторы @skip_if и @run_if с помощью которых ты можешь удобно задать условия запуска или пропуска Task`а

▶️ Datasets больше не запускают неактивные DAG`и

▶️ одновременное использование нескольких Executor в рамках одного DAG`а

▶️ try_number больше не увеличивается во время выполнения Task`а

▶️ Важно! Теперь Airflow по дефолту собирает телеметрию, все данные передаются в Scarf. Можешь отключить, нужно поправить конфиг [usage_data_collection]enabled=False или переменную окружения SCARF_ANALYTICS=false

Полный список изменений смотри тут или тут.

#airflow #de #dev
Please open Telegram to view this post
VIEW IN TELEGRAM
119