397 subscribers
228 photos
47 videos
11 files
307 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt

Буст канала тут - https://t.me/boost/data_engi
Download Telegram
😁11❤‍🔥1
Доброго понедельника 🙃

#meme #dev #qa #tests
Please open Telegram to view this post
VIEW IN TELEGRAM
5😁11
pytest - непростой фреймворк. Это мощный комбайн, под капотом которого происходит много действий (в том числе и магических). Поэтому если вы хотите подружится с ним, понять и принять, то лучший способ - покопаться в его внутрянке и решить какую-то учебную задачу. Например, переделать вывод результатов во что-то более читаемое.

P.S. Бонусом идёт список полезных материалов по pytest на самом Хабре в конце статьи.

https://habr.com/ru/articles/844728/ #python
8
😁16
Не Django единым. Выбираем админку для sqlalchemy

В кой-то веке мне понадобилась админка, причем сразу на двух проектах. Django админку ну вот совсем не хотелось тащить, больно ее сбоку поддерживать, когда она не основной фреймворк на проекте. Решил посмотреть, что нынче есть на просторах github-а.

В итоге выбор пал на starlette-admin. Из коробки есть базовые вьюхи для CRUD операций, можно работать с файлами, делать полностью кастомные экраны и много чего еще.

Очень простая архитектура, при этом довольно много чего можно переопределить и расширить под свои нужды. Особенно понравилось, что есть демо сайт и довольно подробная документация.

В общем пока нравится, посмотрим, как оно залетит в продакшен. А вы чем пользуетесь? Какими админками?🤓

https://starlette-admin-demo.jowilf.com/
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤‍🔥1😁1
Надпись на аверсе ордена:
Код плести - не мудями трясти!
😁121
🤖 gpt-4o объясняет мем:

Этот мем иллюстрирует различные паттерны создания и управления объектами в программировании, используя метафору напитков. В каждой сцене персонаж хочет получить "красный напиток" (объект), но отклоняет различные способы его получения, пока не доходит до правильного варианта — Dependency Injection (внедрение зависимостей). Давайте разберем каждую часть:

1. New Local Instance — создаётся новый экземпляр прямо на месте. Персонаж отказывается, потому что этот подход ведет к множественному созданию объектов, что может нарушить контроль над зависимостями.

2. Static / Global Instance — создаётся глобальная или статическая переменная, которая доступна в любом месте. Персонаж также отклоняет этот вариант, так как глобальные объекты могут вызывать трудности с тестированием и управлением состоянием.

3. Service Locator — объекты получаются через сервис, который выступает в роли "портала" для доступа к зависимостям. Персонаж снова говорит «нет», так как это может скрыть реальные зависимости и усложнить код.

4. Dependency Injection — персонаж наконец соглашается. Этот паттерн решает все проблемы предыдущих методов, так как зависимости передаются через конструкторы или методы, что облегчает тестирование, модульность и управление зависимостями.

Шутка в том, что персонаж, возможно, сталкивался с этими решениями в ходе работы и теперь понимает, что внедрение зависимостей — лучший способ управления объектами в современных приложениях.


#dev #arch #meme #ai #gpt #gpt4 #gpt4o
Please open Telegram to view this post
VIEW IN TELEGRAM
😁73
Выкатили релиз Python 3.13.0, и он приносит несколько важных обновлений, которые могут улучшить производительность и удобство разработки.

▶️Экспериментальная поддержка JIT-компиляции, которая обещает значительное ускорение работы кода.

▶️Появилась возможность редактирования многострочного кода в интерактивном интерпретаторе, что облегчает работу с длинными выражениями.

▶️Добавлены новые возможности для работы с типами, такие как typing.TypeIs.

▶️Для мобильных разрабов теперь доступны поддержка Android и iOS на уровне Tier 3.

Детали релиза тут: Python 3.13.0.

#dev #python #release #3.13
Please open Telegram to view this post
VIEW IN TELEGRAM
11
Ни стыда ни совести 🙂

ref
Please open Telegram to view this post
VIEW IN TELEGRAM
😁114
Forwarded from Клуб CDO (Denis Afanasev)
Как говориться - "как корабль назовешь" (не на правах рекламы, за название - пятерка)

Закрома – передовое российское ПО для хранения и управления корпоративными данными

Гибридное хранилище, предназначенное для безопасного и экономичного хранения и управления корпоративными данными произвольного формата в крупных организациях.
ЗАКРОМА обеспечивает быстрый поиск, предоставляет API для удобного взаимодействия и обладает мощным контролем доступа. В основе ЗАКРОМА лежит современный стандарт S3, который позволяет создавать высоконадежное хранилище для эффективного хранения больших объемов данных.

https://zakroma.ru/
7😁4❤‍🔥2
Если вам кажется, что поиск Google за последние лет 5 испортился, то так оно и есть. В этой истории прекрасно всё 🤦‍♂️

- найм менеджера, который уже облажался в подобном проекте
- перекладывание вины с низкопробного менеджера на высококвалифицированного технаря
- индийские касты в сердце Калифорнии
- слом миссии инструмента с естественным ухудшением качества
- зацикленность на некорректных метриках

Эта история хорошо показывает, что у каждого инструмента должна быть миссия. У молотка - забивать; у холодильника - поддерживать определённую температуру (а не хранить продукты, ха-ха); у трансформатора - преобразовывать напряжение. А для оценки их эффективности мы должны использовать корректные метрики. Будет ли такой у молотка количество забитых гвоздей (MAU)? Или как часто мы его достаём (retention)? Скорее нет, чем да.

И что будет, если мы будем развивать продукт в альтернативном направлении в ущерб основному? Например, пытаться сделать трансформатор тише за счёт качества? В итоге мы потеряем как продукт, так и пользователей. Так что для каждой новой фичи стоит задаваться вопросом "а это действительно то, что должно делать приложение?". Feature creep ближе, чем вы думаете :)

P.S. А тем временем наш герой пошёл дальше https://www.interfax.ru/world/987355

https://habr.com/ru/companies/ruvds/articles/851280/ #менеджмент
1❤‍🔥3😁1
Процесс разработки в команде DE

#meme #dev
😁11
😁10
😁171
Forwarded from DE
or
Anonymous Poll
49%
macos
51%
linux
😁6