398 subscribers
228 photos
47 videos
11 files
307 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt

Буст канала тут - https://t.me/boost/data_engi
Download Telegram
📚 Data Engineer Handbook 🔜 супер‑ресурс для тебя и тех, кто хочет стать профи в DE.

🌟 Что внутри:

▶️ Пошаговая дорожная карта: от базовых SQL‑запросов до продвинутого использования потоков и LLM-интеграций.

▶️ Bootcamp на YouTube: 6‑недельный курс в котором есть всё от установки софта до проектов.

▶️ Реальные проекты и задачи: попрактикуйся на настоящих сценариях 🔜 ETL, пайплайны, стриминг, облако.

▶️ Обширная подборка книг (25+) и тебе нужно обязательно прочесть хотя бы этот минимум: Fundamentals of Data Engineering, Designing Data‑Intensive Applications, Designing Machine Learning Systems.

▶️ Сообщества:

Для DE: DataExpert.io Discord, Data Talks Club Slack, Data Engineer Things.

Для ML‑интеграций: AdalFlow Discord, Chip Huyen MLOps Discord.

🔥 Репозиторий активно развивается 🔜 31k+ звёзд, 6k+ форков, 400+ контрибьютеров.

〰️〰️〰️〰️〰️〰️〰️〰️

📌 Итог:
Data Engineer Handbook 🔜 это всё, что тебе нужно в мире DE: самообучение, проекты, сообщества, советы, сертификация. Начни уже сегодня!
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤‍🔥522
В python добавляют очередной тип строк, который явно разделяет шаблон и его аргументы. Выглядеть это будет примерно так:
attributes = {"src": "shrubbery.jpg", "alt": "looks nice"}
template = t"<img {attributes:.2f} />"
assert html(template) == '<img src="shrubbery.jpg" alt="looks nice" />'
assert template.strings == ("<img ", " />")
assert template.interpolations == attributes
assert template.interpolations[0].format_spec == ".2f"

Т.е. html - кастомная функция, которая разворачивает аргумент-словарь у строки в набор тегов. Я вот так сходу не могу придумать мест применения, кроме экранирования секретов в логах. Но во-первых, это решается по-другому (своим логгером), а во-вторых, уже есть string.Template, который делает нечто похожее. Ну ладно, ещё защита от инъекций (XSS, SQL и т.п.), но там это делается совсем другим способом.

В общем, меня не покидает ощущение, что python становится слишком фичастым. И когда-нибудь это обязательно стрельнет.

https://habr.com/ru/articles/911196/ #python
6❤‍🔥1😁1
Forwarded from DLS — новости
📹 Анонс открытой лекции!

На курсе DLS сейчас череда проектов и многие задаются вопросом, о том, как можно было бы представить свои результаты не только наглядно и красиво, но и желательно в виде доступном с любого устройства и понятном даже бабушке 🇷🇺, незнакомой с программированием.

Мы знаем как это можно сделать! И на практической лекции во вторник, 24ого числа в 19:00, спикер Матвей Аношин (МФТИ x DLS), расскажет как превратить свой Jupyter-ноутбук в веб-сервис.

Ссылку на занятие выложим 24ого. Подключайтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5
SQLZoo — живой онлайн-тренажёр с задачами от простых SELECT до продвинутых оконных функций. Если хочешь свободно «разговаривать» с базами данных, тебе это нужно и будет полезным изучить каждый интерактивный урок.

1️⃣ Почему именно SQLZoo?
Платформа комбинирует теорию и практику в одном окне. Ты сразу видишь результат запроса, исправляешь ошибки на месте и не тратишь время на настройку окружения.

2️⃣ Как учиться быстрее?
🟡 Проходи уроки подряд: Basics 🔜 Joins 🔜 Aggregates 🔜 Windows.
🟡 Фиксируй новые приёмы в конспект: GROUP BY, HAVING, WITH RECURSIVE.
🟡 Старайся решить каждое задание без подсказок, а затем сравни свой запрос с эталоном.

3️⃣ Что получишь на выходе?
За пару вечеров наберёшься практики, которой хватает, чтобы читать чужие SQL-скрипты без боли и писать свои, не заглядывая в подсказки.

Чтобы SQL больше не был тёмным лесом - залетай сюда ➡️ sqlzoo.net

#sql #de #postgres
Please open Telegram to view this post
VIEW IN TELEGRAM
4
1😁14
😁11
Учёные становятся дороже футболистов. В этом мире не всё потеряно 🙂

#ai #science
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7👏4😁3
😁8
📱 ByteDance выложила в открытый доступ агента-программиста Trae.

Trae Agent превращает текстовые запросы в рабочий код. Этот экспериментальный проект использует Claude и Gemini, чтобы писать, отлаживать и исправлять ошибки в коде без участия человека. Он работает через командную строку, анализирует большие проекты, применяет bash-скрипты и обновляет файлы в реальном времени.

Система уже показала высокие результаты на тесте SWE-bench Verified. Trae открыт под MIT-лицензией, а его команда планирует расширить поддержку LLM, добавить MCP и усилить Unit-тестирование.
github.com
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4😁1
😁10
This media is not supported in your browser
VIEW IN TELEGRAM
Machine Learning Visualized — интерактивные уроки по машинному обучению

Некий студент из University of Maryland создал открытый ресурс для изучения ML-алгоритмов через интерактивную визуализацию.

Проект состоит из Jupyter Notebooks с математическими выводами и наглядными примерами обучения моделей.

На данный момент включает 4 главы: оптимизация, кластеризация, линейные модели и нейросети.

Каждый алгоритм показан от теории до практики с визуализацией процесса обучения и поиска оптимальных весов.

Есть проект в GitHub.
Все блокноты можно скачать и запустить локально или в Google Colab.

#MachineLearning #обучение #OpenSource
———
@tsingular
❤‍🔥41
Шпаргалка по скобкам в bash

#bash #linux #dev
❤‍🔥4👏1
Forwarded from Machinelearning
🔅 Vibe Kanban — оркестрация AI-кодеров в одном окне

Позволяет можно запускать и управлять сразу несколькими AI-агентами для кодинга: Claude Code, Gemini CLI, Codex — всё в одном дашборде.

▶️Что умеет:
- параллельный запуск агентов
- трекинг задач
- переключение между моделями на лету
- встроенный review и контроль над результатами
- backend написан на Rust, frontend на React, всё разворачивается локально
Полностью open-source

🟡 Репозиторий: https://github.com/BloopAI/vibe-kanban
🟡Документация: https://www.vibekanban.com/


@ai_machinelearning_big_data

#ai #aiagent #opensource #Claude #Gemini
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥51
К фобии остаться без мобилки добавляем фобию остаться без LLM-ассиста.
💯9😁3👏1
This media is not supported in your browser
VIEW IN TELEGRAM
🛰 Наглядно, как изменился космос вокруг Земли, ракеты стали многоразовыми, спутники начали собирать серийно.

Орбитальный CI/CD: быстро, стабильно и в прод. 🚀

#space #rocket #satellite
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7