👀 Data Quality в масштабе Big Data: как мы построили систему контроля качества данных в Hadoop
В статье рассказывается то, как в Ozon Data Platform реализовали проверки качества данных в таблицах в HDFS
📎 Читать статью
В статье рассказывается то, как в Ozon Data Platform реализовали проверки качества данных в таблицах в HDFS
📎 Читать статью
❤2
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Если хотели поиграться с trino iceberg и minio, тот вот репозиторий с docker compose настройками.
Можно провалиться в кишки таблицы iceberg на s3, ну и посмотреть на логику работы trino в ui.
Для развертывания трино необходим новый тип CPU, не везде может запуститься. Но в крайнем случае можно VPS арендовать на время 😉
https://github.com/ivanshamaev/trino-iceberg-minio
#trino #iceberg #minio
Можно провалиться в кишки таблицы iceberg на s3, ну и посмотреть на логику работы trino в ui.
Для развертывания трино необходим новый тип CPU, не везде может запуститься. Но в крайнем случае можно VPS арендовать на время 😉
https://github.com/ivanshamaev/trino-iceberg-minio
#trino #iceberg #minio
GitHub
GitHub - ivanshamaev/trino-iceberg-minio: Тестовый проект по Trino + Iceberg + Rest Catalog + Minio s3
Тестовый проект по Trino + Iceberg + Rest Catalog + Minio s3 - ivanshamaev/trino-iceberg-minio
❤3🔥2
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Оптимизация запросов в Trino
Наковырял из документации основные термины и понятия по Trino (плюс настройки из последней версии 478, которые могут пригодиться для оптимизации). Получился в некотором виде конспект.
https://ivan-shamaev.ru/trino-query-optimizer/
Также на днях вышел перевод книги Trino. Анализ больших данных.
Первая глава и оглавление доступны для просмотра
#trino #iceberg
Наковырял из документации основные термины и понятия по Trino (плюс настройки из последней версии 478, которые могут пригодиться для оптимизации). Получился в некотором виде конспект.
https://ivan-shamaev.ru/trino-query-optimizer/
Также на днях вышел перевод книги Trino. Анализ больших данных.
Первая глава и оглавление доступны для просмотра
#trino #iceberg
Персональный блог Data Engineer | Ex-TeamLead BI Developer
Оптимизация запросов в Trino. Обзор функциональности и настроек
Оптимизация запросов в Trino. Обзор функциональности и настроек. Перевод документации по улучшению производительности sql запросов в трино
🔥3❤2
DE
#dev #meme #script #Gerodot #разработка #мем #скрипт #Геродот
Please open Telegram to view this post
VIEW IN TELEGRAM
Это простая истина, которую легко забыть.
Деньги — это просто инструмент, который люди передают друг другу в обмен на ценность.
И когда какой-нибудь "эффективный" менеджер выкатывает фичу, потому что его A/B-тесты показали супер-прибыль, он про эту истину может забыть.
Одно дело, если фича действительно приносит ценность пользователю или решает его задачу
Или еще хуже, когда "эффективный" менеджер действует по схеме: сначала добавляет проблему, а потом предлагает купить ее решение.
В таких случаях прибыль получается только за счет обстоятельств, которые вынуждают пользователя заплатить сверх запланированного
Было бы круто, если бы "эффективный" менеджер подтверждал ценность фичи, например, NPS-ом пользователей. Да, тут сразу может всплыть отмазка про баннерную слепоту, но это можно обойти, если есть цель узнать мнение пользователя.
Думаю, в таком случае даже ежемесячная (на разумную сумму) подписка будет человечнее.
Главное, не забывать: людям платят люди. Когда вместо обещанного решения проблем создаются невыносимые условия и всё идет вразрез с интересами пользователя, посты в соцсетях об "аскезе" на использование приложения — вполне ожидаемый результат.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9😁2💯2
🤓Научился сам — научи другого: создаем курс по бизнес-процессам с нуля
Автор статьи, Полина Кощеева, бизнес-аналитик в домене «Управление персоналом» «Группы Лента» (Lenta tech), делится кейсом, как через массовое обучение коллег базовым правилам описания бизнес-процессов решилась одна из «любимых» болей бизнес-аналитиков – бесконечные разъяснения схем бизнес-процессов.
📎 Читать статью
Автор статьи, Полина Кощеева, бизнес-аналитик в домене «Управление персоналом» «Группы Лента» (Lenta tech), делится кейсом, как через массовое обучение коллег базовым правилам описания бизнес-процессов решилась одна из «любимых» болей бизнес-аналитиков – бесконечные разъяснения схем бизнес-процессов.
📎 Читать статью
🔥9👏1
🤓Избавляемся от хаоса в проектировании ИТ-решений: формируем команду с помощью ArchiMate
📎 Читать статью
📎 Читать статью
Хабр
Избавляемся от хаоса в проектировании ИТ-решений: формируем команду с помощью ArchiMate
«Ну ты же компьютерщик!» — многим из ИТ-сферы знакома эта фраза из прошлого. Ей обосновывали, почему именно вы должны сделать почти всё: от настройки принтера до разработки и тестирования систем....
👏1😁1
👀Как стартовать с Data Lakehouse и перейти на Data Lake
Автор статьи, Алексей Соболеков, лид архитектуры F&R, рассказывает, как в Magnit Tech изменилась концепция Data Lakehouse, где она блестяще сработала — и где подвела.
📎 Читать статью
Автор статьи, Алексей Соболеков, лид архитектуры F&R, рассказывает, как в Magnit Tech изменилась концепция Data Lakehouse, где она блестяще сработала — и где подвела.
📎 Читать статью
Хабр
Как стартовать с Data Lakehouse и перейти на Data Lake
О чем статья? В статье Архитектура высоконагруженной платформы Magnit F&R было рассказано о ключевых архитектурных принципах и решениях. Сегодня хочу поделиться практическим опытом: как в Magnit...
🔥3
Автор статьи поделился опытом, как с помощью ИИ он описал модель процесса, преобразовал её в модель состояний и написал код
📎Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Можно ли с помощью ИИ решать сложные и критичные задачи?
С помощью ИИ вполне можно сгенерировать сайт‑визитку или игру в крестики‑нолики, составить план отпуска или сделать более сложные вещи. А как насчёт того, чтобы...
👏4😁2
Автор статьи рассуждает на тему, какие KPI корректные для роли аналитика, а какие — нет.
🔗 Читать статью
Можно проголосовать реакциями:
👍 KPI необходим для оценки работы аналитика
👾 KPI для роли БА не нужен
Please open Telegram to view this post
VIEW IN TELEGRAM
👾46👍17🗿3
🥰 Dream Team для тимлида: как сформировать команду, которая отлично справляется без твоего гиперконтроля
Автор статьи, Лиза Рюрикх, тим-лид команды аналитики в «Синимекс», рассказывает о магии построения Dream Team
📎 Читать статью
Автор статьи, Лиза Рюрикх, тим-лид команды аналитики в «Синимекс», рассказывает о магии построения Dream Team
📎 Читать статью
👏4👍1
В статье автор показывает:
— как с помощью AI-агентов можно управлять потоками данных, автоматизировать поддержку и даже проверять подлинность документов – все без кода;
— реальные кейсы с примерами использования n8n для интеграции с чат-ботами, корпоративными хранилищами и MCP-серверами;
— какие практические приемы, лайфхаки и рекомендации по проектированию, безопасности и оптимизации рабочих процессов с подходом AI-first.
🔗 Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🤩2
Обзорная статья с описанием того, что такое AI-агенты и AI-команды, как они работают, где будут полезны бизнесу, какие имеют преимущества, риски и ограничения
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥3😁1
В статье рассказывается:
Эта статья предназначена для владельцев и руководителей компаний, консультантов и бизнес-аналитиков, которые хотят навести порядок в управлении и повысить эффективность.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥2
В статье рассказывается, чем ИИ-агенты отличаются от привычных чат-ботов, каким проектам они приносят реальную выгоду и как оценить, готова ли компания к первому пилоту.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥2
Перевод материалов 5-дневного интенсива по AI-агентам от Google:
✳️ Интенсивный курс «AI-агенты» от Google День 1
✳️ Интенсивный курс «AI-агенты» от Google День 2
✳️ Интенсивный курс «AI-агенты» от Google День 3
✳️ Интенсивный курс «AI-агенты» от Google День 4
✳️ Интенсивный курс «AI-агенты» от Google День 5
📎 Оригинал:
— Introduction to Agents
— Agent Tools & Interoperability with MCP
— Context Engineering: Sessions, Memory
— Agent Quality
— Prototype to Production
— Introduction to Agents
— Agent Tools & Interoperability with MCP
— Context Engineering: Sessions, Memory
— Agent Quality
— Prototype to Production
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥15