Forwarded from Мысли CEO вслух | Юниверс Дата
Вчера в Санкт-Петербурге записал потрясающий эфир с Алексеем Белозерским — руководителем Big Data Services VK Cloud, VK Tech и автором канала Архитектор данных. Говорили о самых передовых темах современного управления данными:
- Lakehouse и его роль в управлении данными, заменит ли он DWH?
- ИИ в Data Governance — как найти правильную комбинацию
- Парадокс self-service аналитики — почему не всё так просто
- Концепция "chat with your data" и её практическое применение
- Open Source vs Commercial — вечная дилемма, что выбрать. Плюсы и минусы.
- Образование — онлайн курсы vs фундаментальные знания
Думаю, сегодня закончим монтаж и завтра эфир уже будет доступен. Алексей очень глубоко погружён в тему, так что будет интересно!
А пока — продолжаю рубрику #закулисами
Как и обещал, делюсь новыми возможностями наших релизов. Сегодня на очереди крутая фича DG — создание активов без черновика.
Казалось бы, мелочь, а на практике серьёзно ускоряет работу дата-аналитиков и steward'ов.
Следите за обновлениями — завтра эфир, а релизы продолжаем готовить!
#мыслиCEOвслух #закулисамиl
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍16❤7 5🔥2
Появилась запись огненного интервью с Владом Каменским, CEO Юниверс Дата.
Из разобранных тем:
- LakeHouse против DWH (или нет).
- ИИ и классический Data Governance: друзья или враги?
- Пара слов о построении КХД для небольшой компании
И много других интересных вопросов.
Видео доступно по ссылке.
Обязательно подпишитесь на канал Влада
Отдельная благодарность - за подеренную книгу.
Из разобранных тем:
- LakeHouse против DWH (или нет).
- ИИ и классический Data Governance: друзья или враги?
- Пара слов о построении КХД для небольшой компании
И много других интересных вопросов.
Видео доступно по ссылке.
Обязательно подпишитесь на канал Влада
Отдельная благодарность - за подеренную книгу.
❤9 5👍4👏3
Text to SQL (не) работает
Согласен с коллегами (см репост)
Мы хотим решить режимом аналитического диалога. В процессе работы белковый аналитик также задает бизнесу уточняющие вопросы и действует в зависимости от этих уточнений.
Эту часть также можно во многом автоматизировать.
Пример: на вопрос «как вывести на рынок новый продукт» предложить проанализировать примеры успешных запусков. А дальше продолжить раскапыванием особенностей динамики продаж успешных кейсов.
Удержание контекста, примеры успешных диалогов, понимание структуры компании, чем конкретно занимается заказчик и какая у него внутренняя терминология включая жаргонизмы. Задача сильно сложнее чем просто «эй, чат, напиши мне запрос», но в совокупности взлетабельно.
Согласен с коллегами (см репост)
Мы хотим решить режимом аналитического диалога. В процессе работы белковый аналитик также задает бизнесу уточняющие вопросы и действует в зависимости от этих уточнений.
Эту часть также можно во многом автоматизировать.
Пример: на вопрос «как вывести на рынок новый продукт» предложить проанализировать примеры успешных запусков. А дальше продолжить раскапыванием особенностей динамики продаж успешных кейсов.
Удержание контекста, примеры успешных диалогов, понимание структуры компании, чем конкретно занимается заказчик и какая у него внутренняя терминология включая жаргонизмы. Задача сильно сложнее чем просто «эй, чат, напиши мне запрос», но в совокупности взлетабельно.
Forwarded from LEFT JOIN
Почему Text 2 SQL не работает?
Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать.
И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит.
На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат.
На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным.
Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL.
И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают.
🔜 AI может перевести вопрос в SQL, но не может придумать сам вопрос, который имеет смысл для бизнеса.
Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи.
А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.
Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать.
И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит.
На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат.
На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным.
Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL.
И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают.
Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи.
А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯14❤2👍2 2
Forwarded from topdatalab (Roman Zykov)
Две плохие новости за последний месяц: Fivetran купила SQLMesh и dbt.
Почему это плохо.
SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров.
Думаю, что сейчас фаундеры SQLmesh ходят грустные.
Про dbt не скажу, но SQLMesh наступала ей на пятки.
И такая консолидация плохо повлияет на развитие инструментов.
Почему это плохо.
SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров.
Думаю, что сейчас фаундеры SQLmesh ходят грустные.
Про dbt не скажу, но SQLMesh наступала ей на пятки.
И такая консолидация плохо повлияет на развитие инструментов.
💯7 4🤔1
topdatalab
Две плохие новости за последний месяц: Fivetran купила SQLMesh и dbt. Почему это плохо. SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров. Думаю, что…
DBT - один из самых полезных инструментов для инжиниринга данных.
Видимо, пришло время сделать свой аналог, свободный от окукливания большими жадными корпорациями. Заодно проделать работу над ошибками, потому как некоторые вещи ужас как неудобно делать.
Расскажите, что для вас удобно и неудобно в DBT и SQL Mesh.
Видимо, пришло время сделать свой аналог, свободный от окукливания большими жадными корпорациями. Заодно проделать работу над ошибками, потому как некоторые вещи ужас как неудобно делать.
Расскажите, что для вас удобно и неудобно в DBT и SQL Mesh.
Следующее пристанице самурая данных - Форум "Открытые Данные", Казань 30-31 октября.
Докладываю о современных подходах к построению облаков данных.
https://opendataforum.ru/
Докладываю о современных подходах к построению облаков данных.
https://opendataforum.ru/
👍11 3❤2
Мясная статья от коллег с измерением скорости Lakehouse движков
https://habr.com/ru/companies/cedrusdata/articles/955896/
https://habr.com/ru/companies/cedrusdata/articles/955896/
Хабр
Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех
Clickbait-картинка В этой статье мы детально рассмотрим поведение аналитических движков при выполнении TPC-DS запроса Q1 на одном узле. Этот ограниченный тест даст нам столько информации к...
👍10😁5❤2
На вот этот вебинар запишитесь!
https://cloud.vk.com/events/migraciya-prilozheniya-kak-perenesti-infrastrukturu-s-monolita-v-upravlyaemyj-kubernetes-v-oblake
Ведут два абсолютных "отца" кубера и облачных миграций.
Сам точно буду смотреть, так как местами мои познания в кубернетесе оставляют желать, а в Лейкхаусах он ой как нужен.
https://cloud.vk.com/events/migraciya-prilozheniya-kak-perenesti-infrastrukturu-s-monolita-v-upravlyaemyj-kubernetes-v-oblake
Ведут два абсолютных "отца" кубера и облачных миграций.
В прямом эфире показываем на реальном примере перенос приложения в Kubernetes с сервисом Cloud Containers. Разбираем распространенные типичные ошибки при миграции.
Сам точно буду смотреть, так как местами мои познания в кубернетесе оставляют желать, а в Лейкхаусах он ой как нужен.
👍6✍2❤1
Написали большой хабрапост о внутрянке формата айсберг.
Постарался раскрыть вопросы
1️⃣ Как перейти от навала файлов в S3/HDFS до хорошего Data Lake[House]
2️⃣ Зачем нужны все эти сложности с вложенной древовидной метадатой
3️⃣ Откуда берется ACID в не ACID-ном хранилище S3.
4️⃣ Какие процедуры поддержки требуется применить к DLH на айсберге.
Вопросы как всегда можно задать в коментах.
Постарался раскрыть вопросы
Вопросы как всегда можно задать в коментах.
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Больше чем просто данные в S3. Iceberg как основа архитектуры Next-Gen КХД
Традиционные форматы хранения данных постепенно перестают удовлетворять требованиям современных распределенных вычислений и аналитики больших данных. Каскадные обновления метаданных, проблемы...
🔥12❤5✍1👍1
Архитектор Данных
Написали большой хабрапост о внутрянке формата айсберг. Постарался раскрыть вопросы 1️⃣ Как перейти от навала файлов в S3/HDFS до хорошего Data Lake[House] 2️⃣ Зачем нужны все эти сложности с вложенной древовидной метадатой 3️⃣ Откуда берется ACID в не ACID…
Telegram
Архитектор Данных
Запись вебинара
https://vk.com/video-164978780_456239739
https://vk.com/video-164978780_456239739
🔥9❤2👍2 2
Вот так новости
Workspace - корпоративный мессенджер, который ставится в инфраструктуру вашей компании (а еще корп почта, звонки, таск-трекер, облако для файлов, офис и тд)
Макс - все знаем что
Можно будет создать чат с подрядчиком или кандидатом, в котором будут с одной стороны внутри-корповые учетки, доступные из VK Workspace / Teams, а с другой стороны - внешние люди из Макса.
Это как если в корп слак можно было бы добавить по приглашению рандомных людей из телеги и переписываться бесшовно для всех участников.
Как по мне - удобно, я порядком замучался копипастить разную информацию из корпового мессенджера в телегу и обратно 😄
Workspace - корпоративный мессенджер, который ставится в инфраструктуру вашей компании (а еще корп почта, звонки, таск-трекер, облако для файлов, офис и тд)
Макс - все знаем что
Можно будет создать чат с подрядчиком или кандидатом, в котором будут с одной стороны внутри-корповые учетки, доступные из VK Workspace / Teams, а с другой стороны - внешние люди из Макса.
Это как если в корп слак можно было бы добавить по приглашению рандомных людей из телеги и переписываться бесшовно для всех участников.
Как по мне - удобно, я порядком замучался копипастить разную информацию из корпового мессенджера в телегу и обратно 😄
🤡12👏7👍4❤3💩3💊3⚡1