Хорошие reference архитектуры дата платформы
Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько.
Ярким цветом выделены блоки, в которых произошли изменения за последние два года.
Статья со словесными наблюдениями авторов и картинки в хорошем разрешении:
https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
Хотя кое-где маловато примеров инструментов, но все мейджеры есть и выглядит чистенько.
Ярким цветом выделены блоки, в которых произошли изменения за последние два года.
Статья со словесными наблюдениями авторов и картинки в хорошем разрешении:
https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
Semantic Layer, Enterprise Ontology и Knowlenge Gragh - новый импульс развития от LLM проектов?
В рамках брейнсторма с клиентом вышли на использование Enterprise Ontology для задачи генерации доменной структуры данных deta mesh и идентификации data products. После этого решил освежить тему дата онтологий, уж больно редко встречаешь эту тему в дискурсе.
Я часто рисовал онтологический граф для первичного понимания структуры связей данных компании - такая картинка всегда наглядна и помогает выстроить верхнеуровневую систему доменов, но не более. Никогда не видел, чтобы компании автоматизировали ее и связывали с физическим слоем данных, как собственно она и задумалась. Отзовитесь кто работал над таким проектом или встречал ?
Интересно, что хайп вокруг Semantic Layer не вернул общий фокус на Enterprise Ontology и Knowlenge Gragh концепции.
Идея и ценность Semantic Layer всем очевидна - как минимум важность унификации и дедубликации скриптов и расчета метрик между dwh и BI тулом всем понятна.
📚Идеи же Enterprise Ontology и Knowlenge Gragh более академичные и сложные для понимания при высокой трудоемкости. Но теперь уже хайп LLM моделей и Чатботов способен снова их вывести наверх роадмепов - Knowlenge Gragh как основа для языковой модели сильно повышает шансы для качественного роста релевантности ее работы.
Пока разбирался сделал knowledge-борд по предмету с разными ссылками на статьи. Шарю:
🔗 https://miro.com/app/board/uXjVMqqPhjM=/?share_link_id=571206686090
В рамках брейнсторма с клиентом вышли на использование Enterprise Ontology для задачи генерации доменной структуры данных deta mesh и идентификации data products. После этого решил освежить тему дата онтологий, уж больно редко встречаешь эту тему в дискурсе.
Я часто рисовал онтологический граф для первичного понимания структуры связей данных компании - такая картинка всегда наглядна и помогает выстроить верхнеуровневую систему доменов, но не более. Никогда не видел, чтобы компании автоматизировали ее и связывали с физическим слоем данных, как собственно она и задумалась. Отзовитесь кто работал над таким проектом или встречал ?
Интересно, что хайп вокруг Semantic Layer не вернул общий фокус на Enterprise Ontology и Knowlenge Gragh концепции.
Идея и ценность Semantic Layer всем очевидна - как минимум важность унификации и дедубликации скриптов и расчета метрик между dwh и BI тулом всем понятна.
📚Идеи же Enterprise Ontology и Knowlenge Gragh более академичные и сложные для понимания при высокой трудоемкости. Но теперь уже хайп LLM моделей и Чатботов способен снова их вывести наверх роадмепов - Knowlenge Gragh как основа для языковой модели сильно повышает шансы для качественного роста релевантности ее работы.
Пока разбирался сделал knowledge-борд по предмету с разными ссылками на статьи. Шарю:
🔗 https://miro.com/app/board/uXjVMqqPhjM=/?share_link_id=571206686090
Эмоциональная картина тех, кто переходит на российский BI
Эмоциональная картина перед началом осени
Эмоциональная картина в любой понедельник утром
Ваши варианты…
Источник @trumassive
(он «спиздил в инстаграме» говорит)
Эмоциональная картина перед началом осени
Эмоциональная картина в любой понедельник утром
Ваши варианты…
Источник @trumassive
(он «спиздил в инстаграме» говорит)
Пост интроспекции.
Ведение канала начало подбешивать немного. Прошло два года. Зачем я это делаю.
Анализирую (я же аналитик епт) :
1. Был у меня мотив "делиться с миром измышлениями умными".
Но тут оказалось что,
- во первых, сильнозанудные сложные темы вам не интересны в таком формате (то ли дело мамасики), легкий (в хорошем смысле) контент у меня делать не получается, а фановый я делать не хочу.
- во вторых - не сильно много у меня уникальных умных наблюдений оказывается) а пылесосить интернет в поисках статей, лишь бы не переставать постить что-то.. не комильфо. Знаю лучше способы справляться со стрессом)
2. Был у меня мотив "продавать через канал свои курсы и консалтинг".
Но оказалось, что
- во первых мало комумой консалтинг таки стал нужен "сейчас"
- во вторых можно для этого и чужими каналами пользоваться под ситуацию).
Но если у вас таки есть бюджет, интерес коллективно морщить лбы и весело поклеить стикеры - я за. Недовольных еще не было.
3. Был у меня мотив самолюбования.
Забавна тут сама механика. Я делаю вид, что я прям глубок в предмете. Вы тоже гладите внутреннего эксперта, когда скролите ленту и не вчитываясь особо - вьебываете палец вверх или охонек. Типа да чувак верю что ты что-то толковое нашел/понял, а ты поверь что я это заценил. Не всегда конечно так, упрощаю).
Но тут
- во первых, возникает мерзкая привычка смотреть на эти реакции, подписки/отписки. Как-то соотносить со своей ахуенностью. А это вообще-то недопустимо)
- во вторых - это жрет эмоциональный ресурс без всякой пользы.
4.Был у меня мотив общения с комьюнити .. на самом деле его особо нет, я прямо скажем, не про людей. Открытые BI-чатики отлично решают эту задачу если вдруг.
5. И тут бы закончить этот пост, но оказалось что у меня есть еще один скрытый мотив - "самообразовываться и развиваться".
Бесцельный серфинг в профессиональной сети быстро утомляет, а посты в канале отлично работают на фильтрацию своих интересов и структурирование их в дискретные мысли. И вот ради этой темы, кажется есть смысл продолжать.
Едем дальше. Буду постить еще бессистемнее и реже. То, что интересно мне.
Отключаю реакции - Будем честными, при таком подходе мне не важно ваше мнение, выраженное в лайках. Без обид).
Вместо ритуалов самопоглаживания - тратим, граждане, силы на что-то сутевое.
Лучше пишите комменты - их оставляю для хейта и не только - общаться с умными людьми таки оч кайфово.
Ведение канала начало подбешивать немного. Прошло два года. Зачем я это делаю.
Анализирую (я же аналитик епт) :
1. Был у меня мотив "делиться с миром измышлениями умными".
Но тут оказалось что,
- во первых, сильно
- во вторых - не сильно много у меня уникальных умных наблюдений оказывается) а пылесосить интернет в поисках статей, лишь бы не переставать постить что-то.. не комильфо. Знаю лучше способы справляться со стрессом)
2. Был у меня мотив "продавать через канал свои курсы и консалтинг".
Но оказалось, что
- во первых мало кому
- во вторых можно для этого и чужими каналами пользоваться под ситуацию).
Но если у вас таки есть бюджет, интерес коллективно морщить лбы и весело поклеить стикеры - я за. Недовольных еще не было.
3. Был у меня мотив самолюбования.
Забавна тут сама механика. Я делаю вид, что я прям глубок в предмете. Вы тоже гладите внутреннего эксперта, когда скролите ленту и не вчитываясь особо - вьебываете палец вверх или охонек. Типа да чувак верю что ты что-то толковое нашел/понял, а ты поверь что я это заценил. Не всегда конечно так, упрощаю).
Но тут
- во первых, возникает мерзкая привычка смотреть на эти реакции, подписки/отписки. Как-то соотносить со своей ахуенностью. А это вообще-то недопустимо)
- во вторых - это жрет эмоциональный ресурс без всякой пользы.
4.
5. И тут бы закончить этот пост, но оказалось что у меня есть еще один скрытый мотив - "самообразовываться и развиваться".
Бесцельный серфинг в профессиональной сети быстро утомляет, а посты в канале отлично работают на фильтрацию своих интересов и структурирование их в дискретные мысли. И вот ради этой темы, кажется есть смысл продолжать.
Едем дальше. Буду постить еще бессистемнее и реже. То, что интересно мне.
Отключаю реакции - Будем честными, при таком подходе мне не важно ваше мнение, выраженное в лайках. Без обид).
Вместо ритуалов самопоглаживания - тратим, граждане, силы на что-то сутевое.
Лучше пишите комменты - их оставляю для хейта и не только - общаться с умными людьми таки оч кайфово.
В тему дня. Кто-то переписывает учебники истории, а кто-то в учебник математики 6 класса включают раздел data management:
- Учебник моей дочери в голландии -
50 страниц заданий про визуализацию данных, выбор и анализ графиков.
Вместо тысячи слов о data literacy…
- Калькулятор с python за 150 🤦♂️евро у ребенка - другое требование школы. Хоть макбуки выдают бесплатно
- Учебник моей дочери в голландии -
50 страниц заданий про визуализацию данных, выбор и анализ графиков.
Вместо тысячи слов о data literacy…
- Калькулятор с python за 150 🤦♂️евро у ребенка - другое требование школы. Хоть макбуки выдают бесплатно
Info Design Songbook - Сделали с чудесной @nastengraph сборник do's / don'ts визуализации данных от экспертов
🗺 Борд в Miro
Давно была идея сделать сборник бестпрактик инфодизайна. Причем не своих, а от экспертов в авторитете.
Главная цель консолидировать всю суть без спекуляций в доступном для восприятии виде.
❤️ Серия статей от Lisa Charlotte Muth очевидно была первая в списке.
Этот автор отличается тем, что очень глубоко копает, круто и понятно объясняет. При этом ее рекомендации точны, они практически не вызывают желания их в чем-то оспорить (или есть такие примеры ?)
Борд можно включать в learning paths для data/bi аналитиков, в планы развития, в онбординг планы новичков, вo внутрикорпоративные курсы по визуализации данных.
Мне сложно придумать более наглядного способа показать как нужно и как не нужно дизайнить графики и при этом не заставлять читать книги - это делают единицы в итоге. А залипать в борд пока нравится большинству.
Есть уже идея, какого автора следующим добавить на борд.
Но мы примем и ваши предложения👇
🗺 Борд в Miro
Давно была идея сделать сборник бестпрактик инфодизайна. Причем не своих, а от экспертов в авторитете.
Главная цель консолидировать всю суть без спекуляций в доступном для восприятии виде.
❤️ Серия статей от Lisa Charlotte Muth очевидно была первая в списке.
Этот автор отличается тем, что очень глубоко копает, круто и понятно объясняет. При этом ее рекомендации точны, они практически не вызывают желания их в чем-то оспорить (или есть такие примеры ?)
Борд можно включать в learning paths для data/bi аналитиков, в планы развития, в онбординг планы новичков, вo внутрикорпоративные курсы по визуализации данных.
Мне сложно придумать более наглядного способа показать как нужно и как не нужно дизайнить графики и при этом не заставлять читать книги - это делают единицы в итоге. А залипать в борд пока нравится большинству.
Есть уже идея, какого автора следующим добавить на борд.
Но мы примем и ваши предложения👇