Forwarded from Ivan Begtin (Ivan Begtin)
Emerging Architectures for Modern Data Infrastructure [1] весьма интересно изложенный отчет от Andreessen Horowitz о том как устроена современная архитектура работы с данными в зависимости от задач для которых она проектируется.
По сути - это такой универсальный канвас который можно использовать в любом хорошем инструменте рисования диаграмм. Для типовых задач бизнеса или госструктур вполне подходит и весьма продуманно структурировано (не буду утверждать что идеально, надо смотреть более детально через призму своих задач). Особенно стоит обратить внимание на сдвиги в технологиях Например, Data Flow automation вместо Workflow Management и ELT вместо ETL, а также нового типа озёра данных вместо Hadoop.
Ссылки:
[1] https://a16z.com/2020/10/15/the-emerging-architectures-for-modern-data-infrastructure/
#data #bigdata #report
По сути - это такой универсальный канвас который можно использовать в любом хорошем инструменте рисования диаграмм. Для типовых задач бизнеса или госструктур вполне подходит и весьма продуманно структурировано (не буду утверждать что идеально, надо смотреть более детально через призму своих задач). Особенно стоит обратить внимание на сдвиги в технологиях Например, Data Flow automation вместо Workflow Management и ELT вместо ETL, а также нового типа озёра данных вместо Hadoop.
Ссылки:
[1] https://a16z.com/2020/10/15/the-emerging-architectures-for-modern-data-infrastructure/
#data #bigdata #report
Forwarded from Ivan Begtin (Ivan Begtin)
Вышла обновление к публикации Emerging Architectures for Modern Data Infrastructure [1] к оригинальной публикации Matt Bornstein, Jennifer Li, Martin Casado вышедшей в 2020 году.
Структура и описания стали ещё четче, контур Modern Data Stack понятнее. Полезное для всех кто хочет понять свою текущую или будущую нишу на рынке данных. Как объяснить инвесторам где твой проект? Открыть эту схему и ткнуть в прямоугольник.
Ссылки:
[1] https://future.a16z.com/emerging-architectures-modern-data-infrastructure/
#moderndatastack #data #dataarchitecture
Структура и описания стали ещё четче, контур Modern Data Stack понятнее. Полезное для всех кто хочет понять свою текущую или будущую нишу на рынке данных. Как объяснить инвесторам где твой проект? Открыть эту схему и ткнуть в прямоугольник.
Ссылки:
[1] https://future.a16z.com/emerging-architectures-modern-data-infrastructure/
#moderndatastack #data #dataarchitecture
Andreessen Horowitz
Emerging Architectures for Modern Data Infrastructure
This is an updated version of a post we originally published in 2020. You can read the original version here. The growth of the data infrastructure industry has continued unabated since we published a set of reference architectures in …
Forwarded from Quantum Quintum
Внезапные откровения от аналитиков Gartner: оказывается (!), многие предыдущие годы нам лили лапшу на уши. Следите за руками — как внезапно снова оказываются нужны толпы экспертов и аналитиков!
— Big data уже не big, а просто бесполезная data. Погоня за собрать все, что можно, показала, что мы (индустрия) собирали кучу мусора, с которой не знаем, что делать. А будущее теперь за small data, meta data (ака разметка) и generated data (ака дата по моделям).
— Data Science как бы наука, но вообще нет, скорее Data Art, но еще не Science Fiction. Оказывается, надо уметь задавать правильные вопросы, знать, когда остановиться (пресловутое гуд инаф), и вообще аналитика, внимание, СУБЪЕКТИВНА. А раздутые бюджеты и сроки на дата-команды вредны, лучше их делать тайм-боксед, — так люди быстрее откидывают то, что не получается, вместо подгонки под свои предубеждения.
— Data, как правило, не приводит к Decisions, потому что управленцы не готовы делать дисижены, им проще сидеть на попе ровно, хотя это тоже дисижн. Поэтому, в арсенал дата-команды должен добавиться дисижн-дизайн: вы должны уметь подсунуть дату в нужный момент в правильной упаковке, еще лучше прийти к автоматизации дисиженов, чтобы исключить этот белковый суррогат мышления. И еще лучше, но для этого нужны консультанты из бигфор, строить из даты бигпикчу, которую не видит (и не понимает) никто из управленцев. Дата какманипуляция, простите, искусство, простите, наука.
— А вообще, ребята, не парьтесь. Берите большие амбициозные цели, мыслите шире! Но помните, что свобода без управления — это анархия. Навряд ли вы хотите анархию. Ноконтроль, простите, управление — это важно. Просто помимо управления контролем нужно управлять еще стратегией и гибкостью. Ой, все ваши модели данных и показателей про контроль? Тогда мы идем к вам!
Это быль вольный пересказ открытия слета адептов хайп-цикла гартнера: https://www.youtube.com/watch?v=bXob4SMBguM
— Big data уже не big, а просто бесполезная data. Погоня за собрать все, что можно, показала, что мы (индустрия) собирали кучу мусора, с которой не знаем, что делать. А будущее теперь за small data, meta data (ака разметка) и generated data (ака дата по моделям).
— Data Science как бы наука, но вообще нет, скорее Data Art, но еще не Science Fiction. Оказывается, надо уметь задавать правильные вопросы, знать, когда остановиться (пресловутое гуд инаф), и вообще аналитика, внимание, СУБЪЕКТИВНА. А раздутые бюджеты и сроки на дата-команды вредны, лучше их делать тайм-боксед, — так люди быстрее откидывают то, что не получается, вместо подгонки под свои предубеждения.
— Data, как правило, не приводит к Decisions, потому что управленцы не готовы делать дисижены, им проще сидеть на попе ровно, хотя это тоже дисижн. Поэтому, в арсенал дата-команды должен добавиться дисижн-дизайн: вы должны уметь подсунуть дату в нужный момент в правильной упаковке, еще лучше прийти к автоматизации дисиженов, чтобы исключить этот белковый суррогат мышления. И еще лучше, но для этого нужны консультанты из бигфор, строить из даты бигпикчу, которую не видит (и не понимает) никто из управленцев. Дата как
— А вообще, ребята, не парьтесь. Берите большие амбициозные цели, мыслите шире! Но помните, что свобода без управления — это анархия. Навряд ли вы хотите анархию. Но
Это быль вольный пересказ открытия слета адептов хайп-цикла гартнера: https://www.youtube.com/watch?v=bXob4SMBguM
YouTube
How Data and Analytics Unleash Innovation & Transform Uncertainty | Gartner Full Keynote
For more insights, explore Gartner Data & Analytics Conferences:
https://gtnr.it/DA
Data and analytics executives are expanding their area of influence and impact on the company as a result of the significant changes that have occurred within our businesses…
https://gtnr.it/DA
Data and analytics executives are expanding their area of influence and impact on the company as a result of the significant changes that have occurred within our businesses…
Forwarded from Innovation & Research
Рынок больших данных в России достигнет 319 млрд руб. до конца 2024 года
Ассоциация больших данных при участии SberData подготовила стратегию развития рынка больших данных в России. Она поможет обеспечить рост рынка больших данных до 319 млрд руб. к концу 2024 г. и направлена на достижение трех ключевых целей:
• Создание качественной деловой среды для бизнеса
• Поддержку технологической независимости государства
• Повышение качества жизни граждан
Согласно базовому прогнозу стратегии, до 2024 г. в отрасли будет создано 32 тыс. новых высококвалифицированных рабочих мест, доля российских ИТ-решений в технологических стеках компаний достигнет 85%, а компании смогут заработать почти 1 трлн рублей дополнительной операционной прибыли от внедрения новых продуктов и технологий на основе больших данных.
Ожидается рост рынка ИТ-консалтинга в области больших данных (до 107 млрд руб. к 2024 г.) и технологических инструментов (до 60 млрд руб.) за счет увеличения спроса на российские программные решения.
Среди продуктов и сервисов на основе данных быстрее всего будут расти прикладные сервисы с использованием ИИ – рост на 162% до 44 млрд руб.
#Data #Сбер
https://data-economy.ru/news/tpost/zehe76bh81-first-russian-data-forum-rinok-bolshih-d
Ассоциация больших данных при участии SberData подготовила стратегию развития рынка больших данных в России. Она поможет обеспечить рост рынка больших данных до 319 млрд руб. к концу 2024 г. и направлена на достижение трех ключевых целей:
• Создание качественной деловой среды для бизнеса
• Поддержку технологической независимости государства
• Повышение качества жизни граждан
Согласно базовому прогнозу стратегии, до 2024 г. в отрасли будет создано 32 тыс. новых высококвалифицированных рабочих мест, доля российских ИТ-решений в технологических стеках компаний достигнет 85%, а компании смогут заработать почти 1 трлн рублей дополнительной операционной прибыли от внедрения новых продуктов и технологий на основе больших данных.
Ожидается рост рынка ИТ-консалтинга в области больших данных (до 107 млрд руб. к 2024 г.) и технологических инструментов (до 60 млрд руб.) за счет увеличения спроса на российские программные решения.
Среди продуктов и сервисов на основе данных быстрее всего будут расти прикладные сервисы с использованием ИИ – рост на 162% до 44 млрд руб.
#Data #Сбер
https://data-economy.ru/news/tpost/zehe76bh81-first-russian-data-forum-rinok-bolshih-d