Сравнение форматов файлов для озера данных.https://medium.com/adaltas/storage-size-and-generation-time-in-popular-file-formats-48a23190c1da

Стратегия трансформации бизнеса на основе данных
📆 30 марта с 10:45 до 12:45

— Компания Fujitsu расскажет про cтратегию трансформации бизнеса на основе отлаженной работы с информацией, где фундаментом для принятия и исполнения критически важных для предприятия решений являются квалифицированно собранные и профессионально организованные данные.

интересно

📱 Алгоритмы социальных сетей и онлайн-кинотеатров возьмут под контроль

Рекомендательные сервисы, используемые в соцсетях, новостных агрегаторах, онлайн-кинотеатрах и маркетплейсах, должны подвергаться независимому аудиту и отключаться по желанию пользователей.

Такие предложения подготовили эксперты московского отделения Ассоциации юристов России и направили в Госдуму и Совет федерации для разработки нового регулирования. Алгоритмы могут создавать аномальный интерес к товарам и влиять на общественное мнение, повышая риски социальных конфликтов, считают юристы. Но участники рынка не разделяют эти опасения и считают предложения комиссии избыточными и несущими риски «для всей цифровой экономики».

Интересно, что в то время как все вкладываются в ассистентов, Микрософт сворачивает Кортану?

https://www.macrumors.com/2021/03/31/microsoft-shuts-down-cortana-app-ios-android/

Объясняя религию: Природа религиозного мышления

Небольшой оффтоп: хочу порекомендовать интересную книгу про мышление. Несмотря на название, про религию, как таковую, там ничего нет, но очень системно излагается гипотеза о процессах мышления, обучения, мотивации человека. Уверен, будет интересна всем, кто интересуется AGI, тк темы AGI и природа мышления тесно связаны.

Книга написана очень хорошим, доступным языком, очень похоже на "Язык как инстинкт" Стивена Пинкера. Даже, я бы сказал, они дополняют друг друга.

https://www.goodreads.com/book/show/33405464

Аналитика данных - это, конечно же, прежде всего теория вероятности. Для тех, что сталикавается с ней не часто, во вложении небольшой но консистентный Probability Cheatsheet v2.0 по основным вопросам.

State of DevOps report

Сегодня хочу поделиться немного не стандартным, но интересным отчетом - State of DevOps Report 2020. Важность и интересность его в том, для компаний, активно занимающихся созданием программных продуктов как для внешнего рынка, так и для собственных нужд, практика DevOps и повышение ее зрелости становиться все более важным. В представленном отчете дается обзор текущих тенденций этой области и основных трендов.

Основные highlights из отчета:
- Развитие практики DevOps в 2 раза увеличивает вероятность разработки успешного продукта
- Развитие практики DevOps в 3 раза увеличивает скорость донесения изменений до пользователей
- Целевым состоянием практики DevOps является создание сервиса полного самообслуживания для разработчиков, через который можно вносить изменения как в инфраструктуру, так в конфигурацию программных элементов
- Важным критерием зрелости DevOps практик является обеспечение сквозного процесса внесения изменений без получения согласований и участия людей в процессе развертывания
- Важно добиться взаимопонимания между разработчками иDevOps инженерами, обе команды должны понимать потребности и задачи друг друга
- Команда DevOps дожна обладать продуктовой ментальностью. Все, что делается командой, должно предоставляться пользователям через программный сервис самообслуживания
- Практика работы "через тикеты" на 16% повышает зрелость организации в области развития практики DevOps
- Основной критерий успешности DevOps платформы - процент переиспользования функционала
- Основное качество DevOps платформы - доступность

Очень важный момент, по которому организации делятся на 2 типа - это процесс согласования изменений для выкатки. Тут различают:
- ортодоксальный подход (согласование на комитете, вовлечение в процесс согласованию людей разного уровня)
- адаптивный подход (изменение согласовывается на уровне команды)

В свою очередь, эти типы в комбинации с уровнем атоматизации разделяют компании на 4 кластера по практикам применения DevOps
- Operationally mature
- Engineering driven
- Governance focused
- Ad hoc

См ниже картинку со сравнением подходов, а в отчете детальное сравнение плюсов и минусов каждого из них.

Интересно отметить основные проблемы, препятствующие развитию DevOps практик:
- сильно связанная архитектура продукта
- ментальность и особенности культуры организации
- недостаточное покрытие тестами

Оказывается, вышел перевод знаменитой книжки по SRE https://play.google.com/store/books/details?id=jrFjDwAAQBAJ

Всем причастных поздравляю с днем космонавтики!

Если кто не смотрел сегодня keynote ежегодной конференции NVidia, вот отличный обзор

https://ailev.livejournal.com/1561799.html

Мимо продетал интересный докуиент об организации удаленной работы в GitLab. На фоне того, что многие команды сейчас думают, как организовать работу, выходить ли обратно в офис или согласиться с тем, что удаленка навсегда - может быть интересен.

На этой неделе проходит ежегодная конференция Nvidia GTC 21. Благодаря ковиду все доклады доступны онлайн и в записи, вот ссылки на наиболее, с моей точки зрения, интересные выступления знаковых для индустрии AI людей:

Demystifying Data Gravity and AI [S32129]
https://gtc21.event.nvidia.com/media/Demystifying+Data+Gravity+and+AI++%5BS32129%5D/1_d10rgs5j

Modern Artificial Intelligence 1980s-2021 and Beyond [E33272]
https://gtc21.event.nvidia.com/media/Modern%20Artificial%20Intelligence%201980s-2021%20and%20Beyond%20%5BE33272%5D/1_t3thb4sx

How to Represent Part-Whole Hierarchies in a Neural Net [S33159]
https://gtc21.event.nvidia.com/media/How%20to%20Represent%20Part-Whole%20Hierarchies%20in%20a%20Neural%20Net%20%5BS33159%5D/1_pcj05a24

The Energy-Based view of Self-Supervised Learning [S33268]
https://gtc21.event.nvidia.com/media/The%20Energy-Based%20view%20of%20Self-Supervised%20Learning%20%5BS33268%5D/1_809kjdxq

Human-Inspired Inductive Biases for Causal Reasoning and Out-of-Distribution Generalization [S32760]
https://gtc21.event.nvidia.com/media/Human-Inspired%20Inductive%20Biases%20for%20Causal%20Reasoning%20and%20Out-of-Distribution%20Generalization%20%5BS32760%5D/1_cdfc5oo0

A Shared Vision for the Future of AI: Fireside Chat with NVIDIA CEO Jensen Huang and Adobe CTO Abhay Parasnis [S33240]
https://gtc21.event.nvidia.com/media/A%20Shared%20Vision%20for%20the%20Future%20of%20AI%3A%20Fireside%20Chat%20with%20NVIDIA%20CEO%20Jensen%20Huang%20and%20Adobe%20CTO%20Abhay%20Parasnis%20%5BS33240%5D/1_wweep3ht

A Vision for the Future of ML Frameworks [S31856]
https://gtc21.event.nvidia.com/media/A%20Vision%20for%20the%20Future%20of%20ML%20Frameworks%20%5BS31856%5D/1_0pc076zw

AI Implementation at Scale: Lessons from the Front Lines [S31938]
https://gtc21.event.nvidia.com/media/AI%20Implementation%20at%20Scale%3A%20Lessons%20from%20the%20Front%20Lines%20%5BS31938%5D/1_636jtciq

The Next Decade in AI: Four Steps Toward Robust Artificial Intelligence [S31922]
https://gtc21.event.nvidia.com/media/The%20Next%20Decade%20in%20AI%3A%20Four%20Steps%20Toward%20Robust%20Artificial%20Intelligence%20%5BS31922%5D/1_zhbz74dc

Large-Scale Deep Learning Recommendation Models at Facebook [S31679]
https://gtc21.event.nvidia.com/media/Large-Scale%20Deep%20Learning%20Recommendation%20Models%20at%20Facebook%20%5BS31679%5D/1_jjrtsmjn

Друзья, сегодня вышел новый открытый отчет “Индекс ИИ 2020” из серии “Альманах Искусственный интеллект” с итогами ИИ за 2020 год в России: динамика научных исследований, топ-20 исследователей, как за год изменились бизнес, образование и рынок труда, что произошло с инвестициями и государственным финансированием, оценка рынка ИИ в России и многое другое.

Если вы работаете в отрасли искусственного интеллекта, то этот отчет обязателен к прочтению, чтобы знать, что происходит в отрасли!

Сегодня проходит церемония вручения премии CDO Awards 2021

Премии вручены, думаю обзоры в прессе последуют в ближайшие дни, а пока просто озвучу победителей:

1. Номинация «За создание новой бизнес-модели, основанной на данных»
- Дмитрий Прусов, директор департамента продаж продуктов больших данных, X5 Retail Group
2. Номинация «За повышение эффективности бизнеса»
- Борис Рабинович, старший управляющий директор – директор Департамента управления данными, Сбер
3. Номинация «За инновационную идею»
- Иван Мельник, директор по инновациям, X5 Retail Group
4. Номинация «За обеспечение качества данных»
- Наталья Третьякова, начальник управления организации работы с данными, Газпром нефть
- Ольга Гнездилова, ex-директор по управлению данными и контролю маржинальности бизнеса, ex-Tele2
5. Номинация «За достижения в подготовке специалистов по управлению данными»
- Михаил Мягков, председатель правления Университетского консорциума исследователей больших данных
6. Номинация «За реализацию социально значимых инициатив на основе данных»
- Андрей Майоров, министр цифрового развития и информационно-коммуникационных технологий Новгородской области
7. Номинация «За вклад в популяризацию профессии» (присуждается учредителем премии)
- Иван Исаев, директор направления анализа данных, МТС
- Леонид Черный, CDO, «Мегафон»

Статья об интересном практическом опыте коллег из Lamoda о выборе data catalog, с обзором возможностей основных инструментов и выводами.

https://m.habr.com/ru/company/lamoda/blog/551092/