Клуб CDO via @subscribeappbot
Поддержка канала и бота Igor 💸 Канал и бот Игорь (@IgorVA_bot) работают без какой либо монетизации и все анонсы, контент и тд размещаются в канале бесплатно, без какой либо рекламы. Но API OpenAI и инфраструктура AWS не бесплатна, поэтому редакция рассчитывает…
Хорошая новость, бот переведен на модель gpt-4o-mini-2024-07-18! Пробуйте 🙂 Можно попровать перевести на o1-preview, но с учетом того что ее стоимость довольно высокая, надо подумать о подписке на нее. Дайте знать, если это интересно и не забывайте поддеживать сервис 🙂 Спасибо!
Forwarded from Все о блокчейн/мозге/space/WEB 3.0 в России и мире
The_Root_Causes_of_Failure_for_AI_Projects_1726222049.pdf
193.3 KB
Основные причины неудач ИИ-проектов - свежий отчет от RAND
Основные причины неудач ИИ-проектов в индустрии:
- Проблемы со стороны руководства: Например, непонимание реальных потребностей бизнеса или слишком частая смена приоритетов.
- Проблемы с данными: Недостаточное качество или количество данных для обучения моделей.
- Фокус на технологии вместо решения реальных проблем.
- Недостаточные инвестиции в инфраструктуру.
- Применение ИИ к слишком сложным задачам, не соответствующим текущему уровню технологий.
Вот некоторые примеры конкретные ошибок:
1. Оптимизация неправильной метрики:
"Бизнес-лидеры могут сказать, что им нужен ML-алгоритм, который скажет им, какую цену установить на продукт — но на самом деле им нужна цена, которая дает наибольшую прибыль, а не цена, которая продает больше всего товаров."
2. Применение ИИ к простым задачам:
Один из опрошенных рассказал, что его команде иногда поручали применять методы ИИ к наборам данных с несколькими доминирующими характеристиками, которые можно было бы быстро охватить несколькими простыми правилами if-then.
3. Проблемы с качеством данных:
"80% ИИ — это грязная работа по инженерии данных. Вам нужны хорошие люди, выполняющие грязную работу — иначе их ошибки отравляют алгоритмы."
Остальные примеры в отчете.
4. Рекомендации для индустрии:
- Обеспечить понимание техническими специалистами целей проекта и бизнес-контекста.
- Выбирать долгосрочные проблемы для решения (минимум на год).
- Фокусироваться на решении проблем, а не на технологиях.
- Инвестировать в инфраструктуру.
- Понимать ограничения ИИ.
5. Особенности академической среды:
- Давление публиковать результаты может приводить к выбору менее рискованных, но менее значимых проектов.
- Проблемы с доступом к качественным наборам данных.
6. Рекомендации для академической среды:
- Развивать партнерства с государственными органами для доступа к данным.
- Расширять программы докторантуры по науке о данных для практиков.
Основные причины неудач ИИ-проектов в индустрии:
- Проблемы со стороны руководства: Например, непонимание реальных потребностей бизнеса или слишком частая смена приоритетов.
- Проблемы с данными: Недостаточное качество или количество данных для обучения моделей.
- Фокус на технологии вместо решения реальных проблем.
- Недостаточные инвестиции в инфраструктуру.
- Применение ИИ к слишком сложным задачам, не соответствующим текущему уровню технологий.
Вот некоторые примеры конкретные ошибок:
1. Оптимизация неправильной метрики:
"Бизнес-лидеры могут сказать, что им нужен ML-алгоритм, который скажет им, какую цену установить на продукт — но на самом деле им нужна цена, которая дает наибольшую прибыль, а не цена, которая продает больше всего товаров."
2. Применение ИИ к простым задачам:
Один из опрошенных рассказал, что его команде иногда поручали применять методы ИИ к наборам данных с несколькими доминирующими характеристиками, которые можно было бы быстро охватить несколькими простыми правилами if-then.
3. Проблемы с качеством данных:
"80% ИИ — это грязная работа по инженерии данных. Вам нужны хорошие люди, выполняющие грязную работу — иначе их ошибки отравляют алгоритмы."
Остальные примеры в отчете.
4. Рекомендации для индустрии:
- Обеспечить понимание техническими специалистами целей проекта и бизнес-контекста.
- Выбирать долгосрочные проблемы для решения (минимум на год).
- Фокусироваться на решении проблем, а не на технологиях.
- Инвестировать в инфраструктуру.
- Понимать ограничения ИИ.
5. Особенности академической среды:
- Давление публиковать результаты может приводить к выбору менее рискованных, но менее значимых проектов.
- Проблемы с доступом к качественным наборам данных.
6. Рекомендации для академической среды:
- Развивать партнерства с государственными органами для доступа к данным.
- Расширять программы докторантуры по науке о данных для практиков.
Посетил сегодня мероприятие BigDataLND 24, которое регулярно посещаю. В этот раз получилось лишь быстро осмотреться — времени на то, чтобы целый день слушать доклады, не было. К тому же, повестка была довольно стандартной: в основном выступления вендоров, воркшопы и т.д. Без звездных гостей и чего-то экстраординарного :)
На вершине адженды, конечно же, был GenAI с главным посылом: «нужно больше данных».
На вершине адженды, конечно же, был GenAI с главным посылом: «нужно больше данных».
LinkedIn Document.pdf
4.1 MB
Немного тут документов накопилось: Data Equity: Foundational Concepts for Generative AI
Правда от 10.23, но может быть кому то покажется интересным, все таки вводиться новый термин:
Справедливость данных - концепция которая является частью текущей работы по обеспечению конфиденциальности, защиты, этики. Наборы данных, используемые для обучения моделей ИИ, подвержены предвзятости, которая усиливает существующее неравенство. Это требует упреждающего аудита данных и алгоритмов и вмешательства на каждом этапе процесса ИИ - от сбора данных до обучения моделей и их внедрения. С появлением genAI темпы внедрения и развития ИИ значительно увеличились, поэтому изучение рамок для обеспечения справедливости данных является как никогда актуальным.
Правда от 10.23, но может быть кому то покажется интересным, все таки вводиться новый термин:
Справедливость данных - концепция которая является частью текущей работы по обеспечению конфиденциальности, защиты, этики. Наборы данных, используемые для обучения моделей ИИ, подвержены предвзятости, которая усиливает существующее неравенство. Это требует упреждающего аудита данных и алгоритмов и вмешательства на каждом этапе процесса ИИ - от сбора данных до обучения моделей и их внедрения. С появлением genAI темпы внедрения и развития ИИ значительно увеличились, поэтому изучение рамок для обеспечения справедливости данных является как никогда актуальным.
Дайджест статей
Не потеряться в данных: оптимизируем аналитику с помощью DataHub
https://habr.com/ru/companies/sravni/articles/844016/
Как автоматизированный контроль качества в BI-системе влияет на продажи — на примере 3 сетей
https://habr.com/ru/articles/843608/
Применение статистического анализа для определения причин деградации производительности СУБД
https://habr.com/ru/articles/843990/
Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes
https://habr.com/ru/companies/vk/articles/842896/
Применение статистического анализа для определения причин деградации производительности СУБД — часть 2
https://habr.com/ru/articles/844268/
Open source решения для управления и работы с данными в облаке
https://habr.com/ru/companies/mws/articles/844028/
Промпт-инжиниринг: как найти общий язык с ИИ
https://habr.com/ru/companies/mts_ai/articles/844624/
Large language models in medical and healthcare fields: applications, advances, and challenges
https://link.springer.com/article/10.1007/s10462-024-10921-0
Big data applications: overview, challenges and future
https://link.springer.com/article/10.1007/s10462-024-10938-5
Не потеряться в данных: оптимизируем аналитику с помощью DataHub
https://habr.com/ru/companies/sravni/articles/844016/
Как автоматизированный контроль качества в BI-системе влияет на продажи — на примере 3 сетей
https://habr.com/ru/articles/843608/
Применение статистического анализа для определения причин деградации производительности СУБД
https://habr.com/ru/articles/843990/
Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes
https://habr.com/ru/companies/vk/articles/842896/
Применение статистического анализа для определения причин деградации производительности СУБД — часть 2
https://habr.com/ru/articles/844268/
Open source решения для управления и работы с данными в облаке
https://habr.com/ru/companies/mws/articles/844028/
Промпт-инжиниринг: как найти общий язык с ИИ
https://habr.com/ru/companies/mts_ai/articles/844624/
Large language models in medical and healthcare fields: applications, advances, and challenges
https://link.springer.com/article/10.1007/s10462-024-10921-0
Big data applications: overview, challenges and future
https://link.springer.com/article/10.1007/s10462-024-10938-5
Хабр
Не потеряться в данных: оптимизируем аналитику с помощью DataHub
Как не потеряться в данных для аналитики? Когда количество их источников ограничено, а аналитикой занимается пара человек, в целом всё понятно: обеспечить прозрачность вполне можно на уровне...
Forwarded from 🔋 Труба данных (Simon Osipov)
https://vutr.substack.com/p/how-clickhouse-built-their-internal
Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.
@ohmydataengineer - канал "🕯 Труба Данных" про работу с данными
Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.
@ohmydataengineer - канал "
Please open Telegram to view this post
VIEW IN TELEGRAM
VuTrinh.
I spent 5 hours learning how ClickHouse built their internal data warehouse.
19 data sources and a total of 470 TB of compressed data.
Извините, что не по теме данных, но слушаю сейчас эту аудиокнигу и решил поделиться. ИМХО, это отличное собрание лучших практик менеджмента, где менеджмент рассматривается как практика и наука.
Правда, это не совсем книга — это запись семинара, поэтому тут просто прямая речь автора со всеми плюсами и минусами этого подхода. Основной плюс — очень доступно, просто, без лишней воды и долгих подводок, которые обычно присутствуют в книгах для дополнительной аргументации или, возможно, чтобы просто увеличить объем 🙂
Почему мне нравятся эти подходы и идеи? Потому что, опираясь на собственный опыт, я во многом прихожу к тем же выводам и вижу, как такие практики работают на практике.
Так что, если вы управляете даже небольшим коллективом, это must-read и must-use. Если нет — дайте почитать вашему руководителю 🙂
P.S. Раз уж пошла такая тема, не могу не отметить: приложение Litres — худшее приложение, которое я когда-либо видел. Такое ощущение, что разработчики не только сами его не используют, но даже не запускают после сборки. Баги встречаются в каждой кнопке и функции, и годами никто их не исправляет. Кошмар.
https://litres.com/audiobook/alexander-friedmann/upravlenie-myshleniem-podchinennyh-centriruuschie-para-9067360/
Правда, это не совсем книга — это запись семинара, поэтому тут просто прямая речь автора со всеми плюсами и минусами этого подхода. Основной плюс — очень доступно, просто, без лишней воды и долгих подводок, которые обычно присутствуют в книгах для дополнительной аргументации или, возможно, чтобы просто увеличить объем 🙂
Почему мне нравятся эти подходы и идеи? Потому что, опираясь на собственный опыт, я во многом прихожу к тем же выводам и вижу, как такие практики работают на практике.
Так что, если вы управляете даже небольшим коллективом, это must-read и must-use. Если нет — дайте почитать вашему руководителю 🙂
P.S. Раз уж пошла такая тема, не могу не отметить: приложение Litres — худшее приложение, которое я когда-либо видел. Такое ощущение, что разработчики не только сами его не используют, но даже не запускают после сборки. Баги встречаются в каждой кнопке и функции, и годами никто их не исправляет. Кошмар.
https://litres.com/audiobook/alexander-friedmann/upravlenie-myshleniem-podchinennyh-centriruuschie-para-9067360/
Литрес
«Управление мышлением подчиненных: центрирующие парадигмы» – Alexander Friedmann | ЛитРес
В большинстве жизненных ситуаций человек делает мгновенный выбор из некоего перечня возможных поступков. Как ваш сотрудник отнесется к порученной ему задаче: постарается выполнить ее как можно лучше …
Forwarded from Все о блокчейн/мозге/space/WEB 3.0 в России и мире
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Одно из крутых обновлений очков Ray Ban Meta - синхронный перевод
Цукерберг показал наглядно, как он общается с испаноязычным человеком. Оба были в умных очках после того, как каждый из них говорил что-то на своем языке, ИИ быстро переводил.
Новая эра коммуникаций.
Апдейт других фичей этого устройства сделаем позже.
*Запрещенная организация в России.
Цукерберг показал наглядно, как он общается с испаноязычным человеком. Оба были в умных очках после того, как каждый из них говорил что-то на своем языке, ИИ быстро переводил.
Новая эра коммуникаций.
Апдейт других фичей этого устройства сделаем позже.
*Запрещенная организация в России.
Definitive 100 Most Useful Productivity Hacks.pdf
768.2 KB
Еще вот в копилку фанатам продуктивности :)
Друзья, мы тут вместе с другими авторами собрались в папку "ИТ инсайды". В ней 9 каналов.
Ребята рассказывают очень ярко и эмоционально про свою работу в ИТ, про тренды, про PR, безу и менеджмент.
А еще, про СА и БА 🧐, GO, фронтенд и, конечно, AI. И, периодически, делают обзоры с крупнейших ИТ конференций.
Посмотрите :)
https://t.me/addlist/p5eJRuDAyu9mODli
Ребята рассказывают очень ярко и эмоционально про свою работу в ИТ, про тренды, про PR, безу и менеджмент.
А еще, про СА и БА 🧐, GO, фронтенд и, конечно, AI. И, периодически, делают обзоры с крупнейших ИТ конференций.
Посмотрите :)
https://t.me/addlist/p5eJRuDAyu9mODli
Telegram
ИТ Инсайды
Русанова Саша IT devrel HR invites you to add the folder “ИТ Инсайды”, which includes 9 chats.