Клуб CDO
2.94K subscribers
370 photos
24 videos
88 files
1.41K links
Сообщество профессионалов в области работы с данными и искуственным интеллектом
Download Telegram
Клуб CDO via @subscribeappbot
Поддержка канала и бота Igor 💸 Канал и бот Игорь (@IgorVA_bot) работают без какой либо монетизации и все анонсы, контент и тд размещаются в канале бесплатно, без какой либо рекламы. Но API OpenAI и инфраструктура AWS не бесплатна, поэтому редакция рассчитывает…
Хорошая новость, бот переведен на модель gpt-4o-mini-2024-07-18! Пробуйте 🙂 Можно попровать перевести на o1-preview, но с учетом того что ее стоимость довольно высокая, надо подумать о подписке на нее. Дайте знать, если это интересно и не забывайте поддеживать сервис 🙂 Спасибо!
не могу пройти мимо и не поделиться 🙂
The_Root_Causes_of_Failure_for_AI_Projects_1726222049.pdf
193.3 KB
Основные причины неудач ИИ-проектов - свежий отчет от RAND

Основные причины неудач ИИ-проектов в индустрии:

- Проблемы со стороны руководства: Например, непонимание реальных потребностей бизнеса или слишком частая смена приоритетов.

- Проблемы с данными: Недостаточное качество или количество данных для обучения моделей.
- Фокус на технологии вместо решения реальных проблем.
- Недостаточные инвестиции в инфраструктуру.
- Применение ИИ к слишком сложным задачам, не соответствующим текущему уровню технологий.

Вот некоторые примеры конкретные ошибок:

1. Оптимизация неправильной метрики:
"Бизнес-лидеры могут сказать, что им нужен ML-алгоритм, который скажет им, какую цену установить на продукт — но на самом деле им нужна цена, которая дает наибольшую прибыль, а не цена, которая продает больше всего товаров."

2. Применение ИИ к простым задачам:
Один из опрошенных рассказал, что его команде иногда поручали применять методы ИИ к наборам данных с несколькими доминирующими характеристиками, которые можно было бы быстро охватить несколькими простыми правилами if-then.

3. Проблемы с качеством данных:
"80% ИИ — это грязная работа по инженерии данных. Вам нужны хорошие люди, выполняющие грязную работу — иначе их ошибки отравляют алгоритмы."

Остальные примеры в отчете.

4. Рекомендации для индустрии:

- Обеспечить понимание техническими специалистами целей проекта и бизнес-контекста.
- Выбирать долгосрочные проблемы для решения (минимум на год).
- Фокусироваться на решении проблем, а не на технологиях.
- Инвестировать в инфраструктуру.
- Понимать ограничения ИИ.

5. Особенности академической среды:

- Давление публиковать результаты может приводить к выбору менее рискованных, но менее значимых проектов.
- Проблемы с доступом к качественным наборам данных.

6. Рекомендации для академической среды:

- Развивать партнерства с государственными органами для доступа к данным.
- Расширять программы докторантуры по науке о данных для практиков.
Посетил сегодня мероприятие BigDataLND 24, которое регулярно посещаю. В этот раз получилось лишь быстро осмотреться — времени на то, чтобы целый день слушать доклады, не было. К тому же, повестка была довольно стандартной: в основном выступления вендоров, воркшопы и т.д. Без звездных гостей и чего-то экстраординарного :)

На вершине адженды, конечно же, был GenAI с главным посылом: «нужно больше данных».
LinkedIn Document.pdf
4.1 MB
Немного тут документов накопилось: Data Equity: Foundational Concepts for Generative AI

Правда от 10.23, но может быть кому то покажется интересным, все таки вводиться новый термин:

Справедливость данных - концепция которая является частью текущей работы по обеспечению конфиденциальности, защиты, этики. Наборы данных, используемые для обучения моделей ИИ, подвержены предвзятости, которая усиливает существующее неравенство. Это требует упреждающего аудита данных и алгоритмов и вмешательства на каждом этапе процесса ИИ - от сбора данных до обучения моделей и их внедрения. С появлением genAI темпы внедрения и развития ИИ значительно увеличились, поэтому изучение рамок для обеспечения справедливости данных является как никогда актуальным.
Дайджест статей

Не потеряться в данных: оптимизируем аналитику с помощью DataHub
https://habr.com/ru/companies/sravni/articles/844016/

Как автоматизированный контроль качества в BI-системе влияет на продажи — на примере 3 сетей
https://habr.com/ru/articles/843608/

Применение статистического анализа для определения причин деградации производительности СУБД
https://habr.com/ru/articles/843990/

Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes
https://habr.com/ru/companies/vk/articles/842896/

Применение статистического анализа для определения причин деградации производительности СУБД — часть 2
https://habr.com/ru/articles/844268/

Open source решения для управления и работы с данными в облаке
https://habr.com/ru/companies/mws/articles/844028/

Промпт-инжиниринг: как найти общий язык с ИИ
https://habr.com/ru/companies/mts_ai/articles/844624/

Large language models in medical and healthcare fields: applications, advances, and challenges
https://link.springer.com/article/10.1007/s10462-024-10921-0

Big data applications: overview, challenges and future
https://link.springer.com/article/10.1007/s10462-024-10938-5
Forwarded from 🔋 Труба данных (Simon Osipov)
https://vutr.substack.com/p/how-clickhouse-built-their-internal

Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.

@ohmydataengineer - канал "🕯Труба Данных" про работу с данными
Please open Telegram to view this post
VIEW IN TELEGRAM
Извините, что не по теме данных, но слушаю сейчас эту аудиокнигу и решил поделиться. ИМХО, это отличное собрание лучших практик менеджмента, где менеджмент рассматривается как практика и наука.

Правда, это не совсем книга — это запись семинара, поэтому тут просто прямая речь автора со всеми плюсами и минусами этого подхода. Основной плюс — очень доступно, просто, без лишней воды и долгих подводок, которые обычно присутствуют в книгах для дополнительной аргументации или, возможно, чтобы просто увеличить объем 🙂

Почему мне нравятся эти подходы и идеи? Потому что, опираясь на собственный опыт, я во многом прихожу к тем же выводам и вижу, как такие практики работают на практике.

Так что, если вы управляете даже небольшим коллективом, это must-read и must-use. Если нет — дайте почитать вашему руководителю 🙂

P.S. Раз уж пошла такая тема, не могу не отметить: приложение Litres — худшее приложение, которое я когда-либо видел. Такое ощущение, что разработчики не только сами его не используют, но даже не запускают после сборки. Баги встречаются в каждой кнопке и функции, и годами никто их не исправляет. Кошмар.

https://litres.com/audiobook/alexander-friedmann/upravlenie-myshleniem-podchinennyh-centriruuschie-para-9067360/
Наконец-то :)
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Одно из крутых обновлений очков Ray Ban Meta - синхронный перевод

Цукерберг показал наглядно, как он общается с испаноязычным человеком. Оба были в умных очках после того, как каждый из них говорил что-то на своем языке, ИИ быстро переводил.

Новая эра коммуникаций.

Апдейт других фичей этого устройства сделаем позже.

*Запрещенная организация в России.
Definitive 100 Most Useful Productivity Hacks.pdf
768.2 KB
Еще вот в копилку фанатам продуктивности :)
Друзья, мы тут вместе с другими авторами собрались в папку "ИТ инсайды". В ней 9 каналов.

Ребята рассказывают очень ярко и эмоционально про свою работу в ИТ, про тренды, про PR, безу и менеджмент.

А еще, про СА и БА 🧐, GO, фронтенд и, конечно, AI. И, периодически, делают обзоры с крупнейших ИТ конференций.

Посмотрите :)

https://t.me/addlist/p5eJRuDAyu9mODli
В она неплоха :)