Продолжение про метрики качества: MSE, RMSE, MAR, R-квадрат. До этого мы обсуждали метрики для задач классификации, то есть когда мы либо различаем котиков и собачек, либо предсказываем вероятность наступления события. Теперь переключимся на метрики для задач регрессии. Примером задачи регрессии может быть оценка квартиры, то есть мы будем выбирать не между двумя или тремя классами, а вольны угадывать число. Как всегда я подгрузил файлик с расчетом первых 4ех метрик в приложения к этому посту. Будем разбирать как считаются MSE, RMSE, MAE, R-квадрат.

Продуктовое применение DS & AI: Churn Probability. Одним из самых явных применений DS является поиск тех клиентов, которые скоро перестанут пользоваться вашими услугами. Эти модели делают практически по всех отраслях. Когда мы говорим про Churn Probability недостаточно просто предсказать какой клиент скоро отвалится - надо понять как его удержать, поэтому в идеале надо сделать не одну модель, а две: вероятность отвала (что перестанет пользоваться услугами) и модель удержания клиента (выбор действия или предложения).

Вероятность отвала. Чаще всего в бизнесе уже есть понятие того, ушел клиент или нет. Например, в банкинге это обороты по счету и остатки на текущем счете. В ритейле это количество покупок за последний месяц. Не используйте в качестве целевой, например, закрытие счета в банке или удаление приложения на телефоне - это действия, к которым прибегают в крайнем случае, зачастую они чрезмерны для потребителя.

Модель удержания клиента. Для клиента нужно выбрать с одной стороны предложение, которое его заинтересует и заставит остаться, с другой стороны - метод доставки этого предложения (телефон,. пуш, имейл, баннер). Самое сложное здесь - создание целевых переменных для разработки. Если у вероятности отвала обычно много целевых данных, то у модели удержания - меньше и они смещены в сторону отдельных групп клиентов. Лучший выход - рассылка случайных типов предложений случайным способом для удержания и разработка на результатах такого теста.

Продолжение про метрики качества: MAPE, SMAPE. До этого мы обсуждали метрики для задач классификации, а также основные метрики для регрессии. Сегодня хочется закрыть тему с метриками, рассмотрев еще парочку из регрессии.

MAPE и ее вариация SMAPE позволяют оценить на сколько процентов разошлись результаты в среднем по сравнению с настоящими значениями.

В целом, чаще всего в классификации используют R-квадрат (коэффициент детерминации), MAE и MAPE.

В файлике приложил дополнительные вычисления, а также исправил опечатку R-квадрата из прошлого поста про метрики.

Продолжение про метрики качества: продуктовые метрики, Sharpe ratio. Многим кажется, что если вы достигли хороших показателей в метриках машинного обучения, то вы молодец и со своей задачей точно справились. Это, конечно, не так.

Продуктовые метрики очень важны по многим причинам:

1. Именно их вы будете "продавать" продуктам и владельцам бизнесов. "Продать" R-квадрат или ROC-AUC очень сложно.
2. Вы можете слишком далеко уйти от реальности и забыть, что главное - чтобы ваша модель зарабатывала деньги или экономила деньги. Хорошая предсказательная сила это не всегда про зарабатывание, к сожалению.

Одной из метрик, которую используют в инвестиционных конторах при сравнении разных алгоритмов и стратегий - Sharpe Ratio. Он показывает доходность стратегии относительно колебания цены. Коэффициент меньше 1 - плохо, от 1 до 2 - норм, от 2 до 3 - хороший, выше 3 - супер.

Как всегда я прикладываю дополняемый Excel с ручным расчетом по шагам.

Продолжение про метрики качества: мультиклассовые recall, precision, F1.
Мультиклассовая классификация - это когда у нашего алгоритма может быть много исходов. Например, мы можем определять кто находится на картинке: собака, кошка или птица.

Чтобы рассчитать метрики, нам нужна уже знакомая нам confusion matrix, только теперь в ней количество строк и столбцов будет соответствовать количеству классов. В мультиклассе много метрик, которые говорят о качестве модели. Могут быть и те, что мы уже проходили: F1, precision, recall. Есть множество вариантов этих метрик, но чаще всего используют weighted-метрики, то есть те, что взвешиваются через количество наблюдений в них.

Как всегда собрал расчет на пальцах внутри эксельки, чтобы было понятно кому угодно.

Как доказать, что ты крутой дата саентист? Есть несколько вариантов:

1. Резюме. Само собой, большая часть крутых дата саентистов - это люди, которые сделали крутую работу руками внутри какой-то фирмы. Однако сложно проверить, что описанное в резюме - правда.

2. Соревнования. Есть множество хакатонов, на которых люди занимают места и входят в топ-% лучших алгоритмов. Опять же, эту информацию сложно проверить. Однако есть единая платформа для подобных соревнований - многие аналитики и саентисты ее отлично знают, это Kaggle. Тут у каждого участника сообщества есть рейтинг в зависимости от количества призовых мест. Чем ты выше - тем круче считаешься. Лучших кетлистов называют Kaggle Grandmaster. Есть одна большая проблема с Кеглом - в его соревнованиях участникам уже дается датасет для обучения модели. При этом стоит понимать, что как раз самая сложная задача в ДС - это собрать данные и приготовить датасет. Если хотите попробовать сделать тестовое задание - советую классическую задачу Титаника.

3. Github. Многие разработчики выкладывают код в открытый доступ. Любой человек может его переиспользовать или предложить дополнение. Чем чаще твой код используют или чем чаще ты его улучшаешь - тем лучше. Красивый гитхаб с твоими проектами - это огромный плюс в имидже и резюме разработчика.

Откуда доставать данные?

Я бы поделил данные в любой организации на два типа: внешние и внутренние.

Внутренние данные находятся в data warehouse или ДВХ. Они собираются из мастер систем, то есть из самих различных приложений или частей этих приложений. Из-за того, что данные внутри мастер систем могут лежать в каком угодно виде (например неудобный для рядового аналитика .json), существуют так называемый ETL процессы, которые вытягивают эти данные из мастер систем в удобную табличку ДВХ типа SQL. С этими данными обычно все понятно - мастер системы меняются только внутренними силами компании и обычно можно выстроить простой процесс "изменил данные мастер системы - поменяй алгоритм парсинга в ДВХ".

Другое дело открытые данные. Они постоянно меняются. Например, в последнее время в России есть огромный тренд на данные маркетплейсов типа Озон и Вайлберрис. Для парсинга этих махин нужно много сил. Тут используются алгоритмы типа Beautiful Soup или Selenium. Из-за того что странички на сайтах постоянно меняются, алгоритмы приходится часто адаптировать. Плюс сверху надо прикручивать защиту от captcha и изменение ip адреса, чтобы не схватить бан. В итоге простая, казалось бы, задача, становится настоящим адом. Начинаешь с 1 человека в команде парсинга, заканчиваешь 20 людьми. Ну или остаешься посерединке, например, с 5 людьми и постоянно наблюдаешь за тем, как у тебя что-то ломается и данные становятся неполными и недостаточно качественными для обучения ИИ и машинки. Так что лучше покупать внешние данные там, где у других есть специализация. Вы всегда найдете чем еще интересным можно заняться, кроме парсинга.

Продолжение про метрики качества: NLP и расстояние Левенштейна.

В задачах парсинга документов невозможно использовать все метрики, о которых я писал ранее (бинарные, мультикласс и регрессия). Поэтому математики придумали другие типы метрик, которые позволяют сравнить один текст с другим и понять насколько они близки. Одним из самых распространенных показателей является расстояние Левенштейна: если для получения определенного слова надо вставить букву, удалить букву или заменить букву одну на другую, мы начиляем метрике один балл. Например, чтобы получить из слова kitten слово sitting надо:

1. Заменить букву K на букву S: sitten-sitting
2. Заменить E на I: sittin-sitting
3. Вставить букву G в конце: sitting-sitting

Таким образом, расстояние Левенштейна между этими словами равно 3.

И вот время настало - ChatGPT.

Что может быть проще чат ботика? Я и сам год назад создавал pet project, делая файн тьюн простой языковой модели на небольших сэмплах данных. Но вот кое-кто решил пойти дальше и вложить большие деньги (около 10 млн долларов) в разметку, причем только самой первой версии.

И выстрелило. ChatGPT стал самой хайповой технологией за всю историю человечества, они набрали 100 млн MAU быстрее ТикТока, а это только начало. После объявления миллиардных вливаний Microsoft в OpenAI можно ожидать моделей, которые еще лучше обучены. Скоро туда же встроят картинки, потом видео, речь, написание музыки.

Уже через несколько лет наш мир очень сильно изменится. Но не надо думать, что ChatGPT будет таким единственным в своем роде. Просто ребята доказали силу supervised and reinforcement learning in NLP при большой разметке. Скоро страны, метящие в сверхдержавы начнут свои разработки, и версий будет много. Скорее всего, их количество будет определяться количеством суверенных интернетов, а остальные будут пользоваться теми, кто ближе. Ну а ниже картинка об обучении модели.

Один из клиентов (крупнейшая российская рекламная студия) попросили помочь с автоматической генерацией сайтов. Само собой, на хайпе мы решили попробовать ChatGPT.

Удивительно конечно как ловко ChatGPT пишет кусочки кода. Само собой, гениальные вещи он пока делать не умеет и откровенно говорит, что "я не умею создавать сложные сайты, для этого вам надо уметь первое, второе, третье". Но в простенькие основы лендинга уже может.

Надо дождаться, когда чат боты смогут одновременно писать и рисовать осмысленные вещи, тогда у них получится и создавать сайты. А там уж недолго останется и до рисования мультиков и фильмов по нашим фантазиям. Будущее контента - за машинами.

Собственно, получилась оч простая фиговина. Но зато на это ушло 2 минуты и 0 экспертизы и человеческого труда.

Немного помучал ChatGPT разными запросами, в итоге получилось сделать более красивый сайт. В общем, базовый код он и правда умеет писать.

Мой список вопросов, на который надо ответить перед тем, как начинать разрабатывать модель AI. Feel free to add and negotiate, как говорится.

1. Что этот сервис должен предсказывать / различать / распознавать? Четкое определение.
2. Кто является заказчиком этого решения? Конкретный человек.
3. Как мы определяем, что модель - хорошая и ее можно внедрять? Не только метрики модели, но бизнес метрики, понятные заказчику.
4. Бизнес кейс: сколько мы теоритически можем заработать на этой модели. Тут все как при создании бизнеса: инвестиционные косты, постоянные, переменные, выручка, прибыль.
5. Кто внедряет модель? Какая нужна инфраструктура для модели? Дата саентисты редко могут сами внедрить, нужны бекенд девелоперы.
6. Какой у модели SLA? Что если она работает в 90% случаев, а остальное можно руками? От этого зависит стоимость бизнес кейса.
7. Что будет, если модель вдруг перестанет работать на время?
8. Что будет, если какой-то источник модели навсегда отвалится?
9. Как часто будем валидировать и переобучать модель? Кто будет этим заниматься?

Конечно, это еще не все. Если у вас есть идеи - пишите в комментариях.

Мой эксперимент по автоматической генерации контента.

ChatGPT прямо оч легко интегрировать с чем угодно. За выходные я создал 10 групп в телеграмме, куда автоматически раз в сутки выкладываются рассказы от ChatGPT на разные тематики: юмор, интересные факты про что-то, советы по программированию, рассказы о художниках и другие. Планирую расширить количество каналов до 100 за неделю. Кстати, обложки и описания к каналам тоже сгенерированы ИИ (описания - ChatGPT, обложки - MidJourney).

К этому движку по автоматическому созданию контента я создал дэшборд, который выдает графики по показам во всех группах суммарно за день и прирост по числу подписчиков.

Будем считать это экспериментом: может ли ИИ создавать действительно интересный контент для людей? Результаты выложу тут через месяц.

💸 Небольшая подработка 💸

Для эксперимента по автогенерации контента через ChatGPT ищу человека на part-time. Нужно будет помогать с составлением медиа-плана и оформлением каналов.

Требования очень простые:
1. Высшее образование (студенты тоже велком), желательно в маркетинге
2. Уверенное знание английского
3. Опыт работы в маркетинге будет преимуществом

Для начала человек нужен на 2 недели, дальнейшее сотрудничество возможно по результатам эксперимента.

Резюме направляйте @troitskii

О важности API простыми словами.

Если у вашего бизнеса нету своего API - ваш бизнес вряд ли можно приписать к "айтишному". С помощью этого метода взаимодействия между системами можно быстро и просто интегрировать новые фичи в свой продукт.

Доходит до того, что многие самые крутые международные бизнесы состоят из относительно небольших команд разработки, которые просто чётко внедряют сторонние API лучших вендоров на рынке и сводят их в одно приложение. Примеры таких компаний:

1. Telegram (вы знали, что еще 2 года назад в "Телеге" работало около 10 человек, включая Павла Дурова?).

2. Revolut (со штатом в 3000 человек банк покрывает уже десятки стран и является Топ-1 банковским приложением по скачиваниям во многих регионах).

Так что в современном мире не обязательно быть производителем кирпичей, чтобы строить дома. Нужно просто определиться кто ты в этой пищевой цепочке.

ГАН или Генеративно-состязательная сеть.

Это алгоритм, по которому работает всеми известный и любимый ChatGPT. Забавно, что алгоритм был изобретен совсем недавно - в 2014 году в Google. Вы только вдумайтесь - от изобретения принципов до покорения мира всего за 8 лет! Такие темпы внедрения инноваций поражают.

Суть алгоритма заключается в том, что он состоит из двух нейронных сетей. Одна из них (генеративная) генерирует образы на основании ранее скормленного ей контента, а вторая (дискриминативная) - старается отличить настоящий контент от искуственного (написанного генеративной нейросетью).

После первого прогона через обе модели, дискриминативная нейросеть посылает результаты в модель генеративную, чтобы та переобучилась на своих ошибках и подобрала параметры таким образом, чтобы ее не смогла различить вторая модель.

Самая популярная библиотека с ГАНами - это TensorFlow.

Кажется, что ГАНы с нами надолго, а те, кто не умеет писать prompts, рискуют быть выкинутыми из прогрессивной работы. Умение начинает приравниваться к умению пользоваться копмьютером или интернетом.

От себя, как от подписчика OpenAI, могу с уверенностью сказать, что код она пишет просто замечательно (если четко писать как и что надо сделать).

Stanford (топ-1 MBA в США и самый популярный ВУЗ в Кремниевой Долине) выпустил AI Index Report 2023. Основные мысли оттуда:

1. Бизнес обогнал научные институты по количеству созданных сильных моделей. До 2014 года большинство значимых моделей машинного обучения выпускались научными учреждениями. С тех пор бизнес взял верх. В 2022 году было выпущено 32 значимых модели машинного обучения, произведенных бизнесом, по сравнению с только тремя, произведенными научными институтами. Создание передовых систем искусственного интеллекта все больше требует больших объемов данных, вычислительной мощности и денег - ресурсы, которыми компании обладают в большем количестве по сравнению с некоммерческими организациями.

2. Предел результатов на традиционных тестах. Искусственный интеллект все быстрее и быстрее улучшает свои показатели по большинству метрик. Однако появляются новые, более всесторонние тестовые наборы, такие как BIG-bench и HELM (не знаю что это, надо изучать).

3. Обучение ИИ - вещь дорогая, а значит потребляет много электричества, а значит оказывает влияние на окружающую среду (ака Мировой Распил через зеленую повестку.

4. ИИ сильно помогает ученым. Еще в 2022 его стали часто применять в научных исследованиях.

5. ИИ можно использовать по вред. С его помощью становится проще следить за людьми и создавать фейк-контент для той же пропаганды.

GPU VS CPU. Это два типа процессоров, предназначающиеся для разных типов задач.

CPU - это центральный процессор, который стоит во всех компьютерах. Его сила заключается в вычислении линейных алгоритмов, логических операций. То есть он может очень быстро сказать, что 12*12=144.

👍 Преимущества использования CPU в разработке ИИ

Универсальность: CPU могут обрабатывать различные виды задач, включая те, что требуют усложненной логики и ветвления.

Низкая задержка: В ситуациях, когда важно быстрое время ответа, как в онлайн-приложениях, CPU могут быть более эффективными.

Простота программирования: Разработка на CPU обычно проще, так как не требует специализированных инструментов или знаний.

GPU - это графический процессор, он стоит внутри многих компов (особенно тех, кто занимается дизайном, редактирует видео или играет в компьютерные игры). Его фишка в том, что он умеет хорошо выполнять сразу много задач. Он может одновременно посчитать, что 4*4=16, 5*5=25, а 6*6=36.

👍 Преимущества использования GPU в разработке ИИ

Высокая пропускная способность: GPU могут обрабатывать гораздо больше данных одновременно, что важно для больших наборов данных и моделей ИИ.

Быстрое обучение моделей: Обучение моделей ИИ может быть очень ресурсоемким, и GPU могут существенно ускорить этот процесс.

Поддержка специализированных библиотек: Многие библиотеки глубокого обучения, такие как TensorFlow и PyTorch, оптимизированы для работы на GPU.

Не всякий GPU внутри вашего компа может делать ИИ. Чтобы он мог в ИИ, он должен быть совместим со специальным драйвером для вычислений, который называется CUDA.

CUDA — это платформа и API, разработанные компанией NVIDIA, чтобы разработчики могли использовать вычислительную мощь их GPU. CUDA позволяет напрямую программировать на GPU, обеспечивая ускорение для широкого спектра приложений, особенно в области ИИ и машинного обучения.

Тестирую библиотеки и и сервисы text-to-speech (TTS).

Библиотеки и сервисы, которые переводят текст в человеческую, не новшество. Они уже 5-6-7 лет довольно популярны, а многие блогеры на ютьюбе используют смешной машинный голос как озвучку для своих роликов. Однако с последним хайпом на ИИ, все больше и больше стартапов получает инвестиции на развитие, соответственно новые сервисы вырастают как грибы после дождя.

Для своего пет-проекта по генерации контента я решил попробовать запустить автоматические релизы подкастов в Apple, Amazon, Spotify, Google Podcasts. Для этого мне пришлось повозиться с разными библиотеками озвучки. Поскольку это не реклама, я буду писать реальные отзывы о них:

1. gTTS - библиотека от Google оказалась среднячком среди всех, что я рассматривал. Потыкав примеры, понял, что все-таки отличить ее от реального голоса вполне легко.

2. Amazon Polly - продукт от AWS. Полный шлак. Именно эту озвучку используют чаще всего, чтобы сделать мемные видео про тупых роботов. Кажется, что последние 5-6 лет компания Джеффа Безоса просто забросила продукт.

3. Conqui-AI неплохо выделяется среди остальных. У них есть открытая библиотека (если хочешь - раскатывай на своем железе), есть своя платформа с API (решают вопросы с железом). Примеры их озвучки - классные.

А еще у этой же группы разработчиков есть проект Bark, который классно озвучивает. Ну и идея у Bark сама по себе классная.

4. Еще классными показались ребята из PlayHT - они дают готовый максимально ванильный API, который может внедрить в свой сервис даже ребенок. Качество генерируемого аудио хорошее. Большой минус - стоит это удовольствие недешево (примерно $40 за 50.000 слов).

В целом, кажется, что IT гиганты забили на этот рынок и не развивают его, поэтому небольшие коллективы и стартапы начали выбиваться вперед. Думаю, что все закончится M&A сделками и поглощениями, а фаундеры AI стартапов смогут хорошо выйти в кеш.

Если интересно почитать немного побольше по этой теме, то приглашаю в свою статью на VC. Если статья понравилась - я не обижусь, если вы ее лайкните.

https://vc.ru/future/756954-poproboval-6-servisov-i-python-bibliotek-text-to-speech-tts-delyus-rezultatami