Большинство «низко висящих фруктов» уже собрано. Остались наиболее трудоёмкие варианты, в которых заинтересованы немногие.

Люди поняли, что в области генеративного ИИ трудно быть конкурентоспособным, поэтому ажиотаж поутих.

Нередко случаются ситуации, когда в A/B экспериментах ну очень хочется нужно проверять сразу несколько гипотез на одном и том же наборе данных, то есть в качестве тестового варианта использовать не одну группу, а сразу несколько. Особенно часто такая необходимость встречается в некоторых областях биологии. Но и в продуктовых командах возникают кейсы, когда, например, уже есть несколько вариантов дизайна каких-то элементов / моделей рекомендаций / ранжирования / etc, и хочется выбрать лучший в рамках одного эксперимента.

Меня зовут Артем Пономарев, я участник клуба анонимных дата-аналитиков Data Analyst, и мне приходилось сталкиваться с множественными экспериментами в продукте. Когда это случалось, и я начинал искать больше дополнительной информации на эту тему, мне показалось, что существует достаточно мало материала с упором на реальную практику в индустрии. Эта статья – попытка структурировать знания о проблеме множественного тестирования, сравнить методы решения проблемы и поделиться практическим опытом работы с множественными экспериментами.

Перед построением классификатора, нужно разобраться с признаковым пространством. У нас в арсенале есть:

Текст из письма.
Картинки из письма.
Репутация по отправителю.
Репутация по URL.

Для построения признаков на основе картинок у нас используется отдельная CV-модель, обученная распознавать определенные объекты. На основе вероятностей этой модели формируются признаки, которые сообщают о том, есть объект на картинке или нет. Как работать с репутационными признаками понятно, давайте разберем, как можно работать с текстом.

Самый первый и простой способ работы с текстом — это мешок слов (bag of words).

Если вы когда-либо работали с рекомендательными системами, то знаете, что все необходимые и самые часто используемые инструменты разбросаны по разным библиотекам. Более того, каждая из таких библиотек имеет много уникальных особенностей, к которым нужно приноровиться (например, разные форматы данных на вход).

Выходит, что чтобы просто протестировать на своей задаче базовый пул подходов, нужно немало помучиться. Получается довольно грустно.

К такому же выводу, видимо, пришли ребята из МТС – и выкатили в опенсурс RecTools.

Категориальный признак (categorical feature) — это признак, который содержит в себе какую-либо метку (свойство), описывающую этот признак. При этом, категориальные признаки не измеряются в непрерывной шкале, в отличие от непрерывных признаков (continuous features).
Категориальные признаки могут содержать фиксированный набор значений.
К примеру, признак RGB содержит значения: Red (красный), Green (зелёный) и Blue (голубой).
Также они могут содержать набор значений, который может со временем меняться.
Например, номера поликлиник в городе: 321, 213, 2 и так далее. Город может построить новую поликлинику, и таким образом она добавится в ваш список.
Если категориальный признак принимает только два значения, его называют бинарным (True / False, Да / Нет, Зеленый / Красный и так далее).
Большая часть классических ML-моделей использует в своей работе числовые признаки, в связи с этим следует уметь корректно представлять категориальные значения числами.
Можно ли не утруждать себя при работе с такими признаками?
Ответ: и да, и нет. Вы действительно можете использовать какие-то базовые приёмы работы с ними, но рискуете потерять в качестве модели.

Когда слушаешь доклады на больших ML-конференциях, то часть докладов вызывает восторг, но другая часть на послевкусии вызывает странное чувство. Да, доклад может быть очень крутым, математика блестящей, сложность крышесносной, но что-то как будто бы не так.

Утечки персональных данных в России бьют все рекорды. За два года их совокупное число выросло – только вдумайтесь – в 40 раз. В 2021-м году таких инцидентов было всего четыре, в 2022 – свыше 140, а за первые семь месяцев 2023 года – уже 150.

Одним из возможных путей утечки является передача персональных данных на обработку третьей стороне. По сути, компания передает изображения удостоверяющих документов (паспортов или любых других) своих клиентов незнакомым людям, а что дальше происходит с данными – неизвестно.

Между тем, есть еще один способ ввода данных из документов – прямо на устройстве, без необходимости отправлять куда-то картинку. Он полностью исключает риск любой утечки. Речь идет о нашем мобильном SDK для распознавания паспорта.

В основе SORA заложена та же идея, что и в LLM по типу GPT. Языковые модели хорошо показали себя в генерации текста отчасти из-за использования принципов токенизации, которые умело связывают и представляют текст в виде скрытых пространств. OpenAI переняли эту стратегию и ввели “визуальные патчи” для столь же эффективного представления видео.

Первым этапом в обучении SORA стало обучение такой сети, которая могла бы принимать необработанное видео в качестве входных данных и выводить скрытое представление визуальных патчей, сжатое как во времени, так и в пространстве. В последствии основная модель генерирует именно это латентное представление, которое позже декодируются обратно в пространство пикселей.

Обычно оценка качества производится путём анализа обратной связи от пользователей, либо пользователь голосует рублем. Допустим, вы разработали чат-бота и обнаружили, что юзеры не в восторге от его ответов. Вы вносите изменения, например, заменяете одну LLM на другую и надеетесь, что теперь-то ответы всех устроят. Это можно сделать ещё более умно через A/B-тестирование. Но можно ли ускорить релизный цикл, заранее оценив влияние внесённых изменений? RAGAS как раз предлагает ответ на этот вопрос.

По имеющимся оценкам, только эксплуатационные затраты на один самосвал достигают 50 тысяч рублей в час. При этом, если простой оказался незапланированным, это увеличивает сумму ещё на 30%. Очевидно, что одно дело, когда самосвал остановили на запланированный ремонт, и совершенно другое — если он груженный рудой внезапно сломался посреди смены где‑нибудь в глубине карьера.

Подготовка данных – это процесс подготовки «сырых» (необработанных) данных для их дальнейшей обработки и анализа.

Предобработка данных включает следующие процедуры:

проверка данных;
очистка данных;
трансформация данных;
трансформация данных;
дополнение;
оптимизация.

Я — серфер. Я катаюсь на волнах Тенерифе и углубленно изучаю мир серфинга.

В целом, хотя дата-сайентистам не обязательно становиться экспертами по Kubernetes, общее представление об этой технологии полезно для эффективного взаимодействия с другими командами, развертывания моделей и приложений.

Я ведущий аналитик направления Big Data Лиги Цифровой Экономики. Я проведу небольшую ознакомительную экскурсию в мир Linux и покажу, что аналитик вполне себе может решать повседневные задачи в этой операционной системе.