Категориальный признак (categorical feature) — это признак, который содержит в себе какую-либо метку (свойство), описывающую этот признак. При этом, категориальные признаки не измеряются в непрерывной шкале, в отличие от непрерывных признаков (continuous features).
Категориальные признаки могут содержать фиксированный набор значений.
К примеру, признак RGB содержит значения: Red (красный), Green (зелёный) и Blue (голубой).
Также они могут содержать набор значений, который может со временем меняться.
Например, номера поликлиник в городе: 321, 213, 2 и так далее. Город может построить новую поликлинику, и таким образом она добавится в ваш список.
Если категориальный признак принимает только два значения, его называют бинарным (True / False, Да / Нет, Зеленый / Красный и так далее).
Большая часть классических ML-моделей использует в своей работе числовые признаки, в связи с этим следует уметь корректно представлять категориальные значения числами.
Можно ли не утруждать себя при работе с такими признаками?
Ответ: и да, и нет. Вы действительно можете использовать какие-то базовые приёмы работы с ними, но рискуете потерять в качестве модели.

Когда слушаешь доклады на больших ML-конференциях, то часть докладов вызывает восторг, но другая часть на послевкусии вызывает странное чувство. Да, доклад может быть очень крутым, математика блестящей, сложность крышесносной, но что-то как будто бы не так.

Утечки персональных данных в России бьют все рекорды. За два года их совокупное число выросло – только вдумайтесь – в 40 раз. В 2021-м году таких инцидентов было всего четыре, в 2022 – свыше 140, а за первые семь месяцев 2023 года – уже 150.

Одним из возможных путей утечки является передача персональных данных на обработку третьей стороне. По сути, компания передает изображения удостоверяющих документов (паспортов или любых других) своих клиентов незнакомым людям, а что дальше происходит с данными – неизвестно.

Между тем, есть еще один способ ввода данных из документов – прямо на устройстве, без необходимости отправлять куда-то картинку. Он полностью исключает риск любой утечки. Речь идет о нашем мобильном SDK для распознавания паспорта.

В основе SORA заложена та же идея, что и в LLM по типу GPT. Языковые модели хорошо показали себя в генерации текста отчасти из-за использования принципов токенизации, которые умело связывают и представляют текст в виде скрытых пространств. OpenAI переняли эту стратегию и ввели “визуальные патчи” для столь же эффективного представления видео.

Первым этапом в обучении SORA стало обучение такой сети, которая могла бы принимать необработанное видео в качестве входных данных и выводить скрытое представление визуальных патчей, сжатое как во времени, так и в пространстве. В последствии основная модель генерирует именно это латентное представление, которое позже декодируются обратно в пространство пикселей.

Обычно оценка качества производится путём анализа обратной связи от пользователей, либо пользователь голосует рублем. Допустим, вы разработали чат-бота и обнаружили, что юзеры не в восторге от его ответов. Вы вносите изменения, например, заменяете одну LLM на другую и надеетесь, что теперь-то ответы всех устроят. Это можно сделать ещё более умно через A/B-тестирование. Но можно ли ускорить релизный цикл, заранее оценив влияние внесённых изменений? RAGAS как раз предлагает ответ на этот вопрос.

По имеющимся оценкам, только эксплуатационные затраты на один самосвал достигают 50 тысяч рублей в час. При этом, если простой оказался незапланированным, это увеличивает сумму ещё на 30%. Очевидно, что одно дело, когда самосвал остановили на запланированный ремонт, и совершенно другое — если он груженный рудой внезапно сломался посреди смены где‑нибудь в глубине карьера.

Подготовка данных – это процесс подготовки «сырых» (необработанных) данных для их дальнейшей обработки и анализа.

Предобработка данных включает следующие процедуры:

проверка данных;
очистка данных;
трансформация данных;
трансформация данных;
дополнение;
оптимизация.

Я — серфер. Я катаюсь на волнах Тенерифе и углубленно изучаю мир серфинга.

В целом, хотя дата-сайентистам не обязательно становиться экспертами по Kubernetes, общее представление об этой технологии полезно для эффективного взаимодействия с другими командами, развертывания моделей и приложений.

Я ведущий аналитик направления Big Data Лиги Цифровой Экономики. Я проведу небольшую ознакомительную экскурсию в мир Linux и покажу, что аналитик вполне себе может решать повседневные задачи в этой операционной системе.

Внутри каждой из txt-2-img нейросетей есть модель, обученная на своем датасете. Если модель удачная, то и генерации будут получаться качественными, красивыми, соответствующими запросу. Разумеется, посмотреть, что представляет из себя модель, на каком датасете она обучена, не получится – это коммерческая тайна любого из продуктов, о которых я буду писать ниже.

И всё-таки, попробуем определить, где лучше генерировать изображения, хотя бы по факторам красоты/соответствия запросу.

Будем исходить из того, что в каждом из продуктов, который участвует в наших экспериментах, есть большие или меньшие веса для определённых изображений. То есть она предрасположена выдавать в результатах генераций следы тех изображений, которых или больше в датасете или которые имеют больший вес.

Рассмотрим использование больших языковых моделей на этапе подготовки описания продуктов данных для дальнейшего использования в аналитике.

- Автор ушел в мелкие детали, а лучше бы рассказал качественные отличия различных бустингов. Один лучше там (потому- то), второй- тут (потому- то), третий вот там (по такой- то причине)... А это просто мешок слов из книжки.

- Фишка в том, что тут нет понятия хуже или лучше. Это зависит исключительно от задачи, которую нужно решить. А чтобы выбрать подходящий бустинг, нужно знать как он работает. Если нужен самый быстрый то лучше всего LightGBM, в силу того, что он обсчитывает не весь датасет, а часть. Если много категориальных переменных, то лучше всего CatBoost потому что он под это заточен

В период пандемии ковида и недавней эпидемии гриппа многие из нас прибегали к употреблению большого количества витаминов и микроэлементов, для поддержания иммунитета. Выбор БАДов в аптеках по всей стране весьма широкий и привлекательный, однако совместное их применение очень ограничено. Все дело в белках-переносчиках