Создаем кастомные функции потерь в CatBoost

#почитать

Стандартные функции потерь хороши для типовых задач, но в нашей суровой жизни часто требуются специфичные решения. Например, может понадобиться усилить внимание модели на редких классах или минимизировать разные типы ошибок в зависимости от их влияния на бизнес.

⏱Читать статью

Квантизация позволяет запускать Llama 3.2 на мобилках

#почитать

Какого именно уровня производительности удалось добиться новым квантованным моделям Llama?

В среднем это ускорение инференса от двух до четырех раз по сравнению с весами в формате BF16, при сохранении практически сопоставимого качества. Уменьшение размера модели на 56% - что важно для мобильного приложения, чтобы меньше места на телефоне занимало - и уменьшение объема потребляемой памяти на 41% процент. Все это согласно результатам бенчмарков, приведенных на сайте Llama.

⏱Читать статью

Lasso, Ridge и кастомные регуляризаторы: основы

#почитать

Сегодня разберем тему, которая хоть и звучит скромно — Lasso, Ridge и кастомные регуляризаторы, — но на практике буквально спасает модели от переобучения. Если у вас бывало так, что модель на тренировочных данных показывает отличные результаты, а при проверке на валидации теряет весь блеск — поздравляю, вы столкнулись с тем самым переобучением! Регуляризация здесь как раз для того и нужна: помогает «усмирить» модель, добавляя ограничения, которые не дают ей запоминать лишние детали.

⏱Читать статью

Как я автоматизировал поиск работы при помощи LLM

#почитать

В свете последних новостей о сокращениях в IT-индустрии вопрос поиска работы встает все более остро даже для людей, которые в данный момент трудоустроены. Встал он и для меня, так как хоть на данный момент с работой у меня все в порядке, но начали появляться звоночки, намекающие на возможную необходимость ее смены в ближайшее время.

И тут вспоминается мой прошлый опыт поиска работы с многочасовым блужданием по соответствующим сайтам, вычитыванием очередной вакансии, попытками понять, как те или иные требования работодателя соотносятся с вакансией, добавлены ли они туда потому что действительно нужны или это такой фильтр от лишних соискателей. В общем монотонная однообразная работа вида: "Открыл вакансию -> прочитал -> если заинтересовало, нажал кнопку отклика -> прикрепил сопроводительное письмо и т.д."

Можно конечно ускорить процесс, выкинув из этого алгоритма пункт с вычитыванием резюме, но:
а) есть немалый шанс, кликая на все подряд, как обезьяна, откликнуться на неподходящую для тебя вакансию; кому-то это норм, но мне бы не хотелось дергать HR'ов лишний раз по поводу вакансии, которая на самом деле мне не интересна;
б) некоторые особо хитрые работодатели добавляют в описание своих вакансий всякие ключевые слова/вопросы, которые нужно упомянуть/ответить в резюме; по мне так не самая лучшая практика, но я их за это не виню.

Эх, вот бы нашелся кто-нибудь, кто вычитал бы вакансию за меня, определил, будет ли мне она интересна, написал бы сопроводительное письмо с учетом моего резюме, текста вакансии и всяких там ключевых слов, ответил бы на сопутствующие вопросы и послал бы все это дело работодателю...

Минуточку, кажется я знаю, кто мне в этом поможет: LLM же!

⏱Читать статью

Глубокое погружение в базовую архитектуру LPU Groq

#почитать

В этой статье мы собираемся разобрать архитектуру TSP и его компилятора, а затем увидим, как Groq построили надежный и высокопроизводительный распределенный механизм инференса ИИ с использованием этих TSP.

Архитектура TSP сильно отличается от архитектуры обычного процессора или графического процессора, главным образом для того, чтобы сделать аппаратное обеспечение TSP более детерминированным. Давайте сначала поговорим о том, что вызывает недетерминизм в процессоре или графическом процессоре.

⏱Читать статью

▫️Быстрый matching товаров на маркетплейсе Wildberries

#посмотреть

DATAMeetup.

⏱Смотреть на YouTube ⏱️25 минут

Эволюция архитектур нейросетей в компьютерном зрении: классификация изображений

#почитать

Задача классификации фотографий в машинном обучении и компьютерном зрении заключается в том, чтобы автоматически присваивать каждой входной фотографии или изображению одну или несколько категорий (классов) на основе содержимого изображения. Это одна из ключевых задач в области компьютерного зрения, которая имеет множество практических приложений, таких как распознавание лиц, классификация объектов, медицинская диагностика по изображениям, фильтрация контента и другие.

⏱Читать статью

Путь разметки данных для NER: от Open Source до Prodigy

#почитать

NER позволяет автоматически выделять и классифицировать ключевые сущности в тексте — такие как имена, даты, названия организаций, и другие элементы, важные для понимания контекста и анализа. Такая задача востребована в HR, здравоохранении, юриспруденции и других областях, где требуется выделять информацию из большого массива текстовых данных.

Всё началось с задачи автоматизации HR-процессов, где от модели требовалось распознавать специфические сущности, такие как место работы, должность и длительность опыта. Задача оказалась нетривиальной, поскольку требовала не только создания меток, но и грамотной разметки текстов на русском и английском языках. Мы начали с Open Source решений, чтобы протестировать основные подходы и понять, какой инструмент лучше подойдет для наших задач.

⏱Читать статью

Конец эпохи fashion-дизайнеров

#почитать

Позволяет загрузить фото гардероба в приложение.
Подсказывает, что надеть.
Говорит, какие вещи сочетаются друг с другом лучше.
Делит гардероб на «капсулы», чтобы было проще подбирать образы.
Считает, сколько денег вы тратите на вещи.
Позволяет публиковать вещи в свой профиль и вести его как соцсеть.
Адаптирует образы под погоду за окном.
Даёт возможность продавать вещи внутри приложения.

⏱Читать статью

Тестируем LLM для русского языка: Какие модели справятся с вашими задачами

#почитать

YandexGPT: Показала высокую связность и грамматическую правильность текста. Текст был логичным, стилистически правильным и без ошибок. Модель не использовала вставки английских слов, что сделало её результат почти идеальным для русскоязычных проектов (2 балла за выполнение).

Saiga-Mistral-7b-Lora: Также показала отличные результаты, генерируя текст высокого качества с хорошей структурой и минимальными ошибками. Текст был креативным и полностью соответствовал заданной теме (2 балла за выполнение).

OpenChat3.5: Результаты были удовлетворительными, однако встречались вставки английских слов и недочеты в структуре текста. Текст мог быть связанным, но не всегда соответствовал стилю или контексту (1 балл за выполнение).

GigaChat: Модель показала хорошие результаты. Текст был менее структурированным и встречались ошибки в согласовании предложений, но все равно модель заслужила высокий балл (2 балла за выполнение).

Mistral: Генерация текста была неплохой, но в некоторых случаях модель допускала синтаксические ошибки и не всегда удачно выбирала стиль текста (2 балла за выполнение).

Saiga-Llama3-8b: Текст был грамматически правильным, но менее связным по сравнению с лидерами. Иногда наблюдались небольшие несоответствия в стиле (1 балл за выполнение).

Лучшими моделями для генерации связного текста оказались YandexGPT и Saiga-Mistral-7b-Lora, обе модели обеспечили высокий уровень грамматической точности и стилевого соответствия.

⏱Читать статью

Поиск жулика: Как понять, что перед вами ChatGPT 4?

#почитать

С момента появления ChatGPT 4, вопрос о том, как отличить ее на практике от старой-доброй 3.5 , волнует многих пользователей, в том числе и пользователей нашего сервиса. Простой запрос «какая версия ChatGPT передо мной?» не всегда даст правильный ответ — модели могут сообщить, что они не те, кем должны быть.

⏱Читать статью

Бесполезные курсы и помешательство на GPTs: как мы искали prompt-инженеров

#почитать

Вот краткий список того, чем занимаются наши prompt-инженеры:

пишут промпты и их системы, чтобы языковая модель генерировала релевантные и точные ответы;

помогают Data Scientist обучать и тренировать новые модели;

разрабатывают и поддерживают библиотеки промптов, чтобы потом их можно было использовать повторно;

много тестируют.

⏱Читать статью

Обучение ИИ-моделей на облачных серверах

#почитать

Тегирование материалов — неотъемлемая часть работы любой медиакомпании. В РБК ее выполняли вручную: редакторы прописывали 2–3 тега для каждого материала. В связи с этим возникало несколько трудностей:

Количество тегов неконтролируемо увеличивалось — в основном разделе РБК до внедрения системы их набралось десятки тысяч.

Появились дубли и синонимичные теги. Например, тег «сыр» можно написать по-разному: использовать заглавные буквы или кавычки. С точки зрения системы «Сыр», «сыр» и «сыры» — разные теги.

Из-за большого числа тегов стало сложнее выбирать релевантные, и оставался риск пропустить другие подходящие.

Тогда решили проверить гипотезу, насколько нейросеть потенциально может нивелировать человеческий фактор и позволит организовать процесс тегирования в полуавтоматическом режиме. Редактору можно будет не отвлекаться на поиск тегов, а только утверждать предложенные ИИ. В этом случае рутины станет меньше, и у сотрудников редакции появится время на по-настоящему важные задачи.

⏱Читать статью

LLM может довольно изобретательно разгадывать хитрые загадки, но не всегда

#почитать

Я проделал очень много опытов с разными моделями, и самыми топовыми и среднего уровня и все они показали в целом хороший уровень в разгадывании всевозможных загадок, от простых до сложных, но не включительно (сложные не может разгадать ни одна модель).

Мне порой кажется, что модели даже лучше проявляют себя именно в разгадывании загадок, чем в логическом мышлении, не говоря уже о решении математических задач, где проблема особенно заметна.

Я даже не побоюсь сказать, что в общем зачете модели значительно опережают меня в уровне догадливости, если так можно выразится, и не стереотипности подходов в отгадывании хитроумных загадок.

⏱Читать статью

Практическая устойчивость значений Шепли в интерпретации моделей ИИ

#почитать

В исследованиях и на практике значения Шепли (Shapley values) — один из наиболее популярных методов интерпретации. По определению, значения Шепли вычисляются по оценке вклада признака во все возможные "коалиции" (подмножества признаков). Так, если у нас естьNпризнаков, нам необходимо перебрать 2^N комбинаций для оценки вклада каждого признака полностью. На практике этого не делается — применяется аппроксимация.

⏱Читать статью

ZombAI: промпт-инъекция в Claude Computer Use

#почитать

Anthropic выпустила Claude Computer Use, который представляет собой модель + код, позволяющий ИИ управлять компьютером. Он делает скриншоты для принятия решений, может выполнять команды bash и так далее.

Это круто, но, очевидно, несёт и массу рисков, ведь Claude Computer Use позволяет искусственному интеллекту автономно выполнять команды на машинах. А значит, можно использовать промпт‑инъекции (prompt injection).

⏱Читать статью

Гайд по трекингу экспериментов в ML

#почитать

Большинство задач в мире машинного и глубинного обучения включают сбор данных, построение модели и оценку результатов. Для различных областей каждый этап может быть по-разному важным и трудоемким. Например, по опыту наших проектов, дата-сайентисты могут тратить до половины времени на подготовку данных и, как правило, результаты зависят в большей степени от качества датасета, чем от архитектуры модели, потому процесс работы с ними тоже важно фиксировать (похоже на варку кофе — можно использовать разные кофемашины, но вкус во многом зависит от зерен).

⏱Читать статью

Уделите внимание токенизаторам

#почитать

Меня довольно заинтриговало, что большинство успешных ИИ-приложений – это, в сущности, инструменты для умного семантического поиска. Поиск Google (в своём роде) раскрепостился, и это наталкивает меня на мысли, вдруг они только сейчас дали волю своим мощностям LLM, которые уже давно стояли за поисковым движком. Но я отвлёкся.

То приложение, разработкой которого мой друг занимался пару последних недель, работает с обширными данными из интернет-магазина: это описание различных товаров, инвойсы, отзывы, т.д. Вот с какой проблемой он столкнулся: оказалось, RAG не слишком хорошо обрабатывает некоторые запросы, но с большинством запросов справляется отлично.

⏱Читать статью

Операции машинного обучения (MLOps) для начинающих: полное внедрение проекта

#почитать

MLOps — это набор практик, который автоматизирует управление ML-процессами и упрощает развёртывание моделей.

⏱Читать статью