Полезный контент по машинному обучению с Practical ML Conf 2024. Рекомендуем обратить внимание на доклад Саввы Степурина. Он был посвящен тому, как предлагать пользователям незнакомый контент. Савва подробно рассказал о переходе от традиционных фильтров к отдельным моделям выбора кандидатов и ранжирования, представил особые подходы в отборе кандидатов и моделей ранжирования, а также показал результаты внедрения этих подходов.

Также советуем вам ознакомиться с другими интересными темами:

⚙️ Как научить языковые модели работать с кодом. Руководитель лаборатории машинного обучения в Yandex Platform Engineering подробно рассказал об этом процессе и объяснил, почему исследователи решили прогнозировать стейтменты и как это повлияло на качество онлайн-метриков.

⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом докладе раскрывается процесс внедрения длительного контекста в низкоресурсную модель реального времени и упоминаются особенности использования диффузионных моделей.

Помимо этого, были представлены интересные доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM и, конечно же, о рекомендательных системах. Все видео можно посмотреть здесь.

🎓 DepthCrafter – это проект, который создает карты глубины для видео с открытым миром.

Основным преимуществом данного инструмента является высокая детализация без необходимости использования данных о позах камеры или оптического потока.

Проект направлен на упрощение обработки видео, предоставляя как высококачественные, так и ускоренные режимы обработки, требующие видеокарт с объемом памяти от 9 до 26 ГБ.

Ссылка на GitHub проекта: https://github.com/Tencent/DepthCrafter

@data_analysis_ml

В России впервые реализовали новый метод тренировки ML-моделей, который позволит участвовать в совместных проектах организациям, которые раньше не могли сотрудничать из-за рисков, связанных с передачей чувствительных данных.

Это стало возможно благодаря федеративному обучению - подходу, в котором участники могут коллективно обучать модель, не передавая свои данные внешним подрядчикам.  Вместо передачи исходных данных на централизованный сервер для обработки, обучающие узлы обмениваются только обновленными параметрами модели. Подобная техника очень актуальна для отраслей, где имеют дело с чувствительной информацией.

Немного о том, как работает новый метод

При обучении ML-моделей данные, как правило, собираются из архивов медицинских учреждений и баз пациентов, и передаются на центральный сервер, где и происходит обучение.  Однако при таком подходе велик риск утечек конфиденциальной информации, особенно если речь идет, например, о сфере медицины. Федеративный подход работает иначе. 

Модель обучается на локальном сервере клиента и является частью распределённой системы обучения. Данные остаются у клиента, а на центральный сервер отправляются только обновленные параметры модели. Задача федеративного центрального сервера в таком случае — не обработка и хранение исходных данных, а координация обучения. При этом сервер агрегирует параметры для улучшения общей модели, обеспечивая конфиденциальность данных.

После того, как параметры модели от всех клиентов объединяются на центральном федеративном сервере, её обновлённая версия возвращается на устройства клиентов, чтобы учиться на новых данных. Таким образом, модель учитывает изменения и особенности каждого клиента, становясь точнее и эффективнее.

Первый кейс использования подхода в России в медицине

Метод реализовал Центр технологий для общества Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН. Эксперимент  заключался в обучении ML-модели, чтобы распознавать патологии сердца на основе данных ЭКГ. Для этого использовали фреймворк NVFlare, который поддерживает федеративное обучение с использованием GPU.  Сам обучение провели на датасете из 47 тысяч двенадцатиканальных ЭКГ. В ходе эксперимента специалисты обучали модель диагностировать фибрилляцию предсердий по ЭКГ.

Чувствительность (способность выявлять патологию) модели составила 99%, а специфичность (способность не давать ложных результатов при отсутствии заболевания) — 95%.​ Результаты работы модели проверили трое врачей функциональной диагностики, чтобы убедиться в её точности и клинической применимости.

Федеративное обучение будет полезно не только в медицине. В перспективе такой подход можно использовать в финансовой отрасли для обнаружения мошенничества. При этом данные пользователей останутся защищенными.

@data_analysis_ml

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/dataanlitics
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

🤗 Hugging Face Llama Recipes

Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2.

▪️Github

@data_analysis_ml

🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5.

🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face

https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8

@data_analysis_ml