Forwarded from Love. Death. Transformers.
Forwarded from Анализ данных (Data analysis)
—
pip install interpretЦель InterpretML — сделать ML более понятным, чтобы работать с какими-то алгоритмами и пайплайнами, как с чёрным ящиком.
Поддерживает обучение специальных интерпретируемых моделей (glassbox), а также объяснение существующих конвейеров ML (blackbox).
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Анализ данных (Data analysis)
Apache TVM — это фреймворк компилятора ML-приложений с открытым исходным кодом для CPU, GPU и не только.
Цель Apache TVM — дать ML-инженерам возможность оптимизировать и эффективно выполнять вычисления на любом железе.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Рестарт
А вот это реально очень полезно — учёные Сбера и лаборатории FusionBrain Института AIRI нашли способ ускорить работу больших языковых нейросетей на 10-15%.
И это все без потери качества. Исследователи изучили устройство 20 известных open source языковых моделей и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Как следствие, это позволяет существенно оптимизировать архитектуры.
И это все без потери качества. Исследователи изучили устройство 20 известных open source языковых моделей и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Как следствие, это позволяет существенно оптимизировать архитектуры.
«Мы, в Сбере, планируем провести тестирование рассмотренной идеи и в случае успеха — тиражировать её на флагманские модели GenAI. Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей» — рассказал Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.
Forwarded from Анализ данных (Data analysis)
⚡️ Новая лекция Ян Лекуна : «Объектно-ориентированный ИИ: на пути к машинам, которые могут учиться, рассуждать и планировать»
Слайды: https://drive.google.com/file/d/1e6EtQPQMCreP3pwi5E9kKRsVs2NbWPrY/view?usp=drivesdk
Видео: https://www.youtube.com/watch?si=UeLf0MhMzjXcSCAb&v=d_bdU3LsLzE&feature=youtu.be
@data_analysis_ml
Слайды: https://drive.google.com/file/d/1e6EtQPQMCreP3pwi5E9kKRsVs2NbWPrY/view?usp=drivesdk
Видео: https://www.youtube.com/watch?si=UeLf0MhMzjXcSCAb&v=d_bdU3LsLzE&feature=youtu.be
@data_analysis_ml
Forwarded from Data Secrets
Nvidia опубликовала веса для своей SOTA модели эмбеддингов NV-Embed-1, а также подробный технический отчет
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.