Fine-tuning MMS Adapter Models for Multi-Lingual ASR
MMS' Adapter training is both more memory efficient, more robust and yields better performance for low-resource languages.
Пример с кодом по настройке адаптера, при котором достигается поразительно низкий уровень ошибок в словах всего за 10-20 минут файнтюнинга.
Обучение адаптера MMS является более экономичным, более надежным и обеспечивает высокую производительность.
🤗 Post: https://huggingface.co/blog/mms_adapters
🖥 Colab: https://colab.research.google.com/github/patrickvonplaten/notebooks/blob/master/Fine_Tune_MMS_on_Common_Voice.ipynb
🖥 Github: https://github.com/facebookresearch/fairseq/tree/main/examples/mms/asr
⭐️ Demo: https://huggingface.co/spaces/facebook/MMS
📕 Paper: https://huggingface.co/papers/2305.13516
ai_machinelearning_big_data
MMS' Adapter training is both more memory efficient, more robust and yields better performance for low-resource languages.
Пример с кодом по настройке адаптера, при котором достигается поразительно низкий уровень ошибок в словах всего за 10-20 минут файнтюнинга.
Обучение адаптера MMS является более экономичным, более надежным и обеспечивает высокую производительность.
🤗 Post: https://huggingface.co/blog/mms_adapters
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤3🔥2
Какую альтернативу Vendor-Lock использовать для клиентской аналитики?
Это один из главных вопросов, которые встали перед командой X5 Tech в 2022 году.
О том, как IT-компания, которая обеспечивает цифровые нужды ритейлера, нашла и быстро внедрила новое решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis, команда расскажет на митапе 27 июня.
🔹 В онлайн формате выступят спикеры компании:
Ермаченков Владимир, менеджер направления клиентской аналитики в цифровых каналах
Бассай Сергей, архитектор данных
Гундилович Александр, старший разработчик
🔔 Старт в 18:00
Регистрация и подробности тут
Участие бесплатное
Это один из главных вопросов, которые встали перед командой X5 Tech в 2022 году.
О том, как IT-компания, которая обеспечивает цифровые нужды ритейлера, нашла и быстро внедрила новое решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis, команда расскажет на митапе 27 июня.
🔹 В онлайн формате выступят спикеры компании:
Ермаченков Владимир, менеджер направления клиентской аналитики в цифровых каналах
Бассай Сергей, архитектор данных
Гундилович Александр, старший разработчик
🔔 Старт в 18:00
Регистрация и подробности тут
Участие бесплатное
❤2👍2👏1
Fast Segment Anything Model reaches comparable performance with the SAM method at 50 times higher run-time speed.
Fast Segment Anything Model (FastSAM) - это модель CNN Segment Anything Model, обученная всего на 2% набора данных SA-1B, опубликованного авторами SAM. FastSAM достигает сравнимой с методом SAM производительности при 50-кратном увеличении скорости выполнения.
git clone https://github.com/CASIA-IVA-Lab/FastSAM.gitai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👍10🔥7
Extensible and lightweight toolkit, LMFlow, which aims to simplify the finetuning and inference of general large foundation models.
Расширяемый, удобный и эффективный инструментарий для тонкой настройки больших моделей машинного обучения, разработанный как удобный, быстрый, надежный инструент для работы с большими моделями.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤7🔥3
🦾 Rofunc: The Full Process Python Package for Robot Learning from Demonstration and Robot Manipulation
A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model.
Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации.
🖥 Github: https://github.com/skylark0924/rofunc
📕 Paper: https://arxiv.org/abs/2306.12677v1
🔗 Dataset: https://paperswithcode.com/dataset/plasticinelab
ai_machinelearning_big_data
A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model.
Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации.
pip install rofuncimport rofunc as rf
import numpy as np
from isaacgym import gymutil
from importlib_resources import files
# Demo
raw_demo_l = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_l.npy'))
raw_demo_r = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_r.npy'))
demos_x_l = [raw_demo_l[300:435, :], raw_demo_l[435:570, :], raw_demo_l[570:705, :]]
demos_x_r = [raw_demo_r[300:435, :], raw_demo_r[435:570, :], raw_demo_r[570:705, :]]
rf.lqt.plot_3d_bi(demos_x_l, demos_x_r, ori=False, save=False)
# TP-GMM
show_demo_idx = 1
_, _, gmm_rep_l, gmm_rep_r = rf.tpgmm.bi(demos_x_l, demos_x_r, show_demo_idx=show_demo_idx, plot=True)
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥2🥰1💯1🙊1
🔥 Awesome-Multimodal-Large-Language-Models
Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.
Огромный, упорядоченный список новейших статей, датасетов и кода по мультимодальным большим языковым моделям.
🖥 Github: https://github.com/bradyfu/awesome-multimodal-large-language-models
📕 Paper: https://arxiv.org/abs/2306.13394v1
🔗 Dataset: https://paperswithcode.com/dataset/coco
ai_machinelearning_big_data
Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.
Огромный, упорядоченный список новейших статей, датасетов и кода по мультимодальным большим языковым моделям.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥5❤1
⚡ LightGlue. Local Feature Matching at Light Speed
LightGlue a lightweight feature matcher with high accuracy and adaptive pruning techniques, both in the width and depth of the network, for blazing fast inference.
LightGlue, глубокая нейронная сеть, которая учится сопоставлять локальные фичи на изображениях.
🖥 Github: https://github.com/cvg/lightglue
📕 Paper: https://arxiv.org/abs/2306.13643v1
🔗 Dataset: https://paperswithcode.com/dataset/hpatches
ai_machinelearning_big_data
LightGlue a lightweight feature matcher with high accuracy and adaptive pruning techniques, both in the width and depth of the network, for blazing fast inference.
LightGlue, глубокая нейронная сеть, которая учится сопоставлять локальные фичи на изображениях.
git clone https://github.com/cvg/LightGlue.git && cd LightGlue
python -m pip install -e .ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥5👍3
Зачем Data-инженеру Spark
В Почте Mail.ru работают со стеком Hadoop, Hive, Clickhouse, Spark. В данной статье на Хабре Data-инженер из команды Почты Mail.Ru остановился на некоторых аспектах работы с данными в Spark.
Он ответил на следующие вопросы: как превратить 7 петабайт в 0,5 петабайт, что позволило сэкономить годовой бюджет по закупке серверов и построить своё классное хранилище без последующей переделки.
Также в статье: архитектурные паттерны в хранилище Почты, эффективное хранилище данных, форматы хранения данных, параллельная обработка данных в Spark, запись колоночных файлов, запросы к данным в Spark и др.
Хабр: https://habr.com/ru/companies/vk/articles/742084/
ai_machinelearning_big_data
В Почте Mail.ru работают со стеком Hadoop, Hive, Clickhouse, Spark. В данной статье на Хабре Data-инженер из команды Почты Mail.Ru остановился на некоторых аспектах работы с данными в Spark.
Он ответил на следующие вопросы: как превратить 7 петабайт в 0,5 петабайт, что позволило сэкономить годовой бюджет по закупке серверов и построить своё классное хранилище без последующей переделки.
Также в статье: архитектурные паттерны в хранилище Почты, эффективное хранилище данных, форматы хранения данных, параллельная обработка данных в Spark, запись колоночных файлов, запросы к данным в Spark и др.
Хабр: https://habr.com/ru/companies/vk/articles/742084/
ai_machinelearning_big_data
👍7🔥2❤1
🚶♂️ MotionGPT: Human Motion
as Foreign Language
MotionGPT consists of a motion tokenizer responsible for converting raw motion data into discrete motion tokens, as well as a motion-aware language model that learns to understand the motion tokens from large language pre-training models by corresponding textual descriptions.
MotionGPT, унифицированная, универсальная и удобная модель языка движения для решения множества задач, связанных с движением.
⏩ Project: https://motion-gpt.github.io/
🖥 Github: https://github.com/openmotionlab/motiongpt
📕 Paper: https://arxiv.org/pdf/2306.14795.pdf
🔗 Dataset: https://paperswithcode.com/dataset/amass
ai_machinelearning_big_data
as Foreign Language
MotionGPT consists of a motion tokenizer responsible for converting raw motion data into discrete motion tokens, as well as a motion-aware language model that learns to understand the motion tokens from large language pre-training models by corresponding textual descriptions.
MotionGPT, унифицированная, универсальная и удобная модель языка движения для решения множества задач, связанных с движением.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍5❤1🤯1
Крутые бесплатные курсы по большим языковым моделям.
▪Generative AI with Large Language Models
▪ChatGPT Prompt Engineering for Developers
▪LangChain for LLM Application Development
▪Building Systems with the ChatGPT API
▪Google Cloud Generative AI Learning Path
▪Introduction to Large Language Models with Google Cloud
▪LLM University
▪Full Stack LLM Bootcamp
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥6❤2
💬 3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
A large-scale speech corpus to facilitate the research of speech representation disentanglement.
3D-Speaker - это набор инструментов с открытым исходным кодом и крупномасштабный корпус речи, для мультимодальной проверки дикторов, распознавания дикторов и разделение дикторов.
3D-Speaker содержит более 10 000 дикторов, каждый из которых одновременно записывается несколькими устройствами, расположенными на разных расстояниях, а некоторые дикторы говорят на нескольких диалектах.
🖥 Github: https://github.com/alibaba-damo-academy/3D-Speaker
📕 Paper: https://arxiv.org/abs/2306.15354v1
🔗 Dataset: https://3dspeaker.github.io/
ai_machinelearning_big_data
A large-scale speech corpus to facilitate the research of speech representation disentanglement.
3D-Speaker - это набор инструментов с открытым исходным кодом и крупномасштабный корпус речи, для мультимодальной проверки дикторов, распознавания дикторов и разделение дикторов.
3D-Speaker содержит более 10 000 дикторов, каждый из которых одновременно записывается несколькими устройствами, расположенными на разных расстояниях, а некоторые дикторы говорят на нескольких диалектах.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3👍2
AI writing assistant for recreational linguists, poets, creative writers, and/or researchers to use and study the ability of large-scale language models.
Это как Photoshop, но для создания текстового контента!
Продвинутый ИИ-помощник по написанию текстов и генерированию текста.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥5❤4❤🔥1
📚 5 Free Books on Natural Language Processing to Read in 2023
5 великолепных бесплатных книг по NLP, актуальных в 2023 году.
1. Speech and Language Processing
Authors: Dan Jurafsky and James H. Martin
Книга, написанная двумя профессорами Стэнфордского университета, по обработке речи и языка содержит исчерпывающее введение в мир НЛП. Она разбита на 3 раздела: Фундаментальные алгоритмы для НЛП, Приложения НЛП и Аннотирование лингвистической структуры.
2. Foundations of Statistical Natural Language Processing
Authors: Christopher D. Manning and Hinrich Schütze
Эта книга начинает с основ НЛП и постепенно погружает вас в математические аспекты, неодходимые для обработки естественного языка, такие как вероятностные пространства, теорема Байеса, дисперсия и многие другие.
3. Pattern Recognition and Machine Learning
Author: Christopher M. Bishop
Это детальное введение в область распознавания образов и машинного обучения.В конце каждой главы есть упражнение, подобранное таким образом, чтобы лучше объяснить читателю каждую концепцию.
4. Neural Network Methods in Natural Language Processing
Author: Yoav Goldberg
Книга начинается с изучения основ, таких как линейные модели, перцептроны, feed-forward, обучение нейронных сетей и тд. Автор использовал математический подход для объяснения этих фундаментальных элементов вместе с практическими примерами.
5. Practical Natural Language Processing
В этой книге рассказывается о том, как НЛП используется в реальном мире, о конвейере моделей НЛП, а также о текстовых данных и примерах использования, таких как чат-боты типа ChatGPT. В этой книге вы узнаете, как НЛП может быть использовано в различных отраслях, таких как розничная торговля, здравоохранение, финансы и др.Вы сможете узнать, как работает конвейер НЛП в каждой из областей, и понять, как использовать его в работе.
ai_machinelearning_big_data
5 великолепных бесплатных книг по NLP, актуальных в 2023 году.
1. Speech and Language Processing
Authors: Dan Jurafsky and James H. Martin
Книга, написанная двумя профессорами Стэнфордского университета, по обработке речи и языка содержит исчерпывающее введение в мир НЛП. Она разбита на 3 раздела: Фундаментальные алгоритмы для НЛП, Приложения НЛП и Аннотирование лингвистической структуры.
2. Foundations of Statistical Natural Language Processing
Authors: Christopher D. Manning and Hinrich Schütze
Эта книга начинает с основ НЛП и постепенно погружает вас в математические аспекты, неодходимые для обработки естественного языка, такие как вероятностные пространства, теорема Байеса, дисперсия и многие другие.
3. Pattern Recognition and Machine Learning
Author: Christopher M. Bishop
Это детальное введение в область распознавания образов и машинного обучения.В конце каждой главы есть упражнение, подобранное таким образом, чтобы лучше объяснить читателю каждую концепцию.
4. Neural Network Methods in Natural Language Processing
Author: Yoav Goldberg
Книга начинается с изучения основ, таких как линейные модели, перцептроны, feed-forward, обучение нейронных сетей и тд. Автор использовал математический подход для объяснения этих фундаментальных элементов вместе с практическими примерами.
5. Practical Natural Language Processing
В этой книге рассказывается о том, как НЛП используется в реальном мире, о конвейере моделей НЛП, а также о текстовых данных и примерах использования, таких как чат-боты типа ChatGPT. В этой книге вы узнаете, как НЛП может быть использовано в различных отраслях, таких как розничная торговля, здравоохранение, финансы и др.Вы сможете узнать, как работает конвейер НЛП в каждой из областей, и понять, как использовать его в работе.
ai_machinelearning_big_data
👍20❤6🔥4
А с собакой в офис можно?
Ответ: да, если вы работаете в СберМаркете
Ребята создали комфортное pet-friendly пространство. В московском офисе компании домашние любимцы не мешают работе, а, наоборот, помогают сотрудникам улучшить настроение и за счёт этого повысить продуктивность. И как же приятно в обеденный перерыв не просто сходить за кофе, а выйти на полноценную прогулку со своим питомцем!
А чтобы не забывать о любимых хвостиках даже в рабочих чатах, ребята сделали с ними стикеры. Ну разве не прелесть!
Хотите тоже работать в СберМаркете, водить своего пёсика в офис и вместе с командой профессионалов определять будущее доставки из магазинов и ресторанов? Ищите вакансии на сайте
Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 12+
Ответ: да, если вы работаете в СберМаркете
Ребята создали комфортное pet-friendly пространство. В московском офисе компании домашние любимцы не мешают работе, а, наоборот, помогают сотрудникам улучшить настроение и за счёт этого повысить продуктивность. И как же приятно в обеденный перерыв не просто сходить за кофе, а выйти на полноценную прогулку со своим питомцем!
А чтобы не забывать о любимых хвостиках даже в рабочих чатах, ребята сделали с ними стикеры. Ну разве не прелесть!
Хотите тоже работать в СберМаркете, водить своего пёсика в офис и вместе с командой профессионалов определять будущее доставки из магазинов и ресторанов? Ищите вакансии на сайте
Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 12+
🔥11🙉6💊4❤3😁1🕊1
🧍♂ BEDLAM: Bodies Exhibiting Detailed Lifelike Animated Motion
BEDLAM is useful for a variety of tasks and all images, ground truth bodies, 3D clothing, support code, and more are available for research purposes.
Нейронная сеть, обученная только на синтетических данных, которая достигает самой высокой точности при решении задачи оценки 3D позы и формы человека (HPS) по реальным изображениям.
🖥 Github: https://github.com/pixelite1201/BEDLAM
📕 Paper: https://bedlam.is.tuebingen.mpg.de/media/upload/BEDLAM_CVPR2023.pdf
🔗 Render code: https://github.com/PerceivingSystems/bedlam_render
🎞 Video: https://youtu.be/OBttHFwdtfI
👑 Dataset: https://paperswithcode.com/dataset/bedlam
ai_machinelearning_big_data
BEDLAM is useful for a variety of tasks and all images, ground truth bodies, 3D clothing, support code, and more are available for research purposes.
Нейронная сеть, обученная только на синтетических данных, которая достигает самой высокой точности при решении задачи оценки 3D позы и формы человека (HPS) по реальным изображениям.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍4❤2🤔1👾1
This media is not supported in your browser
VIEW IN TELEGRAM
An open-source Python library for easily generating animations of ML algorithms directly from code.
ManimML - это фреймворк для создания красочной, интерактивной анимации и визуализации различных концепций и алгоритмов машинного обучения.
Пример:
from manim_ml.neural_network import NeuralNetwork, Convolutional2DLayer, FeedForwardLayer
# Make nn
nn = NeuralNetwork([
Convolutional2DLayer(1, 7, filter_spacing=0.32),
Convolutional2DLayer(3, 5, 3, filter_spacing=0.32, activation_function="ReLU"),
FeedForwardLayer(3, activation_function="Sigmoid"),
],
layer_spacing=0.25,
)
self.add(nn)
# Play animation
forward_pass = nn.make_forward_pass_animation()
self.play(forward_pass)
📌 Project: https://www.manim.community/
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤10🥰1
🚀 NAUTILUS: boosting Bayesian importance nested sampling with deep learning
A novel approach to boost the efficiency of the importance nested sampling (INS) technique for Bayesian posterior and evidence estimation using deep learning.
Nautilus - это проект от MIT на Python для оценки байесовской апостериорной вероятности. Nautilus обладает высокой точностью, по сравнению с традиционными методами оценки МСМС и Nested Sampling.
Пример:
🖥 Github: https://github.com/johannesulf/nautilus
⭐️ Docs: https://nautilus-sampler.readthedocs.io/
📕 Paper: https://arxiv.org/abs/2306.16923v1
ai_machinelearning_big_data
A novel approach to boost the efficiency of the importance nested sampling (INS) technique for Bayesian posterior and evidence estimation using deep learning.
Nautilus - это проект от MIT на Python для оценки байесовской апостериорной вероятности. Nautilus обладает высокой точностью, по сравнению с традиционными методами оценки МСМС и Nested Sampling.
Пример:
pip install nautilus-sampler
import corner
import numpy as np
from nautilus import Prior, Sampler
from scipy.stats import multivariate_normal
prior = Prior()
for key in 'abc':
prior.add_parameter(key)
def likelihood(param_dict):
x = [param_dict[key] for key in 'abc']
return multivariate_normal.logpdf(x, mean=[0.4, 0.5, 0.6], cov=0.01)
sampler = Sampler(prior, likelihood)
sampler.run(verbose=True)
points, log_w, log_l = sampler.posterior()
corner.corner(points, weights=np.exp(log_w), labels='abc')
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥3🥰3