Машинное обучение без лишних слов

Автор: Бурков Андрей
Год: 2020

#books #ml #russian

Твой путь в мир Data Analytics. Часть 2
#cours

https://t.me/+IRJpY3KAdQlmM2Ri

🫦 OpenAI обучили и опенсорснули трансформер Whisper для распознавания речи

TL;DR >>> OpenAI обучили и выложили нейронную сеть 🫦 Whisper, которая приближается к человеческому уровню распознавания английской речи. 🫦 Whisper обучен на 680,000 часах мультиязычном детасете, собранным из интеренета.

Такой огромный датасет позволил получить модель, устойчивую к разным акцентам, фоновому шуму, и понимающую технический язык. Кроме того, модель может не просто траскрибировать иностранную речь, а сразу переводить на английский язык!

🦾 Архитектура Whisper

1) Аудио семплы разбиваются на чанки по 30 секунд, которые преобразуются log-Mel спектрограмму

2) Затем спектрограмма обрабатывается двумя блоками 1D сверток c GELU активациями к которым добавляются тригонометрические тайм-эмбеддинги

3) Затем все это добро подается в энкодер-декодер трансформер. Декодер же в свою очередь начинает транскрипцию после пары служебных токенов, отвечающих за язык семпла, время, и выбор задачи (перевод на английский или оригинальная траскрипция).

📇 Blog пост от OpenAI
📄 paper Whisper
💻 Код
🤗 Model Card

p.s.: В свете опенсорса stable diffusion, OpenAI решили прикунуться чуть-чуть open. Но не стоит питать иллюзий по поводу GPT-4

🤖 м и ш и н л е р н и н г

​pixel2style2pixel – официальная имплементация pSp для расширения StyleGAN

Oсновной целью данного решения является исправление различного рода дефектов на фото

⤷ Ссылка на проект

GitHub | #Interesting #JupyterNotebook #Python

Acme: A Research Framework for Distributed Reinforcement Learning V2

DeepMind выкатил вторую версию своего фреймворка Acme для reinforsement learning.

Из абстракта: Acme, a framework for constructing novel RL algorithms that is specifically designed to enable agents that are built using simple, modular components that can be used at various scales of execution. While the primary goal of Acme is to provide a framework for algorithm development, a secondary goal is to provide simple reference implementations of important or state-of-the-art algorithms.

❱❱ Статья
❱❱ Код

@ai_newz

Принёс позалипать для тех, кто не спит

Генерация текстурированных 3D ассетов - это, то где нейронки ещё не зрелые, по сравнению с 2D генерацией.

NVIDIA AI поделились своей работой с NIPS2022 – Get3d: Quality 3D Textured Shapes Learned from Images, которая делает шаг в направлении улучшения генерации 3D объектов.

Метод довольно простой, сеть генерирует фичи из шума для текстуры и для формы, затем это преобразуется в мешь с помощью трюка tri-plane representation (из EG3D) и Deep Marching Tetrahedra. Затем мы растеризуем мешь в RGB картинку и в силуэт и показываем их двум дискриминатора.

Как бы все легко, но тут скомбинированы несколько идей, придуманных за последние 2 года.

❱❱ Сайт проекта
❱❱ Кода ещё нет

@ai_newz

Нашел на реддите скриптик, который увеличивает детализируемость картинок с помощью прогона Stable Diffusion на маленьких пересекающихся патчах в виде круга.

Так можно использовать этот скрипт как постобработку и нехило улучшить свою генерацию. Посмотрите, как проявляются детали при увеличении.

❱❱ Код

@ai_newz

Whisper - пошепчем про speech recognition

На днях OpenAI выпустила новую сеть для распознавания речи – Whisper. Это трансформер, который в максимальной комплектации содержит скромные полтора миллиарда параметров.

Чем отличается от уже существующих сеток для решения этой задачи? Я вам точно не скажу, потому что я статью детально не читал, но выглядит все так, что это, как обычно, победа инженерии и хорошо собранный и размеченный датасет на 680,000 часов.

Из приятного, на гитхабе доступны и код и веса моделей разной жирности. Тут они отрабатывают свое название "Open".

Модель знает несколько языков, автоматически их распознавая, русский язык в том числе. И она хорошо показывает себя на zero-shot бенчмарках.

Кстати, 90% этого текста я надиктовал в Виспере.

❱❱ Код с весами
❱❱ Блогпост

@ai_newz

#yandex-research #нейронные-сети

Самая большая BERT-подобная модель на русском, которая поместится на ваш компьютер

Рейтинг: 43

Читать

↕️↘️ Содержание
0️⃣1️⃣ Адреса
0️⃣2️⃣ Анализ сцен
0️⃣3️⃣ Видеозаписи
0️⃣4️⃣ Выборы
0️⃣5️⃣ Еда | Продукты питания
0️⃣6️⃣ Здравоохранение
0️⃣7️⃣ Лингвистические датасеты
0️⃣8️⃣ Литература
0️⃣9️⃣ Мода
1️⃣0️⃣ Музыка
1️⃣1️⃣ Муниципальные порталы открытых данных
1️⃣2️⃣ Недвижимость
1️⃣3️⃣ Образование
1️⃣4️⃣ Региональные порталы открытых данных
1️⃣5️⃣ Рецензии | Отзывы
1️⃣6️⃣ Рынок труда и занятость
1️⃣7️⃣ Социальные сети
1️⃣8️⃣ Токсичность, троллинг, эмоции
1️⃣9️⃣ Текстовые данные
2️⃣0️⃣ Устная речь
2️⃣1️⃣ Федеральные порталы открытых данных
2️⃣2️⃣ Финансы
2️⃣3️⃣ Фотографии людей
2️⃣4️⃣ Фотографии с высоты
2️⃣5️⃣ Экология


Не нашли, что искали, а нужно очень срочно?
datacatalogs.ru
datasetsearch.research.google.com

Один чел сделал на Python детектор куриц, чтобы когда они заходят во двор - автоматически включался полив воды и отпугивал их.

Как написал автор этого изобретения в своем блоге:
«У меня был старый китайский телефон, старый raspberry pi 3b+, python, opencv и немножко deep learning. А еще у меня были соседские курицы, которые меня з@#б@ли.»

Python, который мы заслужили 🌚

Но в целом, считаю, что OpenAI проебались и открыли регистрацию слишком поздно, ибо Stable Diffusion генерит плюс-минус так же, свой веб интерфейс для генераций бесплатно поднимается в 5 кликов в колабе, и самое главное, стебель можно файтюнить (тоже бесплатно и в колабе).

Ну и сейчас все ломанулись регаться в dalle-2, отчего очередь там будет как в советский магазин, в который завезли дефицитные сапоги набитые сырокопченой колбасой (уже при попытке зарегаться кидает ошибку о том, что что-то пошло не так)

🦊 OpenAI открыло DALL•E 2 для всех желающих.

Смотрите, что стебель живогенерящий с людьми творит. Не без регистрации и смс конечно. Но зато бесплатно с пару десятков можно генернуть.

🥁 регаться тут https://openai.com/dall-e-2/

​​ИИ способный разоблачать анонимных писателей🤔

Разведка США запустила программу по разработке искусственного интеллекта, который может определять авторство анонимных писем, а также маскировать личность автора, слегка изменяя его слова.

Программа Human Interpretable Attribution of Text Using Underlying Structure (HIATUS) от Intelligence Advanced Research Projects Activity (IARPA) направлена на создание программного обеспечения, которое может выполнять «лингвистическое снятие отпечатков пальцев» и изменять его при необходимости.

«Люди и машины ежедневно производят огромное количество текстового контента. Текст содержит лингвистические особенности, которые могут раскрыть личность автора» — говорится в сообщении ведомства.

☝🏻Об этом также был один из моих роликов.

IARPA полагает, что с правильной моделью она может определить согласованность стиля писателя в разных образцах, изменить эти языковые шаблоны, чтобы сделать письмо анонимным, и сделать все это так, чтобы это было понятно начинающим пользователям.

ИИ HIATUS сможет работать независимо от языка.🤖