Забавно, исследователи Яндекса (Yandex Research) снова приоткрывают модельки. На этот раз — берт-подобную RuLeanALBERT (линал!), можно вникнуть в идею на Хабре и посмотреть в код на гитхабе. Только это больше не про генерацию, а про классификацию и другие задачки.

Вроде как результаты сравнимы с другими доступными моделями, где-то даже близки к state-of-the-art. Яндекс предлагает потестировать на домашнем компе, интересно, заведётся?

​stablediffusion-infinity – нейросеть, схожая по функциональности на DALL-E 2, которая может дорисовывать существующие иллюстрации, используя свободную Stable Diffusion

⤷ Ссылка на проект

GitHub | #Interesting

Charl-E: Text2image on your Mac

Stable Diffusion завернули в удобное оффлайн приложение для Mac с M1/M2. Теперь можно генерить картинки у себя на ноутбуке.

App, webcite

​🐍 Распознавание лиц на Python

Хороший плейлист, который введет вас в тему машинного обучения без предварительных теоретических знаний.

1. Установка dlib на Linux Ubuntu
[3:01]
2. Библиотека Pillow
[15:40]
3. Тренируем модель 
[12:03]
4. Cобираем датасет из скриншотов по видео
[10:57]
5. Распознавание лиц и OpenCV
[10:07]

Перейти к плейлисту

#python

Машинное обучение без лишних слов

Автор: Бурков Андрей
Год: 2020

#books #ml #russian

Твой путь в мир Data Analytics. Часть 2
#cours

https://t.me/+IRJpY3KAdQlmM2Ri

🫦 OpenAI обучили и опенсорснули трансформер Whisper для распознавания речи

TL;DR >>> OpenAI обучили и выложили нейронную сеть 🫦 Whisper, которая приближается к человеческому уровню распознавания английской речи. 🫦 Whisper обучен на 680,000 часах мультиязычном детасете, собранным из интеренета.

Такой огромный датасет позволил получить модель, устойчивую к разным акцентам, фоновому шуму, и понимающую технический язык. Кроме того, модель может не просто траскрибировать иностранную речь, а сразу переводить на английский язык!

🦾 Архитектура Whisper

1) Аудио семплы разбиваются на чанки по 30 секунд, которые преобразуются log-Mel спектрограмму

2) Затем спектрограмма обрабатывается двумя блоками 1D сверток c GELU активациями к которым добавляются тригонометрические тайм-эмбеддинги

3) Затем все это добро подается в энкодер-декодер трансформер. Декодер же в свою очередь начинает транскрипцию после пары служебных токенов, отвечающих за язык семпла, время, и выбор задачи (перевод на английский или оригинальная траскрипция).

📇 Blog пост от OpenAI
📄 paper Whisper
💻 Код
🤗 Model Card

p.s.: В свете опенсорса stable diffusion, OpenAI решили прикунуться чуть-чуть open. Но не стоит питать иллюзий по поводу GPT-4

🤖 м и ш и н л е р н и н г

​pixel2style2pixel – официальная имплементация pSp для расширения StyleGAN

Oсновной целью данного решения является исправление различного рода дефектов на фото

⤷ Ссылка на проект

GitHub | #Interesting #JupyterNotebook #Python

Acme: A Research Framework for Distributed Reinforcement Learning V2

DeepMind выкатил вторую версию своего фреймворка Acme для reinforsement learning.

Из абстракта: Acme, a framework for constructing novel RL algorithms that is specifically designed to enable agents that are built using simple, modular components that can be used at various scales of execution. While the primary goal of Acme is to provide a framework for algorithm development, a secondary goal is to provide simple reference implementations of important or state-of-the-art algorithms.

❱❱ Статья
❱❱ Код

@ai_newz

Принёс позалипать для тех, кто не спит

Генерация текстурированных 3D ассетов - это, то где нейронки ещё не зрелые, по сравнению с 2D генерацией.

NVIDIA AI поделились своей работой с NIPS2022 – Get3d: Quality 3D Textured Shapes Learned from Images, которая делает шаг в направлении улучшения генерации 3D объектов.

Метод довольно простой, сеть генерирует фичи из шума для текстуры и для формы, затем это преобразуется в мешь с помощью трюка tri-plane representation (из EG3D) и Deep Marching Tetrahedra. Затем мы растеризуем мешь в RGB картинку и в силуэт и показываем их двум дискриминатора.

Как бы все легко, но тут скомбинированы несколько идей, придуманных за последние 2 года.

❱❱ Сайт проекта
❱❱ Кода ещё нет

@ai_newz

Нашел на реддите скриптик, который увеличивает детализируемость картинок с помощью прогона Stable Diffusion на маленьких пересекающихся патчах в виде круга.

Так можно использовать этот скрипт как постобработку и нехило улучшить свою генерацию. Посмотрите, как проявляются детали при увеличении.

❱❱ Код

@ai_newz

Whisper - пошепчем про speech recognition

На днях OpenAI выпустила новую сеть для распознавания речи – Whisper. Это трансформер, который в максимальной комплектации содержит скромные полтора миллиарда параметров.

Чем отличается от уже существующих сеток для решения этой задачи? Я вам точно не скажу, потому что я статью детально не читал, но выглядит все так, что это, как обычно, победа инженерии и хорошо собранный и размеченный датасет на 680,000 часов.

Из приятного, на гитхабе доступны и код и веса моделей разной жирности. Тут они отрабатывают свое название "Open".

Модель знает несколько языков, автоматически их распознавая, русский язык в том числе. И она хорошо показывает себя на zero-shot бенчмарках.

Кстати, 90% этого текста я надиктовал в Виспере.

❱❱ Код с весами
❱❱ Блогпост

@ai_newz

#yandex-research #нейронные-сети

Самая большая BERT-подобная модель на русском, которая поместится на ваш компьютер

Рейтинг: 43

Читать

↕️↘️ Содержание
0️⃣1️⃣ Адреса
0️⃣2️⃣ Анализ сцен
0️⃣3️⃣ Видеозаписи
0️⃣4️⃣ Выборы
0️⃣5️⃣ Еда | Продукты питания
0️⃣6️⃣ Здравоохранение
0️⃣7️⃣ Лингвистические датасеты
0️⃣8️⃣ Литература
0️⃣9️⃣ Мода
1️⃣0️⃣ Музыка
1️⃣1️⃣ Муниципальные порталы открытых данных
1️⃣2️⃣ Недвижимость
1️⃣3️⃣ Образование
1️⃣4️⃣ Региональные порталы открытых данных
1️⃣5️⃣ Рецензии | Отзывы
1️⃣6️⃣ Рынок труда и занятость
1️⃣7️⃣ Социальные сети
1️⃣8️⃣ Токсичность, троллинг, эмоции
1️⃣9️⃣ Текстовые данные
2️⃣0️⃣ Устная речь
2️⃣1️⃣ Федеральные порталы открытых данных
2️⃣2️⃣ Финансы
2️⃣3️⃣ Фотографии людей
2️⃣4️⃣ Фотографии с высоты
2️⃣5️⃣ Экология


Не нашли, что искали, а нужно очень срочно?
datacatalogs.ru
datasetsearch.research.google.com