🚀 Про <ЭТО> или как генерить <Это>, если <Это> не включили в претрейн

Добовление новых объектов и концептов через p-tuning стало возможно в Стебле Диффузии!

Давайте представим ситуацию:
— Вы обучили огромную Text2Image модель на 1B данных
— Она умеет очень много, но время идет вперед и выходит фильм или игра, персонажей которого сеть не знает, так как на момент тренировки этих данных в интернете просто не было

Сеть <это> не умеет, а генерировать <это> нужно... Что делать?

1) Дообучить модель добавив в датасет новые данные. Можно! Не не ради же одного объекта, персонажа или концепта.. Слишком жирно будет..

2) Зафайнтюнить на новых данных. Хм, и потетрять генерализацию?

3) Добвить новый сымсл в знания модели, не трогая саму модель, какбы добавив концепт в ее словарь! А вот это то, что нужно!

Ресерчеры из Университета Тель-Авива и NVIDIA рашили это через старый добрый p-tuning. Работа получила имя An Image is Worth One Word (привет, VIT).

Взяв ~5 картинок они пустили градиенты
— Через 1000 шагов, тихо на денойзинге
— Через юнет и кросс-аттеншен
— Через языковой трансформер
— Прямо на эмбеддинг слой, так где находится токин с <этим> Смотри картинку к посту.

По факту это обыкновенный p-tuning, адаптированный под Imagen/Glide/LatenDiffusion модели.

Сегодня ребята адпатиорвали моделб под Стебель! Так что если вы хотели генерить стеблем <Это>

Доступны 2 колаба: для p-tuning'а моедли и для инференса! Вот такая игрушечная машинка у меня вышла!

📇 project
📄 paper
💻 code
🔮 train colab
👁 inference colab

🤔PandaSQL: Python Combo for Data Scientist
SQL and Pandas are the most popular data analytics tools for tabular data management, processing and analysis. They can be used independently or together in the PandaSQL, the Python-package which provides SQL syntax capabilities in the Python environment. PandaSQL allows you to query date frames Pandas uses SQL syntax.
PandaSQL is a great tool for those who know SQL and are not familiar with the Python syntax that requires Pandas. For example, in Pandas, filtering a dataframe or grouping by column column when aggregating multiple columns can be explored in a confusing way, unlike SQL. However, this simple use of SQL in Pandas has been tainted with redundant runtime. For example, to calculate the number of rows, PandaSQL requires almost 100 times more execution runtime than Pandas.
Also, Python already has a lot of names that are reserved as basic words like for, while, in, if, else, elif, import, as. SQL adds more keywords: create, like, where, having.
Thus, it is worth to try PandaSQL, but this interesting tool is not suitable for an production data analytics pipelines.
Usage examples and runtime comparison: https://towardsdatascience.com/the-downsides-of-pandasql-that-no-one-talks-about-9b63c664bef4

Из пикселей сгенерить такое...
Stable Diffusion оче крут!

Спер из твиттора

🔥 Полезные библиотеки Python

DFSpot-Deepfake-Recognition - интересный проект который позволяет определять является ли входное видео или изображение реальным или дипфейком.

⚙️ GitHub/Инструкция

#python #soft #github

Latent Image Animator

Еще одна нейросетевая модель для быстрой реализации качественных DeepFake

https://github.com/wyhsirius/LIA

Demo: https://replicate.com/wyhsirius/lia

​SReC – Нейронка для сжатия изображений без потери в качестве

Обучение, сжатие и распаковка полностью поддерживаются и имеют открытый исходный код

⤷ Ссылка на проект

GitHub | #Interesting #Python

Новый виток развития PyTorch как публичного проекта с открытым кодом!

PyTorch перейдет под контроль PyTorch Foundation как часть Linux Foundation. Теперь Фреймворк будут разрабатывать не только ученые из Meta. В PyTorch Foundation войдут люди из разных компаний, включая AMD, Amazon, Google, Microsoft, Nvidia и Meta.

@ai_newz

#stable-diffusion #midjourney

Со Stable Diffusion вы можете больше никогда не поверить увиденному в онлайне

Рейтинг: 73

Читать

Забавно, исследователи Яндекса (Yandex Research) снова приоткрывают модельки. На этот раз — берт-подобную RuLeanALBERT (линал!), можно вникнуть в идею на Хабре и посмотреть в код на гитхабе. Только это больше не про генерацию, а про классификацию и другие задачки.

Вроде как результаты сравнимы с другими доступными моделями, где-то даже близки к state-of-the-art. Яндекс предлагает потестировать на домашнем компе, интересно, заведётся?

​stablediffusion-infinity – нейросеть, схожая по функциональности на DALL-E 2, которая может дорисовывать существующие иллюстрации, используя свободную Stable Diffusion

⤷ Ссылка на проект

GitHub | #Interesting

Charl-E: Text2image on your Mac

Stable Diffusion завернули в удобное оффлайн приложение для Mac с M1/M2. Теперь можно генерить картинки у себя на ноутбуке.

App, webcite

​🐍 Распознавание лиц на Python

Хороший плейлист, который введет вас в тему машинного обучения без предварительных теоретических знаний.

1. Установка dlib на Linux Ubuntu
[3:01]
2. Библиотека Pillow
[15:40]
3. Тренируем модель 
[12:03]
4. Cобираем датасет из скриншотов по видео
[10:57]
5. Распознавание лиц и OpenCV
[10:07]

Перейти к плейлисту

#python

Машинное обучение без лишних слов

Автор: Бурков Андрей
Год: 2020

#books #ml #russian