#python #нейронные-сети

#2 Нейронные сети для начинающих. NumPy. MatplotLib. Операции с изображениями в OpenCV

Рейтинг: 29

Читать

Midjourney. Как сделать первый рисунок

Очень много сейчас говорят о нейронной сети Midjourney, которая создаёт иллюстрации по текстовому запросу. Это очень короткий гайд как сделать свой первый рисунок:

1. Зарегистрироваться в Дискорд
2. Пройти по ссылке "Join to beta"с главной страницы Midjourney
3. Принять приглашение в Дискорде, который откроется автоматически
4. Перейти в любую группу с названием newbie
5. Написать /imagine или выбрать эту строку, когда начнёте вбивать слеш
6. После слова promt написать свой запрос на английском
7. Из четырёх картинок можно выбрать одну для более лучшей обработки- кнопка U, или выбрать вариации понравившейся картинки — кнопка V
8. ...
9. Profit

Автор на Пикабу: Fosstie
Комментарии: pikabu.ru/link/gjZKW9HiKD

​RNNoise – библиотека для шумоподавления, основанная на рекуррентной нейронной сети, которая позволяет убрать лишние шумы со звуковой дорожки

Вся дополнительная информация есть в этой статье.
Там описано как работает данная нейронка и освещены некоторые аспекты темы

⤷ Ссылка на проект

GitHub | #C #Audio

​#devjoke

Когда изучаешь алгоритмы и структуры данных

​​rclip

rclip — Инструмент поиска фотографий из командной строки на основе искусственного интеллекта

Если по-простому:
▫️Когда вы запускаете rclip в первый раз в определенном каталоге, он будет извлекать функции из фотографий и классифицировать их. Сколько времени это займет, зависит от вашего процессора и количества фотографий.

73 тысяч фотографий = 24 часа на сетевом хранилище с стареньким процессором Intel Celeron J3455.

▫️Затем когда это процесс закончен вы можете дать команду например:

rclip -f -t 5 kitty | xargs -d '\n' -n 1 xdg-open

И она мгновенно выведет вам на экран 5 фотографий которые машина сочла котятами.

Запрос может не ограничиваться котятами, можно искать другие объекты, действия или даже образы.

https://github.com/yurijmikhalevich/rclip

Видео демо: https://www.youtube.com/watch?v=tAJHXOkHidw

Вот вам пацанский подгон от Meta RL. Датасет с высококачественными лицами одновременно с нескольких ракурсов – Multiface. Он использовался для обучения энкодера для Codec Avatars [тут и тут]. Будет полезен для всякого рода работ с нейронным рендерингом лиц.

❱❱ Датасет
❱❱ Статья

@ai_newz

​Машинное обучение. Как очистить данные при помощи Pandas

Клайв Хамби сказал: «Данные — это новая нефть». И, как и нефть, они нуждаются в очистке. Разбираемся, как это сделать с применением библиотеки Pandas.

Книги по ML - @maschinelearning

#ml

🔁 ERNIE-VILG: UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION

Может ли одна сеть решать две задачи:
— Text2Image & Image2Text —

Ответ да, конечно может. И самое начало 2022 года это подтвердило. В одно и тоже время, независимо, появились три подобные архитектуры.

Cкажу, что тренировать их end2end не стоит, если есть желание выбить SOTA в двух задачах одновременно. А вот использовать end2end претрейн — хорошая идея! Подход идеален для файнтюнов для множества задач!

Кстати сегодня стало доступно демо, так что можете сгенерировать своего "астронавта на коне на марсе с эйфелевой башней", не забудьте только перевести в гугле ваш запрос на китайский: 宇航员在火星上骑马，从后面可以看到埃菲尔铁塔。宇航员骑马

p.s.: понимание текста на голову выше чем у стебля диффузионного

📄 paper
🤗 online demo

🎨 OpenAI внедрили в DALL·E 2 "Outpainting"

Только что пришло письмо от OpenAI, где говорится, что из-за опенсорса stable diffusion они решили внедрить Outpainting, про который я подробно писал весной, в интерфейс DALL-E 2.

Outpainting позволяет генерировать изображений любого размера. Но в отличие от гибкого разрешения в диффузионных UNet'ах с вниманием, Outpainting предполагает пошаговую генерацию со всеми своими плюсам и минусами.

Outpainting — это продолжение генерации изображения за его первоначальными границами. Outpainting добавляет визуальные элементы, развивая генерацию в новых направлениях, основываясь на вашем текстовом описании.

Это позволяет начать ваше полотно в одном стиле, а закончить в другом, уточнять элементы и менять их!

Outpainting — это Inpainting без привязки исходному разрешению..

📇 blog post
🥑 DALL-E 2 Editor

MultiNeRF: A Code Release for Mip-NeRF 360, Ref-NeRF, and RawNeRF

Если ищете SOTA метод по нейронному рендерингу сцены, то Гугл выложили репозиторий с реализацией трёх oral статей с CVPR 2022. Это топовые на сегодняшний день методы.

Oral - это значит, что статья попала в шорт-лист лучших работ на конференции.

Ссылка на репу

@ai_newz

Практическая статистика для специалистов Data Science. 50 важнейших понятий.
Питер Брюс, Эндрю Брюс
Книга рассчитана на специалистов в области Data Science, обладающих некоторым опытом работы с языком программирования R и имеющих предварительное понятие о математической статистике. В ней в удобной и легкодоступной форме представлены ключевые понятия из статистики, которые относятся к науке о данных, а также объяснено, какие понятия важны и полезны с точки зрения науки о данных, какие менее важны и почему. Подробно раскрыты темы: разведочный анализ данных, сбор дынных, распределения данных и выборок, статистические эксперименты и проверка значимости, регрессия и предсказание, классификация, статистическое машинное обучение и обучение без учителя.

​Lilian Weng обновила свой прошлогодний пост про диффузионные модели, включив туда обзор недавнего прогресса – classifier-free guidance, GLIDE, unCLIP, Imagen и Latent Diffusion.

Рекомендую, очень толковый пост.

Ссылочка

@ai_newz

🚀 Про <ЭТО> или как генерить <Это>, если <Это> не включили в претрейн

Добовление новых объектов и концептов через p-tuning стало возможно в Стебле Диффузии!

Давайте представим ситуацию:
— Вы обучили огромную Text2Image модель на 1B данных
— Она умеет очень много, но время идет вперед и выходит фильм или игра, персонажей которого сеть не знает, так как на момент тренировки этих данных в интернете просто не было

Сеть <это> не умеет, а генерировать <это> нужно... Что делать?

1) Дообучить модель добавив в датасет новые данные. Можно! Не не ради же одного объекта, персонажа или концепта.. Слишком жирно будет..

2) Зафайнтюнить на новых данных. Хм, и потетрять генерализацию?

3) Добвить новый сымсл в знания модели, не трогая саму модель, какбы добавив концепт в ее словарь! А вот это то, что нужно!

Ресерчеры из Университета Тель-Авива и NVIDIA рашили это через старый добрый p-tuning. Работа получила имя An Image is Worth One Word (привет, VIT).

Взяв ~5 картинок они пустили градиенты
— Через 1000 шагов, тихо на денойзинге
— Через юнет и кросс-аттеншен
— Через языковой трансформер
— Прямо на эмбеддинг слой, так где находится токин с <этим> Смотри картинку к посту.

По факту это обыкновенный p-tuning, адаптированный под Imagen/Glide/LatenDiffusion модели.

Сегодня ребята адпатиорвали моделб под Стебель! Так что если вы хотели генерить стеблем <Это>

Доступны 2 колаба: для p-tuning'а моедли и для инференса! Вот такая игрушечная машинка у меня вышла!

📇 project
📄 paper
💻 code
🔮 train colab
👁 inference colab

🤔PandaSQL: Python Combo for Data Scientist
SQL and Pandas are the most popular data analytics tools for tabular data management, processing and analysis. They can be used independently or together in the PandaSQL, the Python-package which provides SQL syntax capabilities in the Python environment. PandaSQL allows you to query date frames Pandas uses SQL syntax.
PandaSQL is a great tool for those who know SQL and are not familiar with the Python syntax that requires Pandas. For example, in Pandas, filtering a dataframe or grouping by column column when aggregating multiple columns can be explored in a confusing way, unlike SQL. However, this simple use of SQL in Pandas has been tainted with redundant runtime. For example, to calculate the number of rows, PandaSQL requires almost 100 times more execution runtime than Pandas.
Also, Python already has a lot of names that are reserved as basic words like for, while, in, if, else, elif, import, as. SQL adds more keywords: create, like, where, having.
Thus, it is worth to try PandaSQL, but this interesting tool is not suitable for an production data analytics pipelines.
Usage examples and runtime comparison: https://towardsdatascience.com/the-downsides-of-pandasql-that-no-one-talks-about-9b63c664bef4