Как пользоваться Stable Diffusion

Итак, вы установили Stable Diffusion, но там не оказалось кнопки “прочитать мои мысли и сделать красивенько”. Без паники, сейчас я всё объясню.

Первым делом нужно активировать среду ldm. Для этого запустите командную строку Miniconda3 и наберите:

conda activate ldm

Если надпись “(base)” сменилась на “(ldm)” — вы на правильном пути. Идём дальше и вводим:

cd C:\stable-diffusion\stable-diffusion-main

Чтобы сгенерировать изображение размером 512 на 512 пикселей, вызываем скрипт txt2img и прописываем желаемые параметры в двойных кавычках после команды “--prompt”. Например, я хочу получить на выходе снимок милой собачки:

python scripts/txt2img.py --prompt "dog joined death metal band, photorealistic" --plms --n_iter 5 --n_samples 1

Параметры, прописанные после запроса в кавычках, лучше оставить такими же, как указано в моём примере. Это оптимальные настройки для среднего ПК. Если вам интересно посмотреть, какие ещё опции доступны в Stable Diffusion, наберите:

python scripts/txt2img.py --help 

Кстати, вы можете определять не только сюжет изображения, но и его характеристики. Их также необходимо добавить в описание. Например, напишите “vivid, abstract art, colorful”, если должен получиться образец современного искусства, или “photorealistic, UHD, photography”, если хотите более живую картинку.

Вы ограничены только своей фантазией, так что экспериментируйте. Ну или подсмотрите готовые описания в профильных сообществах (например, на Reddit).

Вот такая картинка у меня получилась по запросу из примера. Вам нравится?

Как ИИ меняет спорт? 8 хайлайтов

Постараюсь очень кратко уложить в один тележный пост большой материал с Marktechpost о том, как спортивная индустрия стремительно меняется (в лучшую сторону) благодаря новым технологиям.

Выявление таланта. Модели машинного обучения помогают начинающим спортсменам выбрать подходящую команду, а тренерам — найти сильные и слабые стороны игроков.

Индивидуальная диета. Здесь всё понятно: можно подстроить оптимальный план под любого человека.

План упражнений. Принцип тот же. Нейросети составляют идеальную схему тренировок на основе физического состояния спортсмена. По такому принципу модели могут рассчитать даже совместимость разных игроков на одной тренировке.

Эффективность спортсмена. Умные носимые устройства собирают данные о нагрузках игрока, благодаря чему могут предотвратить перетренировку и травмы.

Увеличение аудитории. Интеллектуальная продажа билетов работает на моделях машинного обучения — она управляет рассадкой зрителей. И ещё может учитывать необходимость парковки, еды или туалетов поблизости.

Помощь судьям. ИИ предотвращает несправедливость рефери. Инструменты следят за соревнованиями и быстро выносят верный вердикт (ведь их экспертиза основана на многочисленных кадрах, звуках и другой доступной информации).

Безопасность. ИИ имеет решающее значение в гонках. Прежде чем посадить водителя за руль, его машину тестируют умные алгоритмы.

Спортивные исследования. Тренеры используют аналитику для улучшения результатов подопечных и для предотвращения их травм.

Противостоим “бабуллингу” с помощью нейросетей

Уверена, практически все люди старше 20 лет хотя бы раз сталкивались с “бабуллингом” — навязчивыми попытками старших родственников вмешаться в личную жизнь. Ну, знаете: “часики тикают”, “мы внуков-то увидим?”, “у тебя хоть жених/невеста есть?” и другие проверенные способы испортить любое семейное застолье.

Раньше, чтобы отразить “бабуллинг”, людям приходилось мучительно выдумывать оправдания, но теперь эту работу можно делегировать ИИ. Именно так поступил индийский фотограф Унмеш Динда. Парень настолько утомился от допросов родственников, что сгенерировал себе девушку при помощи нейросетей.

Динда смог добиться реалистичного результата всего за несколько простых шагов. Сначала он загрузил своё селфи в DALL-E и “попросил” нейросеть дополнить снимок изображением девушки. Затем он отредактировал её лицо при помощи ИИ-алгоритма GFP-GAN, предназначенного для реставрации фотографий. В конце Унмеш просто наложил улучшенный портрет девушки на общий снимок в фотошопе (который изначально создала нейросеть).

"Если ваши родственники беспокоятся о вашей личной жизни больше, чем вы сами, вам нужно отправить им такую фотографию. Это заставит их отстать на какое-то время”, — прокомментировал он результат.

Надеюсь, парня действительно оставят в покое и ему не придётся генерировать фотографии несуществующих детей спустя пару лет.

Если кто-то хочет более подробную инструкцию, то вот видео.

Copilot может взять на себя на себя 80% работы кодеров

Гендиректор GitHub Томас Домке рассказал о своём видении того, как будет развиваться ИИ Copilot — инструмент, который помогает программистам дописывать код. Copilot уже обрабатывает около 40% кода у программистов, которые участвуют в бета-тестировании. А в следующие пять лет «второй пилот» будет выполнять в два раза больше работы, то есть около 80%. Уже и тут «вкалывают роботы, а не человек».

Спикер считает, что сейчас мы проходим третью волну повышения производительности в мире кодирования. Сам он начинал работать в первую волну, когда мир только-только отошёл от использования перфокарт, а интернета ещё не было. Вторым этапом он назвал появление интернета, а третьим — открытого исходного кода. При этом ИИ пока не может взять на себя 100% работы разработчика. Он не способен создать себя без участия пользователя. Copilot не изобретает новых алгоритмов.

Стабильные новости

Вчера у Stability AI был большой день. Во-первых, независимая компания получила хорошее финансирование. А во-вторых, анонсировала запуск нового сервиса.

Сколько денег и от кого?

В Stability AI инвестировали 101 млн, при этом саму компанию оценили в 1 млрд. В раунде финансирования участвовали Coatue, Lightspeed Venture Partners и O'Shaughnessy Ventures.

На что пойдут деньги инвесторов?

— На поддержание кластера из более чем 4 тыс графических чипов NVIDIA A100, который используется для обучение систем ИИ. Сейчас расходы на него составляют примерно 50 млн долларов в год.

— На развёртывание пользовательских версий Stable Diffusion с большей вычислительной мощностью.

— На наём дополнительных сотрудников (хотят увеличить штат со 100 до 300 людей в течение 2023 года).

Что ещё анонсировали?

В компании сказали, что в разработке сейчас сразу несколько коммерческих проектов. Среди них — ИИ-модели для генерации языка, 3D-моделей и музыки. Про последний (Dance Stability) мы уже немного знаем, пару недель о нём подробно рассказывали на TechCrunch.

Ещё стоит ждать отдельного сервиса для генерации анимаций и видео — самый свежий тренд сезона. Инструмент надеются выпустить уже в течение нескольких недель.

State of AI 2022: что важно знать

Наконец-то ознакомилась с отчётом State of AI 2022. Если кто не знает, это один важнейших документов в сфере ИИ, который ежегодно подготавливают инвесторы Нейтан Бенайх и Ян Хогарт. Каждый выпуск State of AI отличается высоким качеством аналитики и большой точностью прогнозов — всё, как мы любим.

Кратко расскажу о моментах, которые показались мне наиболее интересными.

Аналитики возлагают большие надежды на нейросети, способные писать код. Искусственный напарник-программист GitHub Copilot от OpenAI доказал свою эффективность, я писала о нём выше. Уже в ближайшее время на рынке может появиться интегрированная среда разработки на основе ИИ, уверены Бенайх и Хогарт.

Главный прорыв 2022 года. Диффузионные модели растоптали конкурентов в области генерации визуального и звукового контента. DALL-E 2, Midjourney и Stable Diffusion, с которыми мы играемся последние несколько месяцев, — это как раз диффузионные модели, если вы не знали.

Инвестиции в ИИ заметно снизились. По прогнозу аналитиков, по итогам 2022 года отрасль привлечёт около $70,9 млрд (против $111,4 млрд годом ранее).

США лидируют по числу ИИ-стартапов с оценкой свыше $1 млрд (292 компании суммарной стоимостью $4,6 трлн). На втором месте Китай (69 компаний на $1,4 трлн), на третьем — Великобритания (24 компании на $207 млрд).

Вместе с тем Китай значительно обгоняет США по масштабу исследований в области ИИ. С 2010 года китайские институты опубликовали в 4,5 раза больше работ, чем их американские коллеги. Сильнее всего в Китае сфокусированы на технологиях наблюдения, автономного управления, интерпретации сцен и распознавания объектов.

NVIDIA фактически монополизировали рынок аппаратного обеспечения для нейросетей. Исследователи ИИ используют “железо” этой компании в десятки раз чаще, чем оборудование от других производителей.

При этом в сфере программного обеспечения ситуация обратная. Благодаря снижению стоимости вычислений появилось множество независимых лабораторий, которые более охотно открывают исходный код и не дают крупным игрокам монополизировать исследования в сфере ИИ.

Разработчики искусственного интеллекта стали уделять больше внимания вопросам безопасности. Если в 2021 году в крупных ИИ-лабораториях работало менее 100 исследователей безопасности, то в 2022-м их число выросло до 300. Но этого всё ещё недостаточно, считают Бенайх и Хогарт.

Научные исследования с использованием ИИ обязательно приведут к новым прорывам. Однако учёным следует опасаться методологических ошибок — например, включения в наборы для обучения нейросетей нерелевантных данных. Если уделять методологии недостаточно внимания, это может усугубить кризис воспроизводимости научных исследований.

Российские учёные улучшили разработку карт глубины

Краем глаза слежу за научной конференцией о VR и AR, которая сейчас проходит в Сингапуре. Интересно вдвойне, потому что там ещё и участвуют исследователи из России. Вот, сотрудники Института AIRI представили крутую модель ИИ для построения карт глубины.

Что это за карты?

Карты глубины содержат информацию о расстоянии от точки обзора до поверхностей. Они нужны для ориентации в пространстве роботов и беспилотных авто.

Как их получают?

Обычно с помощью лидаров или RGB-камер. Хотя в обоих случаях есть ограничения, касающиеся радиуса действия.

Другой вариант — улучшать показания датчиков и прогнозов с помощью глубоких нейронок. Но и здесь есть сложности: приходится предварительно очищать исходные данные от шумов и помех.

В чём инновация?

Учёные объединили два подхода и разработали архитектуру с использованием глобальной пространственной информации. Она сочетает преимущества трансформеров и свёрточных архитектур.

При новом методе модели настраиваются с помощью самообучения. То есть данные датчиков глубины здесь вообще не нужны!

Что это даёт?

Упрощение обучения. А если точнее, процесс будет стоить значительно дешевле.

Метод уже проверили на независимых наборах данных. На конференции говорят, что модель показала одни из лучших в мире результатов.

Правда, научная статья еще не опубликована, но сборник конференции скоро выйдет, а в AIRI обещают выложить в открытый доступ модельки. Что ж, ждём.

Решила разнообразить наш ламповый канал новым форматом. Давно хотела позадавать вопросы знакомым экспертам. Скоро будет!

Это вот так я спешу задать вопрос, по мнению "Кандинского" 🫦

Пока бегу к эксперту, решила поиграть с веб-сервисом на основе алгоритма Stable Diffusion, который позволяет часть фотки менять по текстовому запросу. Например, Теслу на шакала. Шакал - ведь вы этого достойны!

Превращаем текст в музыку

Готова поспорить, что все уже наигрались в художников и хотели бы попробовать что-нибудь новое. Как насчёт роли композитора?

Сервис для создания генеративной музыки Mubert научился делать короткие музыкальные треки по текстовому запросу. Функция на основе API платформы уже доступна в виде демо-версии (можно посмотреть на GitHub), а в скором времени её обещают прикрутить и к основному сайту.

Какие у меня впечатления

Результаты пока угловатые и не всегда точно соответствуют запросу. Кроме того, в генерации контента всё-таки принимают участие люди — нейросеть “склеивает” композиции из семплов, подготовленных живыми музыкантами и саунд-дизайнерами.

Однако я уверена, что всё это лишь временные шероховатости и “костыли”. В конце концов, ещё год назад почти никто не поверил бы, что сгенерированные нейросетью изображения можно будет разместить на обложке журнала или отправить на художественный конкурс.

Ниже размещу треки, которые получились у меня в ходе тестирования 🔽