Та самая колонка Financial Times, если не откроется, можно почитать тут.

Самый большой каталог ИИ-моделей для креаторов

Полезных нейросетей в открытом доступе стало столько, что в них уже легко запутаться. Поэтому добрые люди из Phygital + сделали удобный сайт, на котором собрали больше четырёх сотен алгоритмов для работы с графикой.

Разработчики называют свой каталог «самым большим и актуальным» — кажется, им можно верить. Аналогов я пока не видела.

На главной странице есть поиск, в котором можно найти модель или по выполняемой задаче, или по названию. В фильтрах можно указать входные и выходные данные. Ну и хэштеги есть, конечно же.

Каждая карточка — это не просто ссылка на сервис. Для примера возьму первую попавшуюся модель, пусть это будет Lalal.ai. Открываю ссылку и вижу описание — нейросеть умеет извлекать отдельные части аудиоряда (вокал, аккомпанемент, музыкальные инструменты) из любого трека или видео.

Снизу есть вся полезная инфа, ссылки на официальный сайт и на контакты всех представителей стартапа. Иногда прикладывают и ссылку на GitHub с исходным кодом (если он есть).

Как вкатиться в Stable Diffusion, если я гуманитарий?

Многие почему-то думают, что SD подвластна только датасаентистам с зарплатой 300к/наносек. Но на самом деле генеративным искусством может заниматься каждый. Давайте я вам помогу разобраться, как установить Stable Diffusion.

Сразу оговорюсь, что для запуска модели вам понадобится видеокарта хотя бы среднего уровня. Владельцев ПК и ноутбуков со встроенной графикой, скорее всего, постигнет сильное разочарование (хотя вы можете поиграться с онлайн-демкой). Также нужно иметь минимум 10 ГБ свободного места на жёстком диске, так что вам, возможно, придётся удалить пару сезонов “Кармелиты”.

Что нужно сделать:

📍Установите Git (в установщике везде жмём “Next”, не трогая отмеченные по умолчанию опции);
📍Установите Miniconda3 (а вот тут важно не забыть поставить галочку на пункте “All Users”);
📍Скачайте самую свежую контрольную точку Stable Diffusion (на данный момент это версия 1.4, поэтому кликайте на “stable-diffusion-v-1-4-original”). Кстати, здесь вам всё-таки придётся зарегистрироваться, но это займёт буквально пару минут. Загрузите один из вариантов — “sd-v1-4.ckpt” или “sd-v1-4-full-ema.ckpt”. Второй, по идее, должен давать более качественные результаты, но он и весит вдвое больше, поэтому выбирать вам;
📍Скачайте Stable Diffusion с GitHub;

Готово, вы великолепны. Осталось всего несколько шагов, но они будут чуть сложнее.

📍Создайте папку “stable-diffusion” на диске “C” (путь должен выглядеть так: “C:\stable-diffusion”). Распакуйте ранее скачанный ZIP-архив “stable-diffusion-main” в созданный вами каталог. Должен получиться следующий путь: “C:\stable-diffusion\stable-diffusion-main”;
📍Запустите командную строку Miniconda3. Для этого можно ввести в поиске Windows запрос “miniconda3” и в выпавшем списке выбрать “Anaconda Prompt”;

В открывшемся окне введите следующую команду:

cd C:\stable-diffusion\stable-diffusion-main
conda env create -f environment.yaml
conda activate ldm
mkdir models\ldm\stable-diffusion-v1

Процесс займёт какое-то время, не прерывайте его. Когда он завершится, откройте папку “C:\stable-diffusion\stable-diffusion-main\models\ldm\stable-diffusion-v1” и переместите туда ранее скачанную контрольную точку “sd-v1-4.ckpt” (или “sd-v1-4-full-ema.ckpt”, если вы выбрали этот вариант). Переименуйте файл в “model.ckpt”.

Получилось? Супер! Теперь у вас установлена Stable Diffusion. А вот как ей пользоваться, я расскажу в следующий раз.

Почему языковым моделям так тяжело даётся математика?

Казалось бы, большие модели должны щёлкать математические задачи, как орешки. Но до недавнего времени они сталкивались с серьёзными проблемами даже с элементарными школьными вопросами, написанными естественным языком. К тому же при перемножении очень больших чисел ИИ забывали что-то перенести или ошибались на единицу, говорит эксперт из OpenAI. Или они могут неправильно истолковать число — например, 1 и 0 вместо 10.

Исследователи поняли, что увеличение масштаба датасетов не очень подходит для обучения языковых моделей математике. Здесь нужен более целенаправленный подход. Например, Minerva от Google объявила о 78-процентной точности с минимально масштабируемыми данными. Правда, учёные говорят, что модель приходит к правильным ответам через «странные, запутанные рассуждения». Но в этом деле важнее результат.

Подробнее о рассуждениях исследователей можно почитать в журнале Spectrum IEEE.

Как пользоваться Stable Diffusion

Итак, вы установили Stable Diffusion, но там не оказалось кнопки “прочитать мои мысли и сделать красивенько”. Без паники, сейчас я всё объясню.

Первым делом нужно активировать среду ldm. Для этого запустите командную строку Miniconda3 и наберите:

conda activate ldm

Если надпись “(base)” сменилась на “(ldm)” — вы на правильном пути. Идём дальше и вводим:

cd C:\stable-diffusion\stable-diffusion-main

Чтобы сгенерировать изображение размером 512 на 512 пикселей, вызываем скрипт txt2img и прописываем желаемые параметры в двойных кавычках после команды “--prompt”. Например, я хочу получить на выходе снимок милой собачки:

python scripts/txt2img.py --prompt "dog joined death metal band, photorealistic" --plms --n_iter 5 --n_samples 1

Параметры, прописанные после запроса в кавычках, лучше оставить такими же, как указано в моём примере. Это оптимальные настройки для среднего ПК. Если вам интересно посмотреть, какие ещё опции доступны в Stable Diffusion, наберите:

python scripts/txt2img.py --help 

Кстати, вы можете определять не только сюжет изображения, но и его характеристики. Их также необходимо добавить в описание. Например, напишите “vivid, abstract art, colorful”, если должен получиться образец современного искусства, или “photorealistic, UHD, photography”, если хотите более живую картинку.

Вы ограничены только своей фантазией, так что экспериментируйте. Ну или подсмотрите готовые описания в профильных сообществах (например, на Reddit).

Вот такая картинка у меня получилась по запросу из примера. Вам нравится?

Как ИИ меняет спорт? 8 хайлайтов

Постараюсь очень кратко уложить в один тележный пост большой материал с Marktechpost о том, как спортивная индустрия стремительно меняется (в лучшую сторону) благодаря новым технологиям.

Выявление таланта. Модели машинного обучения помогают начинающим спортсменам выбрать подходящую команду, а тренерам — найти сильные и слабые стороны игроков.

Индивидуальная диета. Здесь всё понятно: можно подстроить оптимальный план под любого человека.

План упражнений. Принцип тот же. Нейросети составляют идеальную схему тренировок на основе физического состояния спортсмена. По такому принципу модели могут рассчитать даже совместимость разных игроков на одной тренировке.

Эффективность спортсмена. Умные носимые устройства собирают данные о нагрузках игрока, благодаря чему могут предотвратить перетренировку и травмы.

Увеличение аудитории. Интеллектуальная продажа билетов работает на моделях машинного обучения — она управляет рассадкой зрителей. И ещё может учитывать необходимость парковки, еды или туалетов поблизости.

Помощь судьям. ИИ предотвращает несправедливость рефери. Инструменты следят за соревнованиями и быстро выносят верный вердикт (ведь их экспертиза основана на многочисленных кадрах, звуках и другой доступной информации).

Безопасность. ИИ имеет решающее значение в гонках. Прежде чем посадить водителя за руль, его машину тестируют умные алгоритмы.

Спортивные исследования. Тренеры используют аналитику для улучшения результатов подопечных и для предотвращения их травм.

Противостоим “бабуллингу” с помощью нейросетей

Уверена, практически все люди старше 20 лет хотя бы раз сталкивались с “бабуллингом” — навязчивыми попытками старших родственников вмешаться в личную жизнь. Ну, знаете: “часики тикают”, “мы внуков-то увидим?”, “у тебя хоть жених/невеста есть?” и другие проверенные способы испортить любое семейное застолье.

Раньше, чтобы отразить “бабуллинг”, людям приходилось мучительно выдумывать оправдания, но теперь эту работу можно делегировать ИИ. Именно так поступил индийский фотограф Унмеш Динда. Парень настолько утомился от допросов родственников, что сгенерировал себе девушку при помощи нейросетей.

Динда смог добиться реалистичного результата всего за несколько простых шагов. Сначала он загрузил своё селфи в DALL-E и “попросил” нейросеть дополнить снимок изображением девушки. Затем он отредактировал её лицо при помощи ИИ-алгоритма GFP-GAN, предназначенного для реставрации фотографий. В конце Унмеш просто наложил улучшенный портрет девушки на общий снимок в фотошопе (который изначально создала нейросеть).

"Если ваши родственники беспокоятся о вашей личной жизни больше, чем вы сами, вам нужно отправить им такую фотографию. Это заставит их отстать на какое-то время”, — прокомментировал он результат.

Надеюсь, парня действительно оставят в покое и ему не придётся генерировать фотографии несуществующих детей спустя пару лет.

Если кто-то хочет более подробную инструкцию, то вот видео.

Copilot может взять на себя на себя 80% работы кодеров

Гендиректор GitHub Томас Домке рассказал о своём видении того, как будет развиваться ИИ Copilot — инструмент, который помогает программистам дописывать код. Copilot уже обрабатывает около 40% кода у программистов, которые участвуют в бета-тестировании. А в следующие пять лет «второй пилот» будет выполнять в два раза больше работы, то есть около 80%. Уже и тут «вкалывают роботы, а не человек».

Спикер считает, что сейчас мы проходим третью волну повышения производительности в мире кодирования. Сам он начинал работать в первую волну, когда мир только-только отошёл от использования перфокарт, а интернета ещё не было. Вторым этапом он назвал появление интернета, а третьим — открытого исходного кода. При этом ИИ пока не может взять на себя 100% работы разработчика. Он не способен создать себя без участия пользователя. Copilot не изобретает новых алгоритмов.

Стабильные новости

Вчера у Stability AI был большой день. Во-первых, независимая компания получила хорошее финансирование. А во-вторых, анонсировала запуск нового сервиса.

Сколько денег и от кого?

В Stability AI инвестировали 101 млн, при этом саму компанию оценили в 1 млрд. В раунде финансирования участвовали Coatue, Lightspeed Venture Partners и O'Shaughnessy Ventures.

На что пойдут деньги инвесторов?

— На поддержание кластера из более чем 4 тыс графических чипов NVIDIA A100, который используется для обучение систем ИИ. Сейчас расходы на него составляют примерно 50 млн долларов в год.

— На развёртывание пользовательских версий Stable Diffusion с большей вычислительной мощностью.

— На наём дополнительных сотрудников (хотят увеличить штат со 100 до 300 людей в течение 2023 года).

Что ещё анонсировали?

В компании сказали, что в разработке сейчас сразу несколько коммерческих проектов. Среди них — ИИ-модели для генерации языка, 3D-моделей и музыки. Про последний (Dance Stability) мы уже немного знаем, пару недель о нём подробно рассказывали на TechCrunch.

Ещё стоит ждать отдельного сервиса для генерации анимаций и видео — самый свежий тренд сезона. Инструмент надеются выпустить уже в течение нескольких недель.

State of AI 2022: что важно знать

Наконец-то ознакомилась с отчётом State of AI 2022. Если кто не знает, это один важнейших документов в сфере ИИ, который ежегодно подготавливают инвесторы Нейтан Бенайх и Ян Хогарт. Каждый выпуск State of AI отличается высоким качеством аналитики и большой точностью прогнозов — всё, как мы любим.

Кратко расскажу о моментах, которые показались мне наиболее интересными.

Аналитики возлагают большие надежды на нейросети, способные писать код. Искусственный напарник-программист GitHub Copilot от OpenAI доказал свою эффективность, я писала о нём выше. Уже в ближайшее время на рынке может появиться интегрированная среда разработки на основе ИИ, уверены Бенайх и Хогарт.

Главный прорыв 2022 года. Диффузионные модели растоптали конкурентов в области генерации визуального и звукового контента. DALL-E 2, Midjourney и Stable Diffusion, с которыми мы играемся последние несколько месяцев, — это как раз диффузионные модели, если вы не знали.

Инвестиции в ИИ заметно снизились. По прогнозу аналитиков, по итогам 2022 года отрасль привлечёт около $70,9 млрд (против $111,4 млрд годом ранее).

США лидируют по числу ИИ-стартапов с оценкой свыше $1 млрд (292 компании суммарной стоимостью $4,6 трлн). На втором месте Китай (69 компаний на $1,4 трлн), на третьем — Великобритания (24 компании на $207 млрд).

Вместе с тем Китай значительно обгоняет США по масштабу исследований в области ИИ. С 2010 года китайские институты опубликовали в 4,5 раза больше работ, чем их американские коллеги. Сильнее всего в Китае сфокусированы на технологиях наблюдения, автономного управления, интерпретации сцен и распознавания объектов.

NVIDIA фактически монополизировали рынок аппаратного обеспечения для нейросетей. Исследователи ИИ используют “железо” этой компании в десятки раз чаще, чем оборудование от других производителей.

При этом в сфере программного обеспечения ситуация обратная. Благодаря снижению стоимости вычислений появилось множество независимых лабораторий, которые более охотно открывают исходный код и не дают крупным игрокам монополизировать исследования в сфере ИИ.

Разработчики искусственного интеллекта стали уделять больше внимания вопросам безопасности. Если в 2021 году в крупных ИИ-лабораториях работало менее 100 исследователей безопасности, то в 2022-м их число выросло до 300. Но этого всё ещё недостаточно, считают Бенайх и Хогарт.

Научные исследования с использованием ИИ обязательно приведут к новым прорывам. Однако учёным следует опасаться методологических ошибок — например, включения в наборы для обучения нейросетей нерелевантных данных. Если уделять методологии недостаточно внимания, это может усугубить кризис воспроизводимости научных исследований.

Российские учёные улучшили разработку карт глубины

Краем глаза слежу за научной конференцией о VR и AR, которая сейчас проходит в Сингапуре. Интересно вдвойне, потому что там ещё и участвуют исследователи из России. Вот, сотрудники Института AIRI представили крутую модель ИИ для построения карт глубины.

Что это за карты?

Карты глубины содержат информацию о расстоянии от точки обзора до поверхностей. Они нужны для ориентации в пространстве роботов и беспилотных авто.

Как их получают?

Обычно с помощью лидаров или RGB-камер. Хотя в обоих случаях есть ограничения, касающиеся радиуса действия.

Другой вариант — улучшать показания датчиков и прогнозов с помощью глубоких нейронок. Но и здесь есть сложности: приходится предварительно очищать исходные данные от шумов и помех.

В чём инновация?

Учёные объединили два подхода и разработали архитектуру с использованием глобальной пространственной информации. Она сочетает преимущества трансформеров и свёрточных архитектур.

При новом методе модели настраиваются с помощью самообучения. То есть данные датчиков глубины здесь вообще не нужны!

Что это даёт?

Упрощение обучения. А если точнее, процесс будет стоить значительно дешевле.

Метод уже проверили на независимых наборах данных. На конференции говорят, что модель показала одни из лучших в мире результатов.

Правда, научная статья еще не опубликована, но сборник конференции скоро выйдет, а в AIRI обещают выложить в открытый доступ модельки. Что ж, ждём.

Решила разнообразить наш ламповый канал новым форматом. Давно хотела позадавать вопросы знакомым экспертам. Скоро будет!

Это вот так я спешу задать вопрос, по мнению "Кандинского" 🫦