На фоне ошеломления темпами развития продуктов на основе больших языковых моделей как-то подзабылось, что вполне прорывной Stable Diffusion тоже еще и года не исполнилось, и что прогресс там нагляден и не менее впечатляющ.
Сегодня как раз объявлено, что выпущена очередная улучшенная модель SDXL 0.9, пост в блоге компании демонстрирует прогресс парами картинок “до и после” по одним и тем же промптам. Как уже стало нормой, модель умеет дорисовывать имеющуюся картинку или использовать изображения вместо словесного промпта.
И, в отличие от OpenAI, с открытостью тут все порядке: какое-то время модель будет доступна исследовательскому сообществу, но вскоре The code to run it will be publicly available on Github.

И еще про генеративные картинки. Важность того, что делают с рынком изображений Stable Diffusion и Midjourney, лучше всего видно не по сумбурным и часто нервным статьям и постам в разных медиа, а по реальным действиям уже сложившихся крупнейших игроков. Adobe, как легко видеть, весь текущий год с бешеной скоростью интегрирует всякие генеративные ИИ-опции во все свои продукты и рядом с ними, неустанно подчеркивая, что их продукт совершенно безопасен с легальной точки зрения: все обучающие датасеты состоят из юридически чистых и высококачественных изображений. Их модель Firefly с марта непрерывно чем-нибудь радует. Как следствие, громкие завывания на тему плагиата к Adobe не относятся.
На Figma’s Config 2023 event показали превью новой красивой фичи: это возможность управлять генерируемым изображением не только текстом, но и меняя на экране освещение, ракурс, место положение объекта.
Второй пилот дизайнера становится все более умелым то ли помастерьем, то ли соавтором :)
https://www.creativebloq.com/news/adobe-gingerbread

Подкаст “Трёп Себранта”
Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro

-=Выпуск 75=-
Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах.
Ссылка в тему: канал Оли “Метавёрсошная”
Выпуск на сайте подкаста
Выпуск на Google Podcasts и Apple Podcasts
И здесь файл для любителей:)

Трансформеры позволили создать языковые модели, которые наглядно демонстрируют адаптивность и универсальность в работе с текстами. Теперь стоит задача расширить подход на задачи не словесные, а физические: манипуляции роботов с объектами в материальном мире. Пока такие роботы не очень справляются с новыми задачками и неожиданными ситуациями.
Подход работает: в DeepMind создали модель RoboCat, у которой с гибкостью все заметно лучше. Она лучше лучше прежних адаптируется к новым типам робоустройств и новым задачам.
“RoboCat’s ability to independently learn skills and rapidly self-improve, especially when applied to different robotic devices, will help pave the way toward a new generation of more helpful, general-purpose robotic agents,” - заявляют разработчики.
Так что ловкость в обращении со словами потихоньку дополняется ловкостью в обращении с предметами: от узкоспециализированных роботов переходим к относительно универсальным, а в словарик наряду с foundation models добавляем foundation agents 🙂

Как же быстро и уверенно OpenAI строят не просто платформу — об этом уже я писал (и не только я), но и полноценную развесистую экосистему. Сэм Альтман не зря успокаивал разработчиков, обещая им, что его компания не заинтересована сама создавать широкий спектр пользовательских приложений, концентрируясь на API.
Сегодня они пошли дальше и объявили, что собираются создать маркетплейс собственно моделей — благо на этом рынке как грибы растут многочисленные специализированные модели. Не пропустить и этот тренд и замкнуть на себя и это сообщество — сильный ход, и разработчики его оценили:
Horizontal models, such as ChatGPT or Google Bard, offer versatile and generic solutions applicable across various domains. An app store dedicated to AI software would serve as an ideal platform for vertical AI vendors to reach a global audience effortlessly.

В итоге сервис отжима воды из публикаций много куда будет интегрирован, но пользоваться им можно уже сейчас (хотя наружу его открыли только что, так что это публичная бета, а не готовый отлаженный продукт). Интерфейс и функционал предельно просты: даешь ссылку на статью, получаешь выжимку (в идеале потом ее качество оцениваешь, чтобы дообучить алгоритм).
Если сервис подвис (на то и бета, с ним бывает) — просто перегрузить страницу:)
На мой взгляд, сильно полезнее многих генеративных штучек, когда приходится много текстов проглядывать.
https://300.ya.ru/

Про трансформеры нынче чаще всего слышно применительно к архитектуре нейросетей, но и добрые старые механические роботы-трансформеры иногда радуют глаз. Впрочем, как — старые… Вот этот, умеющий летать в виде квадрокоптера, ездить как четырехколесная платформа — и даже перемещаться, стоя на двух колесах, — очень даже новинка. И, как нынче принято — и здесь Nvidia; мозгами этого чудесного создания является Jetson Nano.
https://www.theverge.com/2023/6/27/23775681/caltech-m4-morphobot-transformer-robot-nvidia-jetson-nano-cpu

Вот и Oracle подтянулся: Ларри Элиссон заявил, что собирается составить конкуренцию Google, AWS и Microsoft в области предоставления бизнесу облачных мощностей для ИИ-приложений, и потому только у Nvidia закупит карт «на миллиарды долларов».
https://www.techspot.com/news/99260-oracle-plans-spend-billions-nvidia-gpus.html

Хороший, между прочим, термин: «безэкранный компьютер». Автор заметки обсуждает Apple Vision Pro и рассматривает его как именно рабочее, а не игровое устройство. И делает справедливое замечание: Это первый похожий на рабочий вариант обеспечить мобильность для тех, кто либо привык к большому дисплею (а то и нескольким), либо имеет дело с софтом, работать с которым на экране ноутбука мучительно. Для таких людей (это обычно довольно высокооплачиваемые профессионалы) нет варианта пойти поработать из кафе или уж тем более в режиме кочевника: кочевать вместе с 27-дюймовым монитором не очень приятно.
И вот для них (автор как раз сам такой) забрезжила надежда :))
https://www.jpost.com/business-and-innovation/energy-and-infrastructure/article-748235

Проект создания суперкомпьютера «Аврора» для Аргоннской Национальной Лаборатории в США был объявлен еще в 2015 году, но реализовывался медленно и мучительно, несколько раз переделывались и требования, и решения.
Но вот, наконец, в последних числах июня закончился его монтаж (стойки с процессорными модулями занимают площадь как две баскетбольные площадки). Процессоры все интеловские: 21248 CPU в сумме содержат более миллиона ядер, к ним впридачу идут 63477 GPU. Объем памяти (твердотельной) 220PB.
Там еще много офигенных цифр — почитайте статью:) А пока этот монстр будут налаживать и сертифицировать. И попутно — в духе времени — на Авроре начнут обучать большие ИИ-модели для научных исследований.
Полный официальный ввод в строй запланирован до конца года.

https://www.anandtech.com/show/18929/the-aurora-supercomputer-is-installed-2-exaflops-tens-of-thousands-of-cpus-and-gpus

Любопытный материал, как меняется структура лоббистов технологических компаний в США. Традиционных первых лиц бигтеха начинают разбавлять люди из стартапов следующего поколения. Сэм Альтман у всех на слуху, как пиарщик и лоббист всего вокруг ИИ и его регулирования, но вот персонаж куда менее известный — но не факт что настолько же менее влиятельный:)
Александр Ван (не тот, что дизайнер из Баленсиаги) молод даже по стандартам Долины, ему 26. Тем не менее у него не один год опыта общения с законодателями вашингтонского уровня и впридачу он руководит компанией Scale AI, которая для современных ИИ-продуктов не менее важна, чем разработчики собственно моделей. 240 000 исполнителей по всему миру работают на компанию и обеспечивают разметку, fine tuning и прочую human feeedback, которая во многом определяет разницу между моделью просто с миллиардом параметров и хорошей моделью:)
А еще он очень не любит Китай и обеспечивает ИИ-сервисы для Министерства обороны в рамках контракта на 249 млн. долларов. Пока одни в Долине противятся контактам с силовыми ведомствами, другие используют “a strategic business opportunity to conduct geospatial work for government.” И при этом умудряются оставаться в тени — хотя вот и начали появляться любопытные заметки)

https://www.semafor.com/article/06/30/2023/the-26-year-old-ceo-who-became-washingtons-ai-whisperer

Вот и Кай-Фу Ли, многим известный как автор книги “Сверхдержавы искусственного интеллекта”, подтянулся: его новый стартап Lingyi Wanwu со штаб-квартирой в Пекине собрал команду специалистов китайского бигтеха с целью с нуля разработать и обучить собственную большую языковую модель с учетом всех накопленных идей и наработок.
В Китае известно о существовании как минимум 79 различных моделей более чем миллиардом параметров, инвесторы активно поддерживают этот бум, поскольку шансы на полноценную работу в стране продуктов на основе американских моделей невелики. Кай-Фу ли при этом не опасается конкуренции или пузыря, он полагает, что LLMs presents a “historical opportunity” that China must not miss. Only by developing its own LLMs can China gain a competitive edge in the field of AI. Утверждается, что стартап уже начал тестирование своей модели.
https://www.scmp.com/tech/tech-trends/article/3226494/venture-capitalist-lee-kai-fu-launches-ai-start-seize-historical-opportunity-build-chinese-llms

Как оголтелый технооптимист, не могу не поделиться чудесным ресурсом:))
Он не новостной, он как раз про историю. Там любовно собраны аж с середины XIX века публикации (в виде сканов по причине отсутствия цифрового формата в те дикие времена) о вреде технологий и новых медиа.
В качестве примера на картинке к этому посту статья почти столетней давности, где снижение успеваемости в школах и проблемы со сном у взрослых связывают с появлением радио:)
За прошедшие полтора с хвостиком века что только не обвиняли в бедах человеческих: романы и телефонию, телеграф и велосипед, кинематограф и автоматические лифты… Очень любопытно все это просматривать, обнаруживая живучие и по сей день существующие штампы и узнаваемые интонации алармистов.
Pessimists Archive is a project to jog our collective memories about the hysteria, technophobia and moral panic that often greets new technologies, ideas and trends.

Описание этой удивительной конструкции — рюкзачок, к которому можно подсоединить до шести штук рук-манипуляторов — я встречал в нескольких заметках, но диковинка не впечатлила (в первую очередь потому, что ничего внятного про сценарии использования не говорилось). Но вот в этом тексте объясняется, что исследователи из токийского университета, разработавшие паукообразный рюкзак, преследовали цель to facilitate social interaction among multiple users. И вот это меня впечталило, особенно деталь, предполагающая обмен пристяжными конечностями и дистанционное управление ими. Картинка многоруких обнимашек с участием удаленных незнакомцев — причем не во всяких этих метаверсах, а в реале, представляется любопытной:))
https://eandt.theiet.org/content/articles/2023/07/the-bigger-picture-wearable-robotic-arms/

Вроде все мы уже наигрались с кучей генераторов картинок по текстам разной степени качества, управляемости и вменяемости. Но есть что-то такое в коротеньких динамичных гифках, что завораживает сильнее статических картинок, пусть даже качественных как у Midjourney.
Picsart запустил у себя генератор гифок, и там лишние пальцы, конечности и прочие артефакты выглядят неожиданно уместно в своей отвязности :) Не думал, что могу на полчаса залипнуть в очередной генеративной игрушке, но в итоге залип:))
https://www.diyphotography.net/picsart-releases-ai-gif-generator-and-the-results-are-unhinged/

Выпустили отчет Всемирного экономического форума о десятке перспективных технологий 2023. Что там есть генеративный ИИ — очевидно; интересней, что там есть еще, ибо технологии там оцениваются комплексно по степени влияния на жизнь и планету, а не только по объемам рынков.
Некоторые — интересны уже тем, что особо не на слуху, то есть этот список — отнюдь не подборка хайповых тем.

1. Гибкие аккумуляторы
2. Генеративный ИИ
3. Устойчивое (в экологическом смысле) авиационное топливо
4. Дизайн и инженерия искусственных вирусов
5. Метаверс для психического здоровья
6. Носимые датчики для растений (как раз иллюстрация для поста :))
7. Мэппинг биологических процессов на молекулярном уровне
8. Гибкая нейроэлектроника
9. Устойчивые вычисления (оно же - нейтральные с точки зрения углеродного следа датацентры)
10. ИИ в здравоохранении

Прикольно, что про примерно половину тем читать надо в специализированной прессе; в поле зрения традиционного технологического научпопа они не попадают. Что немало говорит про уровень этого самого научпопа.

https://www3.weforum.org/docs/WEF_Top_10_Emerging_Technologies_of_2023.pdf

Это не первая работа на тему генерации изображений на основе электроэнцефалограмм, но, как отмечает команда авторов из Китая, у их метода DreamDiffusion результирующие картинки куда выше качеством чем у Brain2Image.
Результаты и правда красиво выглядят, хотя людям мнительным и тревожным на тему ИИ и всеобщей слежки лучше не читать:) Или сразу прочитать успокаивающий вывод — несмотря на красоту картинок, Currently, EEG data only provide coarse- grained information at the category level in experimental results.
https://arxiv.org/pdf/2306.16934.pdf

Можно долго концептуально спорить о способности нейросетей к творчеству, созданию нового, об их креативности или отсутствии таковой. А можно просто применить те же тесты, которые используются для оценки креативности людей — тесты нынче есть для всего:)
Исследователи из университета Монтаны так и поступили, использовав Torrance Tests of Creative Thinking, a well-known tool used for decades to assess human creativity. Исследователи отправили в Scholastic Testing Service результаты, сгенерированный GPT-4 вперемешку с результатами 24 студентов (не информируя об участии GPT) и сравнили полученные баллы с результатами массового тестирования 2700 студентов в 2016.
Результат ожидаем: по разным критериям ChatGPT попал либо в 1% лучших (изобилие идей, оригинальность), либо в 3% (разнообразие идей. Среди студентов тоже нашлись персонажи со сравнимыми успехами:)
Показательно, что авторы попросили ChatGPT проинтерпретировать результат и получили разумное предупреждение
“ChatGPT told us we may not fully understand human creativity, which I believe is correct. It also suggested we may need more sophisticated assessment tools that can differentiate between human and AI-generated ideas.”
Все в точности как с самим интеллектом — не умея толком определять и измерять свой, мы почему-то рвемся сравниваться с машинным:)

В общем-то именно название статьи привлекло внимание, слова Fiber optic smart pants звучат завлекательно :) И суть передают правильно: если в ткань для одежды вплести наряду с обычными волокнами оптические, то можно получить носимый сенсор, встроенный прямо в одежду: при изгибали волокна меняются его характеристики и дальше дело техники их правильно интерпретировать.
С одной стороны, по мере цифровизации медицины необходимость в массовых носимых датчиках и правда растет. С другой — пока что всякая встраиваемая в одежду гибкая электроника не очень оказывалась способна выдерживать реальную эксплуатацию, включая стирку и взаимодействие с окружающими предметами.
Ну вдруг оптике повезет больше:)

Хороший пример использования нескольких ИИ-инструментов для видеохостинга. И это не про рекомендации или рекламу:)
Когда на платформе есть масса обучающих видео из самых разных областей, можно натравить на эти ролики сначала алгоритмы распознания и реферирования, которые для каждого ролика выделят основные пункты, которые было бы важно усвоить учащемуся. А потом современные генеративные системы прекрасно могут придумать любое количество контрольных вопросов, позволяющих обручающемуся человеку самостоятельно проверить, насколько он хорошо усвоил материал — и где именно проблемы (если они есть).
Учитывая колоссальный объем когда-то записанных видеокурсов, это крутой способ придать им дополнительную ценность с точки зрения пользователя, и сделать все это автоматически. И попутно пример того, как генеративные системы могут менять устоявшийся ландшафт всякого цифрового образования.

https://wccftech.com/youtube-is-apparently-testing-ai-generated-quizzes-to-check-whether-you-have-learned-something-from-the-videos-you-have-watched/