Когда ребенок совсем еще маленький, отмечают не только его годовщины: полгода тоже серьезный юбилей. ЧатуGPT шесть месяцев исполнилось недавно, а российский Форбс мою колонку на тему опубликовал неожиданно оперативно, так что можно почитать.

Подкаст "Трёп Себранта"
-=Выпуск 74=-
Vision Pro + полгода ChatGPT: сопоставления
Исполнилось полгода ChatGPT, а через несколько дней Apple представили миру свои очки Vision Pro. Оба события можно пообсуждать по отдельности, но еще интересней вместе: редкий случай, когда можно заглянуть в будущее с помощью вполне линейной экстраполяции.

Страница выпуска https://sebrant.chat/vision-pro-chatgpt
На Яндекс.Музыке
https://music.yandex.ru/album/6407298
На Apple Podcasts
https://podcasts.apple.com/ru/podcast/sebrant-chatting-%D1%82%D1%80%D1%91%D0%BF-%D1%81%D0%B5%D0%B1%D1%80%D0%B0%D0%BD%D1%82%D0%B0/id1320623324?i=1000616149133
На Google Podcasts
https://podcasts.google.com/feed/aHR0cHM6Ly9hc2VicmFudC5saWJzeW4uY29tL3Jzcw
Ну, и традиционный трек прямо здесь :)

Очень по делу заметка в Harvard Business Review на тему хайпа вокруг “новой великой профессии” промпт-инженера. Вокруг этого уже и коммерческие курсы появились, и обещания карьерной траектории и прочая инфобизовая муть.
Но есть обоснованные сомнения в сколь-нибудь внятной перспективе.
1. Технология конструирования промптов не универсальна, есть особенности у у каждой из многочисленных систем, а внутри системы меняется от версии к версии.
2. Системы все лучше сами помогают составлять правильные промыты там, где сложный промпт необходим.
3. Быстро сменяющиеся поколения генеративных систем с каждой следующей итерацией все лучше понимают намерения пользователя без очень подробной детализации с его стороны.

Вместо внешних навыков для эффективной работы с ИИ лучше бы овладевать более фундаментальным и действительно востребованным: умением внятно формулировать задачи.
Problem formulation and prompt engineering differ in their focus, core tasks, and underlying abilities.
Здесь, как обычно, необходимо знание предметной области и понимание ограничений в реальном мире. The fact is, without a well-formulated problem, even the most sophisticated prompts will fall short. Но ведь так хочется чуда и волшебного билетика в будущее:)

Вот это полезная фишка — нативный VPN — если еще и в России будет работать:) Но понятно, что появится она на уровне операционки не из-за нас, а потому что операторы стримингов, разработчики и контент провайдеры уже слишком многих задрали своими региональными ограничениями — когда вполне легально купленный продукт вдруг перестает работать просто потому, что ты в поездке переместился в другую страну.

https://www.theverge.com/2023/6/10/23756329/apple-tv-vpn-tvos-17-4k-streaming-wwdc-2023

Тринадцать технологических решений, каждое из которых кардинально меняло кинематограф. Список местами кажется несколько субъективным — от хромакея до 3D-печати, от прогресса камер до звукового кино. Но несмотря на это, эффект сильный: очень ясно показано, насколько тесно кино — и съемочный процесс, и прокат — связано с достижениями технологий. И хотя каждый раз были недовольные и критикующие, кино каждый раз осваивало новшества.
Может, эту статью бастующим и требующим запретить генеративные инструменты сценаристам почитать?
https://movieweb.com/new-technologies-that-permanently-changed-movies/

Почти два года назад в своей колонке в “Форбсе” я писал: “мы раньше начнем обгонять беспилотные фуры на дальних трассах за рулем личного автомобиля, чем прокатимся по этим дорогам, развалившись на заднем сиденье беспилотной легковушки или беспилотного такси” Тогда мне много прилетело комментариев, что зря я верю в автономные “Камазы” в обозримом будущем.
Но оказалось, что график выдерживается: в 2021-ом обещали начать создавать тестовый беспилотный коридор в течение 3 лет; сейчас сообщают, что первые автономные грузовики пойдут по М-11 на этой неделе.
(Та старая колонка на память;))

Оказывается, торговая марка Vision Pro в Китае еще с 2019 года была заявлена Huawei (которые действительно имеют свою линейку очков, так что это не патентный троллинг). Интересно, как поведет себя Apple на важнейшем для себя рынке с учетом этого обстоятельства:)
https://www.iphoneincanada.ca/2023/06/12/apple-vision-pro-huawei/

Да здравствует конкуренция! 🙂 AMD выступили с сильной заявкой, претендующей на откусывающие какой-то части рынка у Nvidia.
AMD's Instinct MI300X GPU features multiple GPU "chiplets" plus 192 gigabytes of HBM3 DRAM memory, and 5.2 terabytes per second of memory bandwidth.
На презентации чипа было заявлено, что это лишь первый шаг в стратегии AMD по обеспечении рынка специализированными чипами для работы с моделями машинного обучения.
The MI300X will offer 2.4 times the memory density of Nvidia's H100 "Hopper" GPU, and 1.6 times the memory bandwidth. 
https://www.zdnet.com/article/amd-unveils-mi300x-ai-chip-as-generative-ai-accelerator/

Теперь это уже не та новость, которую кто-либо кроме дотошных любителей космонавтики готов обсуждать. А несколько лет назад какие копья ломались в дискуссиях о возможности и практической пользе возвращаемых ступеней ракет:)
А теперь очередной Falcon-9 девятый раз успешно вернулся на космодром, отметив 200-е такое возвращение в истории SpaceX. Интересно, с чем сейчас воюют консерваторы, столь активно хоронившие этот проект на основе своей экспертизы? :)
https://www.digitaltrends.com/space/spacex-marks-200th-rocket-landing-with-perfect-touchdown/

Среди многочисленных неприятностей Гугла в Евросоюзе, эта, похоже, самая серьезная за всю историю.
Евросоюз намерен добиваться разделения рекламного бизнеса Гугла, поскольку он явным образом содержит внутренний конфликт интересов, одновременно обслуживая рекламных потребности издателей и предлагая им управлять рекламой на собственном инвентаре. В такой ситуации есть шанс, что уже привычными штрафами отделаться не удастся, хотя, конечно, впереди еще многочисленные апелляции и попытки договориться.
Позиция Маргрете Вестагер довольно радикальна: "Google could divest its sell-side tools, DFP and AdX. By doing so, we would put an end to the conflicts of interest. Of course I know this is a strong statement but it is a reflection of the nature of the markets, how they function and also why a behavioural commitment seemed to be out of the question." В логике ей, при этом, не откажешь.

Роботакси Cruise в Остине: личный опыт ep.2. Вчера ещё раз прокатилась на роботакси Круз, заметила интересную фичу. Когда беспилотник проезжает мимо автомобиля экстренных служб с включенной мигалкой, к нему подключается удаленный ассистент. Он не вмешивается в управление, а следит, чтобы все прошло штатным образом. Как только машина полиции, скорая или пожарные пропадают из виду, ассистент отключается.

Классная фича и очень полезная. Беспилотникам и правда бывает непросто с экстренными службами. Их поведение может сильно отличаться от остальных участников движения, и они менее предсказуемы. Если вы следите за беспилотными новостями, то у вас могло создаться впечатление, что роботакси Круз в Сан-Франциско только и делают, что мешают полиции и пожарным. Но на самом деле такие встречи происходят достаточно редко, просто привлекают много внимания. По этой причине сложно в реальном мире оттестировать взаимодействие с машинами экстренных служб. Пройдет много времени, чтобы набрать достаточную статистику для проверки тех или иных решений. Так что фича с ассистентом очень полезная. Каждая ошибка в подобной встрече создаёт много шума и репутационных проблем, а такой подход позволит если и не избежать их совсем, то заметно снизить их количество, пока беспилотники учатся правильно взаимодействовать с экстренными службами.

Недавно в сети активно обсуждали очередной случай, когда беспилотник Круз помешал проезду полиции. В компании ответили, что на самом деле машина почти сразу развернулась и освободила дорогу. И с учётом наличия этой фичи, у меня нет причин сомневаться в их словах.

В остальном Круз тоже молодцы. Проблему с перестроениями при повороте налево решили, машин в сервисе тоже стало доступно больше (на вид, их как минимум полтора десятка). Да, случаются пока иногда странные маневры. Например, наш беспилотник по имени Шакшука один раз припарковался посреди дороги, а потом повернул направо из средней полосы, но в остальном все поездки прошли гладко и даже скучно, как они и должны проходить.

Еще одна изящная попытка покуситься на традиционную компоновку пассажирского самолета ради улучшения эффективности и снижения выбросов. Всякие придумки на тему «летающего крыла мы уже видели, вот другой подход.
Утверждается, что такой дизайн позволяет почти вплотную подобраться к звуковому барьеру по скорости и добиться большой гибкости в использовании разных двигателей.
Ну и выглядит оригинально;)
https://jalopnik.com/nasas-new-design-would-finally-bring-jets-out-of-the-je-1850544155

Интересное интервью Сатьи Наделлы про историю развития ИИ в Microsoft — и историю отношений с OpenAI. Там немало интересных моментов личного восприятия, которое, конечно же, и на позиции компании сказывалось.
Примеры:
…GPT всерьез произвела впечатление, когда выпустили GPT-3: модель часто выдавала работоспособный код, хотя никто не обучал яя специально на языках программирования. В этот момент возникло ощущение, что технология всерьез прорывная и много чего трансформирует. А лично Наделла проникся переводом с фарси в GPT-4, который оказался куда живее, чем у специализированных систем машинного перевода. It was not just a machine translation, but something that preserved the sovereignty of poetry across two language boundaries…
…OpenAI горит идеей технологических прорывов и суперинтеллекта, а не сложных продуктов. Microsoft — как раз продуктами, которыми доступны всем. В итоге идеальное партнерство, по крайней мере, на данном этапе. I am looking for the thing that may be even bigger than the industrial revolution…
И еще много интересного — хорошее чтение на выходных, и очень оптимистичное.

А кто не любит читать про Microsoft (предыдущий пост), вот вам про Apple. Тут, правда, интервью не с Тимом Куком, а с Кевином Линчем, вице-президентом по технологиям. Речь в нем о том, что Apple Watch в своем развитии от прибора про фитнес и здоровье к чему-то большему все активней должны становиться ключиком к окружающему миру. Идеал -- если носишь на руке часы, больше ничего в карманах таскать не надо:) За восемь лет своей истории часы сильно поумнели, но теперь благодаря машинному обучению намечается следующий рывок.
Интерфейсно это станет заметно в следующей версии watchOS 10. Будет много виджетов, позволяющих с одного взгляда много чего узнавать, улучшится управление виджетами. А еще Apple продолжит интерпретировать для пользователя данные с сенсоров, которыми часики набиты: например, появится статистика “сколько времени ты был при естественном освещении” 🙂
А еще там интересные истории про продуктовое мышление и дизайн; мне, например, очень понравилась деталь: когда выбирали звук нотификации, использовали “родной” звук: как звенит реальный металлический корпус часов, если по нему ударить молоточком:)
Опять же легкое чтиво на выходные:))

«Задача трех тел» — вся трилогия — великолепная, на мой вкус, фантастика, вот только ей не везло с экранизациями. Что немного удивительно, потому что сюжет очень кинематографичен. Я пытался смотреть китайский мультик — не осилил, мне показался отстойным. Досмотрел — местами на преремотке — первый сезон китайского сериала. Уже получше, но чудовищно, на мой взгляд, затянуто. Причем не отдельные сцены — а все целиком медленно.
Но вот появился трейлер от Нетфликса. По трейлеру судить, конечно, нельзя, но все же есть надежда, что в январе 2024 появится повод порадоваться и, наконец, посмотреть в охотку:)

https://mashable.com/video/three-body-problem-teaser-netflix

Пока некоторые музыканты пугаются генеративных возможностей ИИ и требуют ограничить популяризацию и распространение сгенерированных произведений, ИИ научили другому нехорошему:)
Алгоритмы машинного обучения напустили на кучу данных про активность головного мозга и сердца добровольцев, прослушивающих разные композиции.
Попутно людей опрашивали об ощущениях и эмоциях, связанных с услышанным.
В итоге оказалось, что ML-алгоритм с очень высокой точностью может предсказать, слушают ли люди успешный хит или просто хорошую мелодию.
Исследователи полагают, что теперь лейблы смогут с гораздо более высокой точностью и гораздо дешевле чем раньше выявлять будущие хиты, не дожидаясь измерения реакции больших аудиторий.
Предположительно, дело не ограничится музыкой: “it is likely that this approach can be used to predict hits for many other kinds of entertainment too, including movies and TV shows."
И это новый вариант зависимости творческой публики от алгоритмов, к которым прислушиваются издатели:)
https://newatlas.com/music/ai-hit-prediction-could-have-a-huge-impact-on-music-industry-artists/

Итак, Эпл выкатили SDK для своих очков и разработчики кинулись разрабатывать.

Сами очки пока недоступны никому (используется симуляция ОС на компе), но уже со следующего месяца откроются специальные лабы в Купертино, Лондоне, Мюнхене, Шанхае, Сингапуре и Токио, где можно будет тестировать свои приложения прям в очках.

Ну и заявки начнут принимать на получение очков домой (если вы - важный разработчик).

Примеры из роликов вдохновляют, очень уже хочется себе такую штуку.
Вот тут больше примеров и полезной информации.

А вот тут чувак показывает и рассказывает про SDK.

Там можно выбирать разные окружения, например, зал музея или гостиную (видимо где-то в Купертино), бабушкиного хруща в вариантах нет, так что разработчики все-таки не могут получить достоверное впечатление о том, как приложения будут выглядеть для пользователя 🌚

Колитесь, кто уже планирует разработку под очочки?

На фоне ошеломления темпами развития продуктов на основе больших языковых моделей как-то подзабылось, что вполне прорывной Stable Diffusion тоже еще и года не исполнилось, и что прогресс там нагляден и не менее впечатляющ.
Сегодня как раз объявлено, что выпущена очередная улучшенная модель SDXL 0.9, пост в блоге компании демонстрирует прогресс парами картинок “до и после” по одним и тем же промптам. Как уже стало нормой, модель умеет дорисовывать имеющуюся картинку или использовать изображения вместо словесного промпта.
И, в отличие от OpenAI, с открытостью тут все порядке: какое-то время модель будет доступна исследовательскому сообществу, но вскоре The code to run it will be publicly available on Github.

И еще про генеративные картинки. Важность того, что делают с рынком изображений Stable Diffusion и Midjourney, лучше всего видно не по сумбурным и часто нервным статьям и постам в разных медиа, а по реальным действиям уже сложившихся крупнейших игроков. Adobe, как легко видеть, весь текущий год с бешеной скоростью интегрирует всякие генеративные ИИ-опции во все свои продукты и рядом с ними, неустанно подчеркивая, что их продукт совершенно безопасен с легальной точки зрения: все обучающие датасеты состоят из юридически чистых и высококачественных изображений. Их модель Firefly с марта непрерывно чем-нибудь радует. Как следствие, громкие завывания на тему плагиата к Adobe не относятся.
На Figma’s Config 2023 event показали превью новой красивой фичи: это возможность управлять генерируемым изображением не только текстом, но и меняя на экране освещение, ракурс, место положение объекта.
Второй пилот дизайнера становится все более умелым то ли помастерьем, то ли соавтором :)
https://www.creativebloq.com/news/adobe-gingerbread

Подкаст “Трёп Себранта”
Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro

-=Выпуск 75=-
Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах.
Ссылка в тему: канал Оли “Метавёрсошная”
Выпуск на сайте подкаста
Выпуск на Google Podcasts и Apple Podcasts
И здесь файл для любителей:)

Трансформеры позволили создать языковые модели, которые наглядно демонстрируют адаптивность и универсальность в работе с текстами. Теперь стоит задача расширить подход на задачи не словесные, а физические: манипуляции роботов с объектами в материальном мире. Пока такие роботы не очень справляются с новыми задачками и неожиданными ситуациями.
Подход работает: в DeepMind создали модель RoboCat, у которой с гибкостью все заметно лучше. Она лучше лучше прежних адаптируется к новым типам робоустройств и новым задачам.
“RoboCat’s ability to independently learn skills and rapidly self-improve, especially when applied to different robotic devices, will help pave the way toward a new generation of more helpful, general-purpose robotic agents,” - заявляют разработчики.
Так что ловкость в обращении со словами потихоньку дополняется ловкостью в обращении с предметами: от узкоспециализированных роботов переходим к относительно универсальным, а в словарик наряду с foundation models добавляем foundation agents 🙂