Skynet готов:
https://youtu.be/XEM5qz__HOU

https://www.palantir.com/platforms/aip/#defense

Автономеый агент:
https://babyagi.org/

Cebra.ai - научились снимать видеосигнал с зрительной коры

Нашел прикольную программу Wolverin на базе ChatGPT.

В чем суть: каждый раз, когда ваш код выдает ошибку, запускается скрипт поиска, где ChatGPT пытается угадать почему у вас руки кривые все пошло не так. Как только бот найдет косяк, он его исправляет, запускает код и так по новой, пока программа не отладит весь код.

Разумеется, ссылочка на GitHub.

Prometheus: The system in charge of managing the internal queries of, and censoring of Sydney

“LLMs often study data up to a certain point in time. That makes them useful for some use cases but prevents them from being an option for content based on real-time data. Microsoft overcame this limitation with Prometheus, which uses Bing data and GPT to generate answers quickly while still using up-to-date information.”

"Selecting the relevant internal queries and leveraging the respective Bing search results is a critical component of Prometheus, since it provides relevant and fresh information to the model, enabling it to answer recent questions and reducing inaccuracies”

Article

Вице-президент Харрис встретилась с руководителями компаний, разрабатывающих ИИ: Alphabet, Anthropic, Microsoft и OpenAI и обсудила необходимость сотрудничества с правительством.

Администрация планирует инвестировать 140 млн долларов в создание семи исследовательских институтов ИИ.

Управление управления и бюджета Белого дома скоро выпустит руководство по использованию ИИ федеральными агентствами.

Ведущие разработчики ИИ примут обязательства о публичной оценке своих систем на конференции кибербезопасности DEF CON в августе в LasVegas

https://www.whitehouse.gov/briefing-room/statements-releases/2023/05/04/readout-of-white-house-meeting-with-ceos-on-advancing-responsible-artificial-intelligence-innovation/

Аналитика от Gartner по chatGPT:

https://www.gartner.com/en/articles/your-7-biggest-chatgpt-questions-answered

Невероятно интересный документ, allegedly утекший из внутренней переписки Гугла. Анализ сводится к тому, что ни Гугл, ни OpenAI не имеют долгосрочных конкурентных защитных позиций (aka “moat”, ров) перед open source моделями. Это хороший сигнал для веб3 + AI и коммодитизации моделей, но довольно тревожный с т.з. AI alignment.

В документе приводится несколько примеров, показывающих что модель настроенная за вечер на средней мощности ноутбуке (например, бесплатная LLaMa с 13В параметров) или планшете принципиально не отличается по функционалу от тех что стоят десятки миллионов долларов и имеют по пол-триллиона параметров.

Цитата: «The barrier to entry for training and experimentation has dropped from the total output of a major research organization to one person, an evening, and a beefy laptop»

Я писал несколько лет назад про теорию канализационной крысы — это когда, организм имеющий доступ ко всем возможным патогенам куда более устойчив, чем тот что живет в стерильных условиях. Это верно про безопасность Биткоина, но так же верно и про AI инструменты.

Открытое сообщества исследователей, билдеров, предпринимателей с макбуками и желанием строить крутые продукты неизбежно побеждают корпорации там, где экономия масштаба не имеет преимуществ. Для GPT-3 важным шагом было залить сетку трансформеров баблом (GPU + RLHF), но сегодня инновации движутся в более тонком и потому доступном многим направлении. Автор особенно фокусируется на технологии LoRA, которая позволяет файнтьюнить и адаптировать существующие модели без необходимости тратить деньги на тысячи GPU-часов.

Итого, очень рекомендую: текст крайне точно передает стремительность развития ИИ от лица человека находящегося глубоко в индустрии.

Чат-боты на основе нейросетей способны ответить практически на любой вопрос. Далеко не всегда их ответы точны, но иногда они выдают что-то заведомо ложное и даже фантасмагорическое — это называют галлюцинациями нейросетей.
Более подробно феномен галлюцинаций нейросетей разобран в новом материале журнала ТЕХНО: https://techno.yandex.ru/hallucinations

Новость дня от Майкрософт.

Microsoft сегодня делает своего чат-бота Bing GPT-4 доступным для всех, больше не нужно вставать в лист ожидания. Все, что вам нужно сделать, это войти в новый Bing или Edge с помощью своей учетной записи Microsoft, и теперь вы получите доступ к версии open preview, работающей на GPT-4.

Microsoft также массово обновляет Bing Chat, добавляя множество новых функций и даже поддержку плагинов.

Чат-бот первоначально был запущен в приватном предварительном просмотре в феврале, и с тех пор Microsoft постепенно открывает его.

Новые функции Bing:

— Плагины (!)
— Сохранение истории чатов в виде файлов
— Видео-ответы от бота
— Выдача фото и видео из поиска прямо в чате (уже доступно)
— Бронирование ресторанов через Bing AI

Интересно, что анонс вышел за 6 дней до ивента от Google.

🦌 RUDOLPH 🦌

Наконец-то дошли руки написать о нашей давней разработке, о модели RUDOLPH (RUssian Decoder On Language Picture Hyper-tasking), которая умеет решать много задач в модальностях текст и изображение и которая уже успела побывать бейзлайном соревнования FusionBrain Challenge 2.0 в 2022 году (и даже заняла там почётное третье место).

💡 Архитектурно модель представляет собой декодер-блок трансформера, работающий с входной последовательностью токенов, которую можно условно разделить на три основных сегмента: левые текстовые токены, токены изображения и правые текстовые токены. За счёт этого на претрейне можно показывать модели сэмплы по 3 задачам: text2image (генерация изображения по тексту), image2text (описание изображения) и text2text (языковое моделирование в левых текстовых токенах).

💡 Мы обучили 4 версии модели, которые различаются между собой как количеством параметров (соответственно, количеством и размером скрытых слоёв), так и соотношением количества токенов текста и изображения:
👉 RUDOLPH-350M
👉 RUDOLPH-1.3B
👉 RUDOLPH-2.7B
👉 RUDOLPH-2.7B-FBC2

💡 Последняя из этих моделей была дополнительно дообучена на инструктивном датасете (когда это ещё не стало мейнстримом 😊) решать 6 прикладных задач в модальностях текст и изображение: Text QA, Math QA, Image Generation, Image Captioning, Visual QA, Text Recognition in the Wild. RUDOLPH даже немного умеет в zero-shot object detection (после соответствующего файнтюна). Фишка этой версии модели также и в том, что она может понимать формулировку задачи на естественном (русском) языке 💪

Подробнее почитать про архитектуру RUDOLPH, узнать детали обучения и файнтюнинга, посмотреть примеры работы модели можно тут:
👉 Хабр

Воспользоваться и протестировать RUDOLPH можно тут:
👉 GitHub
👉 HuggingFace
👉 Cloud

В создании и обучении RUDOLPH успели принять участие многие ребята (@AShonenkov, @lizagonch - вам отдельное спасибо 👍, @kuznetsoff87, @bra_ket, @NastyaMittseva, @bom_bo0m 👌). Всем огромное спасибо за качественную работу!

@dendi_math_ai

Моделей, которые на основании текста генерят картинки, сейчас много.
А что по поводу видео?

Nvidia рассказала несколько дней назад о новой ИИ-модели для превращения текста в видео под названием VideoLDM. Эту модель производитель видеокарт разработал вместе с Корнельским университетом. Модель способна генерировать видео в разрешении до 2048 × 1280 пикселей с частотой 24 FPS и длительностью 4,7 секунд на основе текстового описания. В основе VideoLDM заложены наработки нейросети Stable Diffusion.

Видео выше сгенерировано по запросу: "A teddy bear is playing the electric guitar, high definition, 4k." ("Плюшевый мишка играет на электрогитаре, высокое разрешение, 4k")

Hugging Face совместно с ServiceNow собрали и выложили свою собственную модель, которая умеет то, что делает GitHub CoPilot — подсказывать код, по сути писать 80% кода без всяких программистов. Только в отличие от CoPilot это не платная услуга, а доступный всем опенсорс код и веса модели.

Я проверил его на любимом моем примере — написании кода игры в морской бой. У меня есть претензии к результату с точки зрения качества кода. Но он получился работоспособным и это самое важное. Внутри у нее кроме неонки всё традиционно — GPT2 модель на примерно триллион токенов. Качество работы на моих примерах чуть хуже CoPilot, но начало положено.

https://huggingface.co/bigcode/starcoder

Nvidia представила нейросеть NeuralVDB. С еë помощью графику можно прокачать до космической реалистичности.

Вшитая в модель для рендеринга система ИИ в реальном времени изучает, как свет отражается от разных материалов и сразу применяет полученную информацию на 3D-модели. Машина точно воспроизводит керамику, отпечатки пальцев, пятна и пыль.

При этом с нейросетью производительность увеличивается в 10 раз, детализация повышается в 16 (!) раз, а требуемый для всего этого объем памяти — в 100 раз меньше, чем нужно было прежде.