https://github.com/booydar/t5-experiments/tree/scaling-report

Гитхаб код

https://github.com/logspace-ai/langflow

UI для выстраивания последовательностей обработки через разные модели.

Новая среда для запуска GPT моделей в браузере

Run GPT model on the browser with WebGPU. An implementation of GPT inference in less than ~2000 lines of vanilla Javascript.

https://github.com/0hq/WebGPT

Новый курс от Andrew Ng:

ChatGPT Prompt Engineering for Developers - DeepLearning.AI
https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

Skynet готов:
https://youtu.be/XEM5qz__HOU

https://www.palantir.com/platforms/aip/#defense

Автономеый агент:
https://babyagi.org/

Cebra.ai - научились снимать видеосигнал с зрительной коры

Нашел прикольную программу Wolverin на базе ChatGPT.

В чем суть: каждый раз, когда ваш код выдает ошибку, запускается скрипт поиска, где ChatGPT пытается угадать почему у вас руки кривые все пошло не так. Как только бот найдет косяк, он его исправляет, запускает код и так по новой, пока программа не отладит весь код.

Разумеется, ссылочка на GitHub.

Prometheus: The system in charge of managing the internal queries of, and censoring of Sydney

“LLMs often study data up to a certain point in time. That makes them useful for some use cases but prevents them from being an option for content based on real-time data. Microsoft overcame this limitation with Prometheus, which uses Bing data and GPT to generate answers quickly while still using up-to-date information.”

"Selecting the relevant internal queries and leveraging the respective Bing search results is a critical component of Prometheus, since it provides relevant and fresh information to the model, enabling it to answer recent questions and reducing inaccuracies”

Article

Вице-президент Харрис встретилась с руководителями компаний, разрабатывающих ИИ: Alphabet, Anthropic, Microsoft и OpenAI и обсудила необходимость сотрудничества с правительством.

Администрация планирует инвестировать 140 млн долларов в создание семи исследовательских институтов ИИ.

Управление управления и бюджета Белого дома скоро выпустит руководство по использованию ИИ федеральными агентствами.

Ведущие разработчики ИИ примут обязательства о публичной оценке своих систем на конференции кибербезопасности DEF CON в августе в LasVegas

https://www.whitehouse.gov/briefing-room/statements-releases/2023/05/04/readout-of-white-house-meeting-with-ceos-on-advancing-responsible-artificial-intelligence-innovation/

Аналитика от Gartner по chatGPT:

https://www.gartner.com/en/articles/your-7-biggest-chatgpt-questions-answered

Невероятно интересный документ, allegedly утекший из внутренней переписки Гугла. Анализ сводится к тому, что ни Гугл, ни OpenAI не имеют долгосрочных конкурентных защитных позиций (aka “moat”, ров) перед open source моделями. Это хороший сигнал для веб3 + AI и коммодитизации моделей, но довольно тревожный с т.з. AI alignment.

В документе приводится несколько примеров, показывающих что модель настроенная за вечер на средней мощности ноутбуке (например, бесплатная LLaMa с 13В параметров) или планшете принципиально не отличается по функционалу от тех что стоят десятки миллионов долларов и имеют по пол-триллиона параметров.

Цитата: «The barrier to entry for training and experimentation has dropped from the total output of a major research organization to one person, an evening, and a beefy laptop»

Я писал несколько лет назад про теорию канализационной крысы — это когда, организм имеющий доступ ко всем возможным патогенам куда более устойчив, чем тот что живет в стерильных условиях. Это верно про безопасность Биткоина, но так же верно и про AI инструменты.

Открытое сообщества исследователей, билдеров, предпринимателей с макбуками и желанием строить крутые продукты неизбежно побеждают корпорации там, где экономия масштаба не имеет преимуществ. Для GPT-3 важным шагом было залить сетку трансформеров баблом (GPU + RLHF), но сегодня инновации движутся в более тонком и потому доступном многим направлении. Автор особенно фокусируется на технологии LoRA, которая позволяет файнтьюнить и адаптировать существующие модели без необходимости тратить деньги на тысячи GPU-часов.

Итого, очень рекомендую: текст крайне точно передает стремительность развития ИИ от лица человека находящегося глубоко в индустрии.

Чат-боты на основе нейросетей способны ответить практически на любой вопрос. Далеко не всегда их ответы точны, но иногда они выдают что-то заведомо ложное и даже фантасмагорическое — это называют галлюцинациями нейросетей.
Более подробно феномен галлюцинаций нейросетей разобран в новом материале журнала ТЕХНО: https://techno.yandex.ru/hallucinations

Новость дня от Майкрософт.

Microsoft сегодня делает своего чат-бота Bing GPT-4 доступным для всех, больше не нужно вставать в лист ожидания. Все, что вам нужно сделать, это войти в новый Bing или Edge с помощью своей учетной записи Microsoft, и теперь вы получите доступ к версии open preview, работающей на GPT-4.

Microsoft также массово обновляет Bing Chat, добавляя множество новых функций и даже поддержку плагинов.

Чат-бот первоначально был запущен в приватном предварительном просмотре в феврале, и с тех пор Microsoft постепенно открывает его.

Новые функции Bing:

— Плагины (!)
— Сохранение истории чатов в виде файлов
— Видео-ответы от бота
— Выдача фото и видео из поиска прямо в чате (уже доступно)
— Бронирование ресторанов через Bing AI

Интересно, что анонс вышел за 6 дней до ивента от Google.