MMRole: Новый фреймворк для мультимодальных ролевых агентов ИИ

MMRole - система для разработки и оценки мультимодальных ролевых агентов (RPA - Role-Playing Agents не путать с Robotic Process Automation).

Фреймворк включает набор данных и метод оценки по 8 метрикам.

MMRole-Data содержит профили 85 персонажей, 11K изображений и 14К+ диалогов на их основе.

MMRole-Agent, создан дообучением QWen-VL-Chat.

GitHub: https://github.com/yanqidai/mmrole
Paper: https://arxiv.org/abs/2408.04203v1

#MMRole #RPA #multimodal
-------
@tsingular

MetaGPT: фреймворк мультиагентных систем

MetaGPT - новый фреймворк для создания ИИ-компаний по разработке ПО.
Ключевые особенности:
• Мультиагентная архитектура с ролями и действиями
• Программирование на естественном языке
• Поддержка различных языковых моделей - облачные и локальные, - OpenAI, ollama т.д.
• Data Interpreter для решения реальных задач
• Гибкая настройка агентов и их взаимодействий

Фреймворк позволяет легко создавать команды взаимодействующих агентов для решения сложных задач.

#MetaGPT #SoftwareDevelopment #MultiAgentSystems
-------
@tsingular

Роботы учатся самостоятельно по принципу «тренировка ведет к совершенству»

Инженеры MIT CSAIL и The AI Institute разработали алгоритм EES (Estimate, Extrapolate, and Situate), позволяющий роботам автономно улучшать свои навыки.
Механизм анализирует окружение, оценивает текущие способности и запускает тренировку если навыков недостаточно.
Тесты на роботе Spot от Boston Dynamics показали впечатляющие результаты: за 3 часа он научился размещать предметы на наклонной поверхности, а за 2 часа - убирать игрушки.
Традиционные методы потребовали бы более 10 часов для достижения аналогичных результатов.
Технология применима в различных сферах: на производстве, в сфере услуг, медицине и быту.
Следующий шаг - интеграция симуляторов для комбинирования виртуальных и реальных тренировок.

Ну вот, через годик эта "тренировка" будет занимать не часы, а секунды и получим сообразительных полноценных участников общества.

#robotics #machinelearning #automation
-------
@tsingular

Flux теперь в боте.

Добавил Flux генерацию картинок в бота @Cloud_GPT_bot.
теперь по 1 запросу вы получаете 3 варианта.
Dalle-3
Stability AI V3
Flux 1

Напоминаю, кстати, что есть еще сверхмощный Claude бот, который доступен тут @ant_claude_bot и умеет не только вести диалог, но и искать в интернете инфу на 30 страницах одновременно (уходит 2 минуты, вы вручную такое никогда не успеете - получается экономит время.) и делать выводы с помощью последней модели Sonnet 3.5:

@ant_claude_bot

и каждый подписчик этого канала получает дополнительный бонус на его использование.
так что делитесь с друзьями - пусть заходят в бота и подписываются на канал. :)

#image #bots
———
@tsingular

ИТ Пикник.

------
@tsingular

Procreate заявили, что никогда не будут использовать генеративный ИИ

Procreate заявляет о полном отказе от интеграции генеративного ИИ в свои продукты.
CEO компании, Джеймс Куда, резко раскритиковал данную технологию в видеообращении.
Его так же поддержали цифровые художники, обеспокоенные влиянием ИИ на творчество.

Clip Studio Paint отменила планы по внедрению ИИ после негативной реакции пользователей.

Adobe, напротив, активно интегрирует функции генеративного ИИ, что и вызывает критику части художников.

И треснул мир напополам. :)
Неолуддизм добирает сторонников.
Наверное, часть компаний поднимутся на лозунге "мы никогда не внедрим этот ваш ИИ".

#Procreate #неолуддизм
-------
@tsingular

HuggingFace представляет LeRobot: PyTorch-фреймворк для обучения роботов

Компания HuggingFace выпустила LeRobot - комплексный инструментарий для обучения роботов в реальном мире на базе PyTorch.
Проект нацелен на снижение входного барьера в робототехнику, предоставляя готовые модели, наборы данных и инструменты.
Фокус сделан на имитационном обучении и обучении с подкреплением.
LeRobot включает предобученные модели, демонстрационные датасеты и симуляционные среды.
Поддерживается работа с реальными роботами и интеграция с Hugging Face Hub для хранения моделей и данных.
Фреймворк предлагает инструменты визуализации, оценки и обучения моделей, а также интеграцию с Weights and Biases.

Очень крутой готовый фреймворк для DIY роботов. 🤖

#HuggingFace #LeRobot #robotics
-------
@tsingular

На GitHub появился каталог FLUX ресурсов

На GitHub появился курируемый список ресурсов, посвященных FLUX - инновационной модели генерации изображений.

Проект 'awesome-flux' собирает информацию о растущей экосистеме вокруг технологии, разработанной Black Forest Labs.

Flux все популярнее. Про Midjourney скоро можно будет забыть. Не зря подписку отменил год назад.

#FLUX #BlackForestLabs #TextToImage
-------
@tsingular

Unitree G1: доступный гуманоид готов к массовому производству

Китайская фирма Unitree Robotics анонсировала старт серийного выпуска человекоподобного автомата G1.
Стоимость устройства - $16,000, что делает его одним из наиболее бюджетных в своём классе.
Высота робота составляет 1,32 м, масса - 35 кг. Оснащён 3D-лидаром, камерой глубины, микрофонами и динамиками.
Аккумулятор обеспечивает 2 часа автономной работы.
Конструкция включает 23 степени свободы, максимальная скорость передвижения - 2 м/с.
G1 способен прыгать, вращаться, танцевать, взбираться по лестнице с препятствиями и бегать.

Интересно будет посмотреть на jailbreakи.

#Unitree #robotics #humanoid
-------
@tsingular

Microsoft: ИИ не заменит экспертов

Корпорация обновила сервисное соглашение, подчеркивая, что Copilot не должен использоваться вместо советов реальных специалистов.
Компания запрещает применение ИИ-сервисов для извлечения данных, реверс-инжиниринга или создания конкурирующих продуктов.
Новые правила вступают в силу 30 сентября 2024 года.

Соглашение регулирует широкий спектр вопросов: конфиденциальность, права на контент, лицензирование ПО и оплату услуг.

Похоже, юристы Microsoft решили подстраховаться. Интересно, как долго продержится этот запрет?

#Microsoft #Copilot #ServiceAgreement
-------
@tsingular

Китайские учёные создали AI-модель по образцу человеческого мозга

Исследователи из Поднебесной разработали нейросеть, приближающую по эффективности энергоёмкие на сегодняшний день ИИ-системы к мозгу человека.

Использована математическая модель Ходжкина — Хаксли, впервые описанная в 1952 году неврологами Аланом Ходжкиным и Эндрю Хаксли, для создания нейронной сети, которая эффективно воспроизводила возможности более крупной и простой модели в меньшей, внутренне сложной структуре.

Инновационный подход удвоил скорость обработки и сократил использование памяти в четыре раза при сохранении производительности.

Результаты подтверждают эффективность модели внутренней сложности для решения комплексных задач.

Похоже, если покопать старые учебники, можно снизить энтропию ИИ и перерасход электричества.
А то Майкрософт уже на датацентры тратит больше, чем некоторые государства.

#NeuralNetworks #China #EnergyEfficiency
-------
@tsingular

Quadratic: супертаблицы из будущего с ИИ и программированием

Quadratic - революционный (реально!) табличный редактор (multiplayer spreadsheet), объединяющий Excel, Python, SQL и ИИ.
Позволяет работать с данными в реальном времени, используя формулы, скрипты и запросы к БД.
Поддерживает Pandas DataFrame, построение графиков через Plotly, интеграцию с API.
Расширенные формулы и бесконечное поле таблицы с плавным зумом.
Совместная работа, автодополнение кода на GPT 4.0 и высокая производительность на CPU/GPU.
Написано на WebGL и держит 60 кадров в секунду :). (Кто бы думал, что будут мерять FPS в табличных редакторах!)

Открытый исходный код позволит размещать всю эту красоту локально!

Есть бесплатный доступ с базовым набором функций и корпоративная подписка в среднем $15 на пользователя в месяц.
Выглядит настолько невероятно, что Excel и Google Sheets можно выкидывать :).

github: https://github.com/quadratichq/quadratic/
примеры: https://www.quadratichq.com/examples

#Quadratic #DataAnalysis #таблицы
-------
@tsingular

NVIDIA ACE: взаимодействие с ИИ в играх

NVIDIA представила ACE технологию для создания цифровых персонажей с помощью генеративного ИИ.
На Gamescom 2024 анонсирована первая игра Mecha BREAK, использующая ACE в которой игроки смогут общаться с персонажами на естественном языке.
Для улучшения диалогов с персонажами выпущена малая языковая модель Nemotron-4 4B Instruct.

Mecha BREAK интегрирует Nemotron-4, Audio2Face-3D NIM и Whisper для анимации лица и распознавания речи.

Игры, - двигатель прогресса :)

#NVIDIA #ACE #MechaBREAK
-------
@tsingular

СПОЙЛЕРЫ: Цифровая некромантия в новом «Чужом»

В новом фильме «Чужой: Ромул» использовались CGI и ИИ для «воскрешения» Иэна Холма, сыгравшего андроида Эша в оригинале 1979 года.

Технология применялась для создания нового персонажа Рука, с ипользованием аниматроники, CGI и обработанного ИИ голоса актера Дэниела Беттса.

Решение вызвало споры об этичности использования образа умершего актера и нарушении хронологии вселенной.

Режиссер Феде Альварес утверждает, что получил одобрение семьи Холма.
Критики называют прием «цифровой некромантией», считая его неуместным.

Похоже, скоро актерам придется продавать права на свой посмертный образ.
А зрителям - гадать, кто на экране живой, а кто цифровой. 🎭🤖

#AlienRomulus #CGI #IanHolm
-------
@tsingular

Новая лаборатория по безопасности LLM в ИТМО

Raft, ИТМО и Napoleon IT учредили LLM Security Lab для изучения безопасности и этики генеративного ИИ.
Проект нацелен на поддержку научных изысканий, обучение экспертов и совершенствование технологий в области LLM.
Ключевые направления: мониторинг контента, анализ токсичности, имитация кибератак, защита персональных данных.
Разрабатываются образовательные программы для подготовки исследователей и разработчиков ИИ-продуктов.
Курс "Безопасность LLM" охватывает вопросы уязвимостей моделей и методов защиты.
Студенты уже тестируют выравнивание моделей и LLM-чат-бот для ритейла.
Лаборатория займется прикладными задачами, аудитом LLM-приложений и разработкой защитных решений.

По прогнозам аналитиков Gartner, к 2025 г. 80% всех процессов разработки продуктов будут использовать генеративный искусственный интеллект. В этой связи обеспечение безопасности LLM-приложений становится критически важной задачей.

По материалам: @pwnai

#LLMSecurity #ITMO #Raft
-------
@tsingular

🧬 AI-стартап EliseAI привлек 75 миллионов долларов инвестиций

EliseAI делает чат-ботов для компаний, управляющих жилой недвижимостью. Боты отвечают на вопросы жильцов и потенциальных клиентов текстом и голосом и рассылают им уведомления о важных событиях. EliseAI используют в каждом 12-м многоквартирном доме в США.

В недавнем раунде EliseAI привлек 75 миллионов долларов при оценке в 1 миллиард.

🧩 #AINews