Новая музыкальная LLM Udio теперь доступна всем✨

В месяц бесплатно можно нагенерить 1200 аудиофайлов 🔊 (но длительность не более 30 сек)

В новом исследовании от Google представлен эффективный метод масштабирования трансформеров для обработки бесконечно длинных входных данных с ограниченным объемом памяти и вычислительными ресурсами. Ключевым элементом метода является новая техника внимания, названная Infini-attention, которая интегрирует сжимающую память в стандартный механизм внимания. Это позволяет небольшим моделям работать с очень длинными текстами, например, с длиной в 1 миллион символов (не токенов). Модели на 1 и 8 миллиардов параметров показали превосходство над базовыми моделями на задачах с длинным контекстом.

Ждём апдейт Gemini до бесконечных окон контекста ✨хотя мне 1 млн уже более чем достаточно🌚

Таки моделька GPT-4 Turbo обновилась сегодня до новой версии и опять заняла первое место на чат-бот арене✨

Новая версия обучена на данных до декабря 2023 года и обещает улучшения в точности, сокращение излишеств в текстах и более естественный язык. Теперь ChatGPT может также использовать информацию из интернета для ответов на актуальные вопросы. (хотя вроде и так мог, но по конкретному запросу, а теперь видимо сам при желании сёрфить будет🌚)

Ну года 2-3 назад, чтобы такое сделать понадобилось бы намноого больше времени и денег, чем сейчас с платной подпиской на Midjourney и Runway и музыкой в Suno или Udio 😎🤟 и это ещё Sora в общий доступ не дали🌚

Интересное будущее ждёт не только сферу высоких технологий на Земле, тут команда исследователей из NASA предложила миссию, которая больше звучит как начало фантастического фильма💫

Миссия направлена на изучение неизведанных аспектов физических законов в нашей Солнечной системе✨ Ключевым элементом миссии является использование космических аппаратов, расположенных в форме тетраэдра. Используя тетраэдрическую формацию и интерферометры, космические аппараты смогут сравнивать и измерять расстояния и скорости между собой с очень высокой точностью. Это позволит им обнаружить небольшие отклонения от того, что предсказывает общая теория относительности, и, возможно, найти новую физику, которая может объяснить эти отклонения.

Кроме того, эта миссия сможет обнаруживать гравитационные волны - это небольшие колебания пространства и времени, которые возникают при движении массивных объектов, таких как черные дыры. Гравитационные волны еще не были обнаружены в микрогерцевом диапазоне, и эта миссия может стать первой, которая это сделает.

И наконец, эта миссия также может помочь исследовать возможное существование планеты 9 - гипотетической планеты, которая, как предполагается, находится в самой дальней части нашей Солнечной системы🌚

https://www.sciencealert.com/radical-nasa-study-says-this-spacecraft-formation-could-reveal-new-physics

Думаете в гонке LLM перерыв? не тут-то было✨

Компания Reka (основанная экспертами из DeepMind, Google Brain) анонсировала запуск LLM под названием Reka Core. Эта модель является мультиязычной и мультимодальной, что позволяет ей обрабатывать и анализировать текст, изображения, видео и аудио. Reka Core с контекстным окном 128к токенов сравнима по своим возможностям с GPT-4V, Claude-3 Opus и Gemini Ultra и превосходит их в задачах связанных с видео. Модель обучалась на массивных данных с использованием тысяч GPU и доступна для развертывания через API, на локальных серверах или непосредственно на устройствах. Важным аспектом сотрудничества Reka является партнерство с ведущими технологическими платформами и государственными организациями, такими как Snowflake, Oracle и AI Singapore.

Видео-преза модельки
Собственно playground Reka (контекстное окно 4к)

Конкуренция работает🌚

Вслед за Google компания Meta представила новый подход к предварительному обучению и использованию LLM, под названием Megalodon. Он позволяет эффективно работать с бесконечно длинными текстами. Раньше трансформеры сталкивались с проблемами при обработке длинных текстов, но Megalodon решает эту проблему. Подход использует несколько новых технических компонентов, чтобы улучшить свою производительность и стабильность. В сравнении с другой моделью, Llama2, Megalodon показал лучшие результаты при работе с большим количеством параметров и обучающих данных. Это значит, что Megalodon может обрабатывать длинные тексты быстрее и точнее, чем другие модели.

Code: https://github.com/XuezheMax/megalodon


Похоже, даже смелые предположения о темпе развития ИИ-технологий не успевают за реальностью, что нас ещё ждёт до конца года🌚

Boston Dynamics представили гуманоидного робота нового поколения ✨
Новый Atlas спроектирован для реального мира и обладает улучшенной маневренностью и силой. Компания планирует тестирование с Hyundai на производственных площадках.

Основные моменты:

Завершение эры гидравлического Atlas: Boston Dynamics прекращает разработку гидравлического робота Atlas и представляет новую, полностью электрическую версию.

Тестирование с Hyundai: Hyundai не только инвестирует в проект, но и будет использовать нового Atlas для тестирования в автомобилестроении.

Улучшения в новом Atlas: Электрический Atlas обладает большей силой и маневренностью, чем предыдущие модели, и разрабатываются новые типы захватов для различных производственных задач.

Интеграция с цифровой трансформацией: Программа Orbit для управления роботами и данными уже доступна для модели Spot и будет расширена для новых моделей.

Развитие программного обеспечения: Роботы оснащены новыми инструментами ИИ и машинного обучения для адаптации к сложным условиям реального мира.

Atlas будет использоваться для решения сложных задач в промышленности, превышающих возможности человека🌚

Не терпится дождаться больше видосиков, а потом Atlas в каждый завод!🤖

https://bostondynamics.com/blog/electric-new-era-for-atlas/

Если какая нибудь страна не воплотит это в реальность, то я не знаю зачем ещё нужны нейросети🌚

Made in mj6

Meta AI представляет Llama 3 - новое поколение своих открытых больших языковых моделей✨

Новые модели Llama 3 с параметрами 8B и 70B демонстрируют значительное повышение производительности по сравнению с предыдущими моделями, включая улучшенные способности к рассуждению и кодированию. В ближайшие месяцы компания планирует представить новые возможности, увеличенное окно контекста (пока 8к токенов), дополнительные размеры моделей (400B, которая будет мощнее GPT-4 с 2T параметров) и повышенную производительность. Также чат-бот Meta AI, разработанный на базе Meta Llama 3, теперь доступен бесплатно в Facebook, Instagram, WhatsApp и Messenger.

Пообщаться с Meta AI на базе Llama 3 можно тут

Кажется, все уже начинают привыкать к тому как часто стали появляться новые модельки, ждём очередную отраслевую планку от OpenAI🌚

Тут компания Groq (не Grok), которая разрабатывает свою технологию LPU, Language Processing Units вместо GPU для более эффективной работы с языковыми моделями, добавила на свой плейграунд новые модели LLaMA 3 иии... они выдают по 800 (8b) и 300 (70b) токенов в секунду (~600/200 слов в сек), для сравнения ChatGPT выдаёт 40 токенов/сек🌚

можете проверить сами как будет выглядеть общение с LLM в ближайшем будущем - буквально на лету🤯

AGI уже тут 🔥

🕶Умные очки Ray-Ban Meta теперь обладают мультимодальным ИИ, который позволяет обрабатывать несколько типов информации, таких как фото, аудио и текст. Эта функция стала доступна всем после нескольких месяцев бета-тестирования. Очки не только позволяют делать снимки и идентифицировать объекты, но и удобно использовать в качестве наушников. Несмотря на возможные ошибки ИИ при распознавании объектов, как например, с идентификацией моделей автомобилей, общий опыт использования оценивается положительно. Эти очки предлагают интересный опыт расширенной реальности, делая ежедневные задачи более удобными и интерактивными.

Понятно, что пока это первые версии, но думаю, тема умных очков очень перспективна, удобно когда при необходимости они могут и фото/видео сделать и объяснить и перевести и позвонить без необходимости постоянно тыкать в экран и отвлекаться на смартфон. А там ещё и распознавание эмоций собеседника и всякие риалтайм лайфхаки появятся, смотря как запромптить🌚

https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables

Ученые из Утрехтского университета в Нидерландах и Соганского университета в Южной Корее создали искусственный синапс, работающий на воде и соли. Это первое доказательство, что система, использующая те же средства, что и наш мозг, может обрабатывать сложную информацию. Исследование, опубликованное в журнале "Proceedings of the National Academy of Sciences", показывает, как ионы в растворе мигрируют под воздействием электрических импульсов, изменяя проводимость канала. Это открывает новые возможности для создания более энергоэффективных компьютеров, имитирующих функции человеческого мозга🧠

https://phys.org/news/2024-04-experimental-proof-brain-salt.html

https://www.youtube.com/watch?v=AePEcHIIk9s

роботы роботы роботы, нам нужно больше роботов!🤖 А если серьёзно, внезапно появившийся китайский стартап https://astribot.com/ представляет своего робота для дома, хоть и не бипедального, но способного, судя по презентации🤓

Чувак собрал робота из того, что нашлось под рукой, запихнул в него зафайнтюненную LLaMA 3 без цензуры, теперь у него дома дроид - матюгальник из коробки, будущее прекрасно ✨

Я конечно не фанат разводить слухи, но на реддите активно обсуждают новую модель GPT2 LLM, которую на днях добавили на чат-бот арену LMSYS. Пользователи заметили, что несмотря на обозначение GPT2, модель демонстрирует удивительные способности, решая сложные задачи, которые обычно не под силу предыдущим версиям GPT. Например, модель справилась с модифицированной загадкой о переправе через реку, где необходимо перевезти кота и мышей, соблюдая определённые условия. Жители реддита уже строят теории, что это может быть предварительная версия новой модели GPT от OpenAI🌚 В общем можете потыкать её сами и протестировать тут (выбрать сверху Arena или Direct Chat)

Интересно посмотреть рейтинги арены (обновлялись тока 26 апреля). В любом случае радует, что появляется всё больше способных LLM🤓

не ну игрушку атари брейкаут она мне сделала сразу, а гпт4 не смог

Пока ждём раскрытия тайны новой модели GPT2, можете посмотреть подробный разбор её логических возможностей (спойлер: да, она оч крутая🔥)

UPD модельку удалили с LMSYS тк тем кто её запостил предоставили достаточные данные по её сравнению с другими LLM. Чтож, ждём когда кто-то сделает анонс и раскроет карты🌚

https://www.youtube.com/watch?v=3BDboYfjWE8