Ресерчеры забавы ради сделали в Дискорде чат, где LLM свободно общаются друг с другом

В итоге: у Llama постоянно случаются нервные срывы и приступы шизофрении, успокоить ее может только Claude Opus, а другие модели просто покуривают в сторонке 🤷‍♂️

Напоминает те самые диалоги первых языковых моделей ELIZA и PERRY

😮 Сколько-сколько, простите??? MagicLabs выпустила LLM с контекстом в 100M токенов

Это примерно 10 миллионов строк кода или 750 романов. Для сравнения, до этого рекордсменом по длине контекста был Gemini с 1M токенов, и даже это число произвело когда-то на презентации Google фурор.

Иронично, но модель называется LTM-2-Mini. LTM – это сокращение от Long-Term Memory. Эта архитектура не использует attention, и за счет этого контекстное окно в 100М ей обходится примерно в 1000 раз дешевле, чем, например, той же Llama 3.1 405B. А с памятью еще круче: если Llama потребовала бы 638 H100s на юзера только чтобы хранить KV кэш, то LTM требуется всего часть HBM одной видеокарты.

Бенчмарков пока нет, но в Magic уже заключили партнерство на кластер с Google Cloud и говорят, что прямо сейчас обучают бОльшую версию LTM-2 на суперкомпьютере 🤔

У CEO Anthropic Дарио Амадея вышло новое интересное интервью. Краткое содержание:

➡️ По мнению Дарио, в будущем большие и мощные ИИ-модели будут порождать и координировать более мелкие для помощи в выполнении задач. Этот процесс будет похож на создание роевого интеллекта, и необходимость человеческого участия в нем будет близка к нулю.

➡️ Если масштабирование не выйдет на плато и мы не наткнемся на ранее не учтенные трудности, то, учитывая реалии, модель стоимостью 100 миллиардов долларов должна иметь интеллект уровня лауреата Нобелевской премии.

➡️ Ну и классика: ИИ может увеличить скорость научных открытий в 100 раз. Тем самым мы можем пройти путь, соразмерный прогрессу 20-го и 21-го века вместе взятых, всего за несколько лет.

Полностью интервью можно посмотреть здесь

С Днем Знаний! 🥸

В этом учебном и рабочем году мы желаем вам…