Artificial Analysis собрали топ 100 LLM в одной таблице, чтобы можно было удобно выбрать свою ту самую💍 под свои задачи.
Выбираем по параметрам:
- Бенчмарки: Chatbot Arena, MMLU, HumanEval, Index of evals, MT-Bench.
- Стоимость: вход, выход, средняя
- Скорость в токенах/сек: median, P5, P25, P75, P95 (кто понял, тот понял).
- Задержка: median, P5, P25, P75, P95.
- Размер контекстного окна.
- Совместимость с библиотекой OpenAI.
Топ-1 из каждой категории:
- Бенчмарки: Claude 3 Opus, GPT-4 Turbo
- Стоимость: $0.06/1M токенов Llama 3 (8B) через API groq
- Скорость: 912.9 токенов/сек Llama 3 (8B) через API groq
- Задержка: 0.13s Mistral 7B через API baseten
- Размер контекстного окна: 1m Gemini 1.5 Pro
Сделали красиво.
Табличка на HF
Есть еще всякие графики
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
Заностальгировал на секунду. 🎮 Шок от осознания того, как сильно поменялись технологии за 25-30 лет.
Теперь уже даже кажется, что магнитные кассеты — это инопланетная технология забытой цивилизации (эх, жаль ллмки на них не покрутишь).
Кидайте свои олдскульные девайсы в комментарии.
@ai_newz
Теперь уже даже кажется, что магнитные кассеты — это инопланетная технология забытой цивилизации (эх, жаль ллмки на них не покрутишь).
Кидайте свои олдскульные девайсы в комментарии.
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Deepseek V2: топ за свои деньги
Что-то в опенсорс в последнее время попадает прям поток MoE моделей, вот и DeepSeek V2 из них. 236B параметров, из которых 21B - активных. По качеству - между Mixtral 8x22B и LLaMa 3 70B, но при этом в 2-4 раза дешевле этих моделей у самых дешёвых провайдеров, всего лишь 14 центов за млн токенов инпута и 28 за млн токенов на выход. Лицензия модели MIT, так что до конца недели будет штук пять разных провайдеров дешевле этого.
Главная особенность - Multi-Head Latent Attention (MLA). От обычного Multi-Head Attention (MHA) он отличается механизмом сжатия KV Cache, где он хранится как низкоранговая матрица, откуда и куда проецируется когда его нужно использовать или обновить. Из экспериментов, по качеству это работает лучше MHA, при этом используя в 4 раза меньше памяти чем обычные Grouped Query Attention конфиги. Из нюансов - авторам пришлось изобрести новый вариант RoPE чтобы это всё заработало, так как обычный RoPE такого количества линейных проекций туда и назад переживать решительно отказывается. Если честно, я не совсем понимаю почему это работает и почему нету абляций для dense моделей, но интересно как это будет сочетаться с квантизацией KV кэша.
Размер контекста - 128k. Тренировали это всё на 8 триллионах токенов в течении 1.5 миллиона часов на H800 (китайская версия H100). Это уровень компьюта тренировки LLaMa 3 8B и примерно в 3 раза больше чем у Snowflake Arctic.
У модели 162 эксперта, из которых 2 перманентно активные, а из остальных 160-ти на каждый токен выбирается 6. Хочу отметить что эксперты там крайне маленькие – у каждого размерность всего 1536.
Соотношение цены и качества прекрасное, если все подтвердится на ChatBot Arena.
Из минусов — размер. В BF16 для локального инференса нужно 8x A100 с 80GB VRAM. Вся надежда на квантизацию.
Демка
Пейпер
Базовая модель
Чат версия
@ai_newz
Что-то в опенсорс в последнее время попадает прям поток MoE моделей, вот и DeepSeek V2 из них. 236B параметров, из которых 21B - активных. По качеству - между Mixtral 8x22B и LLaMa 3 70B, но при этом в 2-4 раза дешевле этих моделей у самых дешёвых провайдеров, всего лишь 14 центов за млн токенов инпута и 28 за млн токенов на выход. Лицензия модели MIT, так что до конца недели будет штук пять разных провайдеров дешевле этого.
Главная особенность - Multi-Head Latent Attention (MLA). От обычного Multi-Head Attention (MHA) он отличается механизмом сжатия KV Cache, где он хранится как низкоранговая матрица, откуда и куда проецируется когда его нужно использовать или обновить. Из экспериментов, по качеству это работает лучше MHA, при этом используя в 4 раза меньше памяти чем обычные Grouped Query Attention конфиги. Из нюансов - авторам пришлось изобрести новый вариант RoPE чтобы это всё заработало, так как обычный RoPE такого количества линейных проекций туда и назад переживать решительно отказывается. Если честно, я не совсем понимаю почему это работает и почему нету абляций для dense моделей, но интересно как это будет сочетаться с квантизацией KV кэша.
Размер контекста - 128k. Тренировали это всё на 8 триллионах токенов в течении 1.5 миллиона часов на H800 (китайская версия H100). Это уровень компьюта тренировки LLaMa 3 8B и примерно в 3 раза больше чем у Snowflake Arctic.
У модели 162 эксперта, из которых 2 перманентно активные, а из остальных 160-ти на каждый токен выбирается 6. Хочу отметить что эксперты там крайне маленькие – у каждого размерность всего 1536.
Соотношение цены и качества прекрасное, если все подтвердится на ChatBot Arena.
Из минусов — размер. В BF16 для локального инференса нужно 8x A100 с 80GB VRAM. Вся надежда на квантизацию.
Демка
Пейпер
Базовая модель
Чат версия
@ai_newz
Первая собственная большая модель Microsoft, MAI-1, судя по репорту от The Information, уже тренируется. Хотят достигнуть уровня GPT-4 с 500B MoE моделькой.
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.😼
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Это, конечно, не модель на 1.8 трлн параметров, как у сильных мира сего, но тоже сойдёт.
В целом понятное желание перестать зависеть от OpenAI, особенно учитывая постоянный цирк с конями, который OpenAI устраивают: вот например, пока майки продают доступ к GPT на Azure, OpenAI напрямую работают с их конкурентами – Salesforces, в то время как бесплатно хостятся на Microsoft Azure.
Взлетит план или нет, мы узнаем скоро: тренировка закончится в этом месяце.
И это спустя всего месяц после того как Microsoft высосал кровь у стартапа Inflection AI и поставил его CEO, Мустафу Сулеймана, рулить Microsoft AI. С тех пор Мустафа, похоже, так хаслил, что даже перестал продвигать свою книжку. Зато начал косплеить Джобса.
В принципе шансы догнать гэпэтэ у них есть. У Microsoft на порядок больше ресурсов чем у Inflection, плюс в тренировке кроме датасетов Inflection используются синтетические датасеты Microsoft, вроде того что использовали для Phi-3.
Делайте ваши ставки, господа
@ai_newz
Please open Telegram to view this post
VIEW IN TELEGRAM
Прикольный юзкейс видеомоделек. Оказывается, сгенерированные видео можно использовать для определения физических свойств объекта.
Ситуация такая:
У нас есть Gaussian Splatting какого-то нетвердого предмета. Мы хотим его потрогать (в VR, например), а для реализма добавить его, скажем так, колыхание. Значит, нужно как-то определить физические свойства этого предмета и включить его в физический движок.
Но вот незадача. Неизвестно сплаты чего у нас есть, и как они вели бы себя, будь они физическим объектом т.е. нужна его упругость, масса и пр. В случае классической 3D модельки, физические свойства предмета указываются вручную, а мы хотим все автоматизировать.
А парни из PhysDreamer нашли способ определить физические свойства и реалистично анимировать такие облака гауссиан.
Внимание... они анимируют по сути скриншот этого нечто (в данном случае цветка) с какого-то из ракурсов в SD Video, а затем, используя данные о том, как двигался этот цветочек в сгенерированном референс видео, определяют упругость материала в каждой его части (стебель, бутон, горшок) в виде градиента упругости (в статье это называют "material field"), см. картинки. Таким образом определяется на сколько должна колыхаться каждая гаусианка. Это позволяет ну очень реалистично анимировать случайное колебание целого объекта под внешним воздействием.
Гауссовские сплаты легко натеренить. Но минус их в том, что как работать с ними не понятно (с нерфами, например, тоже нелегко работать, а тут вообще облака полупрозрачных точек). И вот потихоньку учимся. Мб скоро и 3D-моделирование канет в лету, как и рисование, потому что все можно сгенерить. 🙂
Еще раз. Качающийся цветок на видео — это анимация, а не реальная видеозапись.
Пейпер
Гитхаб
@ai_newz
Ситуация такая:
У нас есть Gaussian Splatting какого-то нетвердого предмета. Мы хотим его потрогать (в VR, например), а для реализма добавить его, скажем так, колыхание. Значит, нужно как-то определить физические свойства этого предмета и включить его в физический движок.
Но вот незадача. Неизвестно сплаты чего у нас есть, и как они вели бы себя, будь они физическим объектом т.е. нужна его упругость, масса и пр. В случае классической 3D модельки, физические свойства предмета указываются вручную, а мы хотим все автоматизировать.
А парни из PhysDreamer нашли способ определить физические свойства и реалистично анимировать такие облака гауссиан.
Внимание... они анимируют по сути скриншот этого нечто (в данном случае цветка) с какого-то из ракурсов в SD Video, а затем, используя данные о том, как двигался этот цветочек в сгенерированном референс видео, определяют упругость материала в каждой его части (стебель, бутон, горшок) в виде градиента упругости (в статье это называют "material field"), см. картинки. Таким образом определяется на сколько должна колыхаться каждая гаусианка. Это позволяет ну очень реалистично анимировать случайное колебание целого объекта под внешним воздействием.
Гауссовские сплаты легко натеренить. Но минус их в том, что как работать с ними не понятно (с нерфами, например, тоже нелегко работать, а тут вообще облака полупрозрачных точек). И вот потихоньку учимся. Мб скоро и 3D-моделирование канет в лету, как и рисование, потому что все можно сгенерить. 🙂
Еще раз. Качающийся цветок на видео — это анимация, а не реальная видеозапись.
Пейпер
Гитхаб
@ai_newz
This media is not supported in your browser
VIEW IN TELEGRAM
ElevenLabs тизерит конкурента Suno
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
Пока есть только пара демо-треков, по первым впечатлениям - выносят Suno по качеству. И не удивительно - ElevenLabs лучше всех умеют в клонирование голоса, что, надеюсь, они прикрутят и сюда.
Главная проблема тут, как и со всей ИИ музыкой — копирайт. Если не понятно на чём модель тренировали, то при использовании в чём-либо серьёзном есть нехилые шансы нарваться на многомилионный иск, музыкальная индустрия их любит. Решается это лишь полным лицензированием трейнинг сета, что сделали пока что лишь для Stable Audio (которая не умеет генерить вокал).
Как вы думаете, когда увидим первые судебные иски?
@ai_newz
Сначала не обратил внимания на эту программулину. Но теперь очевидно, насколько это мощный инструмент.
IC Light выкатили обновление, которое позволяет матчить освещение двух картинок.
i.e. поместить предмет на фон и сделать так, чтобы свет на этот предмет падал в соответствии с освещением фоновой картинки.
Можно долго рассказывать про то, как на протяжении веков фотошоперы мучились и страдали от того, что не могли скомпозить две картинки из-за не совпадающего освещения. Но теперь вот вопрос решился ;)
Демо на обнимающем лице (пока без фоновой картинки)
GitHub
IC Light пока нет в a1111, но есть в ComfyUI
@ai_newz
IC Light выкатили обновление, которое позволяет матчить освещение двух картинок.
i.e. поместить предмет на фон и сделать так, чтобы свет на этот предмет падал в соответствии с освещением фоновой картинки.
Можно долго рассказывать про то, как на протяжении веков фотошоперы мучились и страдали от того, что не могли скомпозить две картинки из-за не совпадающего освещения. Но теперь вот вопрос решился ;)
Демо на обнимающем лице (пока без фоновой картинки)
GitHub
IC Light пока нет в a1111, но есть в ComfyUI
@ai_newz
А вот мои приколюхи с помощью IC Light. Не стал париться с автоматиком, а в демке освещение изменятся только промптом. Оказывается, работает даже с пейзажами. Но мелкие детали все же коверкает.
На первой фотке - я катаюсь в Гудаури. На второй - вид на Сан-Франциско, который я сфоткал во время своей последней поездки.
@ai_newz
На первой фотке - я катаюсь в Гудаури. На второй - вид на Сан-Франциско, который я сфоткал во время своей последней поездки.
@ai_newz