Он позволяет пользователям легко подключать и тестировать модели искусственного интеллекта от Anthropic в интерактивной среде Gradio, которая предназначена для создания пользовательских интерфейсов.
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11👍4🔥3
🤗 Hugging Face Llama Recipes
Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2.
▪️Github
@data_analysis_ml
Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2.
▪️Github
@data_analysis_ml
🔥12❤6👍3🥰2
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥7❤4🤣2
This media is not supported in your browser
VIEW IN TELEGRAM
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥5❤4
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍3🔥3
Hugging Face выложила на Github руководство по оценке LLM.
В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.
Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.
Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.
Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤4🔥2
AutoGPT, BabyAGI, GPT Engineer
и других!▪ 150+ ИИ-агентов и фреймворков.
▪ Фильтр по сценариям использования.
▪ Фильтр по открытому/закрытому исходному коду.
▪ Фильтр новых продуктов ИИ
▪ Возможность получать обновления о конкретном агенте ИИ.
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍6❤5
🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5.
🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face
https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8
@data_analysis_ml
🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face
https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8
@data_analysis_ml
👍15❤7🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Большое обновление для локальных LLM!
⚡️ Ollama получила поддержку запуска моделей GGUF с Huggingface.
Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.
На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.
▶️ Быстрый запуск:
ollama run hf.co/{username}/{repository}
▶️ Запуск с выбором типа квантования:
ollama run hf.co/{username}/{repository}:{quantization}
По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.
Он создается на основе встроенных метаданных tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template.
Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Например:
📌 Список всех доступных параметров доступен в документации репозитория Ollama.
⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как hf.co, так и huggingface.co.
🟡 Документация
🖥 GitHub
Документация: https://huggingface.co/docs/hub/ollama
@data_analysis_ml
Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.
На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.
ollama run hf.co/{username}/{repository}
ollama run hf.co/{username}/{repository}:{quantization}
По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.
Он создается на основе встроенных метаданных tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template.
Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Например:
{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>
⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как hf.co, так и huggingface.co.
Документация: https://huggingface.co/docs/hub/ollama
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥6❤5🥴1
Forwarded from Machinelearning
Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.
Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.
Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.
Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.
Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.
Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.
⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.
⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM
@ai_machinelearning_big_data
#AI #ML #LLM #Ministraux #MistralAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤5🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Компания Open Sora Plan выпустила версию 1.3 своей модели генерации видео.
https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md
@data_analysis_ml
https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md
@data_analysis_ml
👍12🔥4❤3😁2
Цель оптимизатора — уменьшить размер моделей и повысить скорость их выполнения на GPU
▪️Github
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤8🔥4
Вышел PyTorch 2.5 🔥
Выпуск #PyTorch 2.5, в котором представлена новая серверная часть
Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/
@data_analysis_ml
Выпуск #PyTorch 2.5, в котором представлена новая серверная часть
cuDNN для SDPA
, компиляция torch.compile и ускорения производительности серверной части TorchInductor CPP
Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/
@data_analysis_ml
1👍15🔥7❤6
🔥 Deep seek только что выпустили Janus, модель "Any-to Any" (мультимодальный ввод и вывод!)
🚀 Janus: революционная платформу авторегрессии для мультимодального ИИ!
Она превосходит предыдущие модели как в понимании, так и в генерации.
🤗 Hf: https://huggingface.co/deepseek-ai/Janus-1.3B
📄 Paper: https://arxiv.org/abs/2410.13848
💻 Project page: https://github.com/deepseek-ai/Janus
@data_analysis_ml
🚀 Janus: революционная платформу авторегрессии для мультимодального ИИ!
Она превосходит предыдущие модели как в понимании, так и в генерации.
🤗 Hf: https://huggingface.co/deepseek-ai/Janus-1.3B
📄 Paper: https://arxiv.org/abs/2410.13848
💻 Project page: https://github.com/deepseek-ai/Janus
@data_analysis_ml
👍9🔥7❤6