Анализ данных (Data analysis)
46.3K subscribers
2.3K photos
264 videos
1 file
2.04K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🖥 anthropic-gradio — интерфейс для взаимодействия с моделями Anthropic через платформу Gradio.

Он позволяет пользователям легко подключать и тестировать модели искусственного интеллекта от Anthropic в интерактивной среде Gradio, которая предназначена для создания пользовательских интерфейсов.

🌟 Инструмент помогает разработчикам быстрее интегрировать AI-модели в свои приложения, упрощая взаимодействие с этими моделями через простые интерфейсы.

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍4🔥3
🤗 Hugging Face Llama Recipes

Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2.

▪️Github

@data_analysis_ml
🔥126👍3🥰2
📖 AI-Scientist — это проект, направленный на создание системы для автоматизации научных открытий и исследований. Использует модели обработки естественного языка, обучение с подкреплением и графовые нейронные сети для чтения научной литературы, генерации гипотез, проектирования экспериментов и анализа результатов.

🌟 Цель — помочь исследователям находить новые направления и автоматизировать рутинные задачи, делая научный процесс более эффективным.

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥74🤣2
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 ChatHub — получайте ответ от ChatGPT, Claude, Gemini и других моделей разом!

💡 С ChatHub вы можете легко задать один и тот же вопрос нескольким чат-ботам на основе искусственного интеллекта и сравнить их ответы бок о бок! Также в этом сервисе можно генерировать картинки и проводить поиск ресурсов в интернете!

🔗 Ссылка: *клик*

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥54
🔥 awesome-llm-powered-agent — полезный репозиторий, который содержит подборку различных проектов, библиотек и ресурсов, которые связаны с агентами, работающими на основе больших языковых моделей (LLM, large language models)

🌟 Здесь собраны инструменты и проекты, которые помогают разрабатывать или использовать интеллектуальных агентов для автоматизации задач и взаимодействия с окружающей средой через языковые модели

🔐 Лицензия: MIT

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍3🔥3
🔥 Руководство по оценке больших языковых моделей (LLM), созданное командой Hugging Face. Оно включает как практические советы, так и теоретические знания, собранные при управлении Open LLM Leaderboard и разработке инструмента lighteval

Hugging Face выложила на Github руководство по оценке LLM.

В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.

Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.

Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.

Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.

▶️Оглавление:

🟢Автоматические бенчмарки
🟢Оценка человеком
🟢LLM-судья
🟢Устранение неполадок
🟢Базовые знания

📌 Планы на будущие гайды:

🟠Описание автоматических метрик;
🟠Какие основные моменты вы всегда должны учитывать при построении задачи;
🟠Зачем нужна оценка LLM;
🟠Почему сравнивать модели между собой - это сложно.

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124🔥2
🖥 awesome-ai-agents — полезный репозиторий, который содержит список различных автономных ИИ-агентов, таких как AutoGPT, BabyAGI, GPT Engineer и других!

🌟 Здесь представлены библиотеки и инструменты для работы с искусственным интеллектом, включая автономные агенты и разработки на основе GPT. Репозиторий служит полезным ресурсом для тех, кто хочет исследовать или создавать ИИ-агентов для различных задач!

150+ ИИ-агентов и фреймворков.
Фильтр по сценариям использования.
Фильтр по открытому/закрытому исходному коду.
Фильтр новых продуктов ИИ
Возможность получать обновления о конкретном агенте ИИ.

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍65
🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5.

🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face

https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8

@data_analysis_ml
👍157🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
🤗 Большое обновление для локальных LLM!

⚡️ Ollama получила поддержку запуска моделей GGUF с Huggingface.

Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.

На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.

▶️Быстрый запуск:

ollama run hf.co/{username}/{repository}
▶️Запуск с выбором типа квантования:

ollama run hf.co/{username}/{repository}:{quantization}
По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.

Он создается на основе встроенных метаданных tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template.

Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Например:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>


📌 Список всех доступных параметров доступен в документации репозитория Ollama.

⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как hf.co, так и huggingface.co.


🟡Документация
🖥GitHub


Документация: https://huggingface.co/docs/hub/ollama

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥65🥴1
Forwarded from Machinelearning
⚡️ Mistral AI представила новые модели 3B и 8B.

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.

Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.

Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.

Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.

▶️ Ministral 3B доступна для некоммерческого использования по запросу через форму.

▶️ Ministral 8B-Instruct опубликована в отрытом доступе:

🟢Architecture: Transformer
🟢Parameters: 8B
🟢Layers: 36
🟢Heads: 32
🟢Dim: 4096
🟢Hidden Dim: 12288
🟢Vocab Size: 131K
🟢Context Length: 128K
🟢Tokenizer: V3-Tekken
🟢Language: multilingual

Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.

⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.

⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM


📌Лицензирование : MRL-0.1


🟡Страница проекта
🟡Модель
🟡Demo Ministral 8B-Instruct


@ai_machinelearning_big_data

#AI #ML #LLM #Ministraux #MistralAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍135🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Компания Open Sora Plan выпустила версию 1.3 своей модели генерации видео.

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md

@data_analysis_ml
👍12🔥43😁2
🖥 TensorRT Model Optimizer — это библиотека от NVIDIA для оптимизации глубоких нейросетей с помощью современных методов, таких как квантование, прунинг и дистилляция.

Цель оптимизатора — уменьшить размер моделей и повысить скорость их выполнения на GPU

🌟 Библиотека поддерживает TensorRT и TensorRT-LLM для ускорения работы с большими языковыми моделями и генеративными ИИ. Библиотека предоставялет Python API для упрощенной интеграции и развертывания моделей.

▪️Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍138🔥4
Вышел PyTorch 2.5 🔥

Выпуск #PyTorch 2.5, в котором представлена новая серверная часть cuDNN для SDPA, компиляция torch.compile и ускорения производительности серверной части TorchInductor CPP

Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/

@data_analysis_ml
1👍15🔥76
🔥 Deep seek только что выпустили Janus, модель "Any-to Any" (мультимодальный ввод и вывод!)

🚀 Janus: революционная платформу авторегрессии для мультимодального ИИ!

Она превосходит предыдущие модели как в понимании, так и в генерации.

🤗 Hf: https://huggingface.co/deepseek-ai/Janus-1.3B
📄 Paper: https://arxiv.org/abs/2410.13848
💻 Project page: https://github.com/deepseek-ai/Janus

@data_analysis_ml
👍9🔥76