—
pip install ivy
Ivy — ML-фреймворк, который позволяет:
— использовать ML-модели и/или функции в любом фреймворке, конвертируя любой код из одного фреймворка в другой с помощью
ivy.transpile()
— преобразовывать модели и библиотеки ML для их использования в другом фреймворке с помощью
ivy.source_to_source()
(эта функция пока в закрытой бета-версии) @data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥4👍2
⚡️ Microsoft только что был опубликовали Graph RAG!
Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs.
Эо методология использования структур памяти knowledge graph для улучшения работы LLM.
▪ Github
▪ Docs
▪ Blog
@data_analysis_ml
Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs.
Эо методология использования структур памяти knowledge graph для улучшения работы LLM.
▪ Github
▪ Docs
▪ Blog
@data_analysis_ml
🔥24👍5❤3
—
pip install "unstructured[all-docs]"
Unstructured предоставляет компоненты для предобработки изображений, текстовых документов; поддерживает многие форматы: PDF, HTML, Word docs и др.
Запустить библиотеку в контейнере:
docker run -dt --name unstructured downloads.unstructured.io/unstructured-io/unstructured:latest
docker exec -it unstructured bash
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17❤5🔥4😢1
—
pip install scikit-llm
Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI).
Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д. Для сложных сценариев можно объединить несколько задач в конвейер scikit-learn.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15❤6❤🔥4🔥2🥴1
👨🎓Курс МФК МГУ "Нейронные сети и их применение в научных исследованиях"
Лекции:
- Новая суперспособность науки
- Как учить машины
- Линейные модели
- Сверточные сети
- Рекуррентные сети
- Трансформеры (часть 1)
- Трансформеры (часть 2). GPT
- Генеративные модели
- Обучение с подкреплением
- Нейрорендеринг
- Графовые сети
- Заключительная лекция
👉 Плейлист на Youtube
@data_analysis_ml
Лекции:
- Новая суперспособность науки
- Как учить машины
- Линейные модели
- Сверточные сети
- Рекуррентные сети
- Трансформеры (часть 1)
- Трансформеры (часть 2). GPT
- Генеративные модели
- Обучение с подкреплением
- Нейрорендеринг
- Графовые сети
- Заключительная лекция
👉 Плейлист на Youtube
@data_analysis_ml
👍27❤9🔥7🥱2⚡1❤🔥1
—
pip install autogluon
AutoGluon помогает несколькими строками кода обучать и использовать ML-модели;
позволяет решать задачи, связанные с изображениями, текстом, временными рядами и табличными данными.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14🔥7👍2🤨2😐2
Kubeflow делает ML на Kubernetes простым, переносимым и масштабируемым.
Цель Kubeflow — облегчить оркестрацию рабочих нагрузок ML в Kubernetes и предоставить возможность развертывать лучшие в своем классе инструменты в любой облачной инфраструктуре.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥6❤3🥰2⚡1
—
docker run -p 8000:8000 ragapp/ragapp
RAGapp позволяет легко использовать Agentic RAG в любом продакшене.
Так же прост в настройке, как и пользовательские GPT OpenAI, но в отличии от них RAGapp может быть развернут в вашей собственной облачной инфраструктуре с помощью Docker.
RAGapp создан с использованием LlamaIndex.
После запуска контейнера, нужно перейти на
localhost:8000
и настроить RAGapp. Можно подключить любые модели, в том числе и локальные (с помощью Ollama)
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤4🔥2
🌟 «Баннерная крутилка» — сервис, позволяющий выбрать несколько релевантных документов из базы в миллиард объявлений за 200 миллисекунд
Сервис выдерживает 700 тысяч RPS и более.
Решения для построения систем ранжирования подробно описаны в статье «Как устроен рекомендательный сервис, который выдерживает 700 тысяч запросов в секунду».
🟡 Habr
@data_analysis_ml
Сервис выдерживает 700 тысяч RPS и более.
Решения для построения систем ранжирования подробно описаны в статье «Как устроен рекомендательный сервис, который выдерживает 700 тысяч запросов в секунду».
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍4🔥4🥰2
—
pip install pylance
Lance идеально подходит для создания поисковых систем и хранилищ данных, для масштабного обучения ML-моделей, для хранения таких данных как облака точек.
Поддерживает конвертацию из Parquet в 2 строки кода, при этом он быстрее Parquet в 100 раз.
Lance можно без проблем использовать с pandas, DuckDB, Polars, pyarrow и не только.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍5🔥5
npx create-llama@latest
npm run dev
Create-llama позволяет создать мультиагентное full-stack приложение букально в 1 строчку кода.
Достаточно просто ввести
npx create-llama
, выбрать шаблон мультиагента и следовать инструкциям в файле README
.@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤6🔥5