Анализ данных (Data analysis)
45.2K subscribers
2.11K photos
232 videos
1 file
1.9K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🖼 DreamCraft3D — метод для иерархической генерации 3D-объектов с помощью диффузионных моделей. Этот подход, разработанный для ICLR 2024, использует поэтапную генерацию форм, включая начальную грубую геометрию и уточнение деталей, что позволяет создавать высококачественные 3D-модели

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
📌Учебное пособие по диффузионным моделям для обработки изображений и СV.

Учебник Стэнли Чана, профессора кафедры электротехники, вычислительной техники и статистики Purdue University (США), содержит ультраполезные знания в области диффузионных моделей в контексте обработки изображений и CV. Он доступно и детально объясняет сложные концепции и подходит как опытным профессионалам, так и тем, кто только начинает изучать эту область.

Для профессионалов, уже работающих с диффузионными моделями или стремящихся углубить свои знания, этот учебник послужит отличным ресурсом, который предоставляет прочную основу для понимания и применения концепций в прикладных задачах.

▶️ Содержание:

Вариационный автоэнкодер (VAE)

🟢Структурные элементы VAE
🟢Нижняя граница доказательства (ELBO
🟢Оптимизация в VAE
🟢Заключение и ограничения

Вероятностная модель диффузионного денойза (DDPM)

🟠Базовые элементы DDPM
🟠Нижняя граница доказательства (ELBO)
🟠Распределение обратного процесса
🟠Обучение и инференс
🟠Предсказание шума
🟠Неявная модель диффузионного денойза (DDIM)
🟠Заключение и преимущества DDPM и DDIM

Динамика сопоставления баллов Ланжевена (SMLD)

🟢Выборка из распределения
🟢Функция оценки Штейна
🟢Методы сопоставления баллов
🟢Итоги по SMLD

Стохастическое дифференциальное уравнение (SDE)

🟠От итерационных алгоритмов к обыкновенным дифференциальным уравнениям
🟠Что такое SDE?
🟠SDE для DDPM и SMLD
🟠Численные решатели для ODE и SDE
🟠Заключение и взаимосвязь между DDPM, SMLD и SDE

Уравнения Ланжевена и Фоккера-Планка

🟢Броуновское движение
🟢Мастер-уравнение
🟢Разложение Крамерса-Мойала
🟢Уравнение Фоккера-Планка
🟢Заключение и связь между SDE и уравнением Фоккера-Планка


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #Tutorial #Duffusion
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Rocketnotes — веб-приложение для ведения заметок с поддержкой Markdown, оснащённое инструментами генерации текста и семантического поиска на базе LLM!

🌟 Приложение полностью работает без сервера и поддерживает локальный запуск с Docker. Среди функций — иерархия документов, подсветка синтаксиса, поиск по содержимому и взаимодействие с заметками через чаты

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
📚 Свежие гайды от Anthropic : Реализация Contextual RAG с открытым исходным кодом

Что внутри :
1. Использование Llama 3.2 3B для эффективной генерации контекста для каждого чанка
2. Использование алгоритмов ранжирования: векторного и BM25
3. Выполнение гибридного поиска
4. Ранжирование результатов гибридного поиска
5. Генерации с помощью Llama 3.1 405B

📌 Смотреть

@data_analysis_ml
📖 Книга "Algorithms for Decision Making" от MIT охватывает алгоритмы и методы для принятия решений в условиях неопределённости

🌟 В книге обсуждаются такие темы как оптимизация мл-алгоритмов , машинное обучение, вероятностные модели и планирование, с акцентом на алгоритмы для принятия решений в реальном времени и под воздействием ограничений. Этот материал полезен для специалистов в областях искусственного интеллекта, дата саентистов, робототехники и инженерии, где важно оптимизировать стратегии в условиях ограниченной информации.

🔗 Ссылка: *клик*

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
💡 zerox — инструмент для извлечения текста и структурированной информации из PDF-документов с использованием методов OCR (распознавания текста) и NLP

🌟 Основной акцент сделан на поддержку zero-shot обучение (без обучения на конкретных примерах), что позволяет извлекать текстовые данные из документов без необходимости предварительной настройки или обучения на конкретных данных. Проект предназначен для автоматизации анализа и обработки PDF в бизнес-приложениях

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Data Formulator — инструмент от Microsoft для интерактивного создания визуализаций данных с помощью AI!

🌟 Пользователи могут комбинировать командные интерфейсы и текстовые подсказки, чтобы задавать параметры графиков, при этом AI помогает в трансформации данных для создания диаграмм. Инструмент доступен как через Python, так и через GitHub Codespaces, что позволяет легко развернуть его и использовать для визуализации сложных данных

🔐 Лицензия: MIT

📖 Arxiv
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Integuru — это репозиторий с AI-агентом для автоматического создания интеграций с платформами через реверс-инжиниринг их внутренних API!

💡 Пользователь может предоставить файл сетевых запросов, cookies и указать требуемое действие, а Integuru создает зависимые запросы и Python-код для выполнения этой задачи. Использует модели OpenAI, поддерживает управление входными переменными и автоматическое построение графа зависимостей запросов. Подходит для генерации кода, автоматизации RPA и работы с неофициальными API

🔐 Лицензия: AGPL-3.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Maxun — бесплатная open-source платформа без кода для извлечения веб-данных.

🌟 Инструмент позволяет пользователям создавать агентов, которые автоматически собирают данные с веб-сайтов, поддерживая различные действия, такие как захват списков, текста и скриншотов. Также предусмотрена поддержка интеграции с Google Sheets, прокси для обхода защит, а для тех, кто не хочет управлять инфраструктурой, доступна облачная версия. Поддерживаются авторизация и двухфакторная аутентификация для работы с защищенными ресурсами.

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Agent-S — open-source фреймворк от Simular AI, который создаёт ИИ-агентов, способных автоматически взаимодействовать с компьютером, имитируя действия человека.

💡 Проект предназначен для разработки ИИ-агентов, способных обучаться и выполнять сложные задачи, такие как управление GUI. Поддерживает интеграцию с крупными языковыми моделями (LLM) и предоставляет API для поиска и извлечения данных через Perplexica.

🔐 Лицензия: Apache-2.0

📖 Arxiv
🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Ichigo — ИИ инструмент, предназначенный для расширения возможностей текстовых моделей посредством добавления к ним обработки аудио в реальном времени!

🌟 Он расширяет текстовые модели, позволяя им обрабатывать аудиовводы, поддерживать интерактивные многотуровые сессии, а также игнорировать незначительные шумы. В проекте есть инструменты для развертывания с Docker и обучения с Hugging Face, включая генерацию синтетического аудио

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 RagBuilder — это набор инструментов, который поможет вам автоматически создать оптимальную настройку Production-ready Retrieval-Augmented-Generation (RAG) для ваших датасетов.

Кроме того, RagBuilder содержит несколько полезных, готовых шаблонов RAG, которые показали высокую производительность на различных тестах.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 LibreChat — это полностью открытая платформа для развертывания собственного чат-бота, аналогичного ChatGPT.

🌟 Приложение поддерживает интеграцию с различными AI-моделями (OpenAI, Anthropic и др.) и функции, такие как переключение моделей, поиск сообщений, многопользовательский доступ и мультимодальные данные (текст, файлы, изображения). Проект предназначен для гибкой настройки и развертывания как локально, так и в облаке.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Fish Speech — новое решение для синтеза речи (TTS) с поддержкой множества языков и возможностью точного воссоздания голоса на основе коротких аудиофрагментов (10–30 секунд)!

🌟 Библиотека поддерживает кросс-языковое TTS, управление тембром и эмоциями, не требуя фонемной зависимости. Также предоставляется интерфейс на базе Gradio и GUI для локального развертывания на разных платформах, включая Linux, Windows и macOS.

🔐 Лицензия: CC BY-NC-SA 4.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 llamacoder — открытый проект для создания приложений на основе текстовых запросов с использованием Llama 3.1 405B.

🌟 Он включает в себя интерфейс, который позволяет пользователям генерировать небольшие приложения с помощью одного запроса, а также предоставляет возможности для дальнейшей настройки и обмена созданными приложениями. Проект создан на Next.js, Tailwind CSS и Sandpack для песочницы кода. Проект активно развивается, и разработчики планируют добавить множество новых функций.

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🔍 Label Studio — это универсальный фреймворк для аннотации данных с открытым исходным кодом, поддерживающий множество типов данных, включая текст, изображения, видео и аудио.

🌟 Он позволяет настраивать интерфейсы для различных задач разметки, таких как классификация, сегментация и анализ тональности. Этот инструмент активно используется для разметки данных в проектах, связанных с машинным обучением и NLP.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 gazpacho — простая и быстрая библиотека для веб-скрейпинга на Python.

🌟 Библиотека обеспечивает понятный интерфейс для скрейпинга HTML-страниц и поиска элементов на основе CSS-селекторов. Основные возможности включают функции для извлечения и обработки данных, не требующие дополнительных зависимостей. Библиотека ориентирована на легкость использования и минимализм.

👩‍💻 Лицензия: MIT

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 WhoDB

Легкий инструмент для работы с данными нового поколения - Postgres, MySQL, SQLite, MongoDB, Redis, MariaDB и ElasticSearch с удобным интерфейсом.

Hobby - это легкий (~ 20 МБ), мощный и удобный в использовании инструмент управления базами данных, предназначенный для упрощения задач администрирования баз данных.

Сочетая простоту Adminer с улучшенным интерфейсом и производительностью, WhoDB создан на GoLang для обеспечения оптимальной скорости и эффективности работы с данными.

Благодаря таким функциям, как интерактивная визуализация схем и встроенное редактирование, WhoDB подходит как для небольших проектов, так и для сложных корпоративных систем.

WhoDB предоставляет вам возможность общаться с вашими данными, используя естественный язык, благодаря интеграции с Ollama, ChatGPT и Anthropic.

Эта функция позволяет выполнять запросы и управлять вашими данными с помощью диалога вместо SQL запросов.

Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM