🔈 Otter.ai — это платформа для автоматического создания заметок на основе голосовых записей с помощью ИИ, предназначенная для повышения продуктивности и удобства ведения встреч. Этот сервис предоставляет пользователям возможность записывать разговоры, получать текстовые расшифровки. Otter.ai активно используется бизнесом, образовательными учреждениями, журналистами и другими профессионалами для ведения встреч, интервью, лекций и любых других важных разговоров, обеспечивая легкое управление и анализ данных.

💡 Основные функции:

🌟 Синхронизация аудио, текста и изображений: Инструмент интегрирует не только текст, но и другие мультимедийные элементы, обеспечивая комплексное представление о беседе

🌟 Поддержка онлайн- и офлайн-режимов: Приложение можно использовать как в реальном времени на встречах (например, Zoom, Google Meet), так и для постфактум анализа записей

🔗 Ссылка: *клик*

@machinelearning_ru

🖥 Voice Chat with PDFs — это проект, использующий API OpenAI для взаимодействия с документами в реальном времени. Он создан на основе LlamaIndex и позволяет загружать PDF-документы, создавать их эмбеддинги и вести голосовой чат с содержимым документа. Поддерживаются режимы ручного общения (Push-to-talk) и автоматического обнаружения голоса (Voice Activity Detection). Для работы требуется OpenAI API ключ. Проект разработан на базе Next.js и LlamaIndexTS

🔐 Лицензия: MIT

▪️Github

@machinelearning_ru

📎 ML: Медицинский дайджест за период 07.10 - 13.10 2024 г.


▶️ Модели машинного обучения и бенчмарки

🔘ONCOPILOT: Интерактивная модель для сегментации опухолей на основе КТ и измерения по RECIST 1.1.

Цель модели - сгенерировать 3D-предсказание объема конкретной анатомической структуры на основе входного изображения и визуальной маркировки.

🔘RespLLM: MLLM для прогнозирования состояния дыхательной системы.

RespLLM использует знания LLM и кросс-модальное внимание для объединения звука и текста чтобы оценить состояние дыхательной системы по аудио.

🔘GlucoBench: набор данных для прогнозирования уровня глюкозы.

GlucoBench - комплексныq ресурс для исследований в области прогнозирования уровня глюкозы на основе данных непрерывного мониторинга глюкозы (CGM).

🔘DiffAbXL: Модель диффузии для оценки аффинности связывания антител.

DiffAbXL - это масштабируемая модель диффузии, разработанная для прогнозирования и ранжирования аффинности связывания антител.


▶️ Фреймворки и методологии

🔘DALL-M: Система дополнения клинических данных с учетом контекста с помощью LLM.

DALL-M - платформа, которая использует LLM для создания новых клинически значимых признаков, дополняя наборы данных рентгеновских снимков с учетом контекста.

🔘ClinicalLab: Платформа для оценки и разработки медицинских агентов, имитирующая реальный клинический диагностический процесс.

ClinicalLab - набор инструментов и методологий, предназначенных для оценки и разработки медицинских агентов на основе LLM, которые могут эффективно имитировать процесс клинической диагностики.

🔘Синтез хирургических наборов данных с помощью диффузионных моделей.

Метод, основанный на диффузионных моделях, который позволяет генерировать реалистичные хирургические изображения с полными аннотациями.


▶️Медицинские LLM-приложения

🔘MMedAgent: Мультимодальный медицинский агент.

MMedAgent предназначен для обработки медицинских изображений разных модальностей и решения задач: grounding, сегментация, классификация, генерация медицинских отчетов (MRG), генерация с извлечением информации (RAG) и визуальные вопросы и ответы (VQA).

🔘Гибридная система для выявления редких заболеваний из неструктурированных клинических отчетов.

Cистема предназначена для решения проблемы идентификации редких заболеваний, используя преимущества как NLP-инструментов, так и LLM.

🔘LLM-AMT: конвейер для повышения точности LLM в задачах QA.

Конвейер, который улучшает работу LLM в медицинской области, добавляя к ним информацию из медицинских учебников.


▶️Исследования и обзоры

🔘Реконструкция изображений компьютерной томографии с малым числом ракурсов.

Исследование, посвященное поиску эффективных методов реконструкции КТ-изображений с ограниченным числом проекций.


🔜 Читать полный дайджест


@ai_machinelearning_big_data

🖥 MegaBlocks — это легковесная библиотека от Databricks для обучения моделей с использованием смеси экспертов (Mixture-of-Experts, MoE). Она включает оптимизированные MoE-слои, поддерживает параллельное обучение данных и экспертов, а также использует алгоритмы, которые позволяют повысить эффективность тренировки

🌟 Библиотека интегрирована с Megatron-LM и предназначена для ускорения работы больших языковых моделей за счет использования разреженных вычислений и сокращения объема данных без потерь в производительности

▪️Github

@machinelearning_ru

🖥 Эта статья описывает, как создать веб-скрейпинг-агент на базе искусственного интеллекта с использованием модели Llama 3.2, работающей локально. Она охватывает процесс настройки и запуска AI-агента, демонстрируя его способность автоматически извлекать данные с веб-сайтов

🌟 Автор объясняет шаги по интеграции моделей, необходимых для обучения и работы скрейпинга, а также рассматривает, как использовать локально развернутую версию Llama для более эффективной работы

🔗 Читать: *клик*

@machinelearning_ru

🔥 FLUX-Controlnet-Inpainting — модель для инпейнтинга изображений (восстановления их отсутствующих частей) с использованием ControlNet, разработанную командой Alimama Creative

🌟 Модель обучалась на большом наборе данных изображений и доступна для некоммерческого использования. Она демонстрирует высокое качество инпейнтинга и предоставляет инструкцию по использованию с библиотекой Diffusers

▪️Github

@machinelearning_ru

🔍 Surya — это библиотека для распознавания текста (OCR) и анализа макетов документов на более чем 90 языках. Она предоставляет функции для распознавания текста, детекции линий, определения порядка чтения и анализа структуры страниц в форматах изображений и PDF. Surya поддерживает многоязычный OCR, может извлекать текст с различными уровнями метаданных, такими как языки, расположение текстовых блоков и уверенность в распознавании.

💡 Среди её возможностей:

🌟 Распознавание текста с поддержкой множества языков;

🌟 Детекция строк и блоков текста с указанием координат и уверенности в результате;

🌟 Интерактивное приложение на базе Streamlit для тестирования

💡 Surya использует глубокое обучение и может быть ускорена за счет использования GPU. Она подходит для анализа сложных документов с таблицами, рисунками и другими элементами макета

🔐 Лицензия: GPL-3.0

▪️Github

@machinelearning_ru

🔥 PostBot 3000 — это проект с открытым исходным кодом, который демонстрирует, как создать мощного AI-агента для генерации и стриминга ответов и артефактов

🌟 Он построен на Python с использованием FastAPI для API и Next.js для интерфейса. Этот проект помогает пользователям реализовать подобные решения, предоставляя примеры кода и шаги для локального развертывания

▪️GitHub

@machinelearning_ru

🖥 Бесплатный курс от Nvidia: Создание агентов RAG с LLM!

🌟 Агенты, работающие на основе больших языковых моделей (LLM), продемонстрировали хорошую способность к поиску для использования инструментов, просмотра документов и планирования своих подходов.

Этот курс покажет вам, как развернуть агентскую систему на практике для масштабирования ваших приложений в соответствии с требованиями пользователей и клиентов!

🔗 Ссылка: *клик*

@machinelearning_ru