📎 ML: Медицинский дайджест за период 07.10 - 13.10 2024 г.


▶️ Модели машинного обучения и бенчмарки

🔘ONCOPILOT: Интерактивная модель для сегментации опухолей на основе КТ и измерения по RECIST 1.1.

Цель модели - сгенерировать 3D-предсказание объема конкретной анатомической структуры на основе входного изображения и визуальной маркировки.

🔘RespLLM: MLLM для прогнозирования состояния дыхательной системы.

RespLLM использует знания LLM и кросс-модальное внимание для объединения звука и текста чтобы оценить состояние дыхательной системы по аудио.

🔘GlucoBench: набор данных для прогнозирования уровня глюкозы.

GlucoBench - комплексныq ресурс для исследований в области прогнозирования уровня глюкозы на основе данных непрерывного мониторинга глюкозы (CGM).

🔘DiffAbXL: Модель диффузии для оценки аффинности связывания антител.

DiffAbXL - это масштабируемая модель диффузии, разработанная для прогнозирования и ранжирования аффинности связывания антител.


▶️ Фреймворки и методологии

🔘DALL-M: Система дополнения клинических данных с учетом контекста с помощью LLM.

DALL-M - платформа, которая использует LLM для создания новых клинически значимых признаков, дополняя наборы данных рентгеновских снимков с учетом контекста.

🔘ClinicalLab: Платформа для оценки и разработки медицинских агентов, имитирующая реальный клинический диагностический процесс.

ClinicalLab - набор инструментов и методологий, предназначенных для оценки и разработки медицинских агентов на основе LLM, которые могут эффективно имитировать процесс клинической диагностики.

🔘Синтез хирургических наборов данных с помощью диффузионных моделей.

Метод, основанный на диффузионных моделях, который позволяет генерировать реалистичные хирургические изображения с полными аннотациями.


▶️Медицинские LLM-приложения

🔘MMedAgent: Мультимодальный медицинский агент.

MMedAgent предназначен для обработки медицинских изображений разных модальностей и решения задач: grounding, сегментация, классификация, генерация медицинских отчетов (MRG), генерация с извлечением информации (RAG) и визуальные вопросы и ответы (VQA).

🔘Гибридная система для выявления редких заболеваний из неструктурированных клинических отчетов.

Cистема предназначена для решения проблемы идентификации редких заболеваний, используя преимущества как NLP-инструментов, так и LLM.

🔘LLM-AMT: конвейер для повышения точности LLM в задачах QA.

Конвейер, который улучшает работу LLM в медицинской области, добавляя к ним информацию из медицинских учебников.


▶️Исследования и обзоры

🔘Реконструкция изображений компьютерной томографии с малым числом ракурсов.

Исследование, посвященное поиску эффективных методов реконструкции КТ-изображений с ограниченным числом проекций.


🔜 Читать полный дайджест


@ai_machinelearning_big_data

🖥 MegaBlocks — это легковесная библиотека от Databricks для обучения моделей с использованием смеси экспертов (Mixture-of-Experts, MoE). Она включает оптимизированные MoE-слои, поддерживает параллельное обучение данных и экспертов, а также использует алгоритмы, которые позволяют повысить эффективность тренировки

🌟 Библиотека интегрирована с Megatron-LM и предназначена для ускорения работы больших языковых моделей за счет использования разреженных вычислений и сокращения объема данных без потерь в производительности

▪️Github

@machinelearning_ru

🖥 Эта статья описывает, как создать веб-скрейпинг-агент на базе искусственного интеллекта с использованием модели Llama 3.2, работающей локально. Она охватывает процесс настройки и запуска AI-агента, демонстрируя его способность автоматически извлекать данные с веб-сайтов

🌟 Автор объясняет шаги по интеграции моделей, необходимых для обучения и работы скрейпинга, а также рассматривает, как использовать локально развернутую версию Llama для более эффективной работы

🔗 Читать: *клик*

@machinelearning_ru

🔥 FLUX-Controlnet-Inpainting — модель для инпейнтинга изображений (восстановления их отсутствующих частей) с использованием ControlNet, разработанную командой Alimama Creative

🌟 Модель обучалась на большом наборе данных изображений и доступна для некоммерческого использования. Она демонстрирует высокое качество инпейнтинга и предоставляет инструкцию по использованию с библиотекой Diffusers

▪️Github

@machinelearning_ru

🔍 Surya — это библиотека для распознавания текста (OCR) и анализа макетов документов на более чем 90 языках. Она предоставляет функции для распознавания текста, детекции линий, определения порядка чтения и анализа структуры страниц в форматах изображений и PDF. Surya поддерживает многоязычный OCR, может извлекать текст с различными уровнями метаданных, такими как языки, расположение текстовых блоков и уверенность в распознавании.

💡 Среди её возможностей:

🌟 Распознавание текста с поддержкой множества языков;

🌟 Детекция строк и блоков текста с указанием координат и уверенности в результате;

🌟 Интерактивное приложение на базе Streamlit для тестирования

💡 Surya использует глубокое обучение и может быть ускорена за счет использования GPU. Она подходит для анализа сложных документов с таблицами, рисунками и другими элементами макета

🔐 Лицензия: GPL-3.0

▪️Github

@machinelearning_ru

🔥 PostBot 3000 — это проект с открытым исходным кодом, который демонстрирует, как создать мощного AI-агента для генерации и стриминга ответов и артефактов

🌟 Он построен на Python с использованием FastAPI для API и Next.js для интерфейса. Этот проект помогает пользователям реализовать подобные решения, предоставляя примеры кода и шаги для локального развертывания

▪️GitHub

@machinelearning_ru

🖥 Бесплатный курс от Nvidia: Создание агентов RAG с LLM!

🌟 Агенты, работающие на основе больших языковых моделей (LLM), продемонстрировали хорошую способность к поиску для использования инструментов, просмотра документов и планирования своих подходов.

Этот курс покажет вам, как развернуть агентскую систему на практике для масштабирования ваших приложений в соответствии с требованиями пользователей и клиентов!

🔗 Ссылка: *клик*

@machinelearning_ru

🚗 ParkingE2E: Комплексный инструмент для настройки авто парковщика для автомобиля на базе камер, от получения изображений до планирования движения автомобиля.

▪ Видео
▪ Github

@machinelearning_ru

🖥 client-researcher — инструмент для автоматизации исследований и создания отчетов на основе профилей клиентов. Он включает несколько агентов: для генерации профилей, поиска информации и составления отчета

⭐️ Скрипты можно запускать отдельно или как часть общего процесса. Проект основан на использовании ИИ для персонализированного контент-ресерча и предназначен для создания удобных отчётов в формате Markdown, используя API, такие как OpenAI.

🖥 GitHub

@machinelearning_ru

🔥 Вышел релиз 3.0.0 библиотеки transformers.js от HuggingFace!

🔍 Основные нововведения:

🌟 Поддержка WebGPU (до 100 раз быстрее, чем WASM!). WebGPU — это новый веб-стандарт для ускоренной графики и вычислений. API позволяет веб-разработчикам использовать GPU базовой системы для выполнения высокопроизводительных вычислений непосредственно в браузере. WebGPU является преемником WebGL и обеспечивает значительно лучшую производительность

🌟 Этот релиз увеличивает общее количество поддерживаемых архитектур до 120, охватывая широкий спектр модальностей ввода и задач. Среди известных новых имен: Phi-3, Gemma & Gemma 2, LLaVa, Moondream, Florence-2, MusicGen, Sapiens, Depth Pro, PyAnnote и RT-DETR

🌟 25 новых примеров проектов и шаблонов в репозитории проекта!

🌟 Transformers.js теперь совместим с Node.js (ESM + CJS), Deno и Bun!

🖥 Читать подробнее

@machinelearning_ru