На Земле появилась первая бессмертная муха. Теперь ЭТО... ЭТО может привести к настоящему ИИОН (он же Искусственный Общий Интеллект)
Что? Да! Объясняем подробно:
— Когда-то развитие искусственного интеллекта шло по пути – «А что если нарезать мозг Ленина тончайшими слоями, отсканировать их, определить связи между клетками и получить работающую модель?». Мозг Ленина сохранили в Институте мозга, но этот проект оказался слишком амбициозным, поэтому начали с мыши. Однако и мышь оказалась невероятно сложным объектом – её мозг содержит 70 миллионов нейронов. Для сравнения, человеческий мозг имеет 86 миллиардов нейронов, каждый из которых связан примерно с 2,3 тысячами других;
— В итоге учёные решили двигаться постепенно. Сначала расшифровали нервную систему круглого червя Caenorhabditis elegans (302 нейрона, 7 тысяч синапсов), затем личинку Ciona intestinalis и ещё одного червя. После этого частично взялись за мозг простой рыбы и начали работать с мышью, но пока удалось завершить менее 0,1% работы;
— И вот недавно учёные завершили сборку коннектома взрослой дрозофилы (Drosophila melanogaster). У неё 139,5 тысяч нейронов и 54,5 миллиона синаптических связей. Полный реверс-инжиниринг мозга дрозофилы стал возможен благодаря совместной работе учёных из разных стран, специализированному оборудованию и 33 человеко-годам разметки. Проект стартовал в 2016 году;
— Датасет и устройство мозга можно найти на сайте:
— Интересно, что в мозге дрозофилы есть отдельные нейроны, отвечающие за движение назад, вперёд и быстрое движение – это разные функции, каждая из которых управляет конечностями по-своему. Есть даже отдельный нейрон для полной остановки, потому что основные структуры этого сделать не могут. В мозге также множество интересного о памяти, и уже опубликовано около 50 работ по этой теме, включая исследования, начатые, когда коннектом был готов лишь наполовину;
— Примерно половина нейронов дрозофилы так или иначе связана с обработкой визуальной информации – либо напрямую, либо через хабы. Её мозг имеет сложные внутренние сети: есть нейроны передачи сигналов, сумматоры для построения агрегированных данных и другие структуры. Примерно 14% нейронов занимаются передачей сенсорных данных глубже в мозг, превращая дрозофилу в своего рода операционную систему реального времени, аналог современной автоматизированной системы управления технологическими процессами (АСУ ТП);
—Таким образом, человечество оцифровало первый достаточно сложный организм. Теперь мозг этой первой бессмертной дрозофилы можно скачать и воспроизвести. Размер данных – 14 Гб.
Что? Да! Объясняем подробно:
— Когда-то развитие искусственного интеллекта шло по пути – «А что если нарезать мозг Ленина тончайшими слоями, отсканировать их, определить связи между клетками и получить работающую модель?». Мозг Ленина сохранили в Институте мозга, но этот проект оказался слишком амбициозным, поэтому начали с мыши. Однако и мышь оказалась невероятно сложным объектом – её мозг содержит 70 миллионов нейронов. Для сравнения, человеческий мозг имеет 86 миллиардов нейронов, каждый из которых связан примерно с 2,3 тысячами других;
— В итоге учёные решили двигаться постепенно. Сначала расшифровали нервную систему круглого червя Caenorhabditis elegans (302 нейрона, 7 тысяч синапсов), затем личинку Ciona intestinalis и ещё одного червя. После этого частично взялись за мозг простой рыбы и начали работать с мышью, но пока удалось завершить менее 0,1% работы;
— И вот недавно учёные завершили сборку коннектома взрослой дрозофилы (Drosophila melanogaster). У неё 139,5 тысяч нейронов и 54,5 миллиона синаптических связей. Полный реверс-инжиниринг мозга дрозофилы стал возможен благодаря совместной работе учёных из разных стран, специализированному оборудованию и 33 человеко-годам разметки. Проект стартовал в 2016 году;
— Датасет и устройство мозга можно найти на сайте:
codex.flywire.ai;— Интересно, что в мозге дрозофилы есть отдельные нейроны, отвечающие за движение назад, вперёд и быстрое движение – это разные функции, каждая из которых управляет конечностями по-своему. Есть даже отдельный нейрон для полной остановки, потому что основные структуры этого сделать не могут. В мозге также множество интересного о памяти, и уже опубликовано около 50 работ по этой теме, включая исследования, начатые, когда коннектом был готов лишь наполовину;
— Примерно половина нейронов дрозофилы так или иначе связана с обработкой визуальной информации – либо напрямую, либо через хабы. Её мозг имеет сложные внутренние сети: есть нейроны передачи сигналов, сумматоры для построения агрегированных данных и другие структуры. Примерно 14% нейронов занимаются передачей сенсорных данных глубже в мозг, превращая дрозофилу в своего рода операционную систему реального времени, аналог современной автоматизированной системы управления технологическими процессами (АСУ ТП);
—Таким образом, человечество оцифровало первый достаточно сложный организм. Теперь мозг этой первой бессмертной дрозофилы можно скачать и воспроизвести. Размер данных – 14 Гб.
🤯2
🔥Adobe объявила о выпуске ИИ-редактора для Premiere Pro.
На видео продемонстрированы возможности модели Adobe Firefly. В ближайшее время в Premiere Pro появится новая вкладка Generative, предлагающая следующие функции:
🔸Добавление объектов — это позволит выделить область на сцене и указать, что именно должно быть добавлено туда. Необходимые объекты будут автоматически сгенерированы на выбранном месте.
🔸Удаление объектов — помимо добавления, теперь можно также удалять объекты. Процесс выделения объектов выглядит очень просто, и следы удаленных объектов не остаются.
🔸Расширение контента — функция Generative Extend позволит увеличить длительность ваших видеороликов, чтобы достичь нужной продолжительности.
Все эти нововведения появятся в Premiere Pro "позже в этом году". Кроме того, программа будет поддерживать интеграцию с другими видеомоделями (Pika, Runway и, возможно, Sora от OpenAI).
https://www.adobe.com/products/premiere/ai-video-editing.html
На видео продемонстрированы возможности модели Adobe Firefly. В ближайшее время в Premiere Pro появится новая вкладка Generative, предлагающая следующие функции:
🔸Добавление объектов — это позволит выделить область на сцене и указать, что именно должно быть добавлено туда. Необходимые объекты будут автоматически сгенерированы на выбранном месте.
🔸Удаление объектов — помимо добавления, теперь можно также удалять объекты. Процесс выделения объектов выглядит очень просто, и следы удаленных объектов не остаются.
🔸Расширение контента — функция Generative Extend позволит увеличить длительность ваших видеороликов, чтобы достичь нужной продолжительности.
Все эти нововведения появятся в Premiere Pro "позже в этом году". Кроме того, программа будет поддерживать интеграцию с другими видеомоделями (Pika, Runway и, возможно, Sora от OpenAI).
https://www.adobe.com/products/premiere/ai-video-editing.html
⚡️Компания Sony не так часто выходит с какими-то громкими релизами. Но вот анонсировали 2 модели на NeurIPS 2024: GenWarp и PaGoDA
Первая про синтез 3D сцен по одной картинке (судя по качеству интересно проверить для задач робототехники и 3D моделирования)
Вторая про генерацию картинок в высоком разрешении на базе low-res предобученной модели (вычислительно эффективно — максимум 32 карты A100, рост разрешения с 32x32 до 512x512 почти без потери качества)
Детали тут👇
Ссылка
Первая про синтез 3D сцен по одной картинке (судя по качеству интересно проверить для задач робототехники и 3D моделирования)
Вторая про генерацию картинок в высоком разрешении на базе low-res предобученной модели (вычислительно эффективно — максимум 32 карты A100, рост разрешения с 32x32 до 512x512 почти без потери качества)
Детали тут👇
Ссылка
Sony AI – Unleash Human Imagination and Creativity with AI
Breaking New Ground in AI Image Generation Research: GenWarp and PaGoDA at NeurIPS 2024 – Sony AI
At NeurIPS 2024, Sony AI is set to showcase two new research explorations into methods for image generation: GenWarp and...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2😁2
Интеренcый видос про то, как чел натренил маленькую быструю 2B VLM, которая оказалась лучшей в своем классе.
Моделька - это Phi1.6B + SigLIP 400M vision encoder. Далее чел собрал синтетический датасет LNQA (Localized Narratives Question Answering) с вопросами-ответами по картинкам, 300к пар. И натренил на нем свою модель и выложил все в опен-сорс.
Полочилась довольно сильная шустрая модель. Далее чел поднял $5M и сроит стартап moondream.ai по тренировке мелких моделей.
В общем правильные данные решают.
Github
Demo
Blogpost про синтетический QA датасет
Видео
Моделька - это Phi1.6B + SigLIP 400M vision encoder. Далее чел собрал синтетический датасет LNQA (Localized Narratives Question Answering) с вопросами-ответами по картинкам, 300к пар. И натренил на нем свою модель и выложил все в опен-сорс.
Полочилась довольно сильная шустрая модель. Далее чел поднял $5M и сроит стартап moondream.ai по тренировке мелких моделей.
В общем правильные данные решают.
Github
Demo
Blogpost про синтетический QA датасет
Видео
YouTube
Moondream: how does a tiny vision model slap so hard? — Vikhyat Korrapati
Psst! Wanna learn how to build an AI model that punches way above its weight? Beats models 4 times its size and competes with the models from Meta, Google and OpenAI? In this talk I’ll spill the beans on how I pulled it off, and how you can too. I’ll share…
Трамп собирается создать первую в истории США спецдолжность «крипто-царя» для политики, пишет Bloomberg. Команда избранного президента уже начала обсуждения с представителями криптобизнеса, кандидатов на должность рассматривает сам Трамп. @bankrollo
🟩 CancerLLM: LLM для онкологии.
CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).
🔸Arxiv
🟩 MedUnA: метод создания VLM для обработки медицинских снимков.
Medical Unsupervised Adaptation (MedUnA) состоит из двух этапов.
На первом этапе описания, сгенерированные LLM, соответствующие меткам классов, передаются через текстовый энкодер BioBERT. Результирующие текстовые эмбеддинги выравниваются по меткам классов с помощью упрощенного адаптера.
На втором этапе обученный адаптер интегрируется с визуальным энкодером MedCLIP, используя entropy-based loss и prompt tuning для эффективного выравнивания визуальных эмбеддингов.
🔸Arxiv
🟩 DARES: Базовая модель для роботизированной эндоскопической хирургии.
Метод, код и базовая модель для для выполнения самоконтролируемой монокулярной оценки глубины в задачах эндоскопической роботизированной хирургии.
🔸Arxiv🔸Github 🔸Model
🟩 Med-MoE: Mixture-of-Experts для медицинских VLM.
Med-MoE (Mixture-of-Experts) - легкий фреймворк для решения дискриминативных и генеративных мультимодальных медицинских задач.
Med-MoE работает в три этапа: cогласование медицинских изображений с лексемами LLMs, выбор экспертов для настройки инструкций с помощью обучаемого маршрутизатора и настройка выбранных экспертов в требуемой области.
🔸Arxiv 🔸Github
🟩 CanvOI: Визуальная модель для онкологии.
CanvOI - VL модель для цифровой патологии, основанная на ViT-g/10, оптимизированная для онкологических гистопатологических изображений. Благодаря использованию плиток размера 380 x 380 пикселей и патчей размера 10², CanvOI эффективна в задачах обучения по нескольким экземплярам (Multiple Instance Learning).
🔸Arxiv
🟩 UniUSNet: прогнозирование заболеваний на основе УЗИ.
UniUSNet - метод, код и претрейн-модель для задач классификации и сегментации ультразвуковых изображений, способный работать с различными типами УЗИ, анатомическими позициями и форматами входных данных. Обучена на более чем 9,7 тыс. аннотаций по 7 анатомическим позициям.
🔸Arxiv 🔸Github 🔸Model
Бенчмарки и наборы данных для оценки
🟥 TrialBench: Датасет клинических испытаний.
23 набора мультимодальных данных, предварительно структурированных для использования в задачах файнтюна моделей, оценки и прогнозирования ключевых результатов по показателям: продолжительность испытаний, отсев пациентов, уровень смертности и одобрение испытаний.
🔸Arxiv 🔸Github 🔸Dataset
🟥 LLM для бенчмарка по MedQA.
Исследование использования LLM для автоматизации оценки медицинских систем вопросов и ответов, традиционно требующих ручной оценки экспертов. Траектория изысканий сосредоточена на том, могут ли LLM имитировать человеческую оценку, анализируя ответы на вопросы, полученные из данных о пациентах.
Спойлер — могут, с абсолютной погрешностью 0,62 по шкале от 0 до 3.
🔸Arxiv
🟥 MedFuzz: Исследование надежности медицинских LLM.
MedFuzz от Microsoft Research - это состязательный метод проверки устойчивости LLM в эталонных тестах MedQA путем модификации вопросов таким образом, чтобы использовать нереалистичные предположения.
MedFuzz показывает, как LLM могут ошибаться таким образом, чтобы не обмануть медицинских экспертов, выявляя пробелы в их обобщении для реальных клинических условий.
🔸Arxiv
🟥MedS-Bench + Medicines: Оценка работы LLM в клинических задачах и датасет для обучения.
MedS-Bench - бенчмарк и датасет для оценки эффективности моделей в решении 11 клинических задач из 3 областей: обобщение отчетов, диагностика и рекомендации по лечению.
MedS-Ins - набор данных для настройки инструкций с 5 миллионами экземпляров для 122 задач.
🔸Arxiv 🔸Leaderboard 🔸Github
CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).
🔸Arxiv
🟩 MedUnA: метод создания VLM для обработки медицинских снимков.
Medical Unsupervised Adaptation (MedUnA) состоит из двух этапов.
На первом этапе описания, сгенерированные LLM, соответствующие меткам классов, передаются через текстовый энкодер BioBERT. Результирующие текстовые эмбеддинги выравниваются по меткам классов с помощью упрощенного адаптера.
На втором этапе обученный адаптер интегрируется с визуальным энкодером MedCLIP, используя entropy-based loss и prompt tuning для эффективного выравнивания визуальных эмбеддингов.
🔸Arxiv
🟩 DARES: Базовая модель для роботизированной эндоскопической хирургии.
Метод, код и базовая модель для для выполнения самоконтролируемой монокулярной оценки глубины в задачах эндоскопической роботизированной хирургии.
🔸Arxiv🔸Github 🔸Model
🟩 Med-MoE: Mixture-of-Experts для медицинских VLM.
Med-MoE (Mixture-of-Experts) - легкий фреймворк для решения дискриминативных и генеративных мультимодальных медицинских задач.
Med-MoE работает в три этапа: cогласование медицинских изображений с лексемами LLMs, выбор экспертов для настройки инструкций с помощью обучаемого маршрутизатора и настройка выбранных экспертов в требуемой области.
🔸Arxiv 🔸Github
🟩 CanvOI: Визуальная модель для онкологии.
CanvOI - VL модель для цифровой патологии, основанная на ViT-g/10, оптимизированная для онкологических гистопатологических изображений. Благодаря использованию плиток размера 380 x 380 пикселей и патчей размера 10², CanvOI эффективна в задачах обучения по нескольким экземплярам (Multiple Instance Learning).
🔸Arxiv
🟩 UniUSNet: прогнозирование заболеваний на основе УЗИ.
UniUSNet - метод, код и претрейн-модель для задач классификации и сегментации ультразвуковых изображений, способный работать с различными типами УЗИ, анатомическими позициями и форматами входных данных. Обучена на более чем 9,7 тыс. аннотаций по 7 анатомическим позициям.
🔸Arxiv 🔸Github 🔸Model
Бенчмарки и наборы данных для оценки
🟥 TrialBench: Датасет клинических испытаний.
23 набора мультимодальных данных, предварительно структурированных для использования в задачах файнтюна моделей, оценки и прогнозирования ключевых результатов по показателям: продолжительность испытаний, отсев пациентов, уровень смертности и одобрение испытаний.
🔸Arxiv 🔸Github 🔸Dataset
🟥 LLM для бенчмарка по MedQA.
Исследование использования LLM для автоматизации оценки медицинских систем вопросов и ответов, традиционно требующих ручной оценки экспертов. Траектория изысканий сосредоточена на том, могут ли LLM имитировать человеческую оценку, анализируя ответы на вопросы, полученные из данных о пациентах.
🔸Arxiv
🟥 MedFuzz: Исследование надежности медицинских LLM.
MedFuzz от Microsoft Research - это состязательный метод проверки устойчивости LLM в эталонных тестах MedQA путем модификации вопросов таким образом, чтобы использовать нереалистичные предположения.
MedFuzz показывает, как LLM могут ошибаться таким образом, чтобы не обмануть медицинских экспертов, выявляя пробелы в их обобщении для реальных клинических условий.
🔸Arxiv
🟥MedS-Bench + Medicines: Оценка работы LLM в клинических задачах и датасет для обучения.
MedS-Bench - бенчмарк и датасет для оценки эффективности моделей в решении 11 клинических задач из 3 областей: обобщение отчетов, диагностика и рекомендации по лечению.
MedS-Ins - набор данных для настройки инструкций с 5 миллионами экземпляров для 122 задач.
🔸Arxiv 🔸Leaderboard 🔸Github
Please open Telegram to view this post
VIEW IN TELEGRAM