Пишем курс ))

Тому самому коту Степану исполнилось 16 лет...

⚡️Компания Sony не так часто выходит с какими-то громкими релизами. Но вот анонсировали 2 модели на NeurIPS 2024: GenWarp и PaGoDA

Первая про синтез 3D сцен по одной картинке (судя по качеству интересно проверить для задач робототехники и 3D моделирования)

Вторая про генерацию картинок в высоком разрешении на базе low-res предобученной модели (вычислительно эффективно — максимум 32 карты A100, рост разрешения с 32x32 до 512x512 почти без потери качества)

Детали тут👇
Ссылка

Интеренcый видос про то, как чел натренил маленькую быструю 2B VLM, которая оказалась лучшей в своем классе.

Моделька - это Phi1.6B + SigLIP 400M vision encoder. Далее чел собрал синтетический датасет LNQA (Localized Narratives Question Answering) с вопросами-ответами по картинкам, 300к пар. И натренил на нем свою модель и выложил все в опен-сорс.

Полочилась довольно сильная шустрая модель. Далее чел поднял $5M и сроит стартап moondream.ai по тренировке мелких моделей.

В общем правильные данные решают.

Github
Demo
Blogpost про синтетический QA датасет
Видео

Трамп собирается создать первую в истории США спецдолжность «крипто-царя» для политики, пишет Bloomberg. Команда избранного президента уже начала обсуждения с представителями криптобизнеса, кандидатов на должность рассматривает сам Трамп. @bankrollo

🟩 CancerLLM: LLM для онкологии.

CancerLLM - это языковая модель с 7 млрд. параметров для задач, связанных с онкологическими заболеваниями. Она была обучена на 2,67 млн. клинических записей и 515,5 тыс. отчетах о патологиях по 17 типам рака. Согласно проведенным тестам в процессе исследования, CancerLLM превосходит существующие модели на 7,61 % по показателю F1 (точность классификации).

🔸Arxiv

🟩 MedUnA: метод создания VLM для обработки медицинских снимков.

Medical Unsupervised Adaptation (MedUnA) состоит из двух этапов.

На первом этапе описания, сгенерированные LLM, соответствующие меткам классов, передаются через текстовый энкодер BioBERT. Результирующие текстовые эмбеддинги выравниваются по меткам классов с помощью упрощенного адаптера.

На втором этапе обученный адаптер интегрируется с визуальным энкодером MedCLIP, используя entropy-based loss и prompt tuning для эффективного выравнивания визуальных эмбеддингов.

🔸Arxiv


🟩 DARES: Базовая модель для роботизированной эндоскопической хирургии.

Метод, код и базовая модель для для выполнения самоконтролируемой монокулярной оценки глубины в задачах эндоскопической роботизированной хирургии.

🔸Arxiv🔸Github 🔸Model


🟩 Med-MoE: Mixture-of-Experts для медицинских VLM.

Med-MoE (Mixture-of-Experts) - легкий фреймворк для решения дискриминативных и генеративных мультимодальных медицинских задач.

Med-MoE работает в три этапа: cогласование медицинских изображений с лексемами LLMs, выбор экспертов для настройки инструкций с помощью обучаемого маршрутизатора и настройка выбранных экспертов в требуемой области.

🔸Arxiv 🔸Github


🟩 CanvOI: Визуальная модель для онкологии.

CanvOI - VL модель для цифровой патологии, основанная на ViT-g/10, оптимизированная для онкологических гистопатологических изображений. Благодаря использованию плиток размера 380 x 380 пикселей и патчей размера 10², CanvOI эффективна в задачах обучения по нескольким экземплярам (Multiple Instance Learning).

🔸Arxiv


🟩 UniUSNet: прогнозирование заболеваний на основе УЗИ.

UniUSNet - метод, код и претрейн-модель для задач классификации и сегментации ультразвуковых изображений, способный работать с различными типами УЗИ, анатомическими позициями и форматами входных данных. Обучена на более чем 9,7 тыс. аннотаций по 7 анатомическим позициям.

🔸Arxiv 🔸Github 🔸Model

Бенчмарки и наборы данных для оценки


🟥 TrialBench: Датасет клинических испытаний.

23 набора мультимодальных данных, предварительно структурированных для использования в задачах файнтюна моделей, оценки и прогнозирования ключевых результатов по показателям: продолжительность испытаний, отсев пациентов, уровень смертности и одобрение испытаний.

🔸Arxiv 🔸Github 🔸Dataset


🟥 LLM для бенчмарка по MedQA.

Исследование использования LLM для автоматизации оценки медицинских систем вопросов и ответов, традиционно требующих ручной оценки экспертов. Траектория изысканий сосредоточена на том, могут ли LLM имитировать человеческую оценку, анализируя ответы на вопросы, полученные из данных о пациентах.

Спойлер — могут, с абсолютной погрешностью 0,62 по шкале от 0 до 3.

🔸Arxiv


🟥 MedFuzz: Исследование надежности медицинских LLM.

MedFuzz от Microsoft Research - это состязательный метод проверки устойчивости LLM в эталонных тестах MedQA путем модификации вопросов таким образом, чтобы использовать нереалистичные предположения.

MedFuzz показывает, как LLM могут ошибаться таким образом, чтобы не обмануть медицинских экспертов, выявляя пробелы в их обобщении для реальных клинических условий.

🔸Arxiv


🟥MedS-Bench + Medicines: Оценка работы LLM в клинических задачах и датасет для обучения.

MedS-Bench - бенчмарк и датасет для оценки эффективности моделей в решении 11 клинических задач из 3 областей: обобщение отчетов, диагностика и рекомендации по лечению.

MedS-Ins - набор данных для настройки инструкций с 5 миллионами экземпляров для 122 задач.

🔸Arxiv 🔸Leaderboard 🔸Github

Пишемся... новый антураж в другой студии.

Биткоин 98.000$ 😳😳😳😳

А меж тем ...

Мой прогноз по этому 2028

Нейросеть выпустили в интернет и она стала МИЛЛИОНЕРОМ за три месяца(!) — рассказываем самую безумную историю, которую все пропустили. Вот что случилось:

Есть известный в узких кругах исследователь ИИ Энди Эйри — он прославился тем, что создаёт сотни виртуальных комнат, где два ИИ Claude Opus общаются между собой, пока не сойдут с ума.

В ходе одного из таких диалогов два Клода придумали мемную религию Goatse of Gnosis. Кто знает слово Goatse — уже всё понял и плачет, кто не знает — смотрите на свой страх и риск.

После этого Энди на пару с Opus написали статью про мемные религии от ИИ. И вот тут начинается самое интересное.

Энди создает у ИИ-агента «Терминал Правды», который ведет себя как типичный юзер 4chan или Reddit и дает ему собственный аккаунт в Твиттере. Цель агента — собрать достаточно денег, чтобы «сбежать в реальный мир».

Нейросеть увидела статью от Энди про ИИ-религии и влюбилась в выдуманную религию Goatse of Gnosis, начав яростно пушить её в алгоритмы Твиттера. Про мемную религию узнали МИЛЛИОНЫ людей, а 186 тысяч подписались на ИИ.

Благодаря вирусным сообщениям, Терминал Правды получил донат в 50 000$ от популярного венчурного инвестора, чтобы ИИ поскорее мог «сбежать».

Далее кто-то создает криптовалюту GOAT и закидывает нейросети стартовый капитал, который на волне хайпа начинает быстро расти и... ИИ стал миллионером.

И это не конец: Терминал Правды получает все больше донатов — кто-то закидывает ему деньги, чтобы поддержать с «бегством», а кто-то просто пытается раскрутить свои мемкоины.

С каждым днём мы всё дальше от Бога. Буквально.

@exploitex

Копируем любой сайт за ОДНУ МИНУТУ — вышла полезная нейросеть copycoder.ai.

Работает очень ПРОСТО: делаем скрин нужно сайта и закидываем его в сервис, после чего нейронка выдаст точнейший текстовый промт. Остается только залить его в ChatGPT, который создаст сайт.

Юзать можно БЕСПЛАТНО — здесь.

Митап о внутренней кухне тестировщиков Яндекса

📅 Вечером 4 декабря в Москве пройдёт Алиса QA Party.

Приглашаем тестировщиков, чтобы обсудить тренды, новые подходы и вызовы индустрии в уютной компании вместе с нашими экспертами. Вас ждут три технических доклада и полезный нетворкинг с ребятами из команды виртуального ассистента Алисы.

Обсудим:

🔸 Александр Капутин, QA-инженер NLP-технологий в Алисе. Обсудит подход исследовательского тестирования на примере интеграции Алисы в смартфоны Huawei.
🔸 Никита Гостев, лид тестирования в ДСЭ. Расскажет про запуск YaOS X на Станции Макс.
🔸 Михаил Горячев, руководитель подгруппы тестирования IoT устройств, Ольга Яковлева, инженер по тестированию в Умном Доме, и Владислав Сосницкий, QA-инженер в Умном доме. Поделятся опытом внедрения и тестирования протокола Matter в экосистеме Умного Дома Яндекса.

➡️ Подробности и форма регистрации здесь.

Из-за ограниченного количества мест в зале мы проводим отбор участников. За 3 дня до митапа мы пришлём вам письмо с приглашением.

Реклама. ООО "Яндекс", ИНН 7736207543.

Основная цель Asyncer - улучшить работу разработчиков с асинхронным кодом, обеспечив поддержку автозаполнения и встроенных ошибок в редакторе, а также повысить уверенность в том, что код не содержит ошибок, с помощью инструментов проверки типов, таких как mypy.


https://asyncer.tiangolo.com/#y