QED: A Framework and Dataset for Explanations in Question Answering (Google AI)

QED - это лингвистически обоснованная система объяснений ответа на вопрос. Как представлено в статье, при наличии вопроса и отрывка QED представляет объяснение ответа как комбинацию дискретных, интерпретируемых человеком шагов:

* выбор предложения := определение предложения, подразумевающего ответ на вопрос
* референциальное равенство := идентификация именных фраз в вопросе и ответном предложении, которые относятся к одной и той же вещи
* предикатная эвиденциальность := подтверждение того, что предикат в предложении влечет за собой предикат в вопросе после абстрагирования от референтных равенств.

arXiv
GitHub

#datasets #nlp #linguistics #ScientificML

MDETR: Modulated Detection for End-to-End Multi-Modal Understanding

Если по простому - даёте любую фотографию или картинку, пишете текстом что вы хотите на ней найти (например розовый слоник в балетной пачке) и сеть выдаёт координаты этого объекта. Попробуйте сами на Spaces

Если по умному - этот репозиторий содержит код и ссылки на предобученные модели для MDETR (Modulated DETR) для претренинга на данных, содержащих выровненный текст и изображения с аннотациями, а также для файнтюнинга на задачах, требующих тонкого понимания изображения и текста.

Сайт
GitHub
Colab
ArXiv
Демо на Spaces

#multimodal #demo #nlp #images #detection