И снова Google удивляет нас статьей. На этот раз они придумали ScreenAI для работы с UX продукта

Сеточка умеет все, что касается работы с интерфейсами и инфографикой. Может ответить на вопрос, настраивать навигацию, суммаризовать, аннотировать элементы и вот это все.

🟣Зачем они это делают? Сейчас ИИ-ассистенты вроде Siri работают с командами типа "позвони" только по четкому алгоритму, и не умеют справляться с ранее неизвестными интерфейсам. То есть, способность модели понимать UX и "пользоваться" сайтами и приложениями может стать ключевой вещью при внедрении ИИ в смартфоны.

🟣Как это работает? В два этапа - претрейнинг и файнтюнинг. На pt применяется self-supervised learning для генерации меток данных (внутри ViT), которые затем тюнятся на ft на данных, размеченных человеком.

Пока что это просто ресерч проект, и сеточка недоступна для пользования. Надеемся, она поможет компании сделать новый Google Pixel 9 еще ИИнтереснее.

Microsoft опубликовали Phi-3

Всего там три модели: mini (3.8B), small (7B) и medium (14B). Самая интересная из всех – mini. Эта крошка сравнима со старой версией GPT-3.5, Llama-3 8b и Mixtral 8x7b.

На бенчмарке MT-bench, который мы вчера обсуждали, моделька выбивает аж 8.38! При этом модель настолько мала, что ее можно запускать даже локально на телефоне. Тех.репорт про Phi-3 так и называется: A Highly Capable Language Model Locally on Your Phone.

Как говорят сами ученые: «The innovation lies entirely in our dataset for training». То есть, такого результата удалось добиться только за счет грамотной доработки и фильтрации данных, на которых училась предыдущая модель phi-2. 👏