Тест мультимодальности #ChatGPT.
Часть 1: понимание мемов. 🔄

Open AI наконец-то выкатили возможность давать GPT4 картинки на вход (в Bing, кстати, тоже можно), многократно расширив горизонт возможностей и без того самой мощной языковой модели. Начинаю эти самые возможности исследовать в серии постов, пока что на мемах.

Выводы:

🐶 ГПТ4 легко понимает концепты, даже абстрактные, так и пишет: “смысл в абсурдности”.

😠 Если в меме есть двусмысленность, то может не копнуть до второго смысла и снять только первый слой. См. пример с собаками. В этом случае нужна подсказка.

🦞 ГПТ4 НЕ ПОНИМАЕТ ШРИФТ LOBSTER. Пытается читать, но делает ошибки. Но на первой картинке, с фрилансером, все равно затащил.

😳 Понимание количества элементов — мое увожение, см. картинку со Sleep Chart.

В целом, не идеально, но все-равно — фантастика.
Продолжаю наблюдение. Кидайте свои МЭМЫ для анализа в комментарии (по ржом).

Дополнение к тесту, выяснилась любопытная особенность при анализе мемов из комментариев, назовем ее «проблема палки».

GPT4 довольно жестко (и не один раз) ошибся с этой картинкой, что было странно, учитывая внимание к деталям при анализе. Конечно, я его спросил почему так:

“При анализе я опирался на обобщенные признаки и структурное сходство с известными образцами, а не на детальный анализ каждого кадра”.

Т.е по мимо классификатора возможно есть функция сравнения сравнения с базой данных. И если картинка что-то очень напоминает, то он может решить: “да пофиг, скорей всего это та самая картинка”. Палки себе в колеса ставит! 🦆