Когда для AGI в LLM+RAG нужно просто добавить воды tfidf/bm25

https://twitter.com/jobergum/status/1763809471510262154

Спасиб @j_links

Мои подписчики самые лучшие. Мало того, этот подписчик и мой бывший студент с ВШЭ по NLP соревам.

Поздравляю @m3ntzerr

https://www.anthropic.com/news/claude-3-family

Почалося?

https://twitter.com/pmarca/status/1764374999794909592?s=20

Ожидается дождь из AI алармистов и луддитов, возможны осадки из ФРИКАделек 💩

Знаешь как найти психа? Он подбирает сиды для торча. (c)Денчик

Да я бы сказал и не только для торча...

ну что, кто узнал в себе или в коллеге "супер эффективного менеджера/лида/сина"?

UPD. и сразу поприбавилось 🥴. Да надо быть же жОским дЯдей.

Пора...

UPD. Автор мема и участник схемы @hukenovs

Ваще ору👇

Принес вам реальные метрики Claude 3 vs GPT-4

Маркетологи Anthropic решили сравнивать Claude 3 не с последней версией GPT-4-Turbo, а GPT-4 годичной давности, взяв метрики модели GPT-4 марта 2023 года.

А по факту, GPT-4-Turbo показывает результаты, которые значительно лучшие, чем Claude 3.

а я говорил...

Немного жизни:

Знавал таких (щет)унов, что выберут систему метрик, ты их побьешь на ней, а они такие: "Ой это не та была вот наша новая, мы там лучшие", ты и там их побьешь , а они тебе новую несут по тому же сценарию. Сначала отчитаются конечно, что лучшие, а потом тебе понесут, где ты их побьешь, но об этом никто отчитываться не будет, конечно, если сам не заявишься.

Вот и бегает Ахилес так за черепахой. А главное ты во-первых все время в позиции жертвы, догоняющего, тк зависишь от их системы метрик. Нет бы свою продвинуть. Да и со стороны руководство видит это как не сплоченность, а разлад в системе.
Ну и во-вторых рано или поздно эти зайтейники тебя побьют или будет у вас паритет, чисто потому, что время нужное для реального апа было выйграно/подошло.

Смекайте.

Как Яндекс научил YaGPT пересказывать видео в браузере.

Коллеги по AI цеху выпустили статью на Хабре о том, как они научили YandexGPT пересказывать видео.

Пост интересен не только техническими деталями, но и продуктовыми нюансами, влияющими на user experience.

Что ребята из Яндекса там сделали? На самом деле, у команды уже была модель статейной суммаризации, поэтому взяли то что уже есть, и улучшили. При этом, что интересно, в решении нет никакой мультимодальности, как в LLaVa, напрямую. Для приклада к видео были использованы инструменты перевода звука в текст: ведь в видео есть субтитры, чем не текст? И да, ребята, подумали также.

Для обучения было подготовлено 20 000 хорошо выверенных суммаризаций со спец. форматом: заголовок, тайм-код, краткий пересказ, новый заголовок ,его тайм-код и краткий пересказ и тп. Нужно понимать, что видео бывают разные по длине, но у ребят лучше всего завелось нарезать пересказы частями до 12к символов. Иначе далее появляются глюки.

Помимо этого, важно было исследовать разные подходы к обучению LLM. Авторы остановились на LoRA и SFT с расфризом параметров LLM.

Вот так разработчки и добрались до идеальной формулы: добавляем в видео субтитры, делим их по 12 000 символов и пускаем в модельку. Благо видео вещь более структурная чем текст и тут можно делить субтитры на части без значительных смысловых потерь, деля куски субтитров на независимые друг от друга чанки.

Тема очень интересная и на первый взгляд кажется лёгкой. Но сколько же винтиков нужно прикрутить, чтобы всё заработало. Поэтому, советую прочитать статью самостоятельно, тк еще есть хинты с логикой вокруг движка и продуктовые фишки.