LaBraM - модель большого мозга, базовая модель, в которой вместо текстовых данных используются данные энцефаллограммы. представлена на ICLR 2024 как SOTA модель в интерпретации ЭЭГ
github

После долгожданного выхода в прод, написала статью про наши кейсы с рекомендательными системами для интернет-магазинов
https://habr.com/ru/companies/lad_/articles/824516/

Сегодня вышла новая модель Gemma 2 от Google. При 27 миллиардах параметров Gemma 2 обещает производительность, сравнимую с Llama 3 70B, при вдвое меньшем размере.
Опробовать прямо сейчас можно тут🔥
Источник
Hugging face

Alibaba создали Autoif - метод искусственого интеллекта для автоматического создания проверяемых инструкций после обучающих данных
Критической проблемой в улучшении возможностей LLM по выполнению инструкций является сложность автоматического создания высококачественных обучающих данных без ручного аннотирования.
Основная идея AUTOIF включает три основных компонента: генерация проверяемых инструкций, создание проверочных кодов и обеспечение надежности. Метод начинается с небольшого набора написанных вручную начальных инструкций, дополненных LLM для создания разнообразных инструкций. Затем для каждой инструкции генерируются проверочные коды и тестовые случаи для модуля. Если инструкция не может быть проверена кодом, она отбрасывается. Процесс включает генерацию ответов, которые проходят проверку и затем используются для создания обучающих данных.
github

⚡️OpenAI представила модель CriticGPT для проверки точности ответов GPT4 и GPT4o

По мере того, как мы совершенствуемся в рассуждениях и моделировании поведения, ChatGPT становится более точным, а его ошибки — более тонкими. Из-за этого инструкторам по искусственному интеллекту может быть сложно обнаружить неточности, когда они действительно происходят, что значительно усложняет задачу сравнения, которая обеспечивает работу RLHF. Это фундаментальное ограничение RLHF, и оно может затруднить согласование моделей, поскольку они постепенно становятся более осведомленными, чем любой человек, который мог бы предоставить обратную связь.

Чтобы помочь с этой задачей, мы научили CriticGPT писать критические замечания, подчеркивающие неточности в ответах ChatGPT.

Есть и ограничения:
- работает только с коротким контекстом
-пропускает часть галлюцинаций
-ловит не все типы ошибок
Источник
#openai #ai #llm #gpt4

Можем ли мы научить языковые модели истолковывать исчезающие языки?

Такое исследование провели в Университете Колорадо. Основная проблема при работе с языками, находящимися под угрозой исчезновения, заключается в том, что почти во всех случаях очень мало маркированных данных. Это особенно важно для больших нейронных моделей, которые зависят от больших репрезентативных наборов данных для обучения.
Хотя LLM, как правило, имеют ограниченное понимание редких и малоресурсных языков, они часто могут достичь значительно более высоких результатов с помощью кросс-лингвистического контекстного обучения (X-ICL), где ряд примеров на целевом языке предоставляется непосредственно в промпте к многоязычной модели.
Исследователи проверили лучшие SOTA модели: Cohere R+, GPT-4o, Google Gemini 1.5 Pro и 2 традиционных метода. Применяя разные методы оптимизации, им удалось поднять точность LLM, но так и не превзойти стандартные способы. поэтому лингвистам LLM пока не помогут
источник

Сегодня мой пост будет необычен. Я нашла интересную статью в журнале нашей академии наук. И посвящена она важной для чат-ботов теме прогнозирования намерений пользователя.
Авторы предложили подход, в котором соединены 3 сущности: кластерный анализ, графы и нейросети.
Как работает:
1. Сначала все фразы диалога кластеризуются на основе семантического сходства. Каждый кластер становится будущими вершинами многодольного графа со схожим контекстом диалога. Фрагмент диалога будет выглядеть как подграф.
2. Для каждого кластера формируются вектора с помощью Cluster2Vec.
3. Тут есть несколько подходов, напрмер, Markov Chain вычисляет самую вероятную следующую вершину, графовые сети внимания учитывают степень важности сообщений, поступающих из соседних вершин. И именно графовые сети побеждают в бенчмаркинге и сильно превосходят обычное сходство векторов.

Кому, как и мне интересна тема сочетания графов с генеративным ИИ, рекомендую к прочтению
источник
#ai #llm #ии

Всемирная организация интеллектуальной собственности (ВОИС) выпустила отчет о патентном ландшафте в генеративном ИИ 2024. А я опубликовала новость на хабре с его кратким содержанием
Основные выводы тут: https://habr.com/ru/news/826522/
Первоисточник тут Все права разрешены авторами отчета)

T-FREE - свобода от токенов.

У токенизации много недостатков - она бывает неточна и неоднозначна, требует множество ресурсов, приводит к избыточным токенам. Новый метод T-FREE без токенизатора встраивает слова напрямую через разреженные шаблоны активации по триплетам символов, уменьшает число слоев в эмбеддингах и повышает производительность. Моделируя перекрытия символов, T-FREE не требует предварительно обученного словаря.

T-FREE сократил количество необходимых параметров на 20%, используя 2,77 миллиарда параметров по сравнению с 3,11 миллиардами для традиционных методов.
Источник

https://habr.com/ru/articles/827800/
Что не так с вашим кодом, сгенерированным большими языковыми моделями? Оказывается неверный код содержит больше комментариев, чем верный код. На функциональных ошибках одинаково проваливаются, и закрытые, и открытые LLM. И есть ограниченный перечень проблем, возникающих в коде, типизированный китайскими исследователями и способ их преодолеть.
На этот раз статья - вольный перевод достаточно обширного исследования китайских ученых

Интернет агентов (IoA)
Не успел интернет вещей захватить мир, а на подходе уже новая еще более автоматизированная сущность - интернет агентов, фреймворк, в котором агенты могут регистрироваться, взаимодействовать, создавать автономные команды, делиться своими навыками.

Код

P.S. в следующих эпизодах... в интернете агентов начинают развиваться собственные соц сети, сфера услуг, экономическая модель...

Традиционные метрики оценки качества сгенерированного текста - BLEU, ROUGE и METEOR уже не всегда справляются со своей задачей при оценке текстов, сгенерированных LLM, т.к в них стало требоваться оценивать креативность и различные дополнительные нюансы.
Что взамен?
GPTScore - но это не просто метрика, а целый фреймворк, в котором есть оценщики, настроенные под конкретные виды моделей
G-eval - тоже фреймворк, цепочка мыслей, в которой процесс оценки направляется подробными промежуточными шагами, генерируемыми LLM. Этот метод показал улучшение корреляции с человеческими оценками, особенно в таких задачах, как резюмирование текста и генерация диалогов.
Check-Eval - генерит чек-листы с помощью LLM на основе критериев релевантности, связности, последовательности и т.п, а затем их проверяет, тоже с помощью LLM. Только рекомендую в этом случае брать другую, более сильную модель, относительно той, которой генерируем текст