https://habr.com/ru/articles/793472/
#llm #AI #RAG #ИИ

Порядок предпосылок имеет значение. Исследование Google Deepmind показало, что изменение порядка в рассуждениях может привести к падению производительности LLM более чем на 30%. Расположение «Если A, то B» перед «Если B, то C» в промпте обеспечивает более высокую точность по сравнению с обратным порядком. https://arxiv.org/html/2402.08939v1
#llm #AI #ИИ

https://habr.com/ru/articles/806095/
#llm #AI #RAG #ИИ

Пару дней назад вышла платформа mistral.rs, на языке rust, ускоряющая ответы языковых моделей. В демо видео скорость ответа выглядит впечатляющей. Помимо скорости разработчик также обещает меньшее потребление памяти, возможности для квантования и тюнинга моделей, поддержку их различных типов. Правда пока перечень доступных моделей ограничен набором:
* Mistral 7B (v0.1 and v0.2)
* Gemma
* Llama, including Llama 3
* Mixtral 8x7B
* Phi 2
* Phi 3
* Qwen 2
Выглядит интересно. Обязательно опробую платформу и отпишусь по результатам
#llm #AI #ИИ

Новость просто 🔥
Исследователи из Пекинской академии искусственного интеллекта и Китайского университета Жэньминь представили Llama-3-8B-Instruct-80K-QLoRA, которая значительно увеличивает длину контекста оригинальной Llama-3 с 8K до 80K токенов.
А учитывая миниатюрный размер llama 3 8B, мы теперь имеем аналог GPT 4, с возможностью запуска на обычной GPU и огроменным контекстом!
#llm #AI #RAG #ИИ

Сейчас занимаемся разработкой поиска для интернет-магазина, и одна из проблем заключается в том, что пользователи ищут товар не просто по его товарным характеристикам - цвет, размер и т.п, но и указывают такие слова как «модный», «приятный» в карточке товара не встречающиеся. Мы пытаемся решать эту задачу, выделяя подобные характеристики из отзывов товаров и используя векторный поиск одновременно по нескольким коллекциям. Но сегодня попался не менее интересный способ из Стенфорда, называется SUQL (структурированный/не структурированный язык запросов). В отличие от SQL часть запроса предварительно обрабатывается LLM моделью. Пример на картинке выше, пользователю нужны итальянские романтические рестораны. Семантический парсер выделяет слово Италия как значение столбца, в котором нужно искать страну кухни, а также проверяет сведения о том, является ли ресторан романтическим. И да, тоже по отзывам :)
Демо
Гитхаб
#llm #AI #RAG #ИИ

Голосовые помощники теперь смогут работать даже в шумных помещениях. Это обеспечит нейронка новой архитектуры TRAMBA - гибрид трансформеров с появившейся прошлой осенью архитектурой MAMBA, которая работает с временными рядами. Обещают очень высокое качество звука, правда есть нюанс, оборудование тоже будет другим. Для использования нейросети требуется микрофон с костной проводимостью или акселерометр, закрепленный на голове. Зато открываются перспективы внедрения помощников в производстве.
Статья
#AI #ИИ #STT #Transformers

Второй день читаю статьи про семантические элементы в GenAI приложениях. В двух словах - это прослойки между элементами приложения, которые частично оттягивают на себя задачи понимания смысла, чтобы LLM работала с более подготовленными данными.
Зачем:
* ускоряет время отклика
* упрощает внедрение бизнес-логики
* позволяет на естественном языке взаимодействовать с данными сложной структуры и без дообучения LLM обеспечить ей понимание профессиональной лексики, жаргонов и т.п

Как работает:
Семантические парсеры способны из пользовательского запроса извлекать даты, имена, названия, LLM пока еще с трудом справляются с вопросами типа, какой день недели был 3 года назад, и они не могут учитывать, был ли среди этих 3 лет високосный год . Но стоит преобразовать «3 года назад» в конкретную дату и задача решается даже без LLM.
Семантический слой между LLM и базой данных содержит сведения, какие инструменты доступны агенту, какова структура бд… позволяет легко сгенерировать запрос на языке БД.
Семантический роутер маршрутизирует запросы по смыслу еще до того, как они попадут в LLM. Он может выделить намерение пользователя, заранее определить инструменты, которые потребуются для выполнения запроса, выбрать, какой именно модели необходимо передать запрос и какой промпт необходим для его наилучшей обработки.
Семантический кеш позволяет хранить историю запросов к LLM и ее ответов, чтобы быстро возвращать из кеша ответы, если новый запрос похож по смыслу на один из предыдущих.
#llm #AI #RAG #ИИ

На этой неделе вышла Gemma-2B-10M с длиной контекста в 10 млн токенов, что по мнению авторов вмещает в себя целую книгу о Гарри Поттере. У модели особая архитектура, вместо стандартного трансформера - рекуррентная сеть с локальным вниманием Infini-attention, благодаря чему требования к ресурсам при таком огромном контексте сумели не улететь в космос.
Модель небольшая, весит всего 9 гб, в инференсе потребляет 32 гб.
оригинал
hugging face
#llm #AI #RAG #ИИ

Еще немного про роутеры, семантические и не только. Похоже это тема начинает набирать обороты в GenAI приложениях. Они уже появились в langchain и llamaIndex
Роутеры позволяют изменять сценарии взаимодействия в зависимости от складывающихся условий - например, оформлять пользователю покупку или продолжать отрабабатывать возражения, если он еще не дозрел.
Часто маршрутизацию делают прямо в промпте через LLM, но это долго, дорого и ненадежно.
Zero-Shot роутеры вместо LLM применяют локальные NLP модели
Семантические роутеры используют эмбеддинги и векторный поиск. Есть реализация в виде python библиотеки
#llm #AI #RAG #ИИ

Более сложный кейс применения роутера. Мы не знаем заранее, что хочет пользователь, нужно ли обращаться для его ответа в базу знаний или сразу переадресовать LLM, а может быть требуется агент, чтобы совершить определенное действие, а не просто ответить на запрос.
#llm #AI #RAG #ИИ

Новый и необычный способ борьбы с галлюцинациями на основе графового анализа. MIDGARD (Минимальная длина описания, управляемое агрегирование рассуждений в направленном ациклическом графе).
Работает так:
1. LLM генерит несколько рассуждений
2. На их основе строится граф, содержащий агрегированные свойства нескольких рассуждений.
3. Если какие-то свойства проявляются редко, алгоритм отсеивает их, т.к. они могут быть ошибочными, остальные оставляет.
В задаче извлечения структуры аргументов MIDGARD увеличил показатель F1 с 66,7% до 85,7% и в тоже время показал хорошую производительность
источник

идет трансляция openai. Представили помощника, который понимает происходящее на камере, голосом помогая решать математические примеры, написанные от руки на листе бумаги
#llm #AI #RAG #ИИ #openai

Ок, Omni, у нее голос, эмоции и мультимодальность. Ещё она бесплатная, но доступна только мобильном приложении. Кажется сегодня не одна сотня стартапов закроет свой проект и превратится в адептов-интеграторов🙂
#llm #AI #RAG #ИИ #openai #gpt

Вслед за OpenAI и Google новинку представили и исследователи запрещенной в РФ Меты - модель смешанной модальности Chameleon. Обычно мультимодальные модели представляют собой смесь нескольких нейронок разной модальности, каждая из которых требует свой токенизатор в зависимости от типа данных. Такой подход вызывает проблемы при работе с документами, в которых одновременно есть и текст и изображение, поэтому исследователи предложили новую унифицированную архитектуру, одинаково обрабатывая обе модальности путем токенизации изображений аналогично тексту.
Источник
#llm #AI #RAG #ИИ

Интересную гипотезу выдвинули исследователи MIT. Они считают, что модели изображений и LLM по мере того, как становятся больше,

они измеряют расстояние между точками данных все более и более похожим образом

приближаясь к общему статистическому представлению реальности. Это называется «платоническим представлением», черпающим вдохновение из концепции Платона об идеальной реальности, лежащей в основе нашего восприятия.

… если вы хотите создать лучший LLM, вам также следует обучать его на данных изображений Мы видим, что лучшие передовые модели искусственного интеллекта, GPT-4o и Gemini 1.5 Pro, теперь изначально являются мультимодальными.

Наиболее важным следствием является то, что высокоразвитые модели ИИ будут сходиться и превращаться в похожие идеализированные модели, использующие схожие наборы обучающих данных и архитектуры для представления одной и той же базовой реальности.
источник
#llm #AI #RAG #ИИ

Сегодня на конференции 1с демонстрировали умных ботов и ещё тему матчинга номенклатуры. По ощущениям она бизнесу откликается даже больше, чем персональные ассистенты, хотя и к ним был интерес. Показывали как пользователям без навыков 1с извлекать оттуда нужную информацию с помощью бота. Традиционный RAG на векторной базе проблему не решает, т.к. данные должны быть всегда актуальными, а меняются они буквально каждую секунду. В других стеках помогает технология text-to-sql, но у 1с и тут всё своё. Задачка со звёздочкой🙂
#llm #AI #RAG #ИИ #1C #1С

⚡️ Появилась новая область программирования - программирование с LLM, и эта новость совсем не про copilot и написание кода нейросетью!

Развитие промпт инжиниринга в какой-то момент потребовало возможности структурировать промпты для удобства их сопровождения. Для решения проблемы сначала был разработан язык промтов LMQL, который позволяет писать промпт в стиле python, учитывать в нем ветвления, записывать промежуточные результаты в переменные... Но стандартизировать промпты таким способом пока не удалось, и успешность выполнения запроса по-прежнему зависит от того, как разработчик подошел к его написанию.

Авторы нового подхода отталкиваются от того, что LLM оперирует не самим текстом, а его смыслом. И тип входных и выходных параметров функции с LLM тоже определяется смыслом, а не просто фактом содержания в нем строковых или числовых значений, как это происходит в обычном программировании.

Предложено ввести понятие semistrings - семантические строки, позволяющие разработчикам аннотировать код дополнительным контекстом.
Если раньше у переменной было только имя и тип, например

name: str = "Эйнштейн"

то теперь добавляется еще и смысл:

"ученый" name:str = "Эйнштейн"

И пример функции

’Accomplishments’
accomp : list[str]

Einstein = Person(name="Einstein") by llm()

summarize (
’Accomplishments’ a: list[str]
) -> summary: str by llm()
accomp_summary = summarize(Einstein.accomp)

Это весь код🙂
Остальное должна сделать LLM, поняв по описанию, что от нее требуется вывести список достижений Эйнштейна
Источник
#llm #AI #RAG #ИИ