Новость просто 🔥
Исследователи из Пекинской академии искусственного интеллекта и Китайского университета Жэньминь представили Llama-3-8B-Instruct-80K-QLoRA, которая значительно увеличивает длину контекста оригинальной Llama-3 с 8K до 80K токенов.
А учитывая миниатюрный размер llama 3 8B, мы теперь имеем аналог GPT 4, с возможностью запуска на обычной GPU и огроменным контекстом!
#llm #AI #RAG #ИИ
Исследователи из Пекинской академии искусственного интеллекта и Китайского университета Жэньминь представили Llama-3-8B-Instruct-80K-QLoRA, которая значительно увеличивает длину контекста оригинальной Llama-3 с 8K до 80K токенов.
А учитывая миниатюрный размер llama 3 8B, мы теперь имеем аналог GPT 4, с возможностью запуска на обычной GPU и огроменным контекстом!
#llm #AI #RAG #ИИ
👍3❤1🔥1
Сейчас занимаемся разработкой поиска для интернет-магазина, и одна из проблем заключается в том, что пользователи ищут товар не просто по его товарным характеристикам - цвет, размер и т.п, но и указывают такие слова как «модный», «приятный» в карточке товара не встречающиеся. Мы пытаемся решать эту задачу, выделяя подобные характеристики из отзывов товаров и используя векторный поиск одновременно по нескольким коллекциям. Но сегодня попался не менее интересный способ из Стенфорда, называется SUQL (структурированный/не структурированный язык запросов). В отличие от SQL часть запроса предварительно обрабатывается LLM моделью. Пример на картинке выше, пользователю нужны итальянские романтические рестораны. Семантический парсер выделяет слово Италия как значение столбца, в котором нужно искать страну кухни, а также проверяет сведения о том, является ли ресторан романтическим. И да, тоже по отзывам :)
Демо
Гитхаб
#llm #AI #RAG #ИИ
Демо
Гитхаб
#llm #AI #RAG #ИИ
👍5
Голосовые помощники теперь смогут работать даже в шумных помещениях. Это обеспечит нейронка новой архитектуры TRAMBA - гибрид трансформеров с появившейся прошлой осенью архитектурой MAMBA, которая работает с временными рядами. Обещают очень высокое качество звука, правда есть нюанс, оборудование тоже будет другим. Для использования нейросети требуется микрофон с костной проводимостью или акселерометр, закрепленный на голове. Зато открываются перспективы внедрения помощников в производстве.
Статья
#AI #ИИ #STT #Transformers
Статья
#AI #ИИ #STT #Transformers
👍5
Второй день читаю статьи про семантические элементы в GenAI приложениях. В двух словах - это прослойки между элементами приложения, которые частично оттягивают на себя задачи понимания смысла, чтобы LLM работала с более подготовленными данными.
Зачем:
* ускоряет время отклика
* упрощает внедрение бизнес-логики
* позволяет на естественном языке взаимодействовать с данными сложной структуры и без дообучения LLM обеспечить ей понимание профессиональной лексики, жаргонов и т.п
Зачем:
* ускоряет время отклика
* упрощает внедрение бизнес-логики
* позволяет на естественном языке взаимодействовать с данными сложной структуры и без дообучения LLM обеспечить ей понимание профессиональной лексики, жаргонов и т.п
👍4❤1
Как работает:
Семантические парсеры способны из пользовательского запроса извлекать даты, имена, названия, LLM пока еще с трудом справляются с вопросами типа, какой день недели был 3 года назад, и они не могут учитывать, был ли среди этих 3 лет високосный год . Но стоит преобразовать «3 года назад» в конкретную дату и задача решается даже без LLM.
Семантический слой между LLM и базой данных содержит сведения, какие инструменты доступны агенту, какова структура бд… позволяет легко сгенерировать запрос на языке БД.
Семантический роутер маршрутизирует запросы по смыслу еще до того, как они попадут в LLM. Он может выделить намерение пользователя, заранее определить инструменты, которые потребуются для выполнения запроса, выбрать, какой именно модели необходимо передать запрос и какой промпт необходим для его наилучшей обработки.
Семантический кеш позволяет хранить историю запросов к LLM и ее ответов, чтобы быстро возвращать из кеша ответы, если новый запрос похож по смыслу на один из предыдущих.
#llm #AI #RAG #ИИ
Семантические парсеры способны из пользовательского запроса извлекать даты, имена, названия, LLM пока еще с трудом справляются с вопросами типа, какой день недели был 3 года назад, и они не могут учитывать, был ли среди этих 3 лет високосный год . Но стоит преобразовать «3 года назад» в конкретную дату и задача решается даже без LLM.
Семантический слой между LLM и базой данных содержит сведения, какие инструменты доступны агенту, какова структура бд… позволяет легко сгенерировать запрос на языке БД.
Семантический роутер маршрутизирует запросы по смыслу еще до того, как они попадут в LLM. Он может выделить намерение пользователя, заранее определить инструменты, которые потребуются для выполнения запроса, выбрать, какой именно модели необходимо передать запрос и какой промпт необходим для его наилучшей обработки.
Семантический кеш позволяет хранить историю запросов к LLM и ее ответов, чтобы быстро возвращать из кеша ответы, если новый запрос похож по смыслу на один из предыдущих.
#llm #AI #RAG #ИИ
🔥3❤1👍1
На этой неделе вышла Gemma-2B-10M с длиной контекста в 10 млн токенов, что по мнению авторов вмещает в себя целую книгу о Гарри Поттере. У модели особая архитектура, вместо стандартного трансформера - рекуррентная сеть с локальным вниманием Infini-attention, благодаря чему требования к ресурсам при таком огромном контексте сумели не улететь в космос.
Модель небольшая, весит всего 9 гб, в инференсе потребляет 32 гб.
оригинал
hugging face
#llm #AI #RAG #ИИ
Модель небольшая, весит всего 9 гб, в инференсе потребляет 32 гб.
оригинал
hugging face
#llm #AI #RAG #ИИ
🔥2❤1👍1
Еще немного про роутеры, семантические и не только. Похоже это тема начинает набирать обороты в GenAI приложениях. Они уже появились в langchain и llamaIndex
Роутеры позволяют изменять сценарии взаимодействия в зависимости от складывающихся условий - например, оформлять пользователю покупку или продолжать отрабабатывать возражения, если он еще не дозрел.
Часто маршрутизацию делают прямо в промпте через LLM, но это долго, дорого и ненадежно.
Zero-Shot роутеры вместо LLM применяют локальные NLP модели
Семантические роутеры используют эмбеддинги и векторный поиск. Есть реализация в виде python библиотеки
#llm #AI #RAG #ИИ
Роутеры позволяют изменять сценарии взаимодействия в зависимости от складывающихся условий - например, оформлять пользователю покупку или продолжать отрабабатывать возражения, если он еще не дозрел.
Часто маршрутизацию делают прямо в промпте через LLM, но это долго, дорого и ненадежно.
Zero-Shot роутеры вместо LLM применяют локальные NLP модели
Семантические роутеры используют эмбеддинги и векторный поиск. Есть реализация в виде python библиотеки
#llm #AI #RAG #ИИ
👍2❤1
Новый и необычный способ борьбы с галлюцинациями на основе графового анализа. MIDGARD (Минимальная длина описания, управляемое агрегирование рассуждений в направленном ациклическом графе).
Работает так:
1. LLM генерит несколько рассуждений
2. На их основе строится граф, содержащий агрегированные свойства нескольких рассуждений.
3. Если какие-то свойства проявляются редко, алгоритм отсеивает их, т.к. они могут быть ошибочными, остальные оставляет.
В задаче извлечения структуры аргументов MIDGARD увеличил показатель F1 с 66,7% до 85,7% и в тоже время показал хорошую производительность
источник
Работает так:
1. LLM генерит несколько рассуждений
2. На их основе строится граф, содержащий агрегированные свойства нескольких рассуждений.
3. Если какие-то свойства проявляются редко, алгоритм отсеивает их, т.к. они могут быть ошибочными, остальные оставляет.
В задаче извлечения структуры аргументов MIDGARD увеличил показатель F1 с 66,7% до 85,7% и в тоже время показал хорошую производительность
источник
arXiv.org
MIDGARD: Self-Consistency Using Minimum Description Length for...
We study the task of conducting structured reasoning as generating a reasoning graph from natural language input using large language models (LLMs). Previous approaches have explored various...
👍3❤1
Генеративный Мир
идет трансляция openai. Представили помощника, который понимает происходящее на камере, голосом помогая решать математические примеры, написанные от руки на листе бумаги #llm #AI #RAG #ИИ #openai
Ок, Omni, у нее голос, эмоции и мультимодальность. Ещё она бесплатная, но доступна только мобильном приложении. Кажется сегодня не одна сотня стартапов закроет свой проект и превратится в адептов-интеграторов🙂
#llm #AI #RAG #ИИ #openai #gpt
#llm #AI #RAG #ИИ #openai #gpt
👍2❤1
Вслед за OpenAI и Google новинку представили и исследователи запрещенной в РФ Меты - модель смешанной модальности Chameleon. Обычно мультимодальные модели представляют собой смесь нескольких нейронок разной модальности, каждая из которых требует свой токенизатор в зависимости от типа данных. Такой подход вызывает проблемы при работе с документами, в которых одновременно есть и текст и изображение, поэтому исследователи предложили новую унифицированную архитектуру, одинаково обрабатывая обе модальности путем токенизации изображений аналогично тексту.
Источник
#llm #AI #RAG #ИИ
Источник
#llm #AI #RAG #ИИ
👍4❤1
Интересную гипотезу выдвинули исследователи MIT. Они считают, что модели изображений и LLM по мере того, как становятся больше,
Наиболее важным следствием является то, что высокоразвитые модели ИИ будут сходиться и превращаться в похожие идеализированные модели, использующие схожие наборы обучающих данных и архитектуры для представления одной и той же базовой реальности.
источник
#llm #AI #RAG #ИИ
они измеряют расстояние между точками данных все более и более похожим образомприближаясь к общему статистическому представлению реальности. Это называется «платоническим представлением», черпающим вдохновение из концепции Платона об идеальной реальности, лежащей в основе нашего восприятия.
… если вы хотите создать лучший LLM, вам также следует обучать его на данных изображений Мы видим, что лучшие передовые модели искусственного интеллекта, GPT-4o и Gemini 1.5 Pro, теперь изначально являются мультимодальными.
Наиболее важным следствием является то, что высокоразвитые модели ИИ будут сходиться и превращаться в похожие идеализированные модели, использующие схожие наборы обучающих данных и архитектуры для представления одной и той же базовой реальности.
источник
#llm #AI #RAG #ИИ
🤔3❤1👍1🔥1
Сегодня на конференции 1с демонстрировали умных ботов и ещё тему матчинга номенклатуры. По ощущениям она бизнесу откликается даже больше, чем персональные ассистенты, хотя и к ним был интерес. Показывали как пользователям без навыков 1с извлекать оттуда нужную информацию с помощью бота. Традиционный RAG на векторной базе проблему не решает, т.к. данные должны быть всегда актуальными, а меняются они буквально каждую секунду. В других стеках помогает технология text-to-sql, но у 1с и тут всё своё. Задачка со звёздочкой🙂
#llm #AI #RAG #ИИ #1C #1С
#llm #AI #RAG #ИИ #1C #1С
🔥4👍1
⚡️ Появилась новая область программирования - программирование с LLM, и эта новость совсем не про copilot и написание кода нейросетью!
Развитие промпт инжиниринга в какой-то момент потребовало возможности структурировать промпты для удобства их сопровождения. Для решения проблемы сначала был разработан язык промтов LMQL, который позволяет писать промпт в стиле python, учитывать в нем ветвления, записывать промежуточные результаты в переменные... Но стандартизировать промпты таким способом пока не удалось, и успешность выполнения запроса по-прежнему зависит от того, как разработчик подошел к его написанию.
Авторы нового подхода отталкиваются от того, что LLM оперирует не самим текстом, а его смыслом. И тип входных и выходных параметров функции с LLM тоже определяется смыслом, а не просто фактом содержания в нем строковых или числовых значений, как это происходит в обычном программировании.
Предложено ввести понятие semistrings - семантические строки, позволяющие разработчикам аннотировать код дополнительным контекстом.
Если раньше у переменной было только имя и тип, например
то теперь добавляется еще и смысл:
И пример функции
Это весь код🙂
Остальное должна сделать LLM, поняв по описанию, что от нее требуется вывести список достижений Эйнштейна
Источник
#llm #AI #RAG #ИИ
Развитие промпт инжиниринга в какой-то момент потребовало возможности структурировать промпты для удобства их сопровождения. Для решения проблемы сначала был разработан язык промтов LMQL, который позволяет писать промпт в стиле python, учитывать в нем ветвления, записывать промежуточные результаты в переменные... Но стандартизировать промпты таким способом пока не удалось, и успешность выполнения запроса по-прежнему зависит от того, как разработчик подошел к его написанию.
Авторы нового подхода отталкиваются от того, что LLM оперирует не самим текстом, а его смыслом. И тип входных и выходных параметров функции с LLM тоже определяется смыслом, а не просто фактом содержания в нем строковых или числовых значений, как это происходит в обычном программировании.
Предложено ввести понятие semistrings - семантические строки, позволяющие разработчикам аннотировать код дополнительным контекстом.
Если раньше у переменной было только имя и тип, например
name: str = "Эйнштейн"
то теперь добавляется еще и смысл:
"ученый" name:str = "Эйнштейн"
И пример функции
’Accomplishments’
accomp : list[str]
Einstein = Person(name="Einstein") by llm()
summarize (
’Accomplishments’ a: list[str]
) -> summary: str by llm()
accomp_summary = summarize(Einstein.accomp)
Это весь код🙂
Остальное должна сделать LLM, поняв по описанию, что от нее требуется вывести список достижений Эйнштейна
Источник
#llm #AI #RAG #ИИ
👍2🔥2
Forwarded from Machinelearning
Обычно модели AI воспринимаются как "черный ящик", где ввод данных приводит к выводу ответа, но неясно, почему модель выбрала именно этот ответ. Заглядывание внутрь "черного ящика" не всегда помогает, поскольку внутреннее состояние модели состоит из длинного списка чисел (активации нейронов), которые трудно интерпретировать.
Однако, благодаря применению техники "обучения словаря", сотрудники Anthropic смогли сопоставить паттерны активации нейронов с понятными человеческому человеку концепциями, позволяя представлять любой внутренний состояния модели через несколько активных признаков вместо множества активных нейронов.
В октябре 2023 года было успешно применено обучение словаря к небольшой "игрушечной" языковой модели. Эта работа была расширена до больших и сложных моделей, включая Claude Sonnet, что позволило выявить миллионы признаков, отражающих широкий спектр сущностей, таких как города, люди, элементы, научные области и синтаксис языков программирования программирования. Эти признаки могут быть мультимодальными и многоязычными, реагируя на изображения или названия сущности на многих языках.
Авторы также обнаружили возможность манипулировать этими признаками, усиливая их для изменения поведения модели. Например, усиление признака "Золотые ворота" привело к тому, что модель начала ассоциировать себя с этим мостом, приводя его в любую тему разговора.
Работа над улучшением безопасности моделей AI продолжается, и в Anthropic надеются использовать эти открытия для мониторинга систем AI на предмет нежелательного поведения, для направления их к желаемым результатам или удаления опасных тем.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2❤1👍1
Для macOS сделали приложение, которое "видит" рабочий стол пользователя, благодаря чему он может задавать вопросы относительно своей текущей деятельности не передавая контекст в LLM. Может работать как с OpenAI, так и с локальными моделями.
Авторы предоставили исходный код и обещают, что скоро оно появится и в сторах.
Почему же именно mac?
Все дело в особенности архитектуры процессоров Apple, фактически по своей структуре они представляют собой не CPU, а GPU, поэтому работать будет быстро без подключения дополнительных устройств и передачи данных на сервер
#llm #AI #RAG #ИИ
Авторы предоставили исходный код и обещают, что скоро оно появится и в сторах.
Почему же именно mac?
Все дело в особенности архитектуры процессоров Apple, фактически по своей структуре они представляют собой не CPU, а GPU, поэтому работать будет быстро без подключения дополнительных устройств и передачи данных на сервер
#llm #AI #RAG #ИИ
🔥2❤1👍1