T-FREE - свобода от токенов.

У токенизации много недостатков - она бывает неточна и неоднозначна, требует множество ресурсов, приводит к избыточным токенам. Новый метод T-FREE без токенизатора встраивает слова напрямую через разреженные шаблоны активации по триплетам символов, уменьшает число слоев в эмбеддингах и повышает производительность. Моделируя перекрытия символов, T-FREE не требует предварительно обученного словаря.

T-FREE сократил количество необходимых параметров на 20%, используя 2,77 миллиарда параметров по сравнению с 3,11 миллиардами для традиционных методов.
Источник

https://habr.com/ru/articles/827800/
Что не так с вашим кодом, сгенерированным большими языковыми моделями? Оказывается неверный код содержит больше комментариев, чем верный код. На функциональных ошибках одинаково проваливаются, и закрытые, и открытые LLM. И есть ограниченный перечень проблем, возникающих в коде, типизированный китайскими исследователями и способ их преодолеть.
На этот раз статья - вольный перевод достаточно обширного исследования китайских ученых

Интернет агентов (IoA)
Не успел интернет вещей захватить мир, а на подходе уже новая еще более автоматизированная сущность - интернет агентов, фреймворк, в котором агенты могут регистрироваться, взаимодействовать, создавать автономные команды, делиться своими навыками.

Код

P.S. в следующих эпизодах... в интернете агентов начинают развиваться собственные соц сети, сфера услуг, экономическая модель...

Традиционные метрики оценки качества сгенерированного текста - BLEU, ROUGE и METEOR уже не всегда справляются со своей задачей при оценке текстов, сгенерированных LLM, т.к в них стало требоваться оценивать креативность и различные дополнительные нюансы.
Что взамен?
GPTScore - но это не просто метрика, а целый фреймворк, в котором есть оценщики, настроенные под конкретные виды моделей
G-eval - тоже фреймворк, цепочка мыслей, в которой процесс оценки направляется подробными промежуточными шагами, генерируемыми LLM. Этот метод показал улучшение корреляции с человеческими оценками, особенно в таких задачах, как резюмирование текста и генерация диалогов.
Check-Eval - генерит чек-листы с помощью LLM на основе критериев релевантности, связности, последовательности и т.п, а затем их проверяет, тоже с помощью LLM. Только рекомендую в этом случае брать другую, более сильную модель, относительно той, которой генерируем текст

Мы растем и развиваемся, запускаем новые амбициозные проекты по NLP и LLM. Поэтому я - в поиске 3 могучих джедаев в свою команду:

ИИ инженер, уверенный мидл и выше, о чьих славных подвигах потом будут сложены статьи на Хабре

QA с навыками аналитика, с которым наши метрики станут еще выше, а код надежнее

Руководитель проектов, который будет не только организовывать работу, но и вдохновлять команду на достижение амбициозных целей.

Если ты готов присоединиться к нашей команде и стать частью захватывающего путешествия в мир искусственного интеллекта, жду твоего отклика!

Интересная находка с ICML, фреймворк для параллельного вызова функций с помощью LLM. В процессе решения задачи LLMCompiler разбивает решение на несколько задач, определяет, какие из них могут быть выполнены параллельно и организует многофункциональный вызов. Результаты: 3,7х ускорения, 6,7х экономии на токенах, 9х повышения точности.
Авторы обещают, что будет работать не только с open AI моделями, но и моделями с открытым исходным кодом.

Код фреймворка тоже открытый, забираем и испытываем

#AI #LLM #ICML #fucntioncalling

Мой сын, перешел в 6 класс, хочет принять участие в AI Challenge, возрастная группа до 13 лет. Решила поделиться тем, какие нынче задания дают деткам:
- чат-бот с графовой базой знаний
- бинарная классификация
- модель CV для подсчета животных в свинокомплексе
- математическая модель, которая будет оценивать семантическую близость между текстовым описанием изображения и его графическим контентом.

В школьной программе при этом официально даже питона не было, информатика шла как факультатив, мы с ним занимаемся понемногу и пробовали участвовать в конкурсе по анализу данных, но тут действительно челлендж, за оставшееся время школьных каникул показать ему бинарную классификацию, основы работы с CV и графами

Ссылка на конкурс не реклама)

Простым языком о том, как GROQ смог обогнать NVIDIA по скорости вычислений для LLM
https://digitalocean.ru/n/novyj-yazykovoj-processor

Спасибо Марату за ссылку)

#AI #LLM #GROQ #NVIDIA

Готовлю статью на VC и сегодня будет маленький спойлер. Расскажу про один из наших кейсов генеративного ИИ, в котором не так много романтики, но он оказался очень нужным и полезным для производственных предприятий.
Давайте представим, что мы хотим построить дом, уже нарисован чертеж и определены все-все-все материалы, которые нам потребуются для его сборки, включая краску, кисти. электрику, пластиковые трубы… На большом производственном предприятии такой список элементов проектировщики передают в отдел закупок, в нем легко может несколько тысяч изделий, и задача закупщиков приобрести материалы именно с указанными характеристиками. А так как у нас на рынке свободная конкуренция, далеко не все компании могут позволить себе указать в этом списке краску конкретного бренда или марки, а ограничиваются только ее цветом, матовостью, материалом поверхности и иногда какими-то особыми условиями, например, устойчивостью к низким температурам. И вот тут начинается боль закупщиков потому что в поисках товаров на сайтах или делая запросы коммерческих предложений, они бывают вынуждены сидеть и вручную сравнивать требуемые характеристики ВСЕХ указанных материалов со ВСЕМИ имеющимися предложениями. Это долгая, монотонная и совершенно не интересная работа, а в некоторых источниках еще может и не быть всей информации, чтобы сказать с полной уверенностью, что это именно то, что требуется. Эту задачу мы успешно решаем комплексным подходом - векторный поиск с дополнительным учетом артикулов и числовых характеристик, автоматизированный мониторинг цен на сайтах, так мы накапливаем большие базы товаров, сейчас нами ежедневно парсятся более 100 сайтов рынка стройматериалов и автозапчастей. И самая изюминка - интеллектуальный ассистент закупщика, в виде чат-бота, который способен освободить закупщика не только от ручного сравнения товаров и цен, но и полностью взять на себя переписку с постащиками.

Еще с 2 кейсами практического применения генеративного ИИ сейчас участвуем в конкурсе докладов на конференцию "Инфостарт".

Первый кейс в продолжение истории с закупками позволяет делать матчинг товаров в 1С МДМ. МДМ - (master data mangement) - место где хранятся эталонные данные, и кажется, что основная задача системы уже заключается в том, чтобы их сравнивать с новыми данными и сообщать, есть уже такой товар в системе или нет. Но на самом деле МДМ системы пока еще тоже в начале своего интеллектуального развития и не найдут совпадения между краской для ванной комнаты и краской для влажных помещений. А еще нам приходится решать задачу обогащения данных, когда поставщик присылает прайс-лист с неполной информацией, а регламент МДМ предполагает заполнение обязательных полей, без которых этот товар в систему просто не завести. Тут приходим на помощь мы, находя аналог товара во внешних источниках и проверяя их на содержание там нужной информации. И если 2-3 источника сообщают нам одинаковое значение поля, это повод порекомендовать его значение пользователю.

Второй кейс - это чат-бот, умеющий доставать из 1С все необходимые данные. Работает на технологиях, аналогичных text-to-sql с той разницей, что 1С это не sql и для него потребовалась отдельная нейронка. Завтра выложу по нему более подробный пост. А пока прошу поддержать доклады своими голосами (секция - интеграция и обмен данными)🙏

Обещала более подробно рассказать про 1С бота. 1С во многом похожа на BI системы, когда речь идет об отчетах, и в то же время - это отдельный мир, со своим стеком технологий, поэтому данные не агрегируют во внешних хранилищах, а используют их непосредственно в 1С. Цель была в том, чтобы научить его отвечать на вопросы вида:
- какие товары мы продали в этом месяце?
- у кого из клиентов самая большая задолженность по дебиторке?
- на сколько выросла прибыль с прошлого месяца?
Традиционный способ решения: 1С программист реализует в коде формирование отчета. Отчет доступен непосредственно в 1С, если требуется его куда-то передать, пишется интеграция. Для каждого отчета требуется программист. Про запросы на естественном языке можно забыть.
Наш способ решения: Исключаем из процесса 1С программиста, самостоятельно формируя правильные запросы, если данные забираем в сыром виде, то можем их агрегировать на стороне бота. На ИИ ложится задача использовать 1С как внешнюю базу знаний. Для ее решения оставалось правильно построить такой RAG.
Мы выяснили, что в 1С есть сведения о схеме баз данных, так же как и в sql, которые можно запросить и скормить боту в качестве знаний. На стороне 1С программисты сделали для нас универсальный API, который даст доступ ко всем разрешенным таблицам и полям, если правильно составить json, содержащий те самые таблицы, поля, фильтры, сортировки... API универсален и не требует дальнейшего привлечения 1С программистов. На стороне ИИ - самая ответственная часть - понять, как правильно сформировать json под конкретный запрос. Такая история уже работает в text-to-sql, поэтому было решено, не изобретая велосипедов, аналогичным образом обучить нейронку под формирование json. А дальше - собираем все в единого бота, упаковываем в интерфейс телеграмма или куда захочет заказчик, и вот он - профит! Готовим демо бота к конференции Инфостарт. Очень надеюсь туда попасть, в этом мне сильно помогли бы ваши голоса за доклад и про МДМ. Голосование идет еще 2 дня

Тот редкий случай, когда не грустишь, а радуешься, увидев, как кто-то вместо тебя реализовал твою идею.

RagBuilder - инструментарий, который перебирая гиперпараметры, подбирает наилучшую конфигурацию RAG под конкретный набор файлов. Перебирает сплиттеры и их настройки, ретриверы, модели эмбеддингов, llm и т.п. Имеет пользовательский интерфейс, чтобы делать это no-code. Выпущен с открытым кодом и лицензией Apache 2.0.

Начинала делать такую же штуку полгода назад на уровне пет-проекта. Проект, как это часто бывает, был подзаброшен в суете рабочих будней, но с такой базой скорее всего получит вторую жизнь.
Код

Не успели мы привыкнуть к большим контекстам по 128к и более, как подъехала модель на целых 100 млн токенов! И даже ее разработчики назвали TM-2-mini, готовя нам что-то еще более грандиозное. Спойлер - это не трансформер поэтому такое длинное контекстное окно стоит в 1000 раз дешевле такого же объема контекста для Llama 3.1 405B. Контраст в требованиях к памяти еще больше — запуск Llama 3.1 405B с контекстом токенов 100M требует 638 H100 на пользователя только для хранения одного кэша KV размером 100M токенов. А LTM требует лишь небольшую часть HBM одного H100 на пользователя для того же контекста.

Модель работает на специальной технологии для длинного контекста HashHop. Хэши являются случайными и, следовательно, несжимаемыми, что требует от модели возможности хранить и извлекать максимально возможный объем информации для заданного размера контекста в любое время.

В открытый доступ модель к сожалению пока не выложили.

Источник

Safe Superintelligence - новый стартап Ильи Суцкевера, бывшего ключевого сотрудника OpenIA, основавшего свою компанию всего 3 месяца назад, привлек инвестиции в размере 1 миллиард долларов.

Среди инвесторов: Andreessen Horowitz, Sequoia Capital
Средства будут использованы для приобретения вычислительной мощности и хантинга лучших талантов
Сама SSI на текущий момент оценивается в 5 миллиардов долларов

Из этой новости напрашиваются 2 вывода:
1. Личность основателя стартапа порой ценится больше. чем сам продукт.
2. Сама траектория взлета Суцкевера заслуживает особого внимания, он не стартапил по гаражам, не пилил по ночам пет-проекты, а вместо этого будучи наемным сотрудником максимально качественно выполнял свою работу, чем и завоевал столь высокий авторитет

спустя 3 месяца после выхода тестового инференса SambaNova,наконец-то появился API для пользователей

Он бесплатный, но с ограничениями. Попробовать можно тут
#AI #LLM #LLAMA #SAMBANOVA

а вот и обещанная статья
https://vc.ru/u/3943652-kseniya-plesovskih/1498437-kak-ii-pomozhet-uskorit-process-zakupok-i-uprostit-rabotu-zakupshikov-na-etape-vybora-luchshei-ceny

Наиболее полезные посты на этом канале

Применение ИИ в бизнесе
Генеративный ИИ в МДМ
Бот для 1С
Рекомендательная система для интернет-магазина

Полезные ИИ библиотеки, фреймворки, модели

RagBuilder
Фреймворк для параллельного вызова LLM
Метрики качества генеративного ИИ
Прогнозирование намерений пользователя
Языки программирования на LLM

Публикации
Что не так с Вашим кодом, сгенерированным LLM
Отчет о патентном ландшафте в генеративном ИИ 2024
Аналитический отчет Стенфордского университета про ИИ за 24 год

#AI #LLM