Заметки LLM-энтузиаста
522 subscribers
146 photos
17 videos
1 file
177 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
Всем привет! Первый пост на этом канале. И сразу ДВЕ отличные новости.

Новость N1.

#meta #llama2 #news
Компания Meta только что выпустила достойного конкурента ChatGPT с открытым исходным кодом, который защищает конфиденциальность данных пользователей

Речь идет об LLM модели Llama 2.

Вот некоторые из ее отличительных характеристик:
- Доступна для коммерческого использования
- Предварительно обучена на 2Т токенов
- Сильные оценки MMLU (т.е. сильная аргументация)
- 4K контекстное окно
- Близка к GPT-3.5 по производительности решения задач, которые требуют рассуждений

Полезные ссылки для дальнейшего изучения:
веб-сайт: https://ai.meta.com/llama/
huggingface: https://lnkd.in/dZ58EWVy
🔥1
Новость N2.

#langchain #langsmith #news

Компания Langchain выпустила LangSmith - платформу для отладки, тестирования и мониторинга LLM-приложений в промышленных инсталляциях

Этот шаг стал быстрым ответом на основные жалобы разработчиков, в том числе:
* Понимание того, что именно представляет собой финальный запрос на вызов LLM (после всего форматирования шаблона запроса этот финальный запрос может быть длинным и запутанным)
* Понимание того, что именно возвращается из вызова LLM на каждом шаге (до пост-обработки или какого-либо преобразования)
* Понимание точной последовательности обращений к LLM (или другим ресурсам), а также того, как они связаны между собой
* Отслеживание использования токенов
* Управление затратами
* Отслеживание (и отладка) задержек
* Отсутствие хорошего набора данных для оценки приложения
* Отсутствие хороших метрик для оценки приложения
* Понимание того, как пользователи взаимодействуют с продуктом.

Подробнее можно прочитать здесь: https://blog.langchain.dev/announcing-langsmith/
🔥1
1) Классный поисковик с рейтингами по плагинам GPT-4 https://plugin.surf

2) OpenAI выпустил руководство о том, как использовать свои модели GPT-4 и Whisper для расшифровки и обобщения протоколов совещаний. Meeting minutes - OpenAI API
https://platform.openai.com/docs/tutorials/meeting-minutes
🔥1
#langchain #llama2 #news

Вышел релиз LLaMA-2 с окном контекста 32k
https://together.ai/blog/llama-2-7b-32k
"Fine-tune the model for targeted, long-context tasks—such as multi-document understanding, summarization, and QA"
"Тонкая настройка модели для решения целевых задач с длинным контекстом, таких как работа с многодокументными текстами, обобщение и QA".
Похоже именно эта LLM модель сейчас самый лучший opensource вариант для решения задачи осмысленной работы с документами произвольной длины
🔥1