Заметки LLM-энтузиаста
520 subscribers
145 photos
17 videos
1 file
176 links
Дмитрий Жечков @djdim
архитектор в Yandex Cloud,
ex. VMware NSX specialist, ex. Cisco SE

Здесь пишу свои заметки по LLM (большим языковым моделям) и AI-разработке.

Это личное мнение и не отражает официальную позицию компании, в которой я работаю.
Download Telegram
Всем привет! Первый пост на этом канале. И сразу ДВЕ отличные новости.

Новость N1.

#meta #llama2 #news
Компания Meta только что выпустила достойного конкурента ChatGPT с открытым исходным кодом, который защищает конфиденциальность данных пользователей

Речь идет об LLM модели Llama 2.

Вот некоторые из ее отличительных характеристик:
- Доступна для коммерческого использования
- Предварительно обучена на 2Т токенов
- Сильные оценки MMLU (т.е. сильная аргументация)
- 4K контекстное окно
- Близка к GPT-3.5 по производительности решения задач, которые требуют рассуждений

Полезные ссылки для дальнейшего изучения:
веб-сайт: https://ai.meta.com/llama/
huggingface: https://lnkd.in/dZ58EWVy
🔥1
Новость N2.

#langchain #langsmith #news

Компания Langchain выпустила LangSmith - платформу для отладки, тестирования и мониторинга LLM-приложений в промышленных инсталляциях

Этот шаг стал быстрым ответом на основные жалобы разработчиков, в том числе:
* Понимание того, что именно представляет собой финальный запрос на вызов LLM (после всего форматирования шаблона запроса этот финальный запрос может быть длинным и запутанным)
* Понимание того, что именно возвращается из вызова LLM на каждом шаге (до пост-обработки или какого-либо преобразования)
* Понимание точной последовательности обращений к LLM (или другим ресурсам), а также того, как они связаны между собой
* Отслеживание использования токенов
* Управление затратами
* Отслеживание (и отладка) задержек
* Отсутствие хорошего набора данных для оценки приложения
* Отсутствие хороших метрик для оценки приложения
* Понимание того, как пользователи взаимодействуют с продуктом.

Подробнее можно прочитать здесь: https://blog.langchain.dev/announcing-langsmith/
🔥1
1) Классный поисковик с рейтингами по плагинам GPT-4 https://plugin.surf

2) OpenAI выпустил руководство о том, как использовать свои модели GPT-4 и Whisper для расшифровки и обобщения протоколов совещаний. Meeting minutes - OpenAI API
https://platform.openai.com/docs/tutorials/meeting-minutes
🔥1