И еще, у нас тут в мире локальных больших языковых моделей тоже событие:
на той неделе вышла Yi-34B-Chat и ее базовая версия с «контекстным окном в 200k» (помнит больше истории вашего общения и тп).

Yi-34B-Chat протестировали в сообществе и она заняла первое место среди всех опенсорсных моделей которые выходили — я обычно скептически отношусь к таким результатам но решил сам попробовать, и я честно скажу что офигел.

Модель построена на llama2 архитектуре, но натренирована с нуля, в основном на английском.

34 миллиарда параметров и очень качественный датасет, оказались достаточным рецептом чтобы я три дня выходных вечером сидел и генерировал с ней разные истории с зомби-апокалипсисом – обычно я локальные LLM только настраиваю и дальше ухожу играться в GPT4, в этот раз такого не случилось.

Очень советую ее потестировать (если любите когда компьютер вам пишет книжки).

Дальше у меня по палану доучить с qlora эту модель на Гарри Поттере (и методах рационального мышлении тоже) и пропасть на две недели вообще, путешествуя во вселенной и выдуманных рассказов на мой вкус.

— Модель

— Разные интерфейсы для работы с локальными LLM (включая OSX аппы которые с клика ставятся)

Лучшие настройки какие я нашел для задачи «креативного» написания рассказов (для нердов):
—temp 1 \
—top-k 40 \
—top-p 0.95 \
—min-p 0.05 \
—repeat_penalty 1.18 \

В видео показано с какой скоростью она пишет, что отдельно магия каждый раз. Очень жду доступа к Масковскому Grok чтобы сравнить 😈