Коллеги из команды выпустили технический отчет по обученной ими небольшой LLM под названием Гамаюн (рис.1) с 1.5B параметров и тренировкой с нуля на всего лишь 2.5T токенах: https://arxiv.org/abs/2512.21580 . Модель мультилингвальна и имеет фокус на русском языке. На ряде бенчмарков она превосходит Qwen2.5-1.5B и сравнима с Qwen3-1.7B, несмотря на то, что последние обучены на корпусах намного большего размера (18T - 36T). Модель также является SoTA на MERA (русскоязычный бенч) среди LLM размера 1-2B параметров.

К сожалению, веса в открытый доступ пока что выложить не разрешили, но должны разрешить выложить их для новой версии модели, которая ожидается через несколько месяцев. В утешение можно почитать технический отчет и узнать, как натренировать LLM с нуля с небольшим компьютом на небольшом количестве токенов! А еще можно почитать скрины диалогов с разными ранними версиями модели, полученных до полного завершения тренировки (рис. 2-10). 😼 Даже жалко, что итоговая версия стала более нормисной и теперь выдает подобные приколы намного реже... 😒

#объяснения_статей