#AI #ML #GigaChat #стажировка #opensource #research
Кейс для тех, кто думает, что стажёрам дают только мелкие задачи.
Даниил Тихонов пришёл стажёром в команду фундаментальных моделей Сбера и сделал GFusion — экспериментальную диффузионную языковую модель на базе GigaChat. Проект вырос из его дипломной работы на ФКН НИУ ВШЭ.
Что получилось:
— модель генерирует текст не по одному токену, а блоками, редактируя в процессе
— ускорение до 70% относительно GigaChat3-10B-A1.8B
— плюс 39% к скорости относительно версии с MTP
— просадка качества всего 2–4 п.п.
Сейчас по проекту доступны код, обучение, оптимизированные attention-ядра и поддержка в SGLang.
После защиты диплома Даниил присоединился к команде Сбера в штат.
История про то, как стажёр может довести исследовательскую идею до результата, заметного всей ML-аудитории.
Кейс для тех, кто думает, что стажёрам дают только мелкие задачи.
Даниил Тихонов пришёл стажёром в команду фундаментальных моделей Сбера и сделал GFusion — экспериментальную диффузионную языковую модель на базе GigaChat. Проект вырос из его дипломной работы на ФКН НИУ ВШЭ.
Что получилось:
— модель генерирует текст не по одному токену, а блоками, редактируя в процессе
— ускорение до 70% относительно GigaChat3-10B-A1.8B
— плюс 39% к скорости относительно версии с MTP
— просадка качества всего 2–4 п.п.
Сейчас по проекту доступны код, обучение, оптимизированные attention-ядра и поддержка в SGLang.
После защиты диплома Даниил присоединился к команде Сбера в штат.
История про то, как стажёр может довести исследовательскую идею до результата, заметного всей ML-аудитории.
👍8❤1