🤖 BulgakovLM 3B - большая языковая модель для русского языка

Копался в своих архивах и с удивлением обнаружил, что два года назад я обучил LLM для русского языка и никогда об этом не писал. Исправляюсь.

- Три миллиарда параметров на архитектуре GPT-J
- Токенизатор от rugpt3_based_on_gpt2
- Контекст 4096 токенов
- 100 ГБ датасет (>70% веб-страницы)
- Обучена в течение 2-х эпох

Хорошо подходит для дальнейшего обучения и быстрого прототипирования. HuggingFace

@hikonon

Voice Stuff открывает канал на YouTube!

Сегодня в гостях "Денис Петров" — 15-ти летний исследователь NLP, который написал лучший расстановщик ударений для синтеза речи "RuAccent"

Вы услышите об истории создания, почему Денис решил развиваться в этой сфере, где научился программировать, как пришёл к решению задачи с ударениями. Также расскажем что под капотом у RuAccent, на каких данных обучалась, и есть ли что-то, что расставляет ударения и ё лучше, чем RuAccent.

Заваривайте чай, накладывайте покушать и приступайте к просмотру, получилось очень интересно!

На канале есть ещё видео о том как тестровать нейронные сети и про то, как добиться обучения Zero-Shot и few-shot (в лайвах)

https://www.youtube.com/watch?v=FopG1hcxSVg

Мальчики, новый положняк