Контекст больше не предел: Линейка русскоязычных энкодеров ruRoPEBert и как она создавалась
Привет, Хабр! Если вы интересуетесь NLP или просто современными DL моделями, то приглашаю вас узнать, как можно, имея всего лишь одну A100, около 30 гигабайтов текста и несколько дней обучения, решить проблему ограниченного окна контекста для русскоязычных трансформеров. А ещё сделаем несколько оптимизаций и добьёмся почти лучших метрик в бенчмарке encodechka. Погрузиться в контекст
#NLP #bert #r&d #deeplearning | @habr_ai
Привет, Хабр! Если вы интересуетесь NLP или просто современными DL моделями, то приглашаю вас узнать, как можно, имея всего лишь одну A100, около 30 гигабайтов текста и несколько дней обучения, решить проблему ограниченного окна контекста для русскоязычных трансформеров. А ещё сделаем несколько оптимизаций и добьёмся почти лучших метрик в бенчмарке encodechka. Погрузиться в контекст
#NLP #bert #r&d #deeplearning | @habr_ai
Хабр
Контекст больше не предел: Линейка русскоязычных энкодеров ruRoPEBert и как она создавалась
Удлиняем и крутим - RoPEBert Привет, Хабр! Если вы интересуетесь NLP или просто современными DL моделями, то приглашаю вас узнать, как можно, имея всего лишь одну A100, около 30 гигабайтов текста и...
Портируем видеоаналитику на новые платформы: 8 простых шагов
Упаковали свой опыт развертывания системы мониторинга транспортного потока — Smart Traffic System — на Rockchip и SOPHON в один стройный R&D пайплайн. Пошагово, со сроками. Как от сердца отрываем.
Сохраняйте, чтобы под рукой иметь план на случай, если задумаете исследовать возможность развертывания системы видеоаналитики на целевом устройстве.
Читать далее
#портирование_софта #компьютерное_зрение #видеоаналитика #импортозамещение #embedded_software_development #аппаратное_ускорение #развертывание_по #r_amp;d #pipeline #туториал | @habr_ai
Упаковали свой опыт развертывания системы мониторинга транспортного потока — Smart Traffic System — на Rockchip и SOPHON в один стройный R&D пайплайн. Пошагово, со сроками. Как от сердца отрываем.
Сохраняйте, чтобы под рукой иметь план на случай, если задумаете исследовать возможность развертывания системы видеоаналитики на целевом устройстве.
Читать далее
#портирование_софта #компьютерное_зрение #видеоаналитика #импортозамещение #embedded_software_development #аппаратное_ускорение #развертывание_по #r_amp;d #pipeline #туториал | @habr_ai
Хабр
Портируем видеоаналитику на новые платформы: 8 простых шагов
Упаковали свой опыт развертывания системы мониторинга транспортного потока — Smart Traffic System — на Rockchip и SOPHON в один стройный R&D пайплайн. Пошагово, со сроками. Как от сердца отрываем....