⚡️⚡️⚡️ Train 400x faster Static Embedding Models with Sentence Transformers

Интересное чтиво- очень быстрый метод обучения статических моделей эмбедингов, которые выполняются на процессоре.

На тестах он показал себя в 100-400 раз быстрее, чем обычные модели, при сохранении качества более в районе 85%!

Внутри:
- Две модели (для английского языка и многоязычная),
- Подробная стратегия обучения, которой следовали авторы, от разработки идеи до выбора фдатасета, реализации и оценки.
- Сценарии обучения, основанные на опенсорсной библиотеке sentence transformers с открытым исходным кодом.
- Отчеты о весах и отклонениях с метриками обучения и оценки, собранными во время обучения.
- Список датасетов, которые авторы использовали: 30 для обучения и 13 для оценки моделей.

🤗 HF: https://huggingface.co/blog/static-embeddings

#transformers #embeddingmodel #tutorial