Вышли Qwen3-VL-Embedder и Reranker

https://huggingface.co/collections/Qwen/qwen3-vl-reranker

https://huggingface.co/collections/Qwen/qwen3-vl-embedding

Качество на текстовом домене проседает немного по сравнению с обычным и какие-то немного странные сравнения по моделям на vision части (нет jina-v4 например).

Пока нет поддержки в transformers (вряд-ли она скоро появится, тк сейчас их рефакторят) и надо использовать через их библиотеку

Qwen3-VL-Embedding продолжение

Спустя пару дней они выложили тех репорт https://arxiv.org/abs/2601.04720

- Первая модель которая полноценно используют chat tempalte от llm (ждем когда будет SBERT v6 с поддержкой)
- Схема обучения такая же как у Qwen3-Embedding. Тоже pre-training и fine-tuning основан на сгенерированных данных, но сейчас еще реранкер дистилили в эмбеддер
- Также использовали InfoNCE, но добавили Quantization-Aware Training и Matryoshka Representation Learning (как у gemma-embedding)
- По их замерам int8 эмбеддинги будут вести себя также как и fp32