💡Transformer^2: Самоадаптирующиеся LLM

Вводит новую структуру самоадаптации, которая адаптирует LLM для невидимых задач в реальном времени, выборочно корректируя только отдельные компоненты их весовых матриц.

Во время вывода использует систему диспетчеризации, которая определяет свойства задачи, а затем использует векторы «экспертов» для конкретной задачи, обученные с помощью reinforcement learning👀

https://huggingface.co/papers/2501.06252

@data_analysis_ml

#transformers2 #llm #paper #ml