#unrealneural #вкопилкуэрудита
Semantic Structure in LLM Embeddings
Семантические пространства эмбеддингов LLM незаметно сжимают множество значений в небольшое общее пространство, отражающее человеческие суждения.
Трехмерное подпространство охватывает около 50% семантической дисперсии.
Психология показывает, что люди оценивают слова по нескольким осям, например, насколько они позитивны, насколько они сильны и насколько активны.
Авторы воссоздают это, формируя 28 направлений из пар антонимов и проецируя на них 301 слово.
Эти прогнозы хорошо соответствуют рейтингам опроса, показывая, что геометрия встраивания отражает человеческие ассоциации.
Анализ главных компонентов — инструмент, который находит основные направления вариации, сворачивает проекции в три компонента, такие как оценка, эффективность и активность.
https://arxiv.org/abs/2508.10003
Semantic Structure in LLM Embeddings
Семантические пространства эмбеддингов LLM незаметно сжимают множество значений в небольшое общее пространство, отражающее человеческие суждения.
Трехмерное подпространство охватывает около 50% семантической дисперсии.
Психология показывает, что люди оценивают слова по нескольким осям, например, насколько они позитивны, насколько они сильны и насколько активны.
Авторы воссоздают это, формируя 28 направлений из пар антонимов и проецируя на них 301 слово.
Эти прогнозы хорошо соответствуют рейтингам опроса, показывая, что геометрия встраивания отражает человеческие ассоциации.
Анализ главных компонентов — инструмент, который находит основные направления вариации, сворачивает проекции в три компонента, такие как оценка, эффективность и активность.
https://arxiv.org/abs/2508.10003
⚡3👍1
#unrealneural
Jet-Nemotron: эффективная языковая модель с постнейронной архитектурой поиска
Jet-Nemotron, новое семейство языковых моделей с гибридной архитектурой, точность которых сопоставима или превосходит точность ведущих моделей полного внимания, при этом значительно повышая производительность генерации. Jet-Nemotron разработан с использованием PostNeural Architecture Search (PostNAS), нового конвейера исследований нейронной архитектуры, обеспечивающего эффективное проектирование моделей.
https://arxiv.org/abs/2508.15884
Jet-Nemotron: эффективная языковая модель с постнейронной архитектурой поиска
Jet-Nemotron, новое семейство языковых моделей с гибридной архитектурой, точность которых сопоставима или превосходит точность ведущих моделей полного внимания, при этом значительно повышая производительность генерации. Jet-Nemotron разработан с использованием PostNeural Architecture Search (PostNAS), нового конвейера исследований нейронной архитектуры, обеспечивающего эффективное проектирование моделей.
https://arxiv.org/abs/2508.15884
👍2⚡1