На OpenAI новости сегодня на заканчиваются: Meta зарелизили сразу две уникальных разработки

1) LLM для тестирования кода, которая автоматически улучшает тесты, написанные человеком. TestGen протестировали на Facebook и Instagram и (приготовьтесь) 73% рекомендаций модели инженеры приняли в работу. В компании считают, что это первая подобная разработка, подкрепленная таким уровнем надежности.

2) Video Joint Embedding Predictive Architecture (V-JEPA) от команды Лекуна. Эта модель призвана научить модели лучше понимать реальный мир и сущность взаимодействия между объектами в нем. Исследователи говорят, что это следующий шаг к AGI или, вернее, к AMI (advanced machine intelligence).

Mistral, видимо, решили перенять опыт Apple и тайно начали тестировать свою новую модель mistral next.

Это обнаружили пользователи Твиттера на портале LMSYS. Базовые тесты показывают, что модель многообещающая. В ближайшем будущем что-то точно будет, а пока можете и сами потестить модель.

Тем временем Hugging Face выпустили опенсурс AI Cookbook. Это куча практических примеров решения ML-задач и разработки ИИ-приложений на основе моделей с открытым кодом в виде ноутбуков. Ну просто сказка.

Кстати, авторы приглашают всех контрибьютить в репозиторий, в том числе просто предлагать свои идеи.

На прошлой неделе Андрей Карпатый ушел из OpenAI. Теперь его календарь выглядит так. Желаем всем такое же количество рабочих созвонов, как у Андрея

Статья на архиве с лучшим объяснением word2vec, какое только может быть. В комплекте веб-демо.

Ведомство по патентам опять отклонило заявку OpenAI на патент названия «GPT». В первый раз это произошло в мае.

Главный аргумент ведомства прозрачен: GPT относится к общему типу программного обеспечения, а не только к продуктам OpenAI.

Это означает, что если у OpenAI появятся конкуренты с GPT в названии, компания не сможет подать на них в суд.

Итак, представляем топ-10 фреймворков для глубокого обучения:

10) Нельзя
9) Ранжировать их
8) Потому что каждый
7) Имеет свои собственные достоинства
6) Которые делают их лучшими
5) Для определенных задач
4) По сравнению с другими фреймворками
3) Мы должны признать
2) Что все они прекрасны
1) PyTorch

Недавно Google представили свою новую Gemini 1.5 Pro. По качеству она сравнима с GPT-4. Особенного внимания достоин контекст размеров 1 млн (!) токенов, а еще скорость и экономный расход ресурсов.

Таких результатов исследователи достигли за счет использования архитектуры Mixture of Experts. Вот путь исследований корпорации, который привел их к MoE (by Jeff Dean):

2017: Shazeer et al.. Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. ICLR 2017. Читать.

2020: Lepikhin et al., GShard: Scaling giant models with conditional computation and automatic sharding. ICLR 2020. Читать.

2021: Carlos Riquelme et al., Scaling vision with sparse mixture of experts, NeurIPS 2021. Читать.

2021: Fedus et al., Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. JMLR 2022. Читать.

2022: Clark et al., Unified scaling laws for routed language models, ICML 2022. Читать.

2022: Zoph et al., Designing effective sparse expert models. Читать.

Найдите что-то более захватывающее. Мы подождем.

POV: ты в роли проджекта на хакатоне

Meta* представила SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

Это новый метод для персонализированных рекомендаций по контенту с использованием LLM. Концепция брать что-то из NLP и применять в рексис далеко не новая (BERT4Rec привет!), но это – однозначно новый уровень.

Языковые модели тут используются для анализа долгосрочной истории взаимодействия пользователя и для извлечения из нее его глобальных интересов.

Статья

Когда не хватает вычислительной мощности, приходится ставить обучение на всем, что можно и нельзя