Недавно вышедшая статья исследователей из Тинькофф произвела фурор и заняла первое место в подборке Daily Papers
Статья называется Linear Transformers with Learnable Kernel Functions are Better In-Context Models и она про улучшение модели Based. Оригинальный Based сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, однако плохо справляется с длинным контекстом.
Чтобы это исправить, в статье ребята разработали другую концепцию ядра для модели, и им удалось побить старый скор. Поздравляем коллег!
Статья
Статья называется Linear Transformers with Learnable Kernel Functions are Better In-Context Models и она про улучшение модели Based. Оригинальный Based сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, однако плохо справляется с длинным контекстом.
Чтобы это исправить, в статье ребята разработали другую концепцию ядра для модели, и им удалось побить старый скор. Поздравляем коллег!
Статья
🔥118👍12❤6🍌1
Помните, мы говорили, что Карпатый уволился из OpenAI и шутили про продуктивность?
Так вот – это больше не шутка. Всего за неделю он:
1) Написал from scratch реализацию популярного LLM-ного токенизатора BPE (читайте про нее в нашем посте)
2) Выпустил лекцию про токенизацию в LLM со всеми подробностями на 2 часа.
Ну мед 🍯
Так вот – это больше не шутка. Всего за неделю он:
1) Написал from scratch реализацию популярного LLM-ного токенизатора BPE (читайте про нее в нашем посте)
2) Выпустил лекцию про токенизацию в LLM со всеми подробностями на 2 часа.
Ну мед 🍯
👍91❤14🔥11🤯5❤🔥2⚡1
RNN в картинках
Объясняем как работют рекуррентные нейронные сети по такому рецепту: минимум слов, максимум схем и примеров.
Объясняем как работют рекуррентные нейронные сети по такому рецепту: минимум слов, максимум схем и примеров.
👍53🔥15❤6
Gemini, Gemma, Goose. Это только несколько названий ИИ-продуктов, которые Google презентовала в последнее время.
Goose – это новая внутренняя разработка компании, призванная помочь сотрудникам в программировании. Модель может написать, дописать код, пофиксить баги или провести рефакторинг. Она основана на Gemini и дообучена на коде, созданном в компании за 25 лет.
Gemma – новоиспеченная открытая(!) LLM от Google, ставшая SOTA. Есть коммерческая лицензия, и на тестах модель превосходит Mistral AI 7B и LLaMa 2 на Human Eval и MMLU. Есть в варианте 2B и 7B. А еще Gemma можно развернуть на локалке или в облаке Google.
Goose – это новая внутренняя разработка компании, призванная помочь сотрудникам в программировании. Модель может написать, дописать код, пофиксить баги или провести рефакторинг. Она основана на Gemini и дообучена на коде, созданном в компании за 25 лет.
Gemma – новоиспеченная открытая(!) LLM от Google, ставшая SOTA. Есть коммерческая лицензия, и на тестах модель превосходит Mistral AI 7B и LLaMa 2 на Human Eval и MMLU. Есть в варианте 2B и 7B. А еще Gemma можно развернуть на локалке или в облаке Google.
🔥27👍4❤2
Мотивации пост.
Знали ли вы, что в команде Hugging Face всего 170 человек? И такая небольшая команда справляется с впечатляющим количеством задач:
– Более 1.5 миллионов репозиториев, а кроме этого демо и статьи
– OS: трансформеры, диффузионки, детасеты, gradio, timm, transformers.js, TGI, safetensors, nanotron
– сотки коллабораций с научными лабораториями, группами исследователей и целыми корпорациями
– Hugging Chat, Comic Creator и Lora Studio
– лицензии и этика моделей
– обучающие курсы, гайды, кукбуки, хэндбуки, документация
– собственный инструмент для визуализации и EDA
– и многое другое
Ну вы поняли. Желаем всем такой же продуктивности, как у команды Hugging Face 🤗
Знали ли вы, что в команде Hugging Face всего 170 человек? И такая небольшая команда справляется с впечатляющим количеством задач:
– Более 1.5 миллионов репозиториев, а кроме этого демо и статьи
– OS: трансформеры, диффузионки, детасеты, gradio, timm, transformers.js, TGI, safetensors, nanotron
– сотки коллабораций с научными лабораториями, группами исследователей и целыми корпорациями
– Hugging Chat, Comic Creator и Lora Studio
– лицензии и этика моделей
– обучающие курсы, гайды, кукбуки, хэндбуки, документация
– собственный инструмент для визуализации и EDA
– и многое другое
Ну вы поняли. Желаем всем такой же продуктивности, как у команды Hugging Face 🤗
❤111🤗31🔥16👍6❤🔥3🤔1
Data Secrets
Интересно, когда он позовет на бой в клетке Альтмана и Пичаи?
А кстати, чего это Илон так тролит?
Ну просто Google немного переборщили с diversity в генерации изображений и теперь третий день ловят насмешки от всего интернета. Даже ванильное мороженое вдруг становится шоколадным, а создатели Google азиатами.
А компании уже извинились, временно приостановили генерацию изображений и пообещали доработать модель.
Ну просто Google немного переборщили с diversity в генерации изображений и теперь третий день ловят насмешки от всего интернета. Даже ванильное мороженое вдруг становится шоколадным, а создатели Google азиатами.
А компании уже извинились, временно приостановили генерацию изображений и пообещали доработать модель.
😁105👍6❤5🔥4🥰2👏1