Byte Pair Encoding
Обработка текстов на сегодняшний день – флагман нейросетевых задач. Но, поскольку нейросети работают с числами, до передачи в модель текст нужно преобразовать, в том числе разбить на части – токены. Для этого есть множество подходов, и один из них BPE. Он используется в моделях BERT и GPT-2. Рассказываем, как он работает.
Оригинальная статья
Реализация Google
Реализация Facebook AI Research
Обгоняющая по скорости Google и Facebook в 10-50 раз реализация VK
😻 #NN
Обработка текстов на сегодняшний день – флагман нейросетевых задач. Но, поскольку нейросети работают с числами, до передачи в модель текст нужно преобразовать, в том числе разбить на части – токены. Для этого есть множество подходов, и один из них BPE. Он используется в моделях BERT и GPT-2. Рассказываем, как он работает.
Оригинальная статья
Реализация Google
Реализация Facebook AI Research
Обгоняющая по скорости Google и Facebook в 10-50 раз реализация VK
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🔥6⚡3
На случай, если вы еще не подписаны, напоминаем: у нас есть второй канал
Журнал XOR – новости, мемы и много кода. В общем, мастхев для программиста. И, конечно, бонусом идет огромный крутой чат, где можно попросить совета или просто поболтать с единомышленниками.
Подписывайтесь: @xor_journal
Журнал XOR – новости, мемы и много кода. В общем, мастхев для программиста. И, конечно, бонусом идет огромный крутой чат, где можно попросить совета или просто поболтать с единомышленниками.
Подписывайтесь: @xor_journal
❤7👍1
Завезли DALL-E 3!
Обещают значительные улучшения в генерации надписей, деталей тела (например, пальцев), и привлекательные изображение без хаков и хитрых промптов. И выглядит это действительно симпатично.
Деталей реализации нет, статьи нет, API нет, но будет интеграция с GPT-4 для подписчиков ChatGPT+.
Блогпост на OpenAI
😻 #news
Обещают значительные улучшения в генерации надписей, деталей тела (например, пальцев), и привлекательные изображение без хаков и хитрых промптов. И выглядит это действительно симпатично.
Деталей реализации нет, статьи нет, API нет, но будет интеграция с GPT-4 для подписчиков ChatGPT+.
Блогпост на OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤31👍1🗿1
Как задеплоить модель с помощью FastAPI
Неотъемлемая часть работы дсника в современной индустрии – это деплой своих проектов. А как это сделать? Вот краткий гайд с готовым кодом и объяснением на пальцах.
😻 #python
Неотъемлемая часть работы дсника в современной индустрии – это деплой своих проектов. А как это сделать? Вот краткий гайд с готовым кодом и объяснением на пальцах.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52❤12🔥9
Вчера мы объясняли, как задеплоить простейшую модель в прод
Но модели и системы могут быть гораааздо сложнее. Это мы к тому, что без знаний докера никуда. Докер – это уже на уровне pandas – база.
Поэтому если вы все еще мало знакомы с этой темой, то пора обзавестись знаниями. Для этого рекомендуем отличный Ютуб плейлист с туториалами для начинающих. Понятно, полезно, по полочкам.
Ну а если фундамент вы уже освоили, то вот вам бесплатный курс от ODS для более продвинутых. Рекомендуем!
😻 #advice
Но модели и системы могут быть гораааздо сложнее. Это мы к тому, что без знаний докера никуда. Докер – это уже на уровне pandas – база.
Поэтому если вы все еще мало знакомы с этой темой, то пора обзавестись знаниями. Для этого рекомендуем отличный Ютуб плейлист с туториалами для начинающих. Понятно, полезно, по полочкам.
Ну а если фундамент вы уже освоили, то вот вам бесплатный курс от ODS для более продвинутых. Рекомендуем!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🐳9❤4🔥2