Новая реплика gpt-3. Работает лучше (или сравнимо) оригинала.

Colab
Online demo

#NLP #GPT #generative

Токсичный GPT? Кажется есть решение.

#GPT #NLP #generative

Выглядит бомбически: OpenAI Copilot

#generative #GPT #code

Неплохая вводная книга по генеративным сетям. Устаревшая местами, но для новичков хорошая (нуу и она на tensorflow).

Неформальное описание задачи для AE и GAN очень творческие и красивые. Имхо для GAN у автора лучше получилось описание, чем классическое сыщик-фальшивомонетчик

#generative #GAN #gpt #книги

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

Genji - CoPilot для бедных.

Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.

Colab
Модель на Huggingface
Spaces

#code #generative #nlp #gpt

Раз уже на то пошло. GPT-J это модель обученная сообществом EutherAI (к которому я скромно тоже немного причастен, правда больше в области генерации картинок).

Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)

Colab
Блог-пост
Видео-разбор

#gpt #nlp #generative

AI Dungeon 👹

Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.

У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.

Играть тут

#nlp #game #gpt #demo

VideoGPT: Video Generation using VQ-VAE and Transformers

Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.

VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.

Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).

Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.

ArXiv
Проект
Colab

#video #generative

AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.

Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.

ArXiv

#nlp #gpt