Новая реплика gpt-3. Работает лучше (или сравнимо) оригинала.

Colab
Online demo

#NLP #GPT #generative

Токсичный GPT? Кажется есть решение.

#GPT #NLP #generative

Выглядит бомбически: OpenAI Copilot

#generative #GPT #code

Неплохая вводная книга по генеративным сетям. Устаревшая местами, но для новичков хорошая (нуу и она на tensorflow).

Неформальное описание задачи для AE и GAN очень творческие и красивые. Имхо для GAN у автора лучше получилось описание, чем классическое сыщик-фальшивомонетчик

#generative #GAN #gpt #книги

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

Genji - CoPilot для бедных.

Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.

Colab
Модель на Huggingface
Spaces

#code #generative #nlp #gpt

Раз уже на то пошло. GPT-J это модель обученная сообществом EutherAI (к которому я скромно тоже немного причастен, правда больше в области генерации картинок).

Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)

Colab
Блог-пост
Видео-разбор

#gpt #nlp #generative

AI Dungeon 👹

Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.

У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.

Играть тут

#nlp #game #gpt #demo

VideoGPT: Video Generation using VQ-VAE and Transformers

Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.

VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.

Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).

Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.

ArXiv
Проект
Colab

#video #generative

AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.

Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.

ArXiv

#nlp #gpt

Призыв от Стеллы Бёрдмэн из ElutherAI:

Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.

В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai

Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.

Тред

#ScientificML #science #gpt

Want To Reduce Labeling Cost? GPT-3 Can Help

Аннотирование данных - трудоемкий и длительный процесс для многих задач NLP. Хотя существуют различные методы получения псевдометок, они часто зависят от конкретной задачи и все равно требуют значительного количества размеренных данных.

В статье исследуются способы использования GPT-3 в качестве недорогого средства для разметки данных для обучения других моделей. Авторы обнаружили, что для того, чтобы последующая модель достигла одинаковой производительности в различных задачах NLU и NLG, использование меток из GPT-3 обходится на 50%-96% дешевле, чем использование меток от человека. Более того, авторы предлагают новую схему комбинирования псевдометок из GPT-3 с человеческими метками, что приводит к еще более высокой производительности при ограниченном бюджете на разметку. Эти результаты представляют экономически эффективную методологию разметки данных, которая может быть использована во многих практических приложениях.

Статья

#gpt #labeling #generative #nlp

MiniF2F: a cross-system benchmark for formal Olympiad-level mathematics (OpenAI)

Датасет формальных задач по математике олимпиадного уровня, предназначенный для создания единого межсистемного бенчмарка для нейронного доказательства теорем

Статья
GitHub

#datasets #math #ScientificML #gpt