Генеративное_глубокое_обучение_Творческий_потенци.pdf
12.4 MB
Неплохая вводная книга по генеративным сетям. Устаревшая местами, но для новичков хорошая (нуу и она на tensorflow).
Неформальное описание задачи для AE и GAN очень творческие и красивые. Имхо для GAN у автора лучше получилось описание, чем классическое сыщик-фальшивомонетчик
#generative #GAN #gpt #книги
Неформальное описание задачи для AE и GAN очень творческие и красивые. Имхо для GAN у автора лучше получилось описание, чем классическое сыщик-фальшивомонетчик
#generative #GAN #gpt #книги
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
Genji - CoPilot для бедных.
Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.
Colab
Модель на Huggingface
Spaces
#code #generative #nlp #gpt
Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.
Colab
Модель на Huggingface
Spaces
#code #generative #nlp #gpt
6b.eleuther.ai
EleutherAI - text generation testing UI
EleutherAI web app testing for language models
Раз уже на то пошло. GPT-J это модель обученная сообществом EutherAI (к которому я скромно тоже немного причастен, правда больше в области генерации картинок).
Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)
Colab
Блог-пост
Видео-разбор
#gpt #nlp #generative
Онлайн демо open-source версии GPT-3 доступно тут (с телефона работает не всегда, с компа проблем нет)
Colab
Блог-пост
Видео-разбор
#gpt #nlp #generative
AI Dungeon 👹
Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.
У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.
Играть тут
#nlp #game #gpt #demo
Текстовая ролевая игра типа Dungeon & Dragons, только вместо гейм-мастера человека - гейм-мастер GPT-3.
У вас есть полная свобода действий. Можно делать вообще что угодно! Игра очень захватывает, а если что-то идет не так - можно последние действия отменить или даже резетнуть GPT.
Играть тут
#nlp #game #gpt #demo
VideoGPT: Video Generation using VQ-VAE and Transformers
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
Концептуально простая архитектура для масштабирования генеративного моделирования на основе правдоподобия (likelihood modeling) на естественное видео.
VideoGPT использует VQ-VAE, который выучивает латентные представления исходного видео с пониженной дискретизацией (downsampled), используя 3D-свертки и осевой self-attention.
Затем простая архитектура, типа #GPT, используется для авторегрессионного моделирования дискретных латентных представлений с помощью пространственно-временных позиционных кодировок (spatio-temporal position encodings).
Сеть способна генерировать видосы, конкурентоспособные с современными #GAN-моделями для генерации видео.
ArXiv
Проект
Colab
#video #generative
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.
Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.
ArXiv
#nlp #gpt
Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.
Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.
ArXiv
#nlp #gpt
Призыв от Стеллы Бёрдмэн из ElutherAI:
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Twitter
Stella Rose Biderman
#AcademicTwitter #AcademicChatter Are you a (non-computer) scientist who wants to use models like @OpenAI’s GPT-3 for research? #EleutherAI wants to help. We have developed the most powerful freely available AI language models in the world and want to put…
Want To Reduce Labeling Cost? GPT-3 Can Help
Аннотирование данных - трудоемкий и длительный процесс для многих задач NLP. Хотя существуют различные методы получения псевдометок, они часто зависят от конкретной задачи и все равно требуют значительного количества размеренных данных.
В статье исследуются способы использования GPT-3 в качестве недорогого средства для разметки данных для обучения других моделей. Авторы обнаружили, что для того, чтобы последующая модель достигла одинаковой производительности в различных задачах NLU и NLG, использование меток из GPT-3 обходится на 50%-96% дешевле, чем использование меток от человека. Более того, авторы предлагают новую схему комбинирования псевдометок из GPT-3 с человеческими метками, что приводит к еще более высокой производительности при ограниченном бюджете на разметку. Эти результаты представляют экономически эффективную методологию разметки данных, которая может быть использована во многих практических приложениях.
Статья
#gpt #labeling #generative #nlp
Аннотирование данных - трудоемкий и длительный процесс для многих задач NLP. Хотя существуют различные методы получения псевдометок, они часто зависят от конкретной задачи и все равно требуют значительного количества размеренных данных.
В статье исследуются способы использования GPT-3 в качестве недорогого средства для разметки данных для обучения других моделей. Авторы обнаружили, что для того, чтобы последующая модель достигла одинаковой производительности в различных задачах NLU и NLG, использование меток из GPT-3 обходится на 50%-96% дешевле, чем использование меток от человека. Более того, авторы предлагают новую схему комбинирования псевдометок из GPT-3 с человеческими метками, что приводит к еще более высокой производительности при ограниченном бюджете на разметку. Эти результаты представляют экономически эффективную методологию разметки данных, которая может быть использована во многих практических приложениях.
Статья
#gpt #labeling #generative #nlp
MiniF2F: a cross-system benchmark for formal Olympiad-level mathematics (OpenAI)
Датасет формальных задач по математике олимпиадного уровня, предназначенный для создания единого межсистемного бенчмарка для нейронного доказательства теорем
Статья
GitHub
#datasets #math #ScientificML #gpt
Датасет формальных задач по математике олимпиадного уровня, предназначенный для создания единого межсистемного бенчмарка для нейронного доказательства теорем
Статья
GitHub
#datasets #math #ScientificML #gpt
GitHub
GitHub - openai/miniF2F: Formal to Formal Mathematics Benchmark
Formal to Formal Mathematics Benchmark. Contribute to openai/miniF2F development by creating an account on GitHub.