Для форматирования кода, который будет публичным я использую BlackCellMagic.

Аналогичный функционал есть во многих IDE, но конкретно этот работает как магия в блокнотах.

#Python #presentation #code

Нейро-автокоррект кода. В комментах есть ссылка на их гит.

Twitter пост

#Python #code

Выглядит бомбически: OpenAI Copilot

#generative #GPT #code

Прикольная визуализация. Пока не знаю, можно ли к нам прикпутить и нужно ли

Туториал как запустить в Colab

#code #python #visualization

Ян Лекун поделился ссылкой на пакет для работы с массивными линейными слоями

Medium

#code #resources #python

neural waveshaping synthesis

С помощью нейросетей теперь можно переиграть любой звук виолончелью, флейтой или трубой. Любой желающий может сделать это, перейдя по ссылке.

А вот код для запуска у себя на ПК и cтатья на arxiv про эту нейросеть.

На сайте Gradio есть ещё очень много интересных демо-приложений с разными нейросетями.

Пример: известная мелодия из Rick Astley - Never Gonna Give You Up на виолончели. Звук сгенерирован полностью нейросетью.

Советую сделать звук динамиков потише.

#code #sound #signal #generative

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

Genji - CoPilot для бедных.

Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python.

Colab
Модель на Huggingface
Spaces

#code #generative #nlp #gpt

JAX - что это такое и с чем его едят?

В последнее время много новинок от Google и DeepMind выходит на JAX, вместо привычного PyTorch или TF.

JAX - это новая библиотека в мире машинного обучения (ML), которая обещает сделать программирование ML более интуитивным, структурированным и чистым.

Основная и единственная цель JAX - выполнение числовых операций в высокопроизводительной форме. Это означает, что синтаксис практически идентичен Numpy.

Одним из главных преимуществ JAX является то, что мы можем запускать одну и ту же программу без каких-либо изменений на аппаратных ускорителях, таких как GPU и TPU.

Другой важный момент - это скорость. JAX быстрее. Намного быстрее. Например перемножение двух матриц (1000,1000) в NumPy занимает ~50ms, а в JAX ~1.5ms (на GPU).

В библиотеку встроен автоград. JAX способен дифференцировать всевозможные функции python и NumPy, включая циклы, ветвления, рекурсии и многое другое.

Факторы, делающие JAX таким быстрым:
* ускоренная линейная алгебра (Accelerated Linear Algebra или XLA).
* Just in time compilation (jit) - способ выполнения компьютерного кода, который предполагает компиляцию программы - во время выполнения - а не перед выполнением.
* Репликация вычислений между устройствами с помощью pmap - еще одно преобразование, которое позволяет нам реплицировать вычисления на несколько ядер или устройств и выполнять их параллельно (p в pmap означает parallel).
И ещё много различных трюков и улучшений.

Ещё одной особенностью JAX (и возможно даже более важной чем скорость) является Pseudo-Random number generator. В отличие от NumPy или PyTorch, в JAX состояния случайности должны быть поданы пользователем в качестве аргумента (что делает JAX по умолчанию намного более воспроизводимым).

Ещё больше деталей и примеров кода
Официальный GitHub

#gpu #code #jax

OpenAI Codex - просто чума!

Час назад, OpenAI провела лайв-демо своего нового API Codex, которое позволяет пользоваться их моделью для генерации кода. Было показано много прикольных применений типа автонаписания кода и даже игры на JavaScript. Но самое сладкое они оставили на конец.

У многих программ есть своё собственное API (например у Word). Так вот, Codeх способен к ним подключаться и напрямую управлять софтом. Например, в демо показано как с помощью одной голосовой команды можно удалить все лишние пробелы в вордовском документе или выделить жирным каждую 5ую строку!

Посмотреть презентацию можно тут: https://www.youtube.com/watch?v=SGUCcjHTmGY

#code #news #generative #nlp

Program Synthesis with Large Language Models

Авторы используют большие языковые модели для синтеза компьютерных программ, выполнения программ, решения математических задач и диалога с людьми для итеративного уточнения кода.
Модели могут решить 60% и 81% задач по программированию и математике, соответственно.

Оказалось что, большие модели не только решают проблемы, которые не могут решить меньшие модели, но и более надежно решают более простые проблемы, которые меньшие модели решают реже.

В статье разобранны различные аспекты работы с такими кодовыми моделями.

ArXiv

#code #generative #nlp

WebDataset

WebDataset - это реализация PyTorch Dataset (IterableDataset), обеспечивающая эффективный доступ к наборам данных, хранящимся в POSIX tar архивах, и использующая только последовательный/потоковый доступ к данным. Это дает существенное преимущество в производительности во многих вычислительных средах, и это очень важно для очень крупномасштабного обучения.

Хотя WebDataset масштабируется для решения очень больших задач, он также хорошо работает с небольшими наборами данных и упрощает создание, управление и распространение обучающих данных для глубокого обучения.

WebDataset реализует стандартный интерфейс PyTorch IterableDataset и работает с PyTorch DataLoader.

GitHub

#datasets #code #training

TorchRS

В репозитории реализованы в PyTorch популярные наборы данных и моделей в задачах дистанционного зондирования (обнаружение изменений, сверхразрешение изображений, классификация/сегментация растительного покрова, создание подписей к изображениям, аудиовизуальное распознавание и т.д.) для различных оптических (Sentinel-2, Landsat и т.д.) и радиолокационных датчиков с синтезированной апертурой (SAR) (Sentinel-1).

GitHub

#ScientificML #images #code #datasets

Facebook CodeGen

В репозитории представлен набор инструментов для машинного обучения на языках программирования. Он реализует токенизацию, предварительную обработку датасета, обучение модели и оценку модели.

Предоставлен эталонные реализации следующих работ:

DOBF: A Deobfuscation Pre-Training Objective for Programming Languages (2021)

TransCoder: Unsupervised Translation of Programming Languages (2020)

Также есть предобученные модели для языкового моделирования, перевода и деобфускации.

GitHub

#code

Papers with code - сайт-сообщество. В первую очередь знаменит своими лидер-бордами, где можно посмотреть State-of-the-art (SOTA) практически по любой задаче машинного обучения и датасету (например ImageNet).

К большинству статей прилагается код (часто официальная версия и не официальные релизы).

Paperswithcode.com

#basics #ScientifcML #code