​👀 Big data, дополненная реальность и компьютерное зрение — [02:09:00]

В этом видосе Data Scientist из компании Banuba поделился своим опытом с новичками и дал парочку полезных советов.

Вы узнаете про разницу Data analysis и Data Science, что такое Data mining, какие есть виды машинного обучения и поймёте всё (почти всё), что связанно с этой профессией.

Перейти к просмотру

#видео #профессия

​glitch-this – Инструмент командной строки + python-библиотека для создания эффекта glitch на изображении и возможностью создавать gif-нимации этого эффекта.

Алгоритм, используемый для создания glitch изображений, является изменённой версией алгоритма довольно популярного инструмента ImageGlitcher, поэтому glitch-изображения будут выглядеть действительно качественно!

¡ Лучше всего работает с изображениями RGB/RGBA

Веб-демо в режиме реального времени - Github pages.

GitHub | #Python #Gif

NPBG++: Accelerating Neural Point-Based Graphics
Статья из Сколтеча!

Это альтернатива мейнстримному нейронному рендерингу, где учится неявная репрезентация плотности либо поверхность. В этом методе новые картинки рендерятся из облака точек.

Авторы прокачали предыдующую статью, где дескрипторы точек учились для каждой сцены отдельно. Тут дескрипторы для каждой точки в облаке предсказываются нейронкой за один прогон, то есть одна и таже нейронка может работать на многих сценах.

Метод коротко: запускаем COLMAP, получаем облако точек + позиции камер, далее прогоняем входные картинки через CNN, получаем дескрипторы для каждой точки в облаке. Затем мы растеризуем 3D точки вместе с их дескрипторами и прогоняем это все через U-Net, который рендерит итоговую картинку.


>> Сайт проекта >> АрХив

Примерно вот так выглядит пайплайн NPBG++.

​Neural-Doodle – нейронка, которая дорисовывает красивую картинку на основе вашего эскиза

Сценарий doodle.py генерирует новое изображение, используя одно, два, три или четыре изображения в качестве входных данных в зависимости от того, что вы пытаетесь сделать: оригинальный стиль и его аннотация, а также изображение целевого контента (необязательно) с его аннотацией (он же ваш рисунок)

GitHub | #Python #AI #Interesting

🔥 Полезные библиотеки Python

Хороший поисковик должен находить совпадения по минимальному запросу.

showballstemmer - лёгкий модуль позволяющий определять основу слова на разных языках. Будет весьма полезен при машинном обучении.

$ pip install showballstemmer

⚙️ GitHub/Инструкция

#python

​📊 ТОП-30 ресурсов с данными для машинного обучения

Сбор данных (Data collection) является техникой профессионалов, а готовые данные в интернете часто ограничены авторскими правами. В этом материале мы расскажем о некоторых ресурсах с предобработанной «датой», которую вы можете использовать в своей работе.

https://proglib.io/sh/ZJ7U3xzMwT

Российские власти выделят более 2,4 млрд рублей на исследования в области ИИ

Средства пойдут на расширение вычислительного потенциала суперкомпьютера "Ломоносов-1", который функционирует на базе МГУ и используется для изучения возможностей искусственного интеллекта.

Вышло обновление Disco Diffusion 5.1 для генерации картинок и видео.

Телега шакалит качество 😢

-> Ссылка на колаб

Диффузия после обучения на гигантском датасете впервые почти научилась генерировать почти нормальный текст.

Го тестить колаб.

🔥🥑 Прощай DALL•E и GLIDE, Да здравствует Text-to-Image Latent Diffusion

Наверное многие из вас помнят успех VQ-GAN, наследника VQ-VAE от CompVis.

Так вот, пару месяцев назад, ребята сделали Latent Diffusion кодировщик-декодеровщик, а сегодня на его базе на свет появился лучший Text-to-Image!!

Идея Dall-E заключается в том, что GPT трансформер обучают переводу из текстовой последовательности токенов в последовательность VQ-VAE / VQ-GAN токенов. Кроме DALL-E, надвое появился GLIDE, который показал, что classifier-free guidance диффузия, может обгонять GPT подход, используемый в DALL-E.

Все это чудо стало возможным благодаря датасету laion 5b и ресерчерам, которые делают штуки круче OpenAI и отдают их в open source!!

p.s.: посмотрите на эти примеры на картинке к посту, это действительно next gen!

🔮 Collab

Introduction to TensorFlow Using Python | Введение в TensorFlow с использованием Python

Лёгкая в изучении книга с пошаговым разбором нескольких проектов по машинному обучению с помощь Python и TensorFlow.

#books #python #ml #english

🥑🎓 DALL•E 2 от OpenAI

Походу OpenAI выкатила действительно NextGen

https://openai.com/dall-e-2/

🥑😈 DALL•E 2: Hierarchical Text-Conditional Image Generation with CLIP Latents

2021 год показал, что contrastive модели, такие как CLIP, выучивают качественное пространство визуальных и текстовых репрезентаций.

Ресерчеры из OpenAI решили использовать эти репрезентации для генерации изображений! Встречайте двухэтапную модель DALL•E 2, которая которая скрещивает диффузионный декодер и диффузионную визуальную модель DALL-E (ребята, кстати, показали, что диффузия таки более вычислительно выгодная и качественная нежели авторегрессия) и контрастный CLIP!

🧪 Если проще, то это очень изящный вариант, чтобы скрестить CLIP и DALL•E, где можно пользоваться векторам (эммбедингами) CLIP’a, и создавать новые изображения на основании и изображений примеров (доноров) и текстовых описаний. Такой подход позволяет не только генерировать превосходные изображения, но и изменять существующие!

📰 paper 🎓 OpenAI Blog

📝Auto-generate summaries from Google Docs
Google Docs now automatically generate summaries of their content. summaries of content when available. While all users can add summaries, auto-generated suggestions are currently only available to Google Workspace business customers.
This is achieved through natural language understanding (NLU) and natural language generation (NLG) ML models, especially Transformer and Pegasus. A popular technique for combining NLU and NLG is to train a machine learning model using sequence-to-sequence learning, where the input is the words of the document and the output is the final words. The neural network then learns to map input tokens to output tokens. Early applications of the sequence-to-sequence paradigm used recurrent neural networks (RNNs) for both the encoder and decoder.
The introduction of Transformers has provided a promising alternative to RNNs due to internal attention for better modeling of long input and output dependencies, which is critical when summarizing documents. However, these models require large amounts of manually labeled data for sufficient training, so the appearance of Transformers alone was not enough to make significant progress in the field of document summarization.
The combination of Transformers with self-supervised preconditioning (BERT, GPT, T5) has led to major breakthroughs in many NLU problems for which limited labeled data is available. In self-supervised pre-learning, the model uses large amounts of unlabeled text to learn general language understanding and generation capabilities. Then, in a subsequent fine-tuning step, the model learns to apply these abilities to a specific task, such as debriefing or answering questions.
Pegasus' work takes this idea one step further by introducing a pre-workout goal tailored to abstract generalization. In Pegasus pre-training, also called Sentence Gap Prediction (GSP), full sentences from untagged news articles and web documents are masked from the input and a model is required to reconstruct them based on the remaining untagged sentences. In particular, GSP attempts to mask sentences that are considered important to the document with various heuristics to make pre-training as close to a debriefing task as possible. Pegasus has achieved state-of-the-art results on a diverse set of summation datasets.
Taking advantage of Transformer and Pegasus, the Google AI researchers carefully cleaned and filtered the fine-tuning data to contain training examples that were more consistent and presented a coherent definition of the summary text. Despite the reduction in the amount of training data, this resulted in a better model. Then the problem of maintaining a high-quality model in production was solved. Although the Transformer version of the encoder-decoder architecture is the dominant approach to model training for sequential sequence transformation problems such as abstract summation, it can be inefficient and impractical for use in real world applications. The main inefficiency is associated with the Transformer decoder, where the output summary token is generated sequentially through autoregressive decoding. The decoding process becomes noticeably slower as summaries get longer as the decoder processes all previously generated tokens at each step. RNNs are a more efficient architecture for decoding, since there is no internal attention when using the previous tokens, as in the Transformer model.
After transferring knowledge from a large model to a more efficient smaller model to transform the Pegasus model into a hybrid architecture of the Transformer encoder and RNN decoder, the number of layers of the RNN decoder was reduced to improve efficiency. The resulting model has improved delays and memory, while maintaining the original quality.
https://ai.googleblog.com/2022/03/auto-generated-summaries-in-google-docs.html