Data Science by ODS.ai 🦜
49.6K subscribers
407 photos
43 videos
7 files
1.55K links
First Telegram Data Science channel. Covering all technical and popular staff about anything related to Data Science: AI, Big Data, Machine Learning, Statistics, general Math and the applications of former. To reach editors contact: @haarrp
Download Telegram
​​GSCNN: video segmetation architecture

Semantic segmentation GSCNN significantly outperforms DeepLabV3+ on Cityscapes benchmark.

Paper: https://arxiv.org/abs/1907.05740
Github (Project): https://github.com/nv-tlabs/GSCNN

#DL #CV #NVidiaAI #Nvidia #autonomous #selfdriving #car #RL #segmentation
​​πŸ”₯Interactive demo of GAN turning doodles into beautiful pictures

NVidia released #GauGAN for anyone to use. Trained on 1M images, the #GAN tool automatically turns doodles into photorealistic landscapes.

Project page: https://www.nvidia.com/en-us/research/ai-playground/
Interactive demo: http://nvidia-research-mingyuliu.com/gaugan

#Nvidia #CV #DL
​​mellotron by #NVIDIA

It's a multispeaker #voice synthesis model based on #Tacotron 2 GST that can make a voice emote and sing without emotive or singing training data.

By explicitly conditioning on rhythm and continuous pitch contours from an audio signal or music score, Mellotron is able to generate #speech in a variety of styles ranging from reading speech to expressive speech, from slow drawls to rap and from monotonous voice to singing voice.

Unlike other methods, Mellotron trains using only read speech data without alignments between text and audio.

Site: https://nv-adlr.github.io/Mellotron
Paper: https://arxiv.org/abs/1910.11997
Git: https://github.com/NVIDIA/mellotron
​​An autonomous AI racecar using NVIDIA Jetson Nano

Usually DS means some blue collar work. Rare cases suggest physical interactions. This set by #NVidia allows to build $400/$600 toy car capable of #selfdriving.

#JetRacer comes with a couple examples to get you up and running. The examples are in the format of Jupyter Notebooks, which are interactive documents which combine text, code, and visualization. Once you've completed the notebooks, start tweaking them to create your own racing software!

Github: https://github.com/NVIDIA-AI-IOT/jetracer

#autonomousvehicle #rl #jupyter #physical
​​OpenCV β€˜dnn’ with NVIDIA GPUs: 1.549% faster YOLO, SSD, and Mask R-CNN

- Object detection and segmentation
- Working Python implementations of each
- Includes pre-trained models

tutorial: https://t.co/Wt0IrJObcE?amp=1

#OpenCV #dl #nvidia
This media is not supported in your browser
VIEW IN TELEGRAM
Nvidia AI Noise Reduction

#Nvidia launches #KrispAI competitor Noise Reduction by AI on RTX Videocards.

Seems it works significantly better then other that kind of tools. But it needs to have Nvidia RTX officially.

But it possible to run it on older cards. The instruction is below. Or you can just download already hacked executable (also, below)

Setup Guide: https://www.nvidia.com/en-us/geforce/guides/nvidia-rtx-voice-setup-guide/
The instruction: https://forums.guru3d.com/threads/nvidia-rtx-voice-works-without-rtx-gpu-heres-how.431781/
Executable (use it on your own risk): https://mega.nz/file/CJ0xDYTB#LPorY_aPVqVKfHqWVV7zxK8fNfRmxt6iw6KdkHodz1M

#noisereduction #soundlearning #dl #noise #sound #speech #nvidia
​​Learning to Simulate Dynamic Environments with GameGAN

#Nvidia designed a GAN that able to recreate games without any game engine. To train it, authors of the model use experience collected by reinforcement learning and other techniques.

GameGAN successfully reconstructed all mechanics of #Pacman game. Moreover, the trained model can generate new mazes that have never appeared in the original game. It can even replace background (static objects) and foreground (dynamic objects) with different images!

As the authors say, applying reinforcement learning algorithms to real world tasks requires accurate simulation of that task. Currently designing such simulations is expensive and time-consuming. Using neural networks instead of hand-written simulations may help to solve these problems.

Paper: https://cdn.arstechnica.net/wp-content/uploads/2020/05/Nvidia_GameGAN_Research.pdf
Blog: https://blogs.nvidia.com/blog/2020/05/22/gamegan-research-pacman-anniversary/
Github Page: https://nv-tlabs.github.io/gameGAN/

#GAN #RL
​​Nvidia announced new card RTX 3090

RTX 3090 is roughly 2 times more powerful than 2080.
There is probably no point in getting 3080 because RAM volume is only 10G.

But what really matters, is how it was presented. Purely technological product for mostly proffesionals, techheads and gamers was presented with absolute brialliancy. That is much more exciting then the release itself.

YouTube: https://www.youtube.com/watch?v=E98hC9e__Xs

#Nvidia #GPU #techstack
​​NVidia released a technology to change face alignment on video

Nvidia has unveiled AI face-alignment that means you're always looking at the camera during video calls. Its new Maxine platform uses GANs to reconstruct the unseen parts of your head β€” just like a deepfake.

Link: https://www.theverge.com/2020/10/5/21502003/nvidia-ai-videoconferencing-maxine-platform-face-gaze-alignment-gans-compression-resolution

#NVidia #deepfake #GAN
Unsupervised 3D Neural Rendering of Minecraft Worlds

Work on unsupervised neural rendering framework for generating photorealistic images of Minecraft (or any large 3D block worlds).

Why this is cool: this is a step towards better graphics for games.

Project Page: https://nvlabs.github.io/GANcraft/
YouTube: https://www.youtube.com/watch?v=1Hky092CGFQ&t=2s

#GAN #Nvidia #Minecraft
​​πŸ”₯Alias-Free Generative Adversarial Networks (StyleGAN3) release

King is dead! Long live the King! #StyleGAN2 was #SOTA and default standard for generating images. #Nvidia released update version, which will lead to more realistic images generated by the community.

Article: https://nvlabs.github.io/stylegan3/
GitHub: https://github.com/NVlabs/stylegan3
Colab: https://colab.research.google.com/drive/1BXNHZBai-pXtP-ncliouXo_kUiG1Pq7M

#GAN #dl
​​EditGAN: High-Precision Semantic Image Editing

Nvidia researches built an approach for editing segments of a picture with supposedly realtime picture augmentation according to the segment alterations. No demo is available yet though.

All the photoshop power users should relax, because appereance of such a tools means less work for them, not that the demand for the manual retouch will cease.

Website: https://nv-tlabs.github.io/editGAN/
ArXiV: https://arxiv.org/abs/2111.03186

#GAN #Nvidia
πŸ”₯ Say Goodbye to LoRA, Hello to DoRA 🀩🀩

DoRA consistently outperforms LoRA with various tasks (LLM, LVLM, etc.) and backbones (LLaMA, LLaVA, etc.)

[Paper] https://arxiv.org/abs/2402.09353
[Code] https://github.com/NVlabs/DoRA

#Nvidia
#icml #PEFT #lora #ML #ai

@opendatascience
Forwarded from Machinelearning
⚑️ SANA: ГСнСрация ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ высокого Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ ΠΎΡ‚ Nvidia Labs.

Sana - сСмСйство ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ с Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ Π΄ΠΎ 4096x4096 пиксСлСй. Π“Π»Π°Π²Π½ΠΎΠ΅ прСимущСство Sana - высокая ΡΠΊΠΎΡ€ΠΎΡΡ‚ΡŒ инфСрСнса ΠΈ Π½ΠΈΠ·ΠΊΠΈΠ΅ трСбования ΠΊ рСсурсам, ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΏΡƒΡΡ‚ΠΈΡ‚ΡŒ Π΄Π°ΠΆΠ΅ Π½Π° Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠ΅.

Π‘Π΅ΠΊΡ€Π΅Ρ‚ эффСктивности Sana Π² Π΅Π΅ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅, которая состоит ΠΈΠ· Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΠΈΠ½Π½ΠΎΠ²Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΎΠ²:

🟒Deep Compression Autoencoder (DC-AE)
Π‘ΠΆΠΈΠΌΠ°Π΅Ρ‚ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅ Π² 32 Ρ€Π°Π·Π°, Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅ Ρ‡Π΅Π³ΠΎ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ сокращаСтся число Π»Π°Ρ‚Π΅Π½Ρ‚Π½Ρ‹Ρ… Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ², Ρ‡Ρ‚ΠΎ, Π² свою ΠΎΡ‡Π΅Ρ€Π΅Π΄ΡŒ, ΠΏΠΎΠ²Ρ‹ΡˆΠ°Π΅Ρ‚ ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒ обучСния ΠΈ позволяСт Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ изобраТСния с Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ 4K.

🟒Linear Diffusion Transformer (Linear DiT)
Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ вмСсто Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ, ускоряя Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΡŽ с Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ 4K Π² 1.7 Ρ€Π°Π·Π°.

Π’ Linear DiT вмСсто модуля MLP-FFN ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Mix-FFN, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΠ΅Ρ‚ Π² сСбС свСртку 3x3 ΠΈ Gated Linear Unit (GLU). Mix-FFN позволяСт ΠΎΡ‚ΠΊΠ°Π·Π°Ρ‚ΡŒΡΡ ΠΎΡ‚ ΠΏΠΎΠ·ΠΈΡ†ΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ кодирования Π±Π΅Π· ΠΏΠΎΡ‚Π΅Ρ€ΠΈ качСства.

🟒Decoder-only Small LLM as Text Encoder
Π­Π½ΠΊΠΎΠ΄Π΅Ρ€, основанный Π½Π° LLM Gemma, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π»ΡƒΡ‡ΡˆΠ΅ ΠΏΠΎΠ½ΠΈΠΌΠ°Π΅Ρ‚ тСкстовыС запросы ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ ΠΈ Ρ‚ΠΎΡ‡Π½Π΅Π΅ ΠΏΠ΅Ρ€Π΅Π΄Π°Π΅Ρ‚ ΠΈΡ… смысл Π½Π° Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ.

Для Ρ‚ΠΎΡ‡Π½ΠΎΠ³ΠΎ соотвСтствия "тСкст - ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅" ΠΏΡ€ΠΈ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ энкодСра ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΠ»ΠΈΡΡŒ "слоТныС чСловСчСскиС инструкции" (CHI), ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π°ΡƒΡ‡ΠΈΠ»ΠΈ Gemma ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°Ρ‚ΡŒ контСкст запроса.

Sana создавалась с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½ΠΎΠΉ стратСгии обучСния ΠΈ Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ. Π’ процСссС обучСния ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ нСсколько VLM (VILA, InternVL2) для создания Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Π°Π½Π½ΠΎΡ‚Π°Ρ†ΠΈΠΉ ΠΊ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡƒ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΡŽ. Π—Π°Ρ‚Π΅ΠΌ, Π½Π° основС CLIP-ΠΎΡ†Π΅Π½ΠΊΠΈ, Π±Ρ‹Π»ΠΈ ΠΎΡ‚ΠΎΠ±Ρ€Π°Π½Ρ‹ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ подходящиС ΠΏΠ°Ρ€Ρ‹ "тСкст-ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅".

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ происходило постСпСнно, начиная с Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ 512x512 ΠΈ заканчивая 4096x4096, Π° Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ Flow-DPM-Solver ускорил процСсс Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ, сократив количСство шагов ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с Flow-Euler-Solver.

Π Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ тСстирования Sana Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‚:

🟠Sana-0.6B, Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‰Π°Ρ с изобраТСниями 512x512, Π² 5 Ρ€Π°Π· быстрСС, Ρ‡Π΅ΠΌ PixArt-Ξ£, ΠΏΡ€ΠΈ этом ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ Π»ΡƒΡ‡ΡˆΠΈΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ ΠΏΠΎ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°ΠΌ FID, Clip Score, GenEval ΠΈ DPG-Bench.

πŸŸ ΠŸΡ€ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΈ 1024x1024 Sana-0.6B Π² 40 Ρ€Π°Π· быстрСС PixArt-Ξ£.

🟠Sana-0.6B прСвосходит ΠΏΠΎ скорости Flux-12B Π² 39 Ρ€Π°Π· ΠΏΡ€ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΈ 1024x1024) ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π·Π°ΠΏΡƒΡ‰Π΅Π½Π° Π½Π° Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠ΅ с 16 GB VRAM, гСнСрируя изобраТСния 1024x1024 ΠΌΠ΅Π½Π΅Π΅ Ρ‡Π΅ΠΌ Π·Π° сСкунду.


⚠️ Для локального инфСрСнса ΠΌΠΎΠ΄Π΅Π»ΠΈ 0.6B трСбуСтся 9GB VRAM, Π° для ΠΌΠΎΠ΄Π΅Π»ΠΈ 1.6B - 12GB VRAM.


▢️ Установка ΠΈ инфСрСнс c GradioUI:

# official online demo
DEMO_PORT=15432 \
python app/app_sana.py \
--config=configs/sana_config/1024ms/Sana_1600M_img1024.yaml \
--model_path=hf://Efficient-Large-Model/Sana_1600M_1024px/checkpoints/Sana_1600M_1024px.pth





πŸŸ‘Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°
πŸŸ‘ΠšΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° HF
🟑Arxiv
🟑Demo
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusion #SANA #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟 cuPyNumeric: Π·Π°ΠΌΠ΅Π½Π° NumPy ΠΎΡ‚ NVIDIA.

По ΠΌΠ΅Ρ€Π΅ роста объСмов Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ слоТности вычислСний, вычислСния Π½Π° Python ΠΈ NumPy, основанныС Π½Π° CPU, Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ Π² ускорСнии для выполнСния соврСмСнных исслСдований.

cuPyNumeric Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Π½Π°, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΡ‚Π°Ρ‚ΡŒ Π·Π°ΠΌΠ΅Π½ΠΎΠΉ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ NumPy, прСдоставляя сообщСству Python распрСдСлСнныС ΠΈ ускорСнныС вычислСния Π½Π° ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ΅ NVIDIA. cuPyNumeric позволяСт ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ вычислСния Π±Π΅Π· измСнСния ΠΊΠΎΠ΄Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΠΎΠ² с ΠΎΠ΄Π½ΠΎΠ³ΠΎ CPU Π΄ΠΎ ΡΡƒΠΏΠ΅Ρ€ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€ΠΎΠ² с нСсколькими GPU ΠΈ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌΠΈ Π½ΠΎΠ΄Π°ΠΌΠΈ.

Π‘ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° построСна Π½Π° Legate, ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Ρ€ΠΎΠ΄Π½ΠΎΠΉ Python ΠΈ интСрфСйс NumPy. cuPyNumeric доступСн ΠΈΠ· conda (вСрсия Π½Π΅ Π½ΠΈΠΆΠ΅ 24.1) Π² legate channel. На систСмах с GPU ΠΏΠ°ΠΊΠ΅Ρ‚Ρ‹, ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ графичСскиС ускоритСли Π±ΡƒΠ΄ΡƒΡ‚ Π²Ρ‹Π±Ρ€Π°Π½Ρ‹ автоматичСски Π²ΠΎ врСмя установки.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ эффСктивности cuPyNumeric - ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° 10 Π’Π‘ ΠΌΠΈΠΊΡ€ΠΎΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ многоракурсной микроскопии Π² Π²ΠΈΠ΄Π΅ ΠΎΠ΄Π½ΠΎΠ³ΠΎ массива NumPy Π·Π° ΠΎΠ΄ΠΈΠ½ дСнь с Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΉ Π² Ρ€Π΅ΠΆΠΈΠΌΠ΅ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ.

▢️Установка ΠΈ тСст Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ ΠΈΠ· рСпозитория:

# Create new conda env
conda create -n myenv -c conda-forge -c legate cupynumeric

# Test via example from repo
$ legate examples/black_scholes.py
Running black scholes on 10K options...
Elapsed Time: 129.017 ms


πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #NumPy #NVIDIA #cuPyNumeric
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
πŸ–₯ CUDA C++ programming guide by nvidia

Must read and absolute banger of 500 pages.

πŸ“• book

@opendatascience

#nvidia #cuda #freebook
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
βœ”οΈ БСсплатныС ΠΏΠΎΠ»Π΅Π·Π½Ρ‹Π΅ руководства ΠΏΠΎ дистилляции ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ:

1. Руководство ΠΏΠΎ дистилляции ΠΎΡ‚ OpenAI πŸ–₯

Руководство содСрТит ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎΠ΅ описаниС процСсса ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ Π±ΠΎΠ»Π΅Π΅ ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΊ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ, c сохранСниСм высокой ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ.

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ аспСкты, рассмотрСнныС Π² руководствС:
- Π‘ΠΎΡ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ Π²Ρ‹Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ…, содСрТащСго прСдсказания большой ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±ΡƒΠ΄ΡƒΡ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ для обучСния мСньшСй ΠΌΠΎΠ΄Π΅Π»ΠΈ.

- ΠžΡ†Π΅Π½ΠΊΠ° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Π‘Ρ€Π°Π²Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ Π°Π½Π°Π»ΠΈΠ· точности ΠΈ эффСктивности ΠΊΠ°ΠΊ ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ, Ρ‚Π°ΠΊ ΠΈ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° основС Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ.

- Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… для ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ:
ИспользованиС прСдсказаний ΠΊΡ€ΡƒΠΏΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅Π³ΠΎ Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ…, ΡΠΏΠΎΡΠΎΠ±ΡΡ‚Π²ΡƒΡŽΡ‰Π΅Π³ΠΎ эффСктивному ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ мСньшСй ΠΌΠΎΠ΄Π΅Π»ΠΈ.

- ΠžΡ†Π΅Π½ΠΊΠ° Π΄ΠΎΠΎΠ±ΡƒΡ‡Π΅Π½Π½ΠΎΠΉ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ: ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ точности ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ послС процСсса дистилляции для подтвСрТдСния соотвСтствия трСбованиям.

πŸ”—Π‘ΡΡ‹Π»ΠΊΠ°

2. Π£Ρ‡Π΅Π±Π½ΠΈΠΊ ΠΏΠΎ дистилляции Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ PyTorch πŸ”₯

Руководство ΠΎΡ‚ PyTorch, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ содСрТит практичСскоС Π²Π²Π΅Π΄Π΅Π½ΠΈΠ΅ Π² Ρ‚Π΅Ρ…Π½ΠΈΠΊΡƒ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ для развёртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π½Π° устройствах с ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½Ρ‹ΠΌΠΈ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌΠΈ рСсурсами.

ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ аспСкты руководства:

- Π˜Π·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ скрытых прСдставлСний: Π’ Π³Π°ΠΉΠ΄Π΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, ΠΊΠ°ΠΊ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Π΅ прСдставлСния ΠΈΠ· ΠΎΠ±ΡƒΡ‡Π΅Π½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ для дальнСйшСго использования.

- ΠœΠΎΠ΄ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡ Ρ†ΠΈΠΊΠ»ΠΎΠ² обучСния Π² PyTorch: Π—Π΄Π΅ΡΡŒ рассматриваСтся интСграция Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π² стандартныС Ρ†ΠΈΠΊΠ»Ρ‹ обучСния для эффСктивной ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ.

- На ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ ΠΏΠΎΠΊΠ°Π·Π°Π½ процСсс обучСния ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ, с ипользованиСм прСдсказания Π±ΠΎΠ»Π΅Π΅ слоТной ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² качСствС ΠΎΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€Π°.

Руководство содСрТит ΠΏΠΎΡˆΠ°Π³ΠΎΠ²Ρ‹Π΅ инструкции ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Ρ‹ ΠΊΠΎΠ΄Π°, Ρ‡Ρ‚ΠΎ Π΄Π΅Π»Π°Π΅Ρ‚ Π΅Π³ΠΎ Ρ†Π΅Π½Π½Ρ‹ΠΌ рСсурсом, Ссли Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ свои ΠΌΠΎΠ΄Π΅Π»ΠΈ для использования Π² срСдах с ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½Ρ‹ΠΌΠΈ рСсурсами.

β–ͺБсылка

3. Jetson Introduction to Knowledge Distillation ΠΎΡ‚ Nvidia πŸ–₯

Π’ Π΄Π°Π½Π½ΠΎΠΌ руководствС рассматриваСтся процСсс ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ ΠΌΠΎΠ΄Π΅Π»ΠΈ OpenCLIP (vision-language model) ΠΊ ΠΌΠΎΠ΄Π΅Π»ΠΈ ResNet18 для классификации Π½Π° Π½Π°Π±ΠΎΡ€Π΅ Π΄Π°Π½Π½Ρ‹Ρ… STL10.

ОсобоС Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ удСляСтся Ρ‚ΠΎΠΌΡƒ, ΠΊΠ°ΠΊ Π²Ρ‹Π±ΠΎΡ€ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ дистилляции ΠΈ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π° ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π²Π»ΠΈΡΡŽΡ‚ Π½Π° ΠΈΡ‚ΠΎΠ³ΠΎΠ²ΡƒΡŽ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ.

ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, ΠΎΠ±ΡΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ профилирования ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для ΠΈΡ… развёртывания Π½Π° устройствах NVIDIA Jetson Orin Nano.

πŸ”— Бсылка

4. Π£Ρ‡Π΅Π±Π½ΠΈΠΊ ΠΏΠΎ дистилляции Π·Π½Π°Π½ΠΈΠΉ ΠΎΡ‚ Keras ⭐️

ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½ΠΎ описываСтся концСпция дистилляции Π·Π½Π°Π½ΠΈΠΉ ΠΈ Π΅Π΅ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ мСдицинских ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ.

πŸ”—Github
πŸ”—Π£Ρ‡Π΅Π±Π½ΠΈΠΊ Keras

5. Руководство ΠΏΠΎ дистилляции ΠΎΡ‚
huggingface
πŸ€—

Π—Π΄Π΅ΡΡŒ ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ, ΠΊΠ°ΠΊ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Π΄ΠΈΡΡ‚ΠΈΠ»Π»ΡΡ†ΠΈΡŽ Π·Π½Π°Π½ΠΈΠΉ шаг Π·Π° шагом Π½Π° ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠΌ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅.

πŸ”— Бсылка

6. Дистилляция Π·Π½Π°Π½ΠΈΠΉ для Π·Π°Π΄Π°Ρ‡ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½ΠΎΠ³ΠΎ зрСния ΠΎΡ‚ huggingface πŸ‘

Π—Π΄Π΅ΡΡŒ рассматриваСтся, ΠΊΠ°ΠΊ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ViT-ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² MobileNet с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ API Trainer ΠΈΠ· Transformers.

πŸ”—Π‘ΡΡ‹Π»ΠΊΠ°

#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM