​​#tensorflow #pytorch

Tensorflow vs Pytorch

💻ML engineerlari DL modellarini qurishda turli xil maxsus Framework-lardan foydalanishadi. Bulardan eng keng tarqalgani Tensorflow va Pytorch lardir.

❓O'z-o'zidan savol tug'iladi: Qaysi biri yaxshi? Yoki Qaysi birini tanlash kerak yangi o'rganuvchilar?

Ushbu postda yuqoridagi savolga javob topishga harakat qilamiz.
TensorFlow va PyTorch DL bilan bog'liq bir xil muhim vazifalarni bajaradi: ular ma'lumotlarni olishni, modellarni o'qitishni va bashorat qilishni osonlashtiradi. Yuzni tanib olishdan tortib katta til modellarigacha (Large Language Models (LLMs)) ko'plab neyron tarmoqlar TensorFlow yoki PyTorch yordamida kodlangan.

Shunga qaramay, AI hamjamiyatida qaysi biri eng yaxshisiligi haqida hanuzgacha munozaralar davom etadi. 2015 yilda chiqarilgan TensorFlow birinchi bo'lib foydalanishga chiqarildi. U tijorat AI va mahsulotni ishlab chiqishda ustunlik qiladi, ammo ko'p foydalanuvchilar uning murakkabligidan shikoyat qiladilar.

2016-yilda chiqarilgan PyTorch ham o‘rganishga osonroq, ham amalga oshirish tezroq deb hisoblanadi. Bu akademiklar orasida sevimli va sanoatda tobora ommalashib bormoqda. Biroq, masshtablashda kurashayotgani ma'lum.

Qaysi bibini tanlash kerak?

TensorFlow hali ham sanoatda DL kutubxonasi hisoblanadi. Bu qisman inertsiyaga va qisman TensorFlow katta loyihalar va murakkab ish oqimlarini boshqarishda PyTorchga qaraganda yaxshiroq ekanligi bilan bog'liq. Tijoriy foydalanish uchun mo'ljallangan sun'iy intellekt mahsulotlari bilan ishlash qobiliyati uni mahsulotni ishlab chiqish uchun eng ommabob kutubxona qiladi.

Agar siz DL-ni endigina o'rganishga kirishayotgan bo'lsangiz va tezda modellarni yaratish va prototiplashga e'tibor qaratmoqchi bo'lsangiz, PyTorch, ehtimol, yaxshiroq tanlovdir. Shuni yodda tutingki, ish talablaringiz va kompaniyangiz texnologiyasiga qarab bir kun TensorFlow-ni o'rganishingiz kerak bo'lishi mumkin (ayniqsa, orzuingizdagi ish TensorFlow uyi Googleda bo'lsa 😊😎).

P.s: Xulosa o'zingizdan hohlaganingizni tanlashingiz mumkin 😊👍.

@machine_learning_lab

#ML_darslari #youtube

Qadri baland qadrdonlar! Youtubedagi kanalimizda ML online darslarining navbatdagisi chiqdi. Vaqtingiz bo'lganida ko'rib qo'ysangiz manfaatli bo'ladi Insha Alloh.

@machine_learning_lab

​​4️⃣ SciPY: Matematik hamda Data Science amallari uchun.

Nima u: SciPy ilmiy hisoblash uchun Python kutubxonasi. Unda olimlarga tajriba o'tkazish yoki tahlil qilishda yordam beradigan hisob-kitoblarni amalga oshirish uchun paketlar va modullar mavjud.

Tarixi: 1990-yillarning oxiri va 2000-yillarning boshlarida Python ochiq manbalar hamjamiyati ilmiy hamjamiyat ehtiyojlarini qondirish uchun vositalar to‘plami ustida ishlay boshladi. 2001 yilda ular ushbu vositalarni SciPy kutibxonasi sifatida chiqardilar. Hozirgacha hamjamiyat (comunity) faol bo'lib doimo kutubxonani yangilab va yangi xususiyatlar qo'shib boradilar.

Xususiyatlari:
✔️SciPy to'plamlari hisob, chiziqli algebra, statistika, ehtimollar nazariyadi va boshqalardan matematik usullarning to'liq to'plamini o'z ichiga olgan.
✔️Data Science engineer-lari uchun uning eng mashhur paketlaridan ba'zilari: interpolyatsiya, K-mens testing, raqamli integratsiya, Furye o'zgarishlari (Fourier transforms), ortogonal masofa regressiyasi va optimallashtirish.
✔️SciPy shuningdek, tasvirni qayta ishlash va signallarni qayta ishlash uchun paketlarni o'z ichiga oladi.
✔️Weave xususiyati foydalanuvchilarga Python ichida C/C++ da kod yozish imkonini beradi.

Afzalliklari: SciPy - Data Science engineer-larining eng yaxshi do'sti.

Kamchiliklari: Ba'zi foydalanuvchilar SciPy hujjatlarida (documentation) kamchiliklar bor deyishadi va uning bir nechta paketlarini MatLab-da topilgan shunga o'xshash paketlardan pastroq deb tanqid qilishdi. Yani Matlab-dagi paketlar yaxshiroq ishlaydi deyishadi.

@machine_learning_lab

​​5️⃣ Tensorflow

Nima u: TensorFlow - bu Deep Learning (DL) modellarini qurish, o'rgatish va qo'llash uchun ochiq manbali kutubxona.

Tarixi: TensorFlow dastlab 2015 yilda Google Brain tomonidan chiqarilgan. Dastlab, uning front-end qismi foydalanuvchilarga qulay emas edi va u modellarni yaratish va amalga oshirishni qiyinlashtirgan ortiqcha API-larga ega edi. Ushbu muammolarning aksariyati vaqt o'tishi bilan yangilandi, shuningdek, Keras-ni (keyingi postda) front-end qism sifatida integratsiyalash orqali hal qilindi.

Xususiyatlari:
✔️TensorFlow DL modellarini yaratish va ularni tijorat maqsadlarida qo'llash uchun, kengaytirish uchun ko'plab paketlarga ega.

✔️TensorFlow foydalanuvchilari Dev Hub va Model Garden-da oldindan o'qitilgan (pre-trained) yuzlab modellarga murojat qilishlari mumkin. Dev Hub o'z ichiga plagin va ishga tushirish modellarini o'z ichiga oladi, Model Garden esa moslashtirishni qulayroq bo'lgan ilg'or foydalanuvchilar uchun mo'ljallangan.
✔️U xotiradan foydalanishda samarali bo'lib, bir nechta neyron tarmoqlarni parallel ravishda training qilish imkonini beradi.
✔️TensorFlow ilovalari turli xil apparat tizimlarida (hardware), jumladan CPU, GPU, TPU va boshqalarda ishlashi mumkin.
✔️TensorFlow Lite mobil va embedded DL modellari uchun optimallashtirilgan.
✔️Foydalanuvchilar Tensorboard.dev saytida ML tajribalarini bepul yuklashlari va baham ko‘rishlari mumkin.

Afzalligi: Ishlab chiqarishga tayyor DL modellarini keng miqyosda yaratish.

Kamchiliklari: Ba'zi foydalanuvchilar hali ham front-end juda murakkab ekanligidan shikoyat qiladilar. TensorFlow 1.0 va TensorFlow 2.0 versiyalari mavjud. TensorFlow 1.0 nisbatan sekinroq.

👉@machine_learning_lab

​​6️⃣ Keras

Nima u: Keras - bu neyron tarmoqlar bilan ishlash uchun yangi o'rganuvchilar uchun qulay vositalar to'plami. Bu TensorFlow uchun front-end qismi.

Tarixi: Google muhandisi Francois Choillet 2015 yilda Kerasni bir qator DL kutubxonalari uchun API sifatida ishlash uchun chiqardi. 2020 yildan boshlab Keras TensorFlow uchun eksklyuziv hisoblanadi.

Xususiyatlari:
✔️Keras TensorFlow-da neyron tarmoqlarni qurish bo'yicha yuqori darajadagi vazifalarni bajaradi va shu sababli faollashtirish funktsiyalari, qatlamlar, optimallashtiruvchilar va boshqalar kabi fundamental modullarni o'z ichiga oladi.
✔️Keras vanilla neural network, convolutional neural network, va recurrent neural network, shuningdek utility qatlamlari ya'ni batch normalization, dropout, va pooling kabilarni o'z ichiga olgan yordamchi qatlamlarni qo'llab-quvvatlaydi.
✔️U neyron tarmoqlarni kodlashni soddalashtirish uchun mo'ljallangan.

Afzalliklari: Neyron tarmoqlarini rivojlantirishda juda qulay.

Kamchiliklari: Bu faqat TensorFlow foydalanuvchilari uchun mavjud. Agar siz TensorFlow-dan foydalansangiz, Keras eshiklari sizga ochiq.

👉@machine_learning_lab

Ushbu yuqoridagi postimda python NumPy kutubxonasi haqida umumiy ma'lumotlar va uning kuchli tomonlari haqida yozgan edim. 👆

Ushbu kutubxona nafaqat ML engineerlari uchun balki barcha insonlarga qaysiki ko'plam ma'lumotlar va hisob-kitob ishlari bilan shug'ullanadigan.

Youtube platformasini qarab chiqsam ushbu kutubxona haqida o'zbek tilidagi darslar deyarli yo'q ekan. Shundan kelib chiqib NumPy kutubxonasi haqida ham video darslik qilishni niyat qildim va birinchi qismi Youtue kanalimizga joylandi. 😎😊

P.s: Videoni ko'rib izohlar bo'limida fikringizni qoldiring. Agar fikringiz bo'lmasa fikrim yo'q deb qoldiring 😂

Telegram | Youtube

​​7️⃣PyTorch

Nima u: PyTorch - bu Facebook AI tadqiqot laboratoriyasining TensorFlow-ga javobi. Bu ML va Data Science fanlari, xususan, DL uchun ochiq manbali, umumiy maqsadli kutubxona.

Tarixi: Facebook PyTorch-ni 2016 yilda – TensorFlowdan bir yil o‘tib – chiqardi va u tez prototip yaratishga qiziqqan akademiklar va boshqa tadqiqotchilar orasida tezda mashhur bo‘ldi. Bu uning soddalashtirilgan Front-end tomoni va standart rejimi operatsiyalarni darhol bajarishi (TensorFlow singari ularni keyinchalik qayta ishlash uchun grafikaga qo'shishdan farqli o'laroq) bilan bog'liq edi.

Xususiyatlari:
✔️PyTorch TensorFlow-ga o'xshash ko'plab xususiyatlarga ega. Haqiqatan ham, ular ishga tushirilgandan so'ng, har bir kutubxona foydalanuvchilarga boshqasidan ko'proq yoqadigan xususiyatlarni o'z ichiga olgan holda yangilandi.
✔️PyTorch oldindan tayyorlangan modellar (pre-trained) uchun o'z kutubxonalariga ega. PyTorch Hub model dizayni bilan tajriba o'tkazmoqchi bo'lgan akademik foydalanuvchilarga mo'ljallangan va Ekotizim vositalarida oldindan o'qitilgan modellar mavjud.
✔️PyTorch xotirada tejamkor va bir nechta modellarni parallel ravishda o'rgatish imkonini beradi.
✔️U turli xil apparat turlarini qo'llab-quvvatlaydi.

Afzalliklari: DL modellarini tezkor prototiplash. Pytorch kodi tez va samarali ishlaydi.

Kamchiliklari: Ba'zi foydalanuvchilar PyTorch kattaroq loyihalar, katta ma'lumotlar to'plami va murakkab ish oqimlari bilan ishlashda kamchiliklar sezishgani haqida fikrlar bildirishadi.

👉@machine_learning_lab

​​Hammaga ma'lum Apple har yili o'zining yangiliklari va yangi mahsulotlari bilan tanishtirib boradi. Kuni kecha yarm tunda navbatdagi Apple event (WWDC 2023) bo'lib o'tdi.

Ushbu ko'rgazmada bir necha yangilangan mahsulotlarini taqdimot qildi jumladan: IOS-17 Macbook Air-16 (M2 chip), Airpods va bir necha updated app-lari.

Eng asosiy yangiligi bu VisionPro mahsuloti bo'libdi. Ushbu mahsulotda Digital va Physical dunyoni mohirona uyg'unlashtirishibdi. Mana ML ning yana bir kuchi bizni hayotimizga kirib kelganiga isbot. Bundan tashqari Apple juda ko'p applarida Machine Learning-dan foydalanmoqda. Quyidagi rasmda ushbu mahsulot ko'rinishi. Ushbu mahsulot haqida ba'tafsil malumotlarni ushbu event-ni ko'rish orqali olishingiz mumkin.

Aytgancha ushbu mahsulot hozirda sotuvga chiqarilmagan. Malum qilinishicha, kelasi yilning boshlaridan sotuvga chiqarilar ekan. To'ydan oldin nog'ora chalib qo'yishibdi 😂.

P.s. Apple mahsulotlari narxi arzon bo'lmaganidek VisionPro-ning narxi $3499 😊

👉@machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili

1-qism. Kirish

So'nggi o'n yillik sun'iy intellekt (AI) uchun hayajonli va voqealarga boy bo'ldi. Deep Learning sohasidagi kamtarona izlanishlar elektron tijoratdagi tavsiya tizimlaridan tortib avtonom transport vositalari uchun ob'ektlarni aniqlash va real tasvirlardan tortib izchil matngacha hamma narsani yarata oladigan generativ modellarni yaratilishiga olib keldi va bugungi kunda ularsiz kundalik hayotimizni tasavvur qilishimiz qiyin.

Navbatdagi bir nechta postlarda biz Deep Learning tarixi bo'ylab sayr qilamiz va bizni bugungi kunga olib kelgan ba'zi muhim yutuqlarni qayta ko'rib chiqamiz. Siz AI bo'yicha tajribali mutaxassis bo'lasizmi yoki bu sohadagi so'nggi ishlanmalarga qiziqasizmi, ushbu postlar yordamida sizga sun'iy intellektning mashhur bo'lishiga olib kelgan ajoyib yutuqlar haqida ma'lumot berishga harakat qilamiz.

Quyidagi rasmda siz AI ning so'ngi 10 yillikdagi asosiy yutuqlarini ko'rishingiz mumkin.

Davomi bor... 👇

@machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili

2-qism. AlexNet va Variational Autoencoders

2013 yil Computer Vision sohasidagi katta yutuqlar tufayli Deep Learning-ning 'portlash davri' sifatida keng e'tirof etiladi. Jeffri Xintonning yaqinda bergan intervyusiga ko'ra, 2013 yilga kelib "Computer Vision bo'yicha deyarli barcha tadqiqotlar neyron tarmoqlarga o'tdi". Bu bum, birinchi navbatda, bir yil avval tasvirni aniqlashda (image recognition) juda hayratlanarli yutuqqa erishilgan edi.

2012-yil sentabr oyida chuqur konvolyutsion neyron tarmog‘i (Deep Convolutional Neural Network - CNN) AlexNet ImageNet Large Scale Visual Recognition Challenge (ILSVRC) da tasvirni aniqlash vazifalarida DL imkoniyatlarini namoyish qilib, rekord darajadagi natijaga erishdi. U eng yaqin raqobatchisidan 10,9% past bo'lgan 15,3% ni tashkil etgan eng yaxshi beshlik xatosiga erishdi (Quyidagi rasmda tasvirlangan).

Ushbu muvaffaqiyat ortidagi texnik yaxshilanishlar AI-ning kelajakdagi traektoriyasi uchun muhim rol o'ynadi va DL-ni amaliyotga tadbiqini tubdan o'zgartirdi.

👉@machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili

2-qism. AlexNet va Variational Autoencoders (2013) (davomi)

AlexNet neuron tarmog'ida, mualliflar (Alex Krizhevsky va boshqalar) beshta konvolyutsion qatlam va uchta to'liq bog'langan chiziqli qatlamdan iborat chuqur CNNni qo'lladilar(Tarmoq dizyni quyidagi rasmda 👇). O'sha paytdagi birinchi yangi neyron tarmoq dizayni edi. Bundan tashqari, tarmoq tomonidan ishlab chiqarilgan ko'p sonli parametrlar tufayli o'qitish ikkita grafik ishlov berish blokida (GPU) parallel ravishda amalga oshirildi, bu katta ma'lumotlar to'plamlarida o'qitishni sezilarli darajada tezlashtirish qobiliyatini namoyish etdi. Mualliflar, o'sha paytda an'anada bo'lgan Sigmoid va tanh kabi activation funktsiyalarini ulardan samaraliroq bo'lgan rektifikatsiya qilingan chiziqli birlikka (ReLU) almashtirish orqali o'qitish vaqti (training time) yanada qisqartirildi.

AlexNet muvaffaqiyatiga olib kelgan ushbu yutuqlar sun'iy intellekt tarixida burilish nuqtasi bo'ldi va akademiklar va texnologiya hamjamiyatida Deep Learning-ga qiziqish uyg'otdi. Natijada, 2013 yil ko'pchilik tomonidan Deep Learning haqiqatan ham rivojlana boshlagan burilish nuqtasi sifatida qabul qilinadi.

2013-yilda AlexNet soyasida qolib ketgandek tuyulgan bo'lsada, tasvir va tovushlar kabi ma’lumotlarni taqdim etish va yaratishni o‘rgana oladigan variatsion avtoencoder-lar yoki VAE’lar ishlab chiqildi (Quyidagi ikkinchi rasm 👇). Ular yashirin makon (latent space) deb nomlanuvchi past o'lchamli fazoda kirish ma'lumotlarining siqilgan tasvirini o'rganish orqali ishlaydi. Bu ularga ushbu o'rganilgan yashirin makondan namuna olish orqali yangi ma'lumotlarni yaratishga imkon beradi. Keyinchalik VAE san'at, dizayn va o'yin kabi sohalardagi ilovalar bilan generativ modellashtirish va ma'lumotlarni ishlab chiqarish uchun yangi yo'llarni ochdi.

@machine_learning_lab

Numpy darslari (Python) 2-dars. | Datatype, Copy vs View, Reshape, Iterating |
https://youtu.be/JhvVEAKDN7Q

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili

3-qism. Generative Adversarial Networks (2014)

Keyingi yili, 2014 yil iyun oyida DL sohasi Ian Goodfellow va uning hamkasblari tomonidan Generative Adversarial Networks yoki GAN-larni joriy etish bilan yana bir ulkan muvaffaqiyatga guvoh bo'ldi.

GAN - bu mavjud ma'lumotlarga o'xshash yangi ma'lumotlar namunalarini yaratishga qodir bo'lgan neyron tarmoq turi. Asosan, ikkita tarmoq bir vaqtning o'zida o'qitiladi: (1) generator tarmog'i soxta yoki sintetik namunalarni yaratadi va (2) discriminator tarmog'i ularning haqiqiyligini baholaydi. Ushbu o'qitish jarayoni quyidagicha amalga oshiriladi, generator discriminator-ni aldaydigan namunalarni yaratishga harakat qiladi va discriminator soxta namunalarni klassifikatsiya qiladi. Bu jarayon discriminator soxta namunalarni real namunalar deb klassifikatsiyalagunicha davom etadi. (Rasm quyida 👇)

O'sha paytda GAN-lar nafaqat tasvir va videolarni, balki musiqa va san'at namunalarini yaratish uchun ham foydalanilgan ma'lumotlarni yaratish uchun kuchli va yangi vosita edi. Ular, shuningdek, aniq yorliqlarga (labels) tayanmasdan yuqori sifatli ma'lumotlar namunalarini yaratish imkoniyatini namoyish qilish orqali, asosan, kam rivojlangan va qiyin deb hisoblangan domen bo'lgan nazoratsiz ta'limning (unsupervised learning) rivojlanishiga hissa qo'shdilar.

@machine_learning_lab

AI muhandislari o'qishi shart bo'lgan 7 ta top kitoblar. 📚

@machine_learning_lab

​​So'ngi 10 yillik sun'iy itellektning (AI) tahlili

4-qism. ResNet va NLP yutuqlari (2015)

2015 yilda sun'iy intellekt sohasi ham Computer Vision (CV), ham NLP sohasida sezilarli yutuqlarga erishdi.

Kaiming He va uning hamkasblari “Deep Residual Learning for Image Recognition” nomli maqolani nashr etishdi, unda ular residual neyron tarmoqlari yoki ResNets arxitekturasi – yorliqlar qo‘shish orqali ma’lumotlarning tarmoq orqali osonroq oqishini ta’minlaydigan arxitektura tushunchasini taqdim etdilar. Har bir qatlam oldingi qatlamning chiqishini kirish sifatida qabul qiladigan oddiy neyron tarmoqdan farqli o'laroq, ResNet-da bir yoki bir nechta qatlamlarni o'tkazib yuboradigan va tarmoqdagi chuqurroq qatlamlarga to'g'ridan-to'g'ri ulanadigan qo'shimcha qoldiq ulanishlar qo'shiladi.

Natijada, ResNets yo'qolib borayotgan gradientlar muammosini hal qila oldi, bu esa o'sha paytda mumkin bo'lganidan ancha chuqurroq neyron tarmoqlarni o'rgatish imkonini berdi. Bu, o'z navbatida, tasvirni tasniflash va ob'ektni aniqlash vazifalarida sezilarli yaxshilanishlarga olib keldi.

Taxminan bir vaqtning o'zida tadqiqotchilar Recurrent Neural Network (RNN) va Long Short-Term Memory (LSTM) modellarini ishlab chiqishda sezilarli yutuqlarga erishdilar. Bu modellar 1990-yillardan beri mavjud bo'lishiga qaramay, bu modellar faqat 2015 yil atrofida shov-shuvlarni keltirib chiqara boshladi. Bunga (1) o'qitish uchun kattaroq va xilma-xil ma'lumotlar to'plamining mavjudligi hamda (2) hisoblash quvvati va apparat ta'minotining yaxshilanishi (zamonaviy CPU va GPU) kabi omillar sabab bo'ldi va bu omillar chuqurroq va murakkabroq modellarni o'qitish imkonini berdi.

Natijada, ushbu arxitekturalar til modellariga matnning konteksi va ma'nosini yaxshiroq tushunish imkonini berdi, bu esa tilni tarjima qilish, matn yaratish va hissiyotlarni tahlil qilish kabi vazifalarni sezilarli darajada yaxshilashga olib keldi. O'sha paytdagi RNN va LSTM-larning muvaffaqiyati bugungi kunda biz ko'rib turgan katta til modellarining (LLM) rivojlanishiga yo'l ochdi.

@machine_learning_lab

Sun’iy intelekt odamlarga juda ko’p jabhalarda yordamchi bo’lib xizmat qilayapti lekin din masalasida yoki taqvo masalasida sun’iy intelektni integratsiya qilib unga ishonishni to’g’ri deb bilmayman. Chunki bu juda jiddiy masala oddiy kichik bir xato katta narsalarga sabab bo’lib qolishi mumkin.

@machine_learning_lab