Build Your First Model

O'zingizni ilk Machine Learning modelingizni yaratib ko'rishni o'ylaganmisiz? Unda ushbu blog siz uchun. Nimalarni o'rganamiz?

· Machine Learning ortidagi Matematika siz o'ylaganchalik qiyin emasligini
· Modelni 0dan, hech qanday kutubxonalarsiz qurishni (kodingizni otabek.io da sahifada ishlatib ko'rsangiz bo'ladi)
· Va weight ni topishni turli xil yo'llarini ko'rib o'tamiz.

Ushbu blogdan keyin biror yaxshiroq erkin loyiha qila olishingizga ishonaman. Sinab ko'ring

Batafsil: otabek.io/blogs/build-your-first-model

#shortBlog

Isolation ma'lumotlar omborini go'zal tamoyillaridan biri deb bilaman. Bir nechta tranzaksiya bir-birini blok qilib qo'ymasligi uchun ajoyib yechimlar qilingan. Sezganingizdek Pessimistic Locking va Optimistic Locking mexanizmlari haqida gap ketayabdi.

Pessimistic Locking

Tranzaksiya A obyektni o'qishi yoki yozishidan oldin. Unga (Lock) qulf qo'yadi. Agar Tranzaksiya B o'sha obyektni ustida biror ish qilmoqchi bo'lsa, uni tugashini va qulfni olib tashlashini kutishi kerak bo'ladi. Bu yechimni yomon tomoni, agar ko'p tranzaksiyalar bir-birini kutib qolsa (Deadlock), tizim qotib qolishi mumkin.

Optimistic Locking

Multi-Version Concurrency Control mehanizmi yuqoridagi muammoni yanada yaxshiroq yechish uchun qilingan. Men uni Time Travel deb atayman. Nega unday? Chunki biz multi dimension olamda yashaybamiz (quantum physics aytishi bo'yicha). Bu yechimdagi go'zallik, DB barcha tranzaksiyalar qilgan o'zgarishlarni saqlab boradi. Qachonki Tranzaksiya A boshlansa, DB hozirgi holatidan "Snapshot" oladi. Tranzaksiya B ham boshlanib, biror qiymatni o'zgartirsa, u ham o'zidagi versiyani o'zgartirgan bo'ladi. Tranzaksiya A ga hech qanday zarar o'tmaydi. Read qilayotganlar ham, Write qilayotganlar ham bir-birini blok qilmaydi.

Bu ikkisi ham trade-off. Pessimistic Locking'da tizimni qotirib qo'yishingiz mumkin bo'lsa, Optimistic Locking'da juda ko'p xotira ishlatishni boshlaysiz. Undan tashqari Timestamp Ordering, 2PL, SSI, DCC, Token-Based / Lease-Based kabi yechimlar ham bor. O'rganishni maslahat beraman. System Design intervyularda o'qigan kitoblaringiz emas, texnik bilmlaringiz va ularni ishlata olishingiz ko'proq azq otadi.

Internet ortidagi mo'jizani o'zingiz tushunib, va o'rgangan bilmlar asosida ularni qayta ixtiroq qilishni istaysiz. Ammo qayerdan boshlashni bilmaysizmi?

- DNS query
- HTTP protokoli
- Xavfsiz va tezkor API
- Sniffing tool (hacking uchun)
- Speedbumper
- Proxy (Nginx ga o'xshagan)
- Ngrok (Tunneling service)
- Real-time tizimlar (oz resurs, ko'p connection)
- ... va h.k.z larni 0dan quramiz (kutubxonalarsiz)

Bu yerdan boshlasangiz bo'ladi: 42.uz/course/express-networking

Hacking va Security bo'limida o'rgatilgan barcha bilm va amaliyotlarni faqat yaxshi yo'lda sarflaysiz deb umid qilaman

#experience

Yillar davomida o’rgangan ba’zi bilmlarimdan:

- Abstraksiya funksiya yoki servis qanday ishlashiga emas, nima bersangiz nima olishingiz mumkinligiga diqqatingizni qaratadi. Bu ba’zan sizga tizimni murakkabligini soddaroq tushinb qurishga yordam qilsa, ba’zan sizga qimmatga tushishi mumkin. On-call, o’zbek tilida navbatchilik deymiz. Infra, cloud jamoalarda ishlaydiganlar odatda buni yaxshi bilishadi. Aynan navbatchilik paytida bizga yoqmaydigan fundamental “algoritmlar”, “data structure”, “low-level”, “matematika”, “networking”, “database”, “operating systems” va h.k.z bilmlar juda kerak bo’lishini ko’p guvohi bo’lasiz. Insonlar mukammallikdan uzoq bo’lgani kabi, ular yozgan dasturlar, kodlar, kitoblar va asarlar ham huddi shunday ekan.

- Kod yozishdan ko’ra ko’proq kodni o’chirish qiyinroq va ko’proq xavfsizlik keltirar ekan. Shu paytgacha 20 238 qator kod o’chirdim. Jamoa bu ishimdan juda hursand bo’ldi. Pul, asab va energiya tejadik. Qanday? Endi bu servis hech qachon buzilmaydi, biz uni soatlab “nima bo’ldi ekan?” deb kuzatmaymiz/tuzatmaymiz. Ota-bobolarimiz aytganidek “eng yaxshi kod bu yozilmagan kod”.

- Yiqilishdan qo’rqmaydiganlar ko’p yutar ekan. Qiziqishlarim menga juda qimmatga tushgan. Dadam olib bergan o’sha $500 lik kompyuterni chuqalab $50 ga sotganimiz, startup quraman deb cloudga to’lagan oxirgi $4000 pulim, system dizayni amaliyot qilib o’rganaman deb ketkazilgan vaqt (20ta kitob o’qib yodlash mumkin edi bu vaqtga), production’da qilingan xatolik va eksperimentlar, ehh gapirsa tugamaydigandek. Lekin barchasi Otabekni shu yergacha kelishiga o’z xissasini qo’shgan. Dastur muammosiz ishlasa o’smaysiz. Istalgan kompaniya ham shuncha odamni bekorga ishlatmaydi. Xatolar va muammolar bizni bor qilib turibdi, buzishdan qo’rqmang. Ammo buzg’unchi bo’lmang.

- Yaxshi do’stlar ortdiring va qiymat bering. Blog yozib ham do’st orttirish mumkin ekan. Hozirda minglab do’slarim (sizlar) shu blogimni foydasi bor deb o’qishadi. Ba’zilar “qiziqshim oshadi sizni blogizni o’qisam” desa, yana ba’zilar “senior bo’lishda/ishga kirishimda yordam qildi blogingiz” deydi. Ha “nima deyabsan o’zing tushunayabsanmi?” deydiganlar ham topiladi. Ammo foydasi tegayabdi, shunisidan xursandman.

Xullas qisqacha shular.

Oddiy dasturchi emas, o’z ishini maromiga yetkazib, oshig’i bilan qiladigan inson sifatida shakllaning. Mavzularni “ish topish” uchun emas, sohaga yangilik qilish va katta muammolarni tushunish, ularni yecha olish uchun o’rganing.

Faqat gap yoki taklif emas, sizga darslik ham bermoqchiman. HTTP ni ishlatib serverlar qurasizu lekin, uni ostidagi jarayonni tushunmasligingiz mumkin. Ammo bugundan bular o’zgarishini va bunga o’z xissam qo’shilishini istayman.

Hech bir qurgan loyiham cho’ntagim uchun qilinmagan. Bo’lmasa bu blogni ham tekinga o’qimasdingiz, men otabek.io ni palon pulga sotib olmasdim. Tajribalar oddiydir lekin bular men uchun bir qiyinchilik ortidagi hikoyalar. (Siz shunday emassiz lekin shunday fikrlaydiganlar yetarlicha ekan)

• HTTPni 0dan quramiz - Go dasturlash tilida
• HTTPni 0dan quramiz - Python dasturlash tilida

yoki

• otabek.io/lectures

Faqat Java/Node.js yo’q ekan demang. O’rganing va qiling, omad : )

Bu bilmni ulashing, zora ko’plab dasturchilarga qiziqish uyg’otishda foydamiz tegsa

Build your first model postidan keyin AI/ML o’rganish bo’yicha savollar va maslahat so'rashlar yanada ko'paydi. Hozir trendda bo'lgani uchun bo'lsa kerak. Qisqacha tajribam haqida aytib beray.

2-yil oldin o’sha ilmiy ishni (research paper) o’qib hech narsa tushunmagandim. Bu ilmiy ish haqida Andrej Karpathy juda zo’r video darslik chiqargan. Yaqinda (o’tgan yili) amaliy tarzda, videolarga qaramasdan kichik progress qila oldim.

Generative Pre-trained Transformers (GPT) qurishni va transformer’lar hozirgi LLMlarni kengaya olishidagi o’rnini, attention mexanizmi haqida ko’plab o’rganasiz.

Bundan oldin Recurrent Neural Network (RNN) va LSTM degan modellardan foydalanishgan. Muammo, ular juda sekin, kengayishga qiyin va unutuvchan bo’lgan. Model promptni so’zma-so’z o'qiydigan bo'lgan, agar gap uzun bo’lsa gapni boshini unutib qo’yardi.

Transformer’lar esa bunga ajoyib yechim berishadi. Ular so’zma-so’z o’qish o’rniga butun gapni bittada o’qiydi. Va Self-Attention mexanizmi orqali gapdagi so’zlar bir-biriga qanday bog’liqligi borligini xisoblab ko’radi.

Misol uchun “I didn't eat the food on the table because it wasn’t delicious” gapidagi “it” nimani bildirayotganini bilishingiz kerak. Bu yerda u ovqatga "food"ga nisbatan kelayabdi, "table" so'ziga emas.

Xullas bu model tezroq LLMlarni train qilishga va kengaya olishiga sababchi bo’lgan. Xullas qisqasi transformer gapni “Attention” mexanizmi orqali outputga aylantirishini yaxshilab tushunib olasiz. Balkim keyingi eng zo'r GPT modellarni siz qurarsiz, who knows.

Attention is all you need

Flow - Stay in your flow

Maqsadlaringizga erishishingiz uchun yordamchi.

Tez kunda

#5MinuteTopic

Platform vs DevOps Engineer

O‘tgan galgi streamda Platform Engineer vs DevOps Engineer nima farqi bor deb so‘rashgandi. Keyinroq shuni o‘zimga yozishni va ko‘rishganda so‘rashni boshlashdi. Bu yerda bu ikkisini farqi haqida gaplashamiz. Infrastruktura tomonda ishlaganim uchun bu haqda o‘rganishga va amaliy sinab ko‘rishga muvaffaq bo‘la oldim. 

DevOps Engineer bu to‘liq texnik emas balkim qaysidir darajada madaniyatni ham tatbiq etuvchi rol hisoblanadi. Siz developer’lar va operations team’ni bog‘lovchi inson bo‘lishingiz kerak. Texnik tomondan to‘g‘ri siz CI/CD (continuous delivery / continuous deployment), Kubernetes, Jenkins, Git, Networking, Security va Cloud yechimlar haqida bilishingiz kerak bo‘ladi. Bu sizda mijozlarga dasturchilar qurgan dasturni to‘g‘ri yetkazib berishdek mas’uliyatni shakllantiradi. Ammo, tasavvur qiling qaysidir dasturchi yoki jamoa biror yangi loyiha qilsa va DevOps jamoasi band bo‘lsa butun process to‘xtab qoladi degani. Bu muammoni yechish uchun esa Platform Engineer sohasi shakllangan.

Platform Engineer bu IDP (Internal Developer Platform) quruvchi injener hisoblanadi. Endi siz DevOps engineer bo‘shashini kutmaysiz, chunki siz uchun platforma qurilgan. Siz bir nechta tugmalarni bosish va dokumentatsiyada ko‘rsatilgandek qoida yozishni o‘rganish orqali o‘zingiz bemalol operate (harakat) qila olasiz degani. Ya’ni dasturchilar uchun o‘ziga-o‘zi xizmat ko‘rsatuvchi platforma degani bu, ajoyib-a? Endi jamoada hamma Terraform, AWS, K8S ni bilishi shart emas. Ular platformaga kiradi va qoida yozishni o‘rganib shunchaki o‘zlariga-o‘zlari xizmat ko‘rsata olishadi. 

DevOps uchun mijozlar bu haqiqiy mijozlardir. Platform Engineer uchun mijozlar bu dasturchilardir. Siz "I will write a Jenkins pipeline for the team" dan "I will build a template in the IDP so any team can spin up a secure pipeline in 3 clicks without asking me" ga o‘tasiz.

Biz SRE haqida gaplashmadik, bu umumman alohida mavzu.

Flow - stay in your flow

coming soon : )