Data science - Azamat
1.87K subscribers
137 photos
11 videos
2 files
81 links
Download Telegram
Data science - Azamat
Kecha ishda data bilan muammo bo’ldi. Har oy yangilanadigan management dashboardidagi data xato ekan. Ba’zi metriklar bir nechta dashboardda qaytarilib keladi. Management dashboard va Customer KPI dashboardlari mijozlar soni va retention rateni ko’rsatadi.…
Github desa ko’pchilik data analitiklar qo’rqishadi (ishlatmaganlar).

Lekin data analitikada Git ishlatilishi Software engineeringdan ancha soddaroq.

Quyidagilar men 95% holatda ishlatadiganlarim:

git status

git checkout -b feature/branch_name

git add *

git commit -m “commit text”

git push

git pull

git checkout main

git merge

git merge origin/main


Eng foydali tomoni kod tarixi va Pull request ta’rifi/kommentlar.
👍24
Forwarded from Ikboljon Sobirov
MBZUAI UGRIP

Bakalavrda oʻqiyotganlar uchun juda zoʻr imkoniyat.

MBZUAI’da 4 haftalik yozgi lager, toʻliq grant asosida. Hamma narsa to‘liq qoplangan:
- stipendiya
- borib kelish aviachipta
- viza
- yotoqxona
- sugʻurta

Birinchi cohortda men mentorlik qilganman. Juda yuqori saviyada va foydali bo‘lgan.

Qozogʻistondan juda ko‘p bolalar boradi. Bizdan ham borsin.

Hujjat topshirib ko‘ring. Siz hech narsa yo‘qotmaysiz. Qabul qilinsangiz, zo‘r tajriba va sayohat. Bo‘lmasa, kuchli tajriba orttirasiz. Ikkala holatda ham foyda.

Arizalar yopilishiga oz qoldi. Batafsil: https://mbzuai.ac.ae/ugrip/
🤩8
Bir ishni boshlab oxiriga yetkazish aslida qiyin emas. Qiyin qismi to‘xtab fikr qilish. 

Odatda bunday bo‘ladi:
Bir narsani qilaman deymiz. Motivatsiya ko‘p, boshlaymiz. O‘rtada bir nechta muammo chiqadi. Motivatsiya kamayadi. Tashlab qo‘yamiz. 

Muammo motivatsiyada emas, to‘siqlarda. 

Biz ishda rasmdagiga o‘xshash doskadan (board) foydalanamiz. Bu Kanban doskasidan.

Qoidasi: 
- 1 ta odam 1 vaqtni o‘zida 1 ta topshiriq ustida ishlaydi.

- Muammo chiqsa “Blocked” ustiga topshiriqni ko‘chiramiz. 
Nima ishni tugatishga to‘sqinlik qilayotganini yozamiz.

- To‘siq 2 xil bo‘lishi mumkin:
Bizga bog‘liq.
Bizga bog‘liq emas. 

Bizga bog‘liq qismini bajaramiz.

Bog‘liq bo‘lmagan qismi uchun boshqalardan yordam so‘raymiz. Hech kim yordam bermasa bu topshiriqni “Backlog”ga qo‘yamiz (kamdan kam holatlarda). Boshqa topshiriq ustida ishlaymiz.
👍7
Rasmda buguni ertalab 7:50. Havo -15 daraja. Lekin hayot har doimgidek davom etadi. Hamma ishiga, maktabiga boradi.

Norvegiyaga kelib, yaxshi ob-havoni kutmaslikni o’rgandim. Ob-havo yaxshi bo’lsa bu bonus. Yomon bo’lsa muammo emas.

Norvegiyada ob-havo yomon bo’lishi 90% holatda rejalarni o’zgartirmaydi. Odamlar va infrastruktura shunga moslashgan.
Norvegiyadagi bizneslar odamlar o‘z-o‘ziga xizmat ko‘rsatishiga moslashgan.
 
Misol, zal. Obunani onlayn sotib olasiz, eshikni kod bilan ochasiz, zalda sotiladigan narsalarni olib Vipps (Payme) orqali pul jo‘natib qo‘yasiz. Zalda ishchi ishlamaydi. Tozalovchi bir kunda bir marta tozalab ketadi.

Buni ishlashiga sabab: odamlar ishonchli va ishchi ishlatish qimmat.

Odamlarda o‘g‘irlash yoki aldashga sabab yo‘q. Jamiyat ishonch ustiga qurilgan. $5 lik narsani o‘g‘irlash orqali $5000 lik ishdan ayrilib qolish mumkin (asymmetric risk).

Shu sabab norveglar qonunga amal qilib yashaydi. Boshqa joylardan kelganlar bilan gaplashsangiz, boshqacha hikoya.

Ishonch bu pul degani. Buni bozor ham tasdiqlaydi. Misol, Norvegiyada ipoteka 5% O‘zbekistonda 18-20%. Bu yerda boshqa faktorlar ham bor. Lekin pulni qaytib kelmaslik ehtimoli baland bo‘lsa % ham baland bo‘ladi.

Qonunlarga amal qilib yashash barcha uchun foydali. Qonundan qochish uchun ishlatilgan quvvatni ko‘proq pul topishga ishlatgan afzal.
1
Bugun ishda vibecoding bo‘yicha kichik demo qildim.

Ishxonada Claude code yoki Codex ishlatish mumkin emas. Biz uchun GithubCopilot OpenAI modellari bilangina mavjud.

GithubCopilotni anchadan beri ishlataman, lekin unchalik zo‘r emas edi. GPT-5.3 dan keyin sezilarli darajada yaxshilandi.

Bugungi demo:

Bir dashboard uchun har oy yangi data tablega qo‘shiladi. 3 xil manbadan kelgan data o‘zgartirilib (transformation) qilinib, mavjud tablega qo’shiladi. Bu jarayon qo‘lda qilinib kelingan bir necha yillardan beri.

Men bu jarayonni dbt ga 4-5 oy oldin ko‘chirgan edim. Shu payt GithubCopilotni sinako‘rgandimim. Barcha SQL query tarixini berib shundan dbt loyiha yarat prompti bilan. Ishlamagandi.

Xuddi shu narsa yaqinda takrorladim. Endi ishladi.

AI juda tez rivojlanyapti. Menimcha undan ko‘p foyda olsak bo‘ladi.
Barchaga Ramazon hayiti muborak bo’lsin!
2
Databricks’da AI assistant bor. Yangi Agent mode yaqinda qo’shildi. U Claude code kabi ishlaydi lekin databazani ichida.

Kodimiz dbt da. Uni dbt ga ruhsati yo’q.

Shunda ham juda zo’r ishlayapti.

Hozir quyidagi savolni oldim:
Daniyadagi mijozlar marketing consent’i juda past. Bu normal emas. Sababi nima? Kod yoki data’da xato bormi? Yoki haqiqat shumi?

Buni aniqlash uchun 15-20 tacha table’ni tekshirishim kerak. Kamida 1-2 soatlik ish.

Shu savolni AI agentga berdim. Olmamni yuvib yeb keldim. Javob tayyor.

Javobni tekshirdim va kerakli odamga habar berdim.

Tejalgan vaqtni hamkasblar bilan gaplashishga yoki boshqa qiziqroq loyihalarga ishlatsam bo’ladi.
AI haqida hammayoqda o’qib odam charchaydi. Biroz vahimaga tushadi. AI ishimni olib qo’ymasmikan yoki hamma AI ni o’rganayapti men qolib ketayapman deb o’ylaydi.


Sababi biz AI ga qiziqayotgan yoki ishlatayotganlar qobig’idamiz. Dunyoni katta qismi hali AI ni nimalar qila olishini bilmaydi.

Bu siz va bizga o’xshagan endi AI ni o’rganayotganlar uchun zo’r imkoniyat.

AI yordamida haqiqiy muammolarga yechim yaratib, uni ish topish yoki ishda o’zimizni ko’rsatishga ishlatishimiz kerak.

The bar is low (for now).
O’zbekistonga keldim.

Kechasi 23:30 da uyda turib Ucelldan esim oldim. NBUdan uzcard oldim. Hammasi onlayn.

Aeroport va vokzallarni eshigini oldidagi yo’llar ochilgan.

Ko’chada bir-biridan qiziq do’kon va servislar.

Yaxshi o’zgarishlar juda ko’p.
1
Norvegiyada soliqlar juda baland. Misol uchun daromad solig‘i 30-35% (oylikka qarab). Lekin bu to‘langan soliqlarni foydasini sezadi.

Kommentdagi pdf hujjatda bir bola voyaga yetgunicha qancha sarflanishini ko‘rish mumkin.

Bog'chaga bir yilda: $17 ming
Maktabga bir yilda: $13 ming
Universitet barchasi: $60 ming

Bu hayot davomida shifoxona va shunga o'xshash harajatlar bilan davom etadi.

Hammasi bo'lib: o'gil bola davlatga $280 mingga, qiz bola $310 mingga to'g'ri kelar ekan.

Lekin har bir odam umri davomida to'langan soliqlari sabablari bu harajatlarni qoplar ekan.
Biror nimani bajarish yoki o’rganish uchun ChatGPTni tekin obunasida biroz yozishsangiz limitiga yetib qoladi. Pullik varianti arzon emas.

Lekin boshqa AI lar ham bor va ularni ham belgilangan darajada tekinga ishlatish mumkin. Misol, Claude, Gemini, Deepseek.

Shuni osonlashtirish yo’li bormikan deb kecha Claude bilan gaplashib telegram bot yaratdim (birinchi marta).

Uni ishlash holatiga yetib kelishi oson bo’lmadi lekin 4-5 soat ichida MVP tayyor edi.

Bu hali birinchi versiyasi. Shu mavzudan habari borlar bo’lsa your input is appreciated.


@freegpt_uz_bot


https://github.com/azamat6037/freegpt
1 oydan beri O’zbekistondaman. Ko’rinishidan Data analitiklari davri kelayapti.

Oldin yozganimdek yaxshi o’zgarishlar ko’p. Odamlar daromadi ancha oshgan, shaharda ayniqsa.

Juda ko’p narsa raqamlashtirilayapti. Bu juda ko’p datani yaratilishiga olib keladi. Bu datani kimdur tahlil qilishi va bizneslarga kerakli maslahatlarni berishi kerak.

Albatta AI ham Data analitik ishiga ta’sir qiladi. Balkim oldinlari bir katta kompaniyaning datasini tahlili uchun 10 ta analitik kerak bo’lgan bo’lsa endi 3 ta analitik bu ishni eplashi mumkin. Lekin bizneslar soni ham ortib bormoqda.
2
Marketing bo’yicha qiziq kuzatuv.

Savdo majmualarida (Mall), Korzinkada va shunga o’xshash joylarda 2000-yillar qo’shiqlarini juda ko’p eshitdim.

Do’stim bu targeting ekanligini aytdi. Hozirda 2000-yillardagi yoshlar ulg’aydi va ularda pul bor. Do’konlar ham ularni target qilayapti dedi.

Marketing darajasi ancha kuchayibdi. Qisqa muddatda.

Bunaqa narsalar kimnidur hayoliga kelib, barcha joyda amalga oshirilmaydi.

Birinchi g’oyani Korzinkani biron filialida tekshirishadi. Agar natija bo’lsa boshqa do’konlarda ham shunday qilishadi. Natija bo’lgan bo’lmaganligini data analitiklar aniqlaydi.
3
Menga o'zbek ovqatini ramsga tushiring va har bir to'plam uchun 8$ ishlang degan email keldi.

Bu rasmlar keyin AI ni o'rgatishga (train) ishlatiladi. Sababi o'zbek ovqatlari va tayyorlanishi bo'yicha rasm/videolar internetda juda kam (boshqalarga qaraganda). O'zi umuman o'zbek tilida internetda kontent juda kam. Shu sababli AI chatbotlar o'zbek tilida yaxshi yoza olmaydi.

AI uchun data tayyorlash - bu sohasidagi qora ish desa ham bo'ladi. Lekin bundan boyib ketganlar ham ko'p. Misol uchun, Alexadr Wang - Scale AI.

Bunaqa onlayn kichik topshiriqlarni pul uchun bajarish oldin ham bor edi. 2016-2018 yillar Lionbringdeni ingliz-o'zbek tarjimasini qilib 20-40$ oyiga ishlar edim.

Sizga qiziq bo'lsa va talablarga javob bersangiz ariza topshirib ko'ring. Bu reklama emas.

https://dataforcecommunity.transperfect.com/project/clary-image-collection-uzbekistan?job-source=DF005&j=324951&sfmc_sub=58519870&l=78_HTML&u=12234980&mid=536000373&jb=3
Data analitik bo’lish aslida unchalik qiyin emas.

Bu Skandinaviyadagi (Norvegiya, Shvetsiya, Daniya) eng katta media kompaniyasining Data analitikka bergan so’rovi:

- SQL
- BI ilova bilan tajriba
- Snowflake
- Python yoki biror dasturlash tilidan habari bo’lishi


E’tibor bergan bo’lsangiz Python oxirida kelayapti. Ham aynan Python bo’lishi shart emas. Sababi, anchadan beri Pythonda kod yozib tahlil qilish samarador (efficient) emas.
Qurbon hayiti barchamizga muborak bo’lsin!
2
Data bu juda qimmatli mahsulot.

Kecha Yandexda musiqa eshitib moshina haydadim.

Yaxshi musiqa kelganda ovozni baland qildim. Yoqmaganini o’tkazdim. Yoqqanini qaytadan eshitdim.

Shu haraktlarimni orqali Yandex men haqimda ko’p narsani bilib oladi.

Ovoz balandlash, o’tkazish, qaytarish:

- nechanchi sekundda
- qaysi janrdagi musiqada
- qaysi qo’shiqchida
- qo’shiq yili

Holatingiz:

- Bluetooth ulanganmi (naushnik, moshina)
- kun vaqti
- wifi, yoki 4G (ko’chada degani)

Xullas birgina shu ma’lumotlar bilan siz haqingizda ko’p narsani tahmin qila olishadi. Qayerda yashashingiz, yoshingiz, ishingiz, moliyaviy holatingiz. Buni hammasi sizga biror mahsulot yoki servis sotish uchun ishlatiladi.
2
Ishimda Github Copilot ishlatamiz (kod yozadigan AI)

Oldin har bir odam uchun oyiga pul to‘lanar edi va yetarlicha tokenlar berilardi. Endi Github shuni foydalanilgan tokenlarga qarab pulini hisoblashni boshlabdi.

Bu degani butun kompaniya oldin 100 ta odam uchun oyiga 100$ to‘lab kelgan bo‘lsa endi oyiga 100$ lik token sotib oladi va barcha shundan ishlatadi.

Tabiiyki kimdir ko‘p kimdir kam ishlatadi.

Birinchi 3 kunda ma’lum bo‘lishicha. Top foydalanuvchi oldingi tarifdagi oylik limit 9 barobarini 3 kunda ishlatib bo‘libdi.

Shu sabab kompaniya AI tokenlari uchun ichki limitlarni qo‘yishni boshladi.

Xullas AI ham arzon emasligi bilinishni boshlayapti.
1
Data anilitika, ilova yaratish va shunga o’xshash kompyuterdagi ishlar boshqa qo’l mehnatli ishlardan farq qilmaydi.

Misol, santexnik magazindan truba (xomashyo) va kerakli narsalarni oladi, qo’li va anjomlar (apparat) bilan ularni ulab sizga issiq suv keladigan dush (natijadagi mahsulot) yasab beradi.

Dush bu tayyor mahsulot.

Xomashyo + apparat = mahsulot

Dataga keladigan bo’lsak. Siz internetda bosgan har bir belgi, intagramdagi layk, paymedagi pul o’tkazmalari barchasi bu data (malumot).

Shu ma’lumotlarni aparatga (kod) tiqib, tayyor odam tushinadigan holatga keltiringiz sizni mahsulotingiz hisoblanadi.


Shu sababli Agile komandalarda Product owner (Mahsulot egasi) degan rol bor. Uni vazifasi kundalik analitiklik qilish emas. U mahsulotni yaxshilash, mijozni eshitish va muammolarini hal qilish ustida ishlaydi.
1