مهندسی داده و ام‌ال‌آپس 🚀
3.05K subscribers
656 photos
49 videos
100 files
530 links
دنیای مهندسی داده و ام‌ال‌آپس

🟢 ارتباط با ما
https://www.m-fozouni.ir/contact-me

🔵 دوره‌های آموزشی
https://www.m-fozouni.ir/shop

🔴 یوتیوب
https://youtube.com/c/ElmeDade

🟤 مشاوره با دکتر فزونی
https://www.m-fozouni.ir/consult
Download Telegram
صفحه وب کامل لود شد و آگهی، نظرم رو جلب کرد. می‌دونستم از جنس تبلیغات کلیکی یکتانت هست. اما وقتی وارد صفحه محصول شدم، برام خیلی عجیب بود که تیم خوب و دیتایی دیجیکالا اینو در نظر نگرفتن. یعنی وقتی موجودی محصولی صفر میشه، دیگه بابت کلیک اون کمپین، مجموعه رو شارژ نکنند.

بهرحال کار و پروژه‌ی دیتایی خوبی خواهد شد و زیاد هم سخت نیست. البته گمان می‌کنم یکتانت هم می‌تونه با کمی تمهیدات، جلوی متضرر شدن مشتری‌هاش رو بگیرد. اینجوری کسب‌وکارها تبلیغات بیشتری به اونها خواهند داد. در این اتفاق، نرخ تبدیل خیلی کاهش پیدا می‌کنه و صد البته، به مرور زمان برای یکتانت هم خوب نیست. چون من مشتری وقتی بفهمم موجودی چک نمیشه، کمتر کلیک می‌کنم روی لینک‌های این مجموعه.

این پست، به هیچ وجه جنبه‌ی انتقادی نداره و تنها یک پیشنهاد برای بهبود کیفیت این دو برند خوب در کشور است. البته شاید کارهایی هم صورت گرفته باشه پیش از این، ولی از لحاظ ریالی به صرفه نبوده و دنبال نشده.

به همین راحتی میشه پروژه‌های دیتایی تعریف کرد. موجودی کل در یک یا چند دیتابیس بروزرسانی بشه و به محض صفر شدن، تبلیغات کلیکی در باره‌ی اون محصول، غیرفعال بشوند.
🚀 سریع‌ترین روش مدیریت پکیج‌های پایتون

آیا می‌خواهید محیط‌های مجازی پایتون را سریع‌تر و حرفه‌ای‌تر مدیریت کنید؟ 🚀 در این ویدیو، مقایسه‌ای بین uv و venv خواهیم داشت و به شما نشان می‌دهیم که چرا uv می‌تواند جایگزینی فوق‌العاده برای مدیریت پکیج‌ها و محیط‌های مجازی باشد!

نصب و راه‌اندازی uv در ویندوز
ایجاد و مدیریت محیط‌های مجازی در چند ثانیه!
مزایا و تفاوت‌های uv نسبت به venv
روش‌های بهینه‌سازی برای توسعه‌دهندگان پایتون

اگر می‌خواهید سرعت و کارایی بیشتری در مدیریت پکیج‌های پایتون داشته باشید، این ویدیو را از دست ندهید! 🎯

لینک تماشای ویدیو

https://www.youtube.com/watch?v=QWlt3UDf03U

#پایتون #علم_داده #UV
.
@elmedadeir
🚀 کلاس‌های آنلاین پایتون، دیتاساینس، اسکیوال، ماشین‌لرنینگ، دیپ‌لرنینگ، آر و جولیا 🌟

🔹 می‌خواهید در برنامه‌نویسی، دیتاساینس و هوش مصنوعی حرفه‌ای شوید؟
🔹 نیاز به کمک در پروژه‌ها، پایان‌نامه یا آنالیز داده دارید؟

🎯 علی محمدی، با سال‌ها تجربه در تدریس و انجام پروژه‌های موفق، آماده راهنمایی شماست!

💡 ویژگی‌ها:
✔️ آموزش از پایه تا پیشرفته (پایتون، اسکیوال، دیتاساینس، هوش مصنوعی، آر، جولیا و...)
✔️ مشاوره و انجام پروژه‌های تخصصی
✔️ راهنمایی پایان‌نامه‌ها
✔️ جلسات آنلاین عملی و پروژه‌محور

📩 برای شروع، همین حالا پیام دهید:

@ali_mohammadi3570
در سه روز گذشته، ما خیلی زیاد با «کد ۴۰۳» که از همون ممنوع بودن یا تحریم میاد، مواجه شدیم. امروز خیلی تصادفی وقتی سرچ کنسول رو دیدم، خود گوگل یک پیام داده بود و این لینک از وبسایت شما (که در واقع روش‌های دور زدن داکر رو آموزش می‌دهد) کلیک بیشتری گرفته.

این نشون میده که ظاهرن در چند روز اخیر، از اون‌طرف سخت‌گیری‌ها بیشتر شده و ملت در این سمت آب‌ها بیشتر دنبال ابزارهایی برای عبور از تحریم هستند.

از لحاظ دیتایی برای من جالب بود. ولی از لحاظ تکنیکی و کاری، داغان. به امید روزی که هیچ صفحه‌ای در دنیا بما کد ۴۰۳ ندهد. حس فوق‌العاده بدی هست. درسته که راهش رو یاد گرفتیم. اما ما دوست داریم یک زندگی عادی داشته باشیم. اینو باید به کی بگیم؟
.
@elmedadeir
🛑 بازنشر شده از لینکدین

اگر به حوزه دیتا علاقمند هستید بعد از خوندن این پست قطعا شروع به جستجو در اینترنت خواهید کرد

بیشتر بچه هایی که در جلسات مشاوره آموزشی باهاشون صحبت کردم و دارن مسیر تبدیل شدن به Data Scientist رو طی می‌کنند اطلاعات خوبی در خصوص ابزارها و فریم ورک ها دارن مثلا اینکه چرا باید پایتون بلد باشن، از ابزارهایی مثل spark, SQL, Pandas و فریم ورک هایی مثل scikit Learn و pytorch اطلاع دارن.

اما چیزی که بیشتر دانش پژوهان نمیدونن اینه که برای رسیدن به مرحله Data Analyst باید حداقل 20 متد تحلیل داده رو به صورت دقیق و عمیق درک کرده باشن

در واقع این 20 متد، نقش های اصلی هستن که یک تحلیل گر داده در مواجهه با چالش های کاری مختلف باید قادر به انتخاب و ایفای اونها باشه

این متدها ورک فلوهای استاندارد تحلیل گری هستن که فارق از ابزار، برای حل مسائل داده محور به طور گسترده استفاده میشن و متاسفانه من تا حالا دوره یا کورسی رو ندیدم که این متدها رو به زبان فارسی و به صورت جامع تدریس کرده باشه

لیست زیر 20 تا از مهمترین متدهای مورد استفاده یک تحلیل گر در محیط کار هستن

- The Insight Weaver
- The Anomaly Hunter
- The Trend Forecaster
- The Segment Architect
- The Association Mapper
- The Causal Connector
- The Risk Assessor
- The Pattern Recognizer
- The Sentiment Analyzer
- The Network Weaver
- The Feature Engineer
- The Bias Detector
- The Storyteller
- The Decision Optimizer
- The Uncertainty Navigator
- The Feedback Loop Designer
- The Ethical Guardian
- The Hypothesis Tester
- The Knowledge Amplifier
- The Visionary Innovator

به جای تمرکز صرف روی ابزار و نرم افزار، حتما بخشی از وقتتون رو بگذارید برای یادگیری و تسلط روی متدولوژی

و دفعه بعدی که کسی ازتون پرسید شغل یک تحلیل گر داده چیه میتونید بیست تا نقش بالا رو براش تشریح کنید
.
◀️ منبع: صفحه لینکدین آقای فریور زرونده
.
@elmedadeir
روش‌هایی برای نصب داکر روی سرورهای داخل ایران

این‌روزها که داکر بسیار فراگیر شده، بعید است قصد دیپلوی یا مستقر نمودن یک نرم افزار یا دیتا پایپ‌لاین را روی سرورها داشته باشیم، اما داکر یکی از ابزارهای انجام این کار برای ما نباشد. متاسفانه ممنوعیت‌های موجود برای کاربران ایرانی هر روز آزاردهنده‌تر می‌شوند. به خصوص که بخواهیم با سرورهای داخل ایران کار کنیم و چنین تکنولوژی‌هایی را نیز بکار بگیریم.

در ادامه دو روش را برای نصب داکر روی سرورهای داخل ایران بشما آموزش خواهیم داد که براحتی بتوانید از طریق یکی از آنها، داکر را روی سرور خود نصب نموده و ادامه کار دیپلوی یا اسقرار را انجام بدهید. روش اول از طریق snap و روش دوم به کمک سایت get.docker.com و اسکریپت موجود در آن می‌باشد.

مطالعه ادامه مقاله 👇👇
.
https://www.m-fozouni.ir/install-docker-on-server/
.
#docker
.
@elmedadeir
اگر دوست دارید در یک دوره کتاب‌خوانی جاوا که رایگان هم هست شرکت کنید، برید

به این آدرس در لینکدین

خیلی راحت ثبت‌نام خواهید کرد.
.
#java
.
@elmedadeir
Audio
در این فایل صوتی، صحبت‌های کوشیار راجع به تکنیک‌ها و فریم‌ورک‌های بروز یادگیری ماشین (در دنیای کاربرد، نه لزوماً پژوهش) رو می‌شنوید که لیست موارد رو در پائین نوشتم. واقعاً کوشیار بچه‌ی باسوادی هست، خیلی حرف‌ها برای گفتن داره. حتماً این فایل رو گوش بدین

1- Transformers
2- Transfer learning
3- Few shot Learning
4- Federated learning
5- Reinforcement learning
6- Graph neural network
7- Generative adversarial network
8- Self supervised learning
9- Auto ML
10- MLops
11- Hardware acceleration
12- Multimodal learning

این نکته رو هم بگم که زحمت فایل رو دوستان کشیدند و من فقط از یه گروه تلگرامی، فایل رو اینجا با شما به اشتراک گذاشتم.
لیستی از انواع تبدیلات روی داده که مرور اونها خیلی بما کمک می‌کنه با بخش مهمی از تغییراتی که روی دیتا اعمال می‌کنیم، در چند خط آشنا بشیم.

1. Map:
اعمال یک تابع به هر عنصر در یک مجموعه داده و تبدیل آن به شکل مناسب.

2. Filter:
انتخاب عناصری از یک مجموعه داده که معیارهای خاصی را برآورده می‌کنند.

3. Reduce:
تجمیع داده‌ها با اعمال یک تابع، مانند جمع یا میانگین.

4. Join:
ترکیب دو مجموعه‌ی داده بر اساس یک کلید مشترک.

5. Group By:
گروه‌بندی داده‌ها بر اساس یک یا چند کلید و اعمال یک تابع تجمیع.

6. Pivot:
ساخت مجدد داده‌ها از فرمت بلند به فرمت عریض یا بالعکس. مثلن تبدیل داده‌های کتگوریکال در یک جدول به فیچر و شمارش تعداد آنها.

7. Normalize:
مقیاس‌دهی داده‌ها به یک دامنه‌ی مشترک، اغلب [0,1] و یا [1,1-].

8. Standardize:
تبدیل داده‌ها به گونه‌ای که میانگین آنها 0 و انحراف معیارشان 1 باشد.

9. One-Hot Encoding:
تبدیل متغیرهای دسته‌ای به وکتورهای (بردارها) باینری (صفر و یک).

10. Label Encoding:
تبدیل متغیرهای دسته‌ای (categorical) به اعداد صحیح.

11. Imputation:
پر کردن مقادیر گمشده با استفاده از استراتژی‌های مختلف (میانگین، میانه، مد).

12. Binning:
تقسیم داده‌های پیوسته به دسته‌ها یا بازه‌های گسسته.

13. Feature Scaling:
تنظیم دامنه‌ی ویژگی‌ها برای بهبود عملکرد مدل.

14. Text Processing:
شامل توکن‌سازی، ریشه‌یابی و وکتوریزه کردن برای داده‌های زبان طبیعی.

15. Dimensionality Reduction:
تکنیک‌هایی مانند PCA (تحلیل مؤلفه‌های اصلی) برای کاهش تعداد ویژگی‌ها در حالی که اطلاعات اساسی حفظ می‌شود.

16. Data Augmentation:
تولید نمونه‌های جدید داده با تبدیل نمونه‌های موجود (مفید در پردازش تصویر).

17. Encoding Time Series:
تبدیل داده‌های زمان‌محور به یک فرمت مناسب برای مدل‌سازی (مانند ویژگی‌های تاخیری).

18. Feature Engineering:
ایجاد ویژگی‌های جدید از داده‌های موجود برای بهبود عملکرد مدل.
.
#data_transformation
.
@elmedadeir
در ماه‌های قبل، من دوتا نظریه‌ی کاملن متناقض درباره‌ی هوش مصنوعی خوندم، از دو منبع معتبر. بشما می‌گم بزودی.

این نشون میده که درباره‌ی آینده، هیچکسی نمی‌تونه نظر بده و هر کسی از ظن و گمان خودش، یه چیز می‌گه که لزومن هم درست نیست.

بمن ثابت شد، نه تنها عوام، بلکه خواص هم «می‌تونند چرت و پرت تحویل فالوورظ‌های (همین «ز» دسته دار درسته) خودشون بدن. کنتور که نمی‌ندازه 😎😁». پس من و شما باید کار خودمون رو انجام بدیم و منتظر محقق شدن اراجیف نباشیم.
.
@elmedadeir
در حال مطالعه این کتاب هستم

Machine Learning Production Systems

امروز یک موردی در این عنوان خیلی جالب شد برام و دقایقی بهش فکر می‌کردم؛ اینکه نویسندگان تمام کارها رو با
TensorFlow
شرح می‌دهند و به هیچ وجه به پای‌تورچ اشاره نمی‌کنند. به سابقه‌ی کاری افراد که دقت کردم، متوجه شدم سه تاشون در گوگل فعالیت داشتند و دارند. اول به خودم گفتم «پس کتاب یجورایی داره تبلیغ فریم‌ورکی رو می‌کنه که به گوگل منسوب هست».

اما بیشتر که عمیق می‌شیم در مباحث می‌فهمیم از این خبرا نیست. نویسندگان در حال تصویر کردن تجربه‌ی عمــلـــی خودشون هستند؛ بطور طبیعی بخش اعظم کارهای افراد در گوگل در این حیطه بیشتر با تنسورفلو انجام شده است. در نتیجه نباید افراد رو محکوم کنیم که سوگیری دارند نسبت به تنسورفلو.

مورد جالب دوم این بود که حتی اینها هم مدام به بهینه‌سازی مدل‌ها و پایپ‌لاین‌هاشون فکر می‌کنند که کم منابع مصرف کنه، با اینکه برای گوگل کار می‌کنند که به دریایی از منابع سخت‌افزاری مجهز هست.

در پایان، نگاهی که به آمار مشارکت کنندگان تنسورفلو در گیت‌هاب می‌اندازیم، متوجه می‌شیم که درباره‌ی این ابزار، هر چه بگوییم، کم است.
@elmedadeir
Media is too big
VIEW IN TELEGRAM
توضیحاتی در خصوص ششمین دوره مهندسی داده همراه با سرفصل‌هایی از دنیای ام‌ال‌آپس
.
جهت مشاهده موارد تکمیلی در خصوص دوره به لینک زیر مراجعه نمایید

https://m-fozouni.ir/de6
.
@elmedadeir
مهندسی داده و ام‌ال‌آپس 🚀
در ماه‌های قبل، من دوتا نظریه‌ی کاملن متناقض درباره‌ی هوش مصنوعی خوندم، از دو منبع معتبر. بشما می‌گم بزودی. این نشون میده که درباره‌ی آینده، هیچکسی نمی‌تونه نظر بده و هر کسی از ظن و گمان خودش، یه چیز می‌گه که لزومن هم درست نیست. بمن ثابت شد، نه تنها عوام،…
در ماه‌های قبل، من دوتا نظریه‌ی کاملن متناقض درباره‌ی هوش مصنوعی خوندم، از دو منبع معتبر که در ادامه اونها رو مطرح می‌کنم. لازم به ذکر است که این دو دسته، جزو توسعه‌دهندگان هوش مصنوعی نیستند. تنها محققان و کاربرانی از این تکنولوژی می‌باشند که کمی هم جایگاه (پول) و پرستیژ دارند.

این نشون میده که درباره‌ی آینده، هیچکسی نمی‌تونه نظر بده و هر کسی از ظن و گمان خودش، یه چیز می‌گه که لزومن هم درست نیست.

گروه اول معتقدند که هوش مصنوعی تا چندسال آتی مشاغلی که در آنها «تکرار وجود دارد» را از رده خارج خواهد کرد.

اما گروه دوم، یک مرحله پا را فراتر گذاشته و اعتقاد دارند، برخلاف انقلاب صنعتی که افراد را که کارهای تکراری انجام می‌دادند، حذف نمود، هوش مصنوعی با این رده از مشاغل کاری ندارد. هوش مصنوعی قصد دارد جایگاه افرادی که کارهای خلاقانه انجام می‌دهند را تصاحب کند. دقت کنید که در این گروه از مشاغل، چیزی بنام تکرار وجود ندارد.

بشخصه هر چقدر بیشتر روی این دو گروه و نظریه فکر می‌کنم، جز تناقض چیزی نمی‌بینم، «کار تکراری در برابر کار خلاقانه و غیر تکراری».

نتیجه‌ای که من از این نظرات گرفتم این بود که در این واویلای اقتصاد جهانی و عشق به جلب توجهات، همه دنبال این هستند که بخشی از آینده را برای عوام روشن کنند. اما گمان من این است که «زهی خیال باطل که فردا را کسی ندیده. ما تنها باید نسبت به این تکنولوژی آگاهی کسب کنیم و خودمان را آماده کنیم برای تغییرات احتمالی». اینکه تغییرات چه هستند، هیچ شخصی در هیچ جایگاهی توان علم پیدا کردن به آنرا ندارد که اگر داشت، کلاه همه‌ی ماها پس معرکه بود.

و نکته‌ی جالب‌تر داستان این است؛ اراجیفی که درباره‌ی هوش مصنوعی منتشر می‌شود را بیشتر اینفلوئنسرها، با دنبال‌کنندکان میلیونی به مغز ملت‌ها فرو می‌کنند، اما دلیلش چیست، نمی‌دانــــــم.
.
@elmedadeir
🚀 مدل بساز، پیگیری کن، بهینه کن!

🧠 آموزش ماشین بدون دردسر با ام‌ال‌فلو!
دیگه نیازی نیست دستی مدل‌ها رو آزمایش کنی! ام‌ال‌فلو با الگوریتم هوشمند خودش مدل‌های مختلف رو بررسی می‌کنه، بهترین گزینه رو پیدا می‌کنه و همه چیز رو برایت ثبت و پیگیری می‌کنه!

📌 چرا این روش توی ام‌ال‌فلو عالیه؟
مدل‌های مختلف رو خودکار آزمایش می‌کنه!
بهترین پارامترها رو پیدا می‌کنه!
همه مراحل آموزش رو ذخیره و مقایسه می‌کنه!

.
@elmedadeir
Books I've read in the filed of Data.pdf
2.1 MB
هر شخصی سیستم یادگیری منحصر به خودش را دارد. اما برای بنده کتاب جایگاه ویژه‌ای داشته و دارد. در طول این چند سالی که وارد حوزه‌‌ی دیتا شده‌ام، با وسواس بسیار بالا عناوینی را انتخاب کرده و مطالعه نموده‌ام. در ادامه این لیست را همراه با یک توضیح بسیار مختصر خواهید دید. باشد که برای علاقمندان به دنیای علم و دانش، مفید واقع شود. طبیعی است، کتاب‌هایی که مفید ندیدم را لیست ننموده‌ام. این عناوین جزو آندسته از کتبی هستند که بنده صفر تا صدشان را مطالعه کرده و لذت بردم.

سپاس بی‌کران از مولفین این عناوین فوق‌العاده که بشخصه بنده از آنها بسیار آموختم. باشد که ما هم روزی بتوانیم یک اثر کوچک از خود بجای بگذاریم تا پاسخگوی ذهن کنجکاو پژوهش‌گران باشد.

این را بدانید که حتی در عصر هوش مصنوعی نیز ما نمی‌توانیم کتاب‌ها را نادیده بگیریم و به اصطلاح ره چند ساله را یک شبه طی نمائیم. اینفلوئنسرهای اینستاگرامی را زیاد جدی نگیرید. در این مسیر باید خون دل‌ها خورد تا بتوانیم به بهترین شکل ممکن از دانش خودمان، بهره‌برداری نمائیم و دیگران را نیز بهره‌مند کنیم.
.
@elmedadeir
🚀 کلاس‌های آنلاین پایتون، دیتاساینس، اسکیوال، ماشین‌لرنینگ، دیپ‌لرنینگ، داکر، آر و جولیا 🌟

🔹 می‌خواهید در برنامه‌نویسی، دیتاساینس و هوش مصنوعی حرفه‌ای شوید؟
🔹 نیاز به کمک در پروژه‌ها، پایان‌نامه یا آنالیز داده دارید؟

🎯 علی محمدی، با سال‌ها تجربه در تدریس و انجام پروژه‌های موفق، آماده راهنمایی شماست!

💡 ویژگی‌ها:
✔️ آموزش از پایه تا پیشرفته (پایتون، اسکیوال، دیتاساینس، هوش مصنوعی، آر، جولیا و...)
✔️ مشاوره و انجام پروژه‌های تخصصی
✔️ راهنمایی پایان‌نامه‌ها
✔️ جلسات آنلاین عملی و پروژه‌محور

📩 برای شروع، همین حالا پیام دهید:

@ali_mohammadi3570