پاسخ به سوال فوق

چند نکته رو برای شما و همه دوستان دیگه به طور خلاصه عرض میکنم.

قبل از هرچیزی دقت کنید که فریب تبلیغات کذایی و دوره‌های منفعت‌طلبانه‌ای که با واژه‌هایی مثل علم داده (Data Science)، دانشمند داده (Data Scientist) دوره 0 تا 100 علم داده و ... نخورید. پردازش داده و تکنیک های مختلف برای Data Analytics همیشه کاربردی بوده ولی چیز جدیدی نبوده و نیست. البته میتونیم بگیم کابردهای تکنیک‌های Analytics مهمتر شده (هر چهارتا شاخه Analytics که قبلا اینجا معرفی کردم بخصوص شاخه predictive و prescriptive)

متاسفانه دوره‌های زیادی و عمدتا کم کیفیت در ایران در این زمینه کم برگزار نشده (البته با احترام به تعداد محدودی که زحمت کشیدن). بازخوردی که بنده از بسیاری از دوستان و فراگیران داشتم، عمدتا همون تکنیک‌ها آمار و احتمال رو با چند تا الگوریتم یادگیری ماشین به عنوان علم داده ارائه میدن!!!!

پیشنهاد بنده اینه که اگر به این شاخه پرکاربرد (ولی نه جدید) علاقه‌مند هستید، مهارت‌ها و پیکره دانش زیر رو در خودتون تقویت کنید (دقت کنید که عمده این تقویت میتونه به صورت self-study باشه و از منابع free استفاده شه)

✅ حتما ریاضیات پایه و به طور خاص شاخه‌ Calculus و Linear Algebra و Numerical Analysis رو تقویت کنید. (از اونا نباشیم که مفاهیم ساده مثل ترانهاده یک ماتریس و یا مثلا مفهوم ترکیب خطی و نظریه تبدیل رو نمیدونن ولی پروفایل لینکدین میزنن دانشمند داده 😕 )

✅ اصول و مبانی کامپیوتر رو بهتره بیشتر بشناسیم. بهتره با یک زبان برنامه‌نویسی تسلط خوبی داشته باشید (نه لزوما Python) و ساختمان داده، پایگاه داده و این مطالب رو از کتب و منابع مهندسی/علوم کامپیوتر مطالعه کنید. (از اونا نباشیم که مفاهیم یک برنامه کامیپوتری و ساختارهای اصلی رو هم نمدوننولی ولی پروفایل لینکدین میزنن دانشمند داده 😕 )

✅ هوش مصنوعی (Artificial Intelligence) و به طور خاص شاخه هوش محاسباتی (Computational Intelligence) رو تمرکز ویژه داشته باشید و دقت کنید که خیلی از الگوریتم‌های پیش‌بینی، یادگیری ماشین و ... ن زیرمجموعه این بخش شن. (از اونا نباشیم که فرق رگرسیون خطی و غیرخطی، فرق خوشه‌بندی و دسته‌بندی و امثالهم رو نمیدونن و میزنن متخصص یادگیری ماشین ولی پروفایل لینکدین میزنن دانشمند داده 😕 )

✅ آمار کاربردی هم شاخه توصیفی (Descriptive) و به خصوص شاخه (Inferential Statistics) رو تقویت کنید و سعی کنید متریک‌های مهم آماری و نظریه تخمین رو با کتب و منابع فراوان موجود مطالعه یا بازخوانی دقیق تر داشته باشید. کتاب شلدون راس و مونتگومری خیلی خوب هستند. (از اونا نباشیم که مفاهیم ساده آماری مثل میانگین، واریانس و مد رو نمی‌دونن، تفاوت برآوردگر فاصله ای و نقطه‌ای رو نمیدونن، تفاوت PDF و CDF رو نمیدونن و ...، ولی پروفایل لینکدین میزنن دانشمند داده 😕 )

✅ دقت داشته باشیم که پشت بسیاری از الگوریتم و مدل‌های پیش‌بینی و تجویز که محققین این حوزه استفاده می‌کنند، کلی الگوریتم و تکنیک‌های بهینه‌سازی عددی و تحلیلی هست. سعی کنید مثل خیلیا به صورت black box از اونا استفاده نکنید و دقت کنید خیلی وقتا مهم هست شما یک معماری خاص و الگوریتم یادگیری ماشین خاص برای مسئله تون داشته باشید که لزوما الگوریتم بهینه‌سازی از پیش تعریف شده کارایی و عمکرد مناسبی برای بهینه کردن پارامترهای اون شبکه ندارن. بنابراین، سعی کنید حداقل اصول و پایه روش‌های بهینه‌سازی رو بدونید. در این پست انواع رویکردهای بهینه‌سازی و تصمیم‌گیری رو بهتون گفتم (اینجا) . دو کتاب زیر و استناد چندهزارتایی اونا اهمیت و وابستگی شدید ML به تکنیک‌ها و الگوریتم های Optimization رو نشون میده:
Optimization methods for large-scale machine learning
Practical bayesian optimization of machine learning algorithms


❇️ جمع‌بندی:
در حال حاضر، ترکیبی از دانش‌های علوم کامپیوتر، ریاضیات کاربردی و تکنیک‌های آماری و کسب مهارت‌هایی مثل برنامه‌نویسی و طراحی الگوریتم، مورد توجه بسیاری از شرکت‌ها و بیزینس‌هاست چراکه موجب میشه بتونن تحلیل و بهینه‌سازی مناسبی در تصمیم‌گیری‌هاشون داشته باشند. معمولا در این پروسه، داده‌ها و اطلاعات فعلی و پیش‌بینی شرایط آینده بسیار مهم است و ارزش داده رو بیشتر میکنه و باعث شده، با کمی افراط، ترکیب این موارد تحت عنوان علم داده بکارگرفته شه. در هر صورت، این شاخه کابردی با هر اسمی هم که استفاده شه در سراسر دنیا مورد نیاز بوده و هست و متخصصان اون میتونن تضمین و تامین مالی خوبی داشته باشند. ذکر این نکته بسیار مهم است که متخصص بودن صرفا به معنای برگزار کردن چند دوره آموزشی، گذراندن یک مقطع در یک دانشگاه خارجی و عنوان‌های بامزه در لیندکین نیست.

#DataScience
#Analytics

این کتاب در حوزه Production & Operations Management بنظر بنده خیلی بیان خوبی داره

❇️ روش‌های رایج برای حل مسائل برنامه‌ریزی تصادفی/سناریومحور تصادفی چندمرحله‌ای (Multi-Stage Stochastic Programming)


یکی از رویکردهای بهینه‌سازی در شرایط عدم‌قطعیت پویا، برنامه‌ریزی تصادفی/سناریومحور تصادفی چندمرحله‌ای (Multi-Stage Stochastic Programming) یا اختصارا MSSP است که مهمترین ویژگی آن امکان تعدیل/تطبیق پاسخ طی دوره‌ها/مراحل تصمیم‌گیری است.

اگر فرمولاسیون یک مسئله بهینه‌سازی تحت عدم‌قطعیت به صورت یک مدل MSSP باشد و تعداد سناریوهای حاصل از درخت سناریو زیاد باشد، معمولا سالورهای رایج از جمله CPLEX قادر به حل کارا آنها نیستند (حتی به فرض آنکه فرمولاسیون مدل MSSP خطی یا قابل خطی‌سازی باشد). بنابراین، برای مدل‌های MSSP در پژوهش‌های مختلف معمولا روش حل باید ارائه شود که در تصویر فوق چند مورد رایج‌تر آورده شده است.

#MSSP
#Uncertainty
#Optimization
#برنامه‌ریزی_تصادفی_چندمرحله‌ای

سوالتون رو مستقیم مطرح کنید.

در زمینه بازی‌های تکاملی (ٍEvolutionary Game) کتب زیر بهترین منبع هست

https://books.google.com/books?hl=en&lr=&id=m98ed0_Na1sC&oi=fnd&pg=PA1&dq=evolutionary+game+&ots=i_I07GIxYY&sig=GDXOPKj9oCtIBR4qIg2XywZ5Yc8#v=onepage&q=evolutionary%20game&f=false

◀️ ویدئو 👇🏻🎬

✅ مدل‌های پایه (Benchmark) بهینه‌سازی
با کدهای آماده(Free) به زبان GAMS

***********
لینک ویدئو:
https://t.me/c/1052852390/178324

لینک سایت معرفی‌شده:
https://www.amsterdamoptimization.com/benchmarkmodels.html

***********

#BasicModel
#Codes
#GAMS

***********
❇️ optimyar.com

❇️ فرمولاسیون فشرده مسئله طراحی شبکه زنجیره تامین (Supply Chain Network Design Problem)

#لینکدین پست (کلیک کنید)

برای آشنایی با چارچوب کلی اجرای یک مدل بهینه‌سازی در پایومو (Pyomo) ، مدل حمل و نقل و کد اون به صورت زیر میشه 👇🏻👇🏻

Mathematical Model

Pyomo Code👇🏻👇🏻

❇️ دسته‌بندی انواع مدل‌های بهینه‌سازی برای مسائل کنترل موجودی چنددوره‌ای و برنامه‌ریزی تولید (Inventory and Lot-sizing)

پست اخیر #لینکدین
کلیک کنید

✅ الگوی کامل فراخوانی داده‌های بدون اندیس، 1-بعدی، 2-بعدی، 3-بعدی و ...، از اکسل (EXCEL) به گمز (GAMS)

#Call #فراخوانی #Excel

دو فایل مکمل (گمز و اکسل) زیر رو هم داشته باشید 👇🏻

❇️ توضیح بسیار کامل و جامع در خصوص بهینه‌سازی و مبحث تجزیه و تحلیل داده (Optimization & Data Analytics)

تجزیه و تحلیل داده موضوع جدیدی نیست. یک مهارت میان رشته‌ای خوب است برگرفته از ترکیب مهارت‌های ریاضی، آمار، تصمیم‌گیری، کامپیوتر (بخصوص AI)، الگوریتم‌ها و غیره (که اخیرا مهارت‌های مربوط به اون بیشتر مورد استفاده قرار میگیره). ما میتونیم در تمام این مهارت‌ها متخصص باشیم و یا بخش خاصی از اون؛ و به صورت teamwork در یک بیزینس فعالیت کنیم)

اما چند نکته‌ای رو در مورد الگوریتم‌ها به طور کلی Solution Method ها گفتید که جا داره اون رو کمی تکمیل/اصلاح کنم. در واقع شما این موضوعات رو صرفا برای تحقیق/آکادمیک خوندید که گاها نیازه و یا فروکش میکنه که با احترام به شما بنده مخالف هستم (البته ممکنه منظور دیگری داشتید ولی ظاهرش اینه). در واقع ما اگر داریم میگیم کاربرد هوش مصنوعی و یادگیری ماشین و تحلیل داده بیشتر شده، پس قطعا نیاز به این مهارت (توسعه Solution Method) بیشتر از پیش هم احساس میشه. در ادامه سوالاتی مطرح میکنم که خطاب به شما نیست و برای روش کردن اهمیت روش‌های حل و الگوریتم‌های بهینه‌سازی است.

موضوع علم داده (بخصوص شاخصه اصلی اون که یادگیری ماشین هست) مگر چیزی بجز بهینه‌سازی هست؟ الگوریتم‌های AI و بخصوص ML برای اجرا آیا به روش حل نیاز ندارند؟ مدل‌های تحلیل رفتار انتخابی مشتری (Customer Choice Behavior) که عمدتا بر اساس تابع Logit و Logistic Regression هست مگر بدون توسعه روش‌های حل مدل‌های بهینه‌سازی غیرخطی میتونن قابل استفاده شن؟ اصلا الگوریتمی در ML وجود دارد که مبتنی بر بهینه‌سازی نباشد؟ چطوری میتونیم یک خوشه‌بندی کارا از داده‌ها انجام بدیم در حالی که الگوریتم‌های فراابتکاری تکاملی (Evolutionary) مورد استفاده قرار نگیره؟ آیا معماری‌ شبکه‌های عصبی مصنوعی (Neural Network) برای یک Train درست و برآورد پارامترهاش نیاز به توسعه یک روش حل مناسب نداره؟ چطوری میتونیم یک مسئله Online Pricing یا Online Routing رو حل کنیم وقتی مدل‌هایی مثل (Stochastic Dynamic Programming) و Solution Method کارا مبتنی بر Decomposition و ... ندونیم؟

سوالات بالا رو بیان کردم که به این فکر فرو بریم که آیا یک نفر میتونه بگه من متخصص توسعه الگوریتم‌های ML برای Prescriptive Analytics ( و یا حتی Predictive Analytics) هستم ولی Solution Method نمی‌دونم؟!؟🤔


امروزه مقالات و کتاب‌های بسیار زیادی هستن که فقط دارن به Solution Method ها و الگوریتم‌ها بهینه‌سازی می‌پردازن که از اون طریق بشه همین ابزار مرتبط با علم داده رو بهبود داد. از جمله موارد زیر
[1]
[2]
[3]


پیش‌تر در یک پست مفصل (اینجا) به طور کامل گفتم که ما اگر میخوایم در کسب‌وکارها امروزی چه به عنوان کارآفرین و چه به عنوان تحلیل‌گیر و مشاور فعالیت داشته‌باشیم و از ابزارهای علم داده استفاده کنیم بهتره که،
1- پایه ریاضیات و تحلیل خودمون رو قوی کنیم (بعضی وقتا ی مشتق‌گیری و یا یک انتگرال‌گیری یا حتی حل یک معادله غیرخطی مهم‌ترین قسمت یک الگوریتم هوش مصنوعی میشه [4])
2- از تکنیک‌های علم آمار (بخصوص Infrential Statistics) تا جایی که میتونیم خوب و حرفه‌ای یاد بگیریم
3- مدلسازی ریاضی، الگوریتم‌های بهینه‌سازی و بخصوص روش‌های حل کارا و ترکیبی رو خوب بدونیم (این رو ندونیم صرفا داریم Black Box کار می‌کنیم که ممکنه روی مسئله خاص شما کارایی نداشته باشه)
4- رویکردهای مدرن تصمیم‌گیری مبتنی بر علم داده و برنامه‌ریزی ریاضی (که معمولا با DDRO مطرح میشه) را تا جایی برای مسئله نیاز هست دنبال کنیم عنوان مقاله زیر خیلی جالبه:
Optimization under uncertainty in the era of big data and deep learning: When machine learning meets mathematical programming
[5]
[6]
[7]

5- تا جایی که میتونیم دانش برنامه‌نویسی (Programming) خودمون (بخصوص با زبان‌هایی مثل C++ و Python) رو بهبود بدیم و با برخی از نرم‌افزهای تخصصی حوزه‌های BA ، Optimization و ... تسلط/شناخت خوبی داشته باشیم.

در پایان این رو اضافه کنم که ما نیاز نیست همه موارد بالا رو بدونیم ولی بهتره در یک یا چند مهارت خیلی خوب متخصص باشیم و نسبت به سایر موارد شناخت داشته باشیم (باز هم این پست رو یادآوری می‌کنم).

@Ali_Papi_Optimization
For all 🌷

❇️ فرمولاسیون فشرده مسئله طراحی شبکه زنجیره تامین (Supply Chain Network Design Problem)

#لینکدین پست (کلیک کنید)

❇️ کدهای آماده و الگوی پیاده‌سازی الگوریتم‌های مبتنی بر تجزیه
Benders, Lagrangeian, Dantzig-Wolf, CG

لینک پست در لینکدین (اینجا)
لینک سایت معرفی‌شده (اینجا)


#Codes #LR #BD #CG
#Decomposition