Article 1: ML Engineer කෙනෙක් වෙන්නේ කොහොමද? 👋

අද ගොඩක් අය AI, ML, Deep Learning කියන වචන පටලවගන්නවා. අපි මේක පටන් ගන්න කලින් බලමු ඇත්තටම මේ රෝල් එක මොකක්ද කියලා.

1. ML Engineer vs AI Engineer

ML Engineer: - වැඩිපුරම අවධානය දෙන්නේ දත්ත (Data) පාවිච්චි කරලා Algorithms සහ Models හදන්න. ඒවයේ නිවැරදිතාවය (Accuracy) වැඩි කරන්නේ කොහොමද කියන එක තමයි මෙයාගේ ප්‍රධාන රාජකාරිය.

AI Engineer - මේක මීට වඩා ටිකක් පුළුල්. ML වලට අමතරව Robotics, NLP වගේ මිනිස් බුද්ධිය අනුකරණය කරන ඕනෑම සිස්ටම් එකක් හදන්න AI Engineer කෙනෙක් සම්බන්ධ වෙනවා.

2. ඔයාට තියෙන්න ඕන දක්ෂතා (Skills)

Programming - Python. ඒ වගේම Libraries (Numpy, Pandas වගේ) ගැන දැනුම.
Mathematics - මැෂින් එකක් ඉගෙන ගන්න හැටි තේරුම් ගන්න Calculus සහ Statistics ඕනේ.
Data Engineering - දත්ත පිරිසිදු කරලා හරියට සකස් කරන්න දැනගන්න ඕනේ.

Article 2: Calculus – ML වලට මොකටද මේවා? 🔢

දැන් අපි කෙලින්ම Mathematical Foundations වල පළවෙනි පියවරට බහිමු. ඒ තමයි Calculus. ML වලදී අපිට Calculus ඕන වෙන්නේ ඇයි? සරලම උත්තරේ තමයි Model එකක වැරදි අවම කරන්න (Optimization).

1. Derivatives

Derivative එකකින් කියන්නේ යම් දෙයක් වෙනස් වෙන වේගයයි. ML වලදී අපේ දත්ත වලට පොඩි වෙනසක් කරද්දී අපේ Model එකේ වැරැද්ද (Loss) කොච්චර වෙනස් වෙනවද කියලා බලන්න අපි Derivatives පාවිච්චි කරනවා.

2. Gradient Descent

මේක ML වල තියෙන වැදගත්ම සංකල්පයක්. ඔයා කන්දක් උඩ ඉඳන් මීදුම වෙලාවක පල්ලමට එනවා කියලා හිතන්න. ඔයා අඩිය තියන්නේ බෑවුම වැඩිම පැත්තට නේද? Gradient එකෙන් කරන්නේ අපේ වැරැද්ද (Error) වැඩියෙන්ම තියෙන පැත්ත පෙන්වන එක. අපි කරන්නේ ඒකේ අනිත් පැත්තට (වැරැද්ද අඩු වෙන පැත්තට) ගමන් කරන එකයි.

3. Chain Rule

මේක ගොඩක් වැදගත් වෙන්නේ ඉස්සරහට අපි ඉගෙන ගන්න Deep Learning (Neural Networks) වලට. එකින් එකට සම්බන්ධ වෙලා තියෙන functions වල වෙනස් වීම් ගණනය කරන්න මේක පාවිච්චි කරනවා.


අපි අද Article 1 සහ 2 (Intro & Calculus) ගැන මූලික අදහසක් ගත්තා. ඊළඟ ලිපියෙන් (Article 3) අපි කතා කරන්නේ Linear Algebra (Matrices & Tensors) ගැන. මොකද දත්ත මැෂින් එකකට පේන්නේ Matrix විදිහට.

✍️ @TheInfinityAI

Article 3: Linear Algebra – දත්ත වල භාෂාව 🔢

Machine Learning වලදී අපිට ලක්ෂ ගණන් දත්ත එක්ක වැඩ කරන්න වෙනවා. මේ හැම දත්තයක්ම තනි තනියම ගණනය කරන එක ලේසි නැහැ. අන්න ඒ නිසයි අපි Linear Algebra පාවිච්චි කරන්නේ. මේකෙන් අපිට පුළුවන් දත්ත විශාල ප්‍රමාණයක් එකපාර හසුරුවන්න.

1. දත්ත hierarchy එක (Scalars, Vectors, Matrices & Tensors)

අපි දත්ත හසුරුවන ආකාරය ප්‍රධාන මට්ටම් 4කට බෙදන්න පුළුවන්.

● Scalar - මේක නිකන්ම තනි අංකයක්. (x = 5).
● Vector - මේක සංඛ්‍යා ලැයිස්තුවක්.
● Matrix - මේක හරියට Excel sheet එකක් වගේ. Rows සහ Columns තියෙන සංඛ්‍යා වගුවක්. ML වලදී අපේ Dataset දකින්නේ Matrix එකක් විදිහට.
● Tensor - මේක Matrix ගොඩක එකතුවක්. RGB Image එකක් ගත්තොත්, රතු, කොළ, නිල් කියන පාට තුනට අදාළව Matrix 3ක් තියෙනවා. ඒක Tensor එකක්.

2. Matrix Operations

මැෂින් එකක් ඇතුලේ ගණනය කිරීම් වෙන්නේ මේ ක්‍රම ටික හරහා.

● Addition - එකම ප්‍රමාණයේ Matrices දෙකක් එකතු කිරීම.
● Matrix Multiplication - මේක තමයි ML වල තියෙන වැදගත්ම දේ. අපේ input දත්ත සහ Model එකේ තියෙන weights ගුණ කරන්නේ මේ ක්‍රමයට.

3. Determinants සහ Inverse (ප්‍රතිලෝමය)

අපි සාමාන්‍ය ගණිතයේදී 5x = 10 වුණොත් x හොයන්න 10 බෙදනවා. හැබැයි Matrix වලදී අපිට බෙදන්න බැහැ. ඒ වෙනුවට අපි කරන්නේ Inverse එකෙන් ගුණ කරන එකයි. (Matrix එකකට Inverse එකක් තියෙනවද නැද්ද කියලා බලන්න Determinant එක පාවිච්චි කරනවා)

4. Eigenvalues සහ Eigenvectors

අපි මැට්‍රික්ස් එකක් පාවිච්චි කරලා දත්ත වල හැඩය වෙනස් කරද්දී සමහර Directions වෙනස් වෙන්නේ නැහැ. අන්න ඒ දිශාවන් තමයි Eigenvectors. ඒ දිශාවට දත්ත කොච්චර දුරක් ඇදෙනවද කියන එක Eigenvalue එකෙන් කියනවා. මේක ගොඩක් වැදගත් වෙන්නේ PCA (Dimensionality Reduction) වැනි සංකීර්ණ දත්ත සරල කරන ක්‍රම වලදී.

5. Singular Value Decomposition (SVD)

SVD කියන්නේ ඕනෑම Matrix එකක් කුඩා කොටස් 3කට කඩන ක්‍රමයක්. Netflix වගේ App වල ඔයා කැමති ෆිල්ම් මොනවද කියලා අනුමාන කරන්න (Recommendation Systems වලට) මේ SVD පාවිච්චි කරනවා.


සරලව කිවොත් Linear Algebra කියන්නේ දත්ත ටික සංවිධානය කරලා මැෂින් එකට තේරෙන භාෂාවක්ට ඒවා හරවන එක. මේ පදනම නැතුව අපිට Neural Networks හෝ සංකීර්ණ Models තේරුම් ගන්න බැහැ. ඊළඟ ලිපියෙන් (Article 4) අපි කතා කරන්නේ Probability ගැන. දත්ත වල තියෙන අවිනිශ්චිත බව මැෂින් එකක් පාලනය කරන්නේ කොහොමද කියලා එතනදී බලමු.

✍️ @TheInfinityAI

Article 4: Probability – අවිනිශ්චිත ලෝකයක නිවැරදි තීරණ ගමු 🎲

අද අපි එන්නේ ML Roadmap එකේ ඊලග පියවරට. දැන් අපි Mathematical Foundations වල අවසානයට ලඟා වෙලා ඉන්නේ. අද කතා කරන්නේ Probability (සම්භාවිතාව) ගැන. ML වලදී අපිට හැමතිස්සෙම 100% ක් නිවැරදි දත්ත ලැබෙන්නේ නැහැ. දත්ත වල තියෙන අවිනිශ්චිත බව (Uncertainty) පාලනය කරලා වඩාත්ම ගැලපෙන අනුමානයන් කරන්නේ කොහොමද කියලා මොඩල් එක ඉගෙන ගන්නේ සම්භාවිතාව පාවිච්චි කරලා. ඔයා හිතන්න ඔයා ඊමේල් එකක් බලනවා කියලා. ඒක Spam එකක්ද නැද්ද කියලා මොඩල් එක තීරණය කරන්නේ කොහොමද? අපි ඒක කරන්නේ සම්භාවිතාව පාවිච්චි කරලා. උදාහරණයක් විදියට, මේ වචන තියෙන ඊමේල් එකක් Spam වෙන්න තියෙන සම්භාවිතාව 90% යි වගේ තීරණයක්.

1. Random Variables

අපි දත්තයක් ගත්තම ඒකේ අගය ස්ථිරව කියන්න බැරි නම් ඒක Random Variable එකක්. මේකෙ ප්‍රධාන වර්ග දෙකක් තියෙනවා,
• Discrete Random Variables - ගණන් කළ හැකි පූර්ණ අගයන්.
• Continuous Random Variables - යම් පරාසයක් තුළ පවතින ඕනෑම අගයක් විය හැකි දේවල්.

2. Probability Distributions

දත්ත විසිරිලා තියෙන විදිහ මේකෙන් පෙන්වනවා. මෙතනදී වැදගත්ම දේ තමයි Normal Distribution. මේක Bell Curve එකක් වගේ. ලෝකයේ ගොඩක් දේවල් (උදාහරණයක් විදියට අපි A/L වලදි සලකන z-score එක) තියෙන්නේ මේ හැඩයට. මේකේ මැද අගය (Mean) වටේට දත්ත වැඩිපුර එකතු වෙලා තියෙනවා.

3. PDF සහ PMF (සම්භාවිතාව මනින හැටි)

• PMF (Probability Mass Function) - Discrete දත්ත සඳහා සම්භාවිතාව පෙන්වන්නෙ මේකෙන්.
• PDF (Probability Density Function) - Continuous දත්ත සඳහා Range එකක් ඇතුළත සම්භාවිතාව පෙන්වන්නෙ මේකෙන්.

4. Bayes' Theorem

ML වල තියෙන වැදගත්ම ටොපික් එකක් තමයි මේක. මේකෙන් කරන්නේ අලුත් තොරතුරු ලැබෙද්දී අපේ පැරණි අනුමානයන් Update කරන එක. (formula එක ඔයාලා හොයාගෙන ඒ ගැන ඉගන ගන්න, එච්චර අමාරු නෑ)


සම්භාවිතාව කියන්නේ අපි ලග තියෙන අනුමාන කිරීමේ හැකියාව mathematically represent කිරීමක්. ML වල තියෙන Naive Bayes Classifier වගේ algorithms සම්පූර්ණයෙන්ම වැඩ කරන්නේ මේ Bayes' Theorem එක මත. ඊළඟ ලිපියෙන් (Article 5) අපි කතා කරන්නේ Statistics ගැන. මේක තමයි අපේ Mathematical Foundations Phase එකේ අවසාන කොටස. දත්ත වල තියෙන රහස් එළියට ගන්නේ කොහොමද කියලා අපි එතනදී බලමු.

✍️ @TheInfinityAI

𝐀𝐫𝐭𝐢𝐜𝐥𝐞 𝟓: 𝐒𝐭𝐚𝐭𝐢𝐬𝐭𝐢𝐜𝐬 – දත්ත අතර ඇති සම්බන්ධතා 📊

අපි Mathematical Foundations Phase 1 වල අවසානයට ලං වෙලා ඉන්නේ. අද කතා කරන්නේ Statistics ගැන. ML වලදී අපිට ලැබෙන දත්ත ඇතුළේ තියෙන details එළියට ගන්න පාවිච්චි කරන ප්‍රධානම දේ තමයි මේක. දත්ත පිරිසිදු කරන්න (Data Cleaning) වගේම Model එකක් කොච්චර හොඳට වැඩ කරනවද කියලා මනින්නත් මේක අනිවාර්යයෙන්ම ඕනේ.

සංඛ්‍යානය ප්‍රධාන කොටස් දෙකකට බෙදන්න පුළුවන්,

Descriptive Statistics; තියෙන දත්ත ටික විස්තර කරන එක. (සාමාන්‍ය අගය කීයද?) සහ Inferential Statistics; පොඩි දත්ත ප්‍රමාණයකින් මුළු සමාජය ගැනම අනුමාන කරන එක. (ඡන්දයකදී 1,000කගේ අදහස අරන් මුළු රටේම මතය කියනවා වගේ).

1. 𝐌𝐞𝐚𝐬𝐮𝐫𝐞𝐬 𝐨𝐟 𝐂𝐞𝐧𝐭𝐫𝐚𝐥 𝐓𝐞𝐧𝐝𝐞𝐧𝐜𝐲

අපේ data set එක නියෝජනය කරන එක අගයක් හොයාගන්න මේවා පාවිච්චි කරනවා,

● Mean - සාමාන්‍ය අගය. දත්ත ඔක්කොම එකතු කරලා දත්ත ගණනින් බෙදීම.
● Median - දත්ත ටික පිළිවෙලට සැකසුවාම මැදින්ම තියෙන අගය.
● Mode - දත්ත අතර වැඩිපුරම වතාවක් තියෙන අගය.

𝟐. 𝐌𝐞𝐚𝐬𝐮𝐫𝐞𝐬 𝐨𝐟 𝐃𝐢𝐬𝐩𝐞𝐫𝐬𝐢𝐨𝐧 (𝐌𝐋 වලදී 𝐄𝐫𝐫𝐨𝐫 එක මනින්න මේ සංකල්ප වැදගත්)

● Variance - දත්ත Mean එකේ ඉඳන් කොච්චර ඈතට විසිරිලා තියෙනවද කියලා බලන මිනුම.
● Standard Deviation - මේක වැඩි නම් දත්ත ගොඩක් ඈතට විසිරිලා තියෙනවා. මේක අඩු නම් දත්ත ටික මැද අගයට ගොඩක් කිට්ටුවෙන් තියෙනවා.

𝟑. 𝐆𝐫𝐚𝐩𝐡𝐬 & 𝐂𝐡𝐚𝐫𝐭𝐬

දත්ත දකිද්දීම වැදගත් තොරතුරු අඳුරගන්න මේවා උදව් වෙනවා.

● Histogram: - දත්ත වල Frequency) එක බලන්න.
● Boxplot - දත්ත වල තියෙන Outliers අඳුරගන්න.

𝟒. 𝐈𝐧𝐟𝐞𝐫𝐞𝐧𝐭𝐢𝐚𝐥 𝐒𝐭𝐚𝐭𝐢𝐬𝐭𝐢𝐜𝐬 (අනුමානය සහ තීරණ ගැනීම)

● Hypothesis Testing - අපේ අනුමානයක් ඇත්තටම හරිද. ඒක අහම්බෙන් වුණ දෙයක්ද කියලා ගණිතමය වශයෙන් තහවුරු කරගන්න මේක පාවිච්චි කරනවා.
● P-Value - සරලවම කිව්වොත් මේ අගය 0.05 ට වඩා අඩු නම් අපේ අනුමානය හරි වෙන්න තියෙන ඉඩ වැඩියි.


සංඛ්‍යානය කියන්නේ දත්ත වල ස්වභාවය අඳුරගන්න තියෙන mathematical concept ටිකක්. මේ වෙනකන් කතා කරපු ගණිතමය කොටස් (Calculus, Linear Algebra, Probability, Statistics) තමයි ML Algorithm එකක් පිටිපස්සේ තියෙන රහස.

දැන් අපි සාර්ථකව Phase 1 අවසන් කළා! 🥳. ඊළඟ article එකෙන් (Article 6) අපි පටන් ගන්නේ Phase 2: Programming Fundamentals. එතනදී අපි බලමු Python භාෂාව ML වලට පාවිච්චි කරන්නේ කොහොමද සහ ඒකේ තියෙන වැදගත් දේවල් මොනවද කියලා.

✍️ @TheInfinityAI

Article 6: Python Basics

Python කියන්නේ නිකන්ම Programming language එකක් නෙවෙයි. ඒක හරියට ඉංග්‍රීසි භාෂාව වගේම කියවන්න පුළුවන් හරිම සරල භාෂාවක් (කියලා හිතන් ඉන්නවා). ML Engineer කෙනෙක් විදිහට ඔයාට මේ මූලික කරුණු ටික අනිවාර්යයෙන්ම තියෙන්න ඕනේ.

1. Syntax සහ Variables

Python වලදී අපිට වෙනත් භාෂාවල වගේ semicolon (;) හෝ ලොකු ලොකු දේවල් ඕනේ නැහැ.

age = 25          # Integer
price = 10.5      # Float
name = "User"     # String

2. Data Structures

ML වලදී අපිට දත්ත ගොඩවල් එක්ක වැඩ කරන්න වෙනවා. ඒකට මේවා හරිම වැදගත්:
● Lists - අගයන් ගොඩක් පිළිවෙලට තියාගන්න. [10, 20, 30]
● Tuples: වෙනස් කරන්න බැරි Data Lists (1, 2)
● Dictionaries: Key සහ Value විදිහට Data තියාගන්න. {"name": "User", "role": "ML Student"}

3. Loops සහ Conditionals

මොඩල් එකක් එකම දේ දහස් වාරයක් කරන්නේ සහ තීරණ ගන්නේ මේවා පාවිච්චි කරලා.
● If-Else - තීරණ ගන්න. (උදා: "ලකුණු 40ට වැඩිනම් 'Pass', නැත්නම් 'Fail'")
● For Loops – Data List එකක තියෙන හැම අගයක්ම එකින් එක පරීක්ෂා කරන්න.

4. Functions

එකම Code block එක නැවත නැවත ලියනවා වෙනුවට අපිට පුළුවන් ඒක එක තැනක ලියලා ඕන වෙලාවට පාවිච්චි කරන්න.

def calculate_grade(marks):
    if marks > 75:
        return "A"
    else:
        return "B"

print(calculate_grade(80)) # Output: A

Python ML වලට මේ තරම් වැදගත් ඇයි?

Python වල තියෙන ලොකුම වාසිය තමයි ඒකේ තියෙන Libraries (NumPy, Pandas වගේ දේවල්) නිසා අපිට අමාරු ගණිතමය ගණනය කිරීම් තනි පේළියෙන් කරන්න පුළුවන්. ඒ දේවල් ගැන අපි ඉදිරි ලිපි වලදී කතා කරනවා. අද අපි Python වල මූලික හැඩය සහ දත්ත හසුරුවන ආකාරය ගැන කතා කළා. මේවා තමයි ML වැඩසටහන් වල අඩිතාලම වෙන්නේ. ඊළඟ article එකෙන් (Article 7) අපි කතා කරන්නේ Object-Oriented Programming (OOP) ගැන. ලොකු ML Systems හදද්දී Data සහ Process පාලනය කරන්නේ කොහොමද කියලා අපි එතනදී බලමු.

✍️ @TheInfinityAI

Article 7: Object-Oriented Programming (OOP) - For a Clean Dev Env 🏗

අපි සාමාන්‍යයෙන් code ලියද්දී පේළියෙන් පේළියට ලියාගෙන යනවා (Procedural Programming). හැබැයි වැඩේ ලොකු වෙද්දී ඒක පාලනය කරන්න ටිකක් අමාරුයි. OOP වලදී අපි කරන්නේ ඇත්ත ලෝකයේ තියෙන දේවල් Objects විදිහට අරගෙන code එක නිර්මාණය කරන එක. 🌍🤖

1. Class සහ Object 🏠📋

මේක තේරුම් ගන්න ලේසිම උදාහරණය තමයි නිවසක් සහ ඒකේ සැලසුම.
● Class - මේක තමයි Blueprint එක. 📝ගෙයක් හදන්න කලින් අඳින ප්ලෑන් එක වගේ. ඒකේ තියෙනවා ගෙදරකට තියෙන්න ඕන දේවල් (Attributes) සහ ගෙදරක කරන්න පුළුවන් දේවල් (Methods). 🛠
● Object - අර Blueprint එක බලලා ඇත්තටම හදන ගෙදර. අපිට එකම ප්ලෑන් එකෙන් ගෙවල් ගොඩක් හදන්න පුළුවන්. 🏘

අපි හිතමු LinearRegression කියලා Class එකක් තියෙනවා කියලා. ඒක Blueprint එකක්. අපි ඒකෙන් හදාගන්න model1, model2 කියන්නේ Objects.

2. OOP වල ප්‍රධාන කොටස් 4 🏗🌟

I. Encapsulation 💊🛡
මේක හරියට Capsule එකක් වගේ. අපි ඒක ඇතුලේ තියෙන දේවල් මොනවද කියලා දන්නේ නැහැ, හැබැයි අපි දන්නවා ඒක බිව්වම ලෙඩේ හොඳ වෙනවා කියලා. ML වලදී අපි model.fit(X, y) කියලා ලියනවා. ඒ function එක ඇතුලේ මොන වගේ සංකීර්ණ calculations වෙනවද කියලා අපි දන්නේ නැ. ඒවා ඔක්කොම class එක ඇතුලේ cover වෙලා තියෙන්නේ. 🔒

II. Inheritance 🧬🌳
මේකෙන් කරන්නේ කලින් හදපු class එකක තියෙන ගුණාංග අලුත් class එකකට ලබා ගන්න එක. ML වලදී අපි BaseModel කියලා පොදු class එකක් හැදුවොත් ඒකේ තියෙන දේවල් RegressionModel සහ ClassificationModel කියන අලුත් classes දෙකට නිකන්ම උරුම කරලා දෙන්න පුළුවන්. අපිට ආයෙ ආයෙත් එකම code එක ලියන්න ඕනේ නැ. ♻️

III. Polymorphism 🎭🔄
එකම නම තියෙන function එකක් අවස්ථානුකුලව වෙනස් විදිහට වැඩ කරන එක තමා මේකෙන් වෙන්නේ. ML වලදී ඔයා Linear Regression පාවිච්චි කළත්, Decision Tree පාවිච්චි කළත් දෙකේම තියෙන්නේ .fit() කියන function එකමයි. හැබැයි ඒ අවස්ථාවට අනුව ඒ දෙක ඇතුලේ සිද්ධ වෙන වැඩේ සම්පූර්ණයෙන්ම වෙනස්. ✨

IV. Abstraction 🌫🔍
මේකෙන් කරන්නේ අනවශ්‍ය සංකීර්ණ කොටස් හංගලා පාවිච්චි කරන කෙනාට අවශ්‍ය දේ විතරක් පෙන්නන එක. ML වලදී අපිට ඕනේ model එක train කරන්න විතරයි. ඒ පිටිපස්සේ තියෙන Matrix multiplication වගේ දේවල් අපිට පේන්නේ නැහැ. ඒකයි abstraction කියන්නේ. 🖥

3. ඇයි ML Engineer කෙනෙක් OOP ගැන දැනගන්නම ඕනේ? 🧠👨‍💻

● Scikit-learn පාවිච්චි කරන්න - අපි පාවිච්චි කරන හැම model.fit() සහ model.predict() එකක්ම OOP object එකක් හරහා සිද්ධ වෙන දේවල්. 🛠📈
● Custom Models හදන්න - අනාගතයේදී අලුත් Neural Network එකක් හදන්න වුණොත් ඒක කරන්න වෙන්නේ class එකක් ඇතුලේ. 🧠🕸
● Professional Code - ලොකු projects වලදී code ලියන්නේ function ගොඩක් විදිහට නෙවෙයි, OOP පාවිච්චි කරලා පිළිවෙලකට. 🏗✨

ගොඩක් අය හිතන්නේ OOP කියන්නේ මාර අමාරු තේරෙන්නේ නැති දෙයක් කියලා. 😅 හැබැයි සරලවම කිව්වොත් OOP කියන්නේ අපි ලියන Code ටික පිළිවෙලකට අහුරන විදිහක්. ML වලදී අපි පාවිච්චි කරන Scikit-learn, PyTorch වගේ හැම library එකක්ම හදලා තියෙන්නේ මේ OOP පදනම උඩයි. ඒ නිසා මේක තේරුම් ගන්න එක ML Engineer කෙනෙක්ට අනිවාර්යයි. ඊලග article එකෙන් (Article 8) අපි පටන් ගන්නේ දත්ත හසුරුවන හැටි (NumPy & Pandas). ✅🙊

✍️ @TheInfinityAI