Hinton මේකට විසඳුම ගත්තේ වායු අංශු (Gas Particles) අධ්යයනය කරන Statistical Mechanics වලින්. Ludwig Boltzmann කියන විද්යාඥයා හොයාගත්තා වායු අංශු හැසිරෙන විදිය එකින් එක බලන්න බැරි වුණාට, Probability (සම්භාවිතාව) පාවිච්චි කරලා මුළු සිස්ටම් එකම ගැන කියන්න පුළුවන් කියලා. Hinton හැදුවා Boltzmann Machine කියලා අලුත් නෙට්වර්ක් එකක්. එයා මේකට පාවිච්චි කළේ Simulated Annealing කියන කන්සෙප්ට් එක.
- ලෝහයක් රත් කළාම (Heat) ඒකේ පරමාණු වේගයෙන්, Randomly දුවනවා.
- ලෝහය හෙමින් සිසිල් කරනකොට (Cooling), පරමාණු ලස්සනට ස්ථාවර වෙලා ශක්තිමත් වෙනවා.
3. Stochastic Process එක (අහඹු බව භාවිතා කිරීම)
Hinton ගේ මේ මොඩල් එකේදී එයා නෙට්වර්ක් එකට මුලින්ම "High Temperature" එකක් දෙනවා. ඒ කියන්නේ නෙට්වර්ක් එකේ තීරණ ගොඩක් දුරට Random / Stochastic වෙනවා.
- මෙහෙම Random වෙනකොට, අර බෝලේ පොඩි වළක (Local Minimum) හිරවෙලා හිටියත්, අර ලැබෙන "ශක්තිය" (Noise) නිසා ඒ වළෙන් එළියට විසි වෙනවා.
- ඊට පස්සේ හෙමින් Temperature එක අඩු කරනවා.
- එතකොට සිස්ටම් එක ටික ටික ස්ථාවර වෙලා, තියෙන ගැඹුරුම වළ (Global Minimum) හොයාගන්නවා.
4. Hidden Units සහ Generative AI
Boltzmann Machine එකේ තිබ්බ වැදගත්ම දේ තමයි Hidden Units.
- Visible Units: අපිට පෙනෙන දත්ත (Input Data).
- Hidden Units: දත්ත වල තියෙන සංකීර්ණ සම්බන්ධතා (Features) ඉගෙන ගන්නා කොටස.
මේ Hidden Units වලට පුළුවන් වුණා දත්ත නිකන්ම කටපාඩම් කරන්නේ නැතුව, දත්ත වල Probability Distribution එක ඉගෙන ගන්න. ඒ නිසා මේ මැෂින් එකට පුළුවන් වුණා කලින් දැකපු නැති අලුත් දත්ත නිර්මාණය කරන්න.
අද අපි දකින ChatGPT, Midjourney වගේ Generative AI වලට "අලුත් දේවල් හිතන්න" පුළුවන් වෙලා තියෙන්නේ Hinton එදා මේ Statistical Mechanics මූලධර්ම AI වලට ගෙනාපු නිසයි. එයා පෙන්නුවා AI එකක් කියන්නේ හුදෙක් Logic ගේම් එකක් නෙවෙයි, ඒක Probabilistic (සම්භාවිතාව මත පදනම් වූ) සිස්ටම් එකක් කියලා. එහෙම බැලුවාම ඇත්තටම AI කියන්නෙත් physics වලින්ම ඉපදුනු තවත් කොටසක් විතරයි 🌝🩶
✍️ @TheInfinityAI
- ලෝහයක් රත් කළාම (Heat) ඒකේ පරමාණු වේගයෙන්, Randomly දුවනවා.
- ලෝහය හෙමින් සිසිල් කරනකොට (Cooling), පරමාණු ලස්සනට ස්ථාවර වෙලා ශක්තිමත් වෙනවා.
3. Stochastic Process එක (අහඹු බව භාවිතා කිරීම)
Hinton ගේ මේ මොඩල් එකේදී එයා නෙට්වර්ක් එකට මුලින්ම "High Temperature" එකක් දෙනවා. ඒ කියන්නේ නෙට්වර්ක් එකේ තීරණ ගොඩක් දුරට Random / Stochastic වෙනවා.
- මෙහෙම Random වෙනකොට, අර බෝලේ පොඩි වළක (Local Minimum) හිරවෙලා හිටියත්, අර ලැබෙන "ශක්තිය" (Noise) නිසා ඒ වළෙන් එළියට විසි වෙනවා.
- ඊට පස්සේ හෙමින් Temperature එක අඩු කරනවා.
- එතකොට සිස්ටම් එක ටික ටික ස්ථාවර වෙලා, තියෙන ගැඹුරුම වළ (Global Minimum) හොයාගන්නවා.
4. Hidden Units සහ Generative AI
Boltzmann Machine එකේ තිබ්බ වැදගත්ම දේ තමයි Hidden Units.
- Visible Units: අපිට පෙනෙන දත්ත (Input Data).
- Hidden Units: දත්ත වල තියෙන සංකීර්ණ සම්බන්ධතා (Features) ඉගෙන ගන්නා කොටස.
මේ Hidden Units වලට පුළුවන් වුණා දත්ත නිකන්ම කටපාඩම් කරන්නේ නැතුව, දත්ත වල Probability Distribution එක ඉගෙන ගන්න. ඒ නිසා මේ මැෂින් එකට පුළුවන් වුණා කලින් දැකපු නැති අලුත් දත්ත නිර්මාණය කරන්න.
අද අපි දකින ChatGPT, Midjourney වගේ Generative AI වලට "අලුත් දේවල් හිතන්න" පුළුවන් වෙලා තියෙන්නේ Hinton එදා මේ Statistical Mechanics මූලධර්ම AI වලට ගෙනාපු නිසයි. එයා පෙන්නුවා AI එකක් කියන්නේ හුදෙක් Logic ගේම් එකක් නෙවෙයි, ඒක Probabilistic (සම්භාවිතාව මත පදනම් වූ) සිස්ටම් එකක් කියලා. එහෙම බැලුවාම ඇත්තටම AI කියන්නෙත් physics වලින්ම ඉපදුනු තවත් කොටසක් විතරයි 🌝🩶
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥2❤🔥1🎉1💯1
Forwarded from Learn Machine Learning and Data Analytics with Python
Hands-On AI_ RAG using LlamaIndex Part 01 to Part 04
Part 01: https://t.me/AIMLDeepThaught/959
Part 02: https://t.me/AIMLDeepThaught/967
Part 03: https://t.me/AIMLDeepThaught/975
Part 04: https://t.me/AIMLDeepThaught/979
01. Overcome the limitations of LLMs with RAG
02. Limitations of LLMs
03. Use cases for retrieval-augmented generation RAG
01. Using GitHub Codespaces
02. Setting up your environment
03. Choosing an LLM and embeddings provider
04. Setting up LLM accounts
05. Choosing a vector database
06. Setting up a Qdrant account
07. Downloading our data
01. How LlamaIndex is organized
02. Using LLMs
03. Loading data
04. Indexing
05. Storing and retrieving
06. Querying
07. Agents
Hands-On AI_ RAG using LlamaIndex Part 02
01. Components of a RAG system
02. Ingestion pipeline
03. Query pipeline
04. Prompt engineering for RAG
05. Data preparation for RAG
06. Putting it all together
07. Drawbacks of Naive RAG
01. Introduction to RAG evaluation
02. Evaluation metrics
03. How to create an evaluation set
Hands-On AI_ RAG using LlamaIndex - Part 03
01. How we can improve on Naive RAG
02. Optimizing chunk size
03. Small to big retrieval
04. Semantic chunking
05. Metadata extraction
06. Document summary index
07. Query transformation
01. Node post-processing
02. Re-ranking
03. FLARE
04. Prompt compression
05. Self-correcting
Hands-On AI_ RAG using LlamaIndex - Part 04
01. Hybrid retrieval
02. Agentic RAG
03. Ensemble retrieval
04. Ensemble query engine
01. LlamaIndex evaluation
02. Comparative analysis of retrieval-augmented generation technique
Part 01: https://t.me/AIMLDeepThaught/959
Part 02: https://t.me/AIMLDeepThaught/967
Part 03: https://t.me/AIMLDeepThaught/975
Part 04: https://t.me/AIMLDeepThaught/979
1. Introduction
01. Overcome the limitations of LLMs with RAG
02. Limitations of LLMs
03. Use cases for retrieval-augmented generation RAG
2. Getting Started
01. Using GitHub Codespaces
02. Setting up your environment
03. Choosing an LLM and embeddings provider
04. Setting up LLM accounts
05. Choosing a vector database
06. Setting up a Qdrant account
07. Downloading our data
3. Fundamental Concepts in LlamaIndex
01. How LlamaIndex is organized
02. Using LLMs
03. Loading data
04. Indexing
05. Storing and retrieving
06. Querying
07. Agents
Hands-On AI_ RAG using LlamaIndex Part 02
4. Introduction to RAG
01. Components of a RAG system
02. Ingestion pipeline
03. Query pipeline
04. Prompt engineering for RAG
05. Data preparation for RAG
06. Putting it all together
07. Drawbacks of Naive RAG
5. RAG Evaluation
01. Introduction to RAG evaluation
02. Evaluation metrics
03. How to create an evaluation set
Hands-On AI_ RAG using LlamaIndex - Part 03
5. Advanced RAG Pre-Retrieval and Indexing Techniques
01. How we can improve on Naive RAG
02. Optimizing chunk size
03. Small to big retrieval
04. Semantic chunking
05. Metadata extraction
06. Document summary index
07. Query transformation
6. Advanced RAG Post-Retrieval and Other Techniques
01. Node post-processing
02. Re-ranking
03. FLARE
04. Prompt compression
05. Self-correcting
Hands-On AI_ RAG using LlamaIndex - Part 04
7. Modular RAG
01. Hybrid retrieval
02. Agentic RAG
03. Ensemble retrieval
04. Ensemble query engine
8. Conclusion
01. LlamaIndex evaluation
02. Comparative analysis of retrieval-augmented generation technique
Telegram
AI-ML-DeepThought
Hands-On AI_ RAG using LlamaIndex
1.Introduction
01. Overcome the limitations of LLMs with RAG
02. Limitations of LLMs
03. Use cases for retrieval-augmented generation RAG
2. Getting Started
01. Using GitHub Codespaces
02. Setting up your environment…
1.Introduction
01. Overcome the limitations of LLMs with RAG
02. Limitations of LLMs
03. Use cases for retrieval-augmented generation RAG
2. Getting Started
01. Using GitHub Codespaces
02. Setting up your environment…
❤2🐳2🎉1
Google has announced the discontinuation "Dark Web Report" feature ⛔️ ⛔️
Google has confirmed it will shut down its Dark Web Report feature with the transition beginning in January 2026. The tool, which scanned the dark web for leaked user data like emails and phone numbers, is being retired because Google found that it often failed to provide "helpful next steps" once a breach was found.💳 📍 🖥
🗓 The Shutdown Timeline:
Jan 15, 2026: Google stops scanning for new leaks.⚠️
Feb 16, 2026: The feature and all your data are deleted.🗑
✍️ @TheInfinityAI
Google has confirmed it will shut down its Dark Web Report feature with the transition beginning in January 2026. The tool, which scanned the dark web for leaked user data like emails and phone numbers, is being retired because Google found that it often failed to provide "helpful next steps" once a breach was found.
Jan 15, 2026: Google stops scanning for new leaks.
Feb 16, 2026: The feature and all your data are deleted.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🎉2🔥1😍1🎃1🎄1👾1
What is the RAG (Retrieval-Augmented Generation) 🔥 😳
Think, you are writing an exam. We usually write exams based on what we have memorized. But RAG is like an open book exam. It means we will write the exam using the resources on time, not based on our memory. just like writing answers to the question using a book.
AI models like ChatGPT (actually LLMs) can answer based on their training data set. They cannot provide answers beyond their training data. After integrating the RAG technology, AI models can provide answers by accessing the new outside databases or documents. It will be more accurate than the common answers that return from the LLMs.
Why RAG?🤔 🤔
AI models (LLMs) like ChatGPT and Gemini are brilliant, but they have some limitations,
1. Outdated Data - they trained on past data, because they have no idea about on time information. So they do predict. (Knowledge Cutoff)
2. Hallucinations - sometimes they provide random answers instead of the correct answer.
3. Personal Data - general AI models have no idea about your personal information, like private details or company information.
We can completely mitigate these issues using RAG. How does it work?
This entire process is done through 4 steps,
1. asking a question - think you are asking "can i get a leave?"
2. Retrieve (search) - The AI model (RAG integrated) does not provide the answer directly; it will search your company's HR policies and regulations.
3. Augmented - then the system will collect your problem and the company information and send it to the AL model.
4. generation - now, the AI model is providing an accurate answer after analysing your question with your company details.
Advantages of RAG,😮 😮
👉 Low cost - no need to train an AI model from scratch
👉 Real-time information - if you ask for real time news, you can get answers if they exist in the databases
👉 Stopping hallucination - because the AI model will generate answers based on provided real information.
👉 Sources - The AL model can highlight references based on the provided documents or databases.
As a summary, the RAG(Retrieval-Augmented Generation) is like a bridge between your data and a separate AI model like ChatGPT. We can get highly accurate answers from AI models, providing our information as an outside data source.👍 👍
✍️ @TheInfinityAI
Think, you are writing an exam. We usually write exams based on what we have memorized. But RAG is like an open book exam. It means we will write the exam using the resources on time, not based on our memory. just like writing answers to the question using a book.
AI models like ChatGPT (actually LLMs) can answer based on their training data set. They cannot provide answers beyond their training data. After integrating the RAG technology, AI models can provide answers by accessing the new outside databases or documents. It will be more accurate than the common answers that return from the LLMs.
Why RAG?
AI models (LLMs) like ChatGPT and Gemini are brilliant, but they have some limitations,
1. Outdated Data - they trained on past data, because they have no idea about on time information. So they do predict. (Knowledge Cutoff)
2. Hallucinations - sometimes they provide random answers instead of the correct answer.
3. Personal Data - general AI models have no idea about your personal information, like private details or company information.
We can completely mitigate these issues using RAG. How does it work?
This entire process is done through 4 steps,
1. asking a question - think you are asking "can i get a leave?"
2. Retrieve (search) - The AI model (RAG integrated) does not provide the answer directly; it will search your company's HR policies and regulations.
3. Augmented - then the system will collect your problem and the company information and send it to the AL model.
4. generation - now, the AI model is providing an accurate answer after analysing your question with your company details.
Advantages of RAG,
As a summary, the RAG(Retrieval-Augmented Generation) is like a bridge between your data and a separate AI model like ChatGPT. We can get highly accurate answers from AI models, providing our information as an outside data source.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4❤🔥1☃1⚡1🔥1🎉1🏆1🎃1🎄1
Please open Telegram to view this post
VIEW IN TELEGRAM
Friends, we all heard about AI (Artificial Intelligence), right? But the basis of all this is Machine Learning (ML). Many people think that this is a very difficult thing, something that is only about math. However, what we hope to learn from this article series is that we can learn ML in everyday language, simply.
Let's learn this in several steps. Today we will start with Phase 1 "The Foundations of ML" as he 1st step.
Phase 1: (The Foundations) 🏗
We must have a strong foundation for every building. Like that, we should know about several basics before starting the ML. We are discussing that things through this article.
01. What is the ML? (the big picture)
Simply, in common computer programming, we are providing data after writing a code, and the code will provide an output. But the ML is doing the opposite. We provide data and the answer. Then the computer figures out on its own how that answer came about. Finally, it creates a "model."
ML have 3 main types,
- Supervised Learning
- Unsupervised Learning
- Reinforcement Learning
02. Need Maths?
Don't worry, the ML is not complex, but some maths parts are important, like.
- Linear Algebra
- Calculus
- Statistics
03 . Data is the Fuel of ML
We cannot expect the correct decisions without accurate data. we should process data before inputting it into the ML models.
- EDA (Exploratory Data Analysis)
- Data cleaning
- Feature engineering
These are the basics of our ML journey. If you study those things, you can easily understand the future articles of this series.
✍️ @TheInfinityAI
Let's learn this in several steps. Today we will start with Phase 1 "The Foundations of ML" as he 1st step.
Phase 1: (The Foundations) 🏗
We must have a strong foundation for every building. Like that, we should know about several basics before starting the ML. We are discussing that things through this article.
01. What is the ML? (the big picture)
Simply, in common computer programming, we are providing data after writing a code, and the code will provide an output. But the ML is doing the opposite. We provide data and the answer. Then the computer figures out on its own how that answer came about. Finally, it creates a "model."
ML have 3 main types,
- Supervised Learning
- Unsupervised Learning
- Reinforcement Learning
02. Need Maths?
Don't worry, the ML is not complex, but some maths parts are important, like.
- Linear Algebra
- Calculus
- Statistics
03 . Data is the Fuel of ML
We cannot expect the correct decisions without accurate data. we should process data before inputting it into the ML models.
- EDA (Exploratory Data Analysis)
- Data cleaning
- Feature engineering
These are the basics of our ML journey. If you study those things, you can easily understand the future articles of this series.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
Today, we will discuss an easy but powerful algorithm, which is Regression. Earlier, we discussed Supervised Learning. The regression is a Supervised Learning ML algorithm, which predicts numbers.
What is Regression
Think, you are going to build your dream house. When the square feet of the house increase, the price also increases. In regression, we find the connections between those things.
What is linear regression?
This is the basic concept in regression. In this, we write a line (best-fit line) through our data points. As an example,
• A student got 40 marks who worked 2 hours.
• A student got 60 marks who worked 12 hours.
• A student got 90 marks who worked 2 days.
Linear Regression can find the answer to such a question.
Can you remember the school maths?
We learned about the Equation of a straight line in school. The same thing is used in this. (y = mx + c)
• y = the value that we are looking for (exam score).
• x = the data we already know (hours).
• m = the slope of the line.
• c = the points, whre the line starts.
When we are training a model, we are using a model to find the best values of m and c for our data.
How does the machine correct errors? (Cost Function)
The line the machine first draws sometimes does not go exactly through the data. Now there is a simple error occurring (notable error with a large dataset). We are using the Mean Squared Error (MSE) method to measure this error. Actually, in the MSE, we find the difference between the real value and the value provided by the machine. The machine tries every time to reduce this MSE. Because if MSE is low, our prediction is accurate.
Where is Regression used?
• Stock Market - Predict tomorrow's stock market prices.
• Real Estate - Determine the prices of houses and land.
• Business - See what sales will be next month.
Python example for Linear Regression
I hope you got a basic idea about Regression from today's article. Remember, here we are guessing "Values". In the next article, we will talk about how to find out what category something belongs to (Classification).
✍️ @TheInfinityAI
What is Regression
Think, you are going to build your dream house. When the square feet of the house increase, the price also increases. In regression, we find the connections between those things.
What is linear regression?
This is the basic concept in regression. In this, we write a line (best-fit line) through our data points. As an example,
• A student got 40 marks who worked 2 hours.
• A student got 60 marks who worked 12 hours.
• A student got 90 marks who worked 2 days.
Linear Regression can find the answer to such a question.
Can you remember the school maths?
We learned about the Equation of a straight line in school. The same thing is used in this. (y = mx + c)
• y = the value that we are looking for (exam score).
• x = the data we already know (hours).
• m = the slope of the line.
• c = the points, whre the line starts.
When we are training a model, we are using a model to find the best values of m and c for our data.
How does the machine correct errors? (Cost Function)
The line the machine first draws sometimes does not go exactly through the data. Now there is a simple error occurring (notable error with a large dataset). We are using the Mean Squared Error (MSE) method to measure this error. Actually, in the MSE, we find the difference between the real value and the value provided by the machine. The machine tries every time to reduce this MSE. Because if MSE is low, our prediction is accurate.
Where is Regression used?
• Stock Market - Predict tomorrow's stock market prices.
• Real Estate - Determine the prices of houses and land.
• Business - See what sales will be next month.
Python example for Linear Regression
import numpy as np
from sklearn.linearmodel import LinearRegression
Xhours = [[2], [5], [1], [3], [6]]
ymarks = [40, 70, 20, 50, 80]
model = LinearRegression()
model.fit(Xhours, ymarks)
newhours = [[4]]
predictedmark = model.predict(newhours)
print(f"Points for 4 hours: {predicted_mark[0]:.2f}")
I hope you got a basic idea about Regression from today's article. Remember, here we are guessing "Values". In the next article, we will talk about how to find out what category something belongs to (Classification).
✍️ @TheInfinityAI
❤3🔥1
🎄 Merry Christmas from Infinity CS!
Infinity CS | CS / AI / ML
@TheInfinityAI
May your holidays be bug-free, joyful, and full of inspiration.
@TheInfinityAI
❤7
🎓 BSc Honours in Computer Engineering. Shape your future in technology with the Faculty of Engineering Technology – The Open University of Sri Lanka
#BScHonours #ComputerEngineering #OUSL #EngineeringEducation #ApplyNow
@TheInfinityAI
📌 A/L Maths Stream Only
📌 Strong academic foundation
📌 Industry-relevant skills
📌 Recognized degree
🗓 Closing Date: 31st January 2026
👉 Apply Now
📞 011 288 1399 / 070 206 7058
🌐 www.ou.ac.lk
#BScHonours #ComputerEngineering #OUSL #EngineeringEducation #ApplyNow
@TheInfinityAI
❤2🔥1
The Best Agentic AI Browsers to Look For in 2026
🚀 Perplexity Comet
📝 Your AI sidekick that browses, researches, and executes tasks for you—just ask.
🧠 ChatGPT Atlas
📝 ChatGPT becomes your browser and handles the web while you relax.
💬 Dia Browser
📝 Chat with your tabs, write smarter, and plan faster—AI built into your flow.
🤖Microsoft Edge Copilot
📝 Copilot reads your tabs, answers instantly, and gets work done on the spot.
🔐BrowserOS
📝 A private, open-source AI browser that automates tasks locally—no data leaks.
🌐 Opera Neon
📝 A next-gen AI browser that researches, builds, shops, and works even offline.
🚀 Genspark AI Browser
📝 A full-agentic browser that runs deep research and workflows on autopilot.
🚀 Perplexity Comet
📝 Your AI sidekick that browses, researches, and executes tasks for you—just ask.
🧠 ChatGPT Atlas
📝 ChatGPT becomes your browser and handles the web while you relax.
💬 Dia Browser
📝 Chat with your tabs, write smarter, and plan faster—AI built into your flow.
🤖Microsoft Edge Copilot
📝 Copilot reads your tabs, answers instantly, and gets work done on the spot.
🔐BrowserOS
📝 A private, open-source AI browser that automates tasks locally—no data leaks.
🌐 Opera Neon
📝 A next-gen AI browser that researches, builds, shops, and works even offline.
🚀 Genspark AI Browser
📝 A full-agentic browser that runs deep research and workflows on autopilot.
❤1
Forwarded from The Hacker News
APT36 (Transparent Tribe) has been linked to new espionage attacks against Indian government and academic targets.
Emails deliver ZIP files with PDF-looking LNK shortcuts that run malware via mshta.exe and load the RAT in memory.
🔗 Technical details → https://thehackernews.com/2026/01/transparent-tribe-launches-new-rat.html
Emails deliver ZIP files with PDF-looking LNK shortcuts that run malware via mshta.exe and load the RAT in memory.
🔗 Technical details → https://thehackernews.com/2026/01/transparent-tribe-launches-new-rat.html
❤1
The Ultimate Machine Learning Roadmap (2026 Edition) 🏆
Phase 1: Introduction (හැඳින්වීම)
Phase 2: Mathematical Foundations (ගණිතමය පදනම)
Phase 3: Programming Fundamentals (Python)
Phase 4: Data Handling
Phase 5: Machine Learning Core
Phase 6: Supervised Learning (Deep Dive)
Phase 7: Unsupervised & Reinforcement Learning
Phase 8: Model Evaluation & Validation
Phase 9: Deep Learning (Neural Networks)
Phase 10: Advanced Concepts & Modern AI
❤2
𝐈𝐧𝐟𝐢𝐧𝐢𝐭𝐲 𝐂𝐒 pinned «The Ultimate Machine Learning Roadmap (2026 Edition) 🏆 Phase 1: Introduction (හැඳින්වීම) Phase 2: Mathematical Foundations (ගණිතමය පදනම) Phase 3: Programming Fundamentals (Python) Phase 4: Data Handling Phase 5: Machine Learning Core Phase 6: Supervised…»
Article 1: ML Engineer කෙනෙක් වෙන්නේ කොහොමද? 👋
අද ගොඩක් අය AI, ML, Deep Learning කියන වචන පටලවගන්නවා. අපි මේක පටන් ගන්න කලින් බලමු ඇත්තටම මේ රෝල් එක මොකක්ද කියලා.
1. ML Engineer vs AI Engineer
ML Engineer: - වැඩිපුරම අවධානය දෙන්නේ දත්ත (Data) පාවිච්චි කරලා Algorithms සහ Models හදන්න. ඒවයේ නිවැරදිතාවය (Accuracy) වැඩි කරන්නේ කොහොමද කියන එක තමයි මෙයාගේ ප්රධාන රාජකාරිය.
AI Engineer - මේක මීට වඩා ටිකක් පුළුල්. ML වලට අමතරව Robotics, NLP වගේ මිනිස් බුද්ධිය අනුකරණය කරන ඕනෑම සිස්ටම් එකක් හදන්න AI Engineer කෙනෙක් සම්බන්ධ වෙනවා.
2. ඔයාට තියෙන්න ඕන දක්ෂතා (Skills)
Programming - Python. ඒ වගේම Libraries (Numpy, Pandas වගේ) ගැන දැනුම.
Mathematics - මැෂින් එකක් ඉගෙන ගන්න හැටි තේරුම් ගන්න Calculus සහ Statistics ඕනේ.
Data Engineering - දත්ත පිරිසිදු කරලා හරියට සකස් කරන්න දැනගන්න ඕනේ.
Article 2: Calculus – ML වලට මොකටද මේවා? 🔢
දැන් අපි කෙලින්ම Mathematical Foundations වල පළවෙනි පියවරට බහිමු. ඒ තමයි Calculus. ML වලදී අපිට Calculus ඕන වෙන්නේ ඇයි? සරලම උත්තරේ තමයි Model එකක වැරදි අවම කරන්න (Optimization).
1. Derivatives
Derivative එකකින් කියන්නේ යම් දෙයක් වෙනස් වෙන වේගයයි. ML වලදී අපේ දත්ත වලට පොඩි වෙනසක් කරද්දී අපේ Model එකේ වැරැද්ද (Loss) කොච්චර වෙනස් වෙනවද කියලා බලන්න අපි Derivatives පාවිච්චි කරනවා.
2. Gradient Descent
මේක ML වල තියෙන වැදගත්ම සංකල්පයක්. ඔයා කන්දක් උඩ ඉඳන් මීදුම වෙලාවක පල්ලමට එනවා කියලා හිතන්න. ඔයා අඩිය තියන්නේ බෑවුම වැඩිම පැත්තට නේද? Gradient එකෙන් කරන්නේ අපේ වැරැද්ද (Error) වැඩියෙන්ම තියෙන පැත්ත පෙන්වන එක. අපි කරන්නේ ඒකේ අනිත් පැත්තට (වැරැද්ද අඩු වෙන පැත්තට) ගමන් කරන එකයි.
3. Chain Rule
මේක ගොඩක් වැදගත් වෙන්නේ ඉස්සරහට අපි ඉගෙන ගන්න Deep Learning (Neural Networks) වලට. එකින් එකට සම්බන්ධ වෙලා තියෙන functions වල වෙනස් වීම් ගණනය කරන්න මේක පාවිච්චි කරනවා.
අපි අද Article 1 සහ 2 (Intro & Calculus) ගැන මූලික අදහසක් ගත්තා. ඊළඟ ලිපියෙන් (Article 3) අපි කතා කරන්නේ Linear Algebra (Matrices & Tensors) ගැන. මොකද දත්ත මැෂින් එකකට පේන්නේ Matrix විදිහට.
✍️ @TheInfinityAI
❤1
Article 3: Linear Algebra – දත්ත වල භාෂාව 🔢
Machine Learning වලදී අපිට ලක්ෂ ගණන් දත්ත එක්ක වැඩ කරන්න වෙනවා. මේ හැම දත්තයක්ම තනි තනියම ගණනය කරන එක ලේසි නැහැ. අන්න ඒ නිසයි අපි Linear Algebra පාවිච්චි කරන්නේ. මේකෙන් අපිට පුළුවන් දත්ත විශාල ප්රමාණයක් එකපාර හසුරුවන්න.
1. දත්ත hierarchy එක (Scalars, Vectors, Matrices & Tensors)
අපි දත්ත හසුරුවන ආකාරය ප්රධාන මට්ටම් 4කට බෙදන්න පුළුවන්.
● Scalar - මේක නිකන්ම තනි අංකයක්. (x = 5).
● Vector - මේක සංඛ්යා ලැයිස්තුවක්.
● Matrix - මේක හරියට Excel sheet එකක් වගේ. Rows සහ Columns තියෙන සංඛ්යා වගුවක්. ML වලදී අපේ Dataset දකින්නේ Matrix එකක් විදිහට.
● Tensor - මේක Matrix ගොඩක එකතුවක්. RGB Image එකක් ගත්තොත්, රතු, කොළ, නිල් කියන පාට තුනට අදාළව Matrix 3ක් තියෙනවා. ඒක Tensor එකක්.
2. Matrix Operations
මැෂින් එකක් ඇතුලේ ගණනය කිරීම් වෙන්නේ මේ ක්රම ටික හරහා.
● Addition - එකම ප්රමාණයේ Matrices දෙකක් එකතු කිරීම.
● Matrix Multiplication - මේක තමයි ML වල තියෙන වැදගත්ම දේ. අපේ input දත්ත සහ Model එකේ තියෙන weights ගුණ කරන්නේ මේ ක්රමයට.
3. Determinants සහ Inverse (ප්රතිලෝමය)
අපි සාමාන්ය ගණිතයේදී 5x = 10 වුණොත් x හොයන්න 10 බෙදනවා. හැබැයි Matrix වලදී අපිට බෙදන්න බැහැ. ඒ වෙනුවට අපි කරන්නේ Inverse එකෙන් ගුණ කරන එකයි. (Matrix එකකට Inverse එකක් තියෙනවද නැද්ද කියලා බලන්න Determinant එක පාවිච්චි කරනවා)
4. Eigenvalues සහ Eigenvectors
අපි මැට්රික්ස් එකක් පාවිච්චි කරලා දත්ත වල හැඩය වෙනස් කරද්දී සමහර Directions වෙනස් වෙන්නේ නැහැ. අන්න ඒ දිශාවන් තමයි Eigenvectors. ඒ දිශාවට දත්ත කොච්චර දුරක් ඇදෙනවද කියන එක Eigenvalue එකෙන් කියනවා. මේක ගොඩක් වැදගත් වෙන්නේ PCA (Dimensionality Reduction) වැනි සංකීර්ණ දත්ත සරල කරන ක්රම වලදී.
5. Singular Value Decomposition (SVD)
SVD කියන්නේ ඕනෑම Matrix එකක් කුඩා කොටස් 3කට කඩන ක්රමයක්. Netflix වගේ App වල ඔයා කැමති ෆිල්ම් මොනවද කියලා අනුමාන කරන්න (Recommendation Systems වලට) මේ SVD පාවිච්චි කරනවා.
සරලව කිවොත් Linear Algebra කියන්නේ දත්ත ටික සංවිධානය කරලා මැෂින් එකට තේරෙන භාෂාවක්ට ඒවා හරවන එක. මේ පදනම නැතුව අපිට Neural Networks හෝ සංකීර්ණ Models තේරුම් ගන්න බැහැ. ඊළඟ ලිපියෙන් (Article 4) අපි කතා කරන්නේ Probability ගැන. දත්ත වල තියෙන අවිනිශ්චිත බව මැෂින් එකක් පාලනය කරන්නේ කොහොමද කියලා එතනදී බලමු.
✍️ @TheInfinityAI
1❤2🔥1
𝐈𝐧𝐟𝐢𝐧𝐢𝐭𝐲 𝐂𝐒
Photo
Article 4: Probability – අවිනිශ්චිත ලෝකයක නිවැරදි තීරණ ගමු 🎲
අද අපි එන්නේ ML Roadmap එකේ ඊලග පියවරට. දැන් අපි Mathematical Foundations වල අවසානයට ලඟා වෙලා ඉන්නේ. අද කතා කරන්නේ Probability (සම්භාවිතාව) ගැන. ML වලදී අපිට හැමතිස්සෙම 100% ක් නිවැරදි දත්ත ලැබෙන්නේ නැහැ. දත්ත වල තියෙන අවිනිශ්චිත බව (Uncertainty) පාලනය කරලා වඩාත්ම ගැලපෙන අනුමානයන් කරන්නේ කොහොමද කියලා මොඩල් එක ඉගෙන ගන්නේ සම්භාවිතාව පාවිච්චි කරලා. ඔයා හිතන්න ඔයා ඊමේල් එකක් බලනවා කියලා. ඒක Spam එකක්ද නැද්ද කියලා මොඩල් එක තීරණය කරන්නේ කොහොමද? අපි ඒක කරන්නේ සම්භාවිතාව පාවිච්චි කරලා. උදාහරණයක් විදියට, මේ වචන තියෙන ඊමේල් එකක් Spam වෙන්න තියෙන සම්භාවිතාව 90% යි වගේ තීරණයක්.
1. Random Variables
අපි දත්තයක් ගත්තම ඒකේ අගය ස්ථිරව කියන්න බැරි නම් ඒක Random Variable එකක්. මේකෙ ප්රධාන වර්ග දෙකක් තියෙනවා,
• Discrete Random Variables - ගණන් කළ හැකි පූර්ණ අගයන්.
• Continuous Random Variables - යම් පරාසයක් තුළ පවතින ඕනෑම අගයක් විය හැකි දේවල්.
2. Probability Distributions
දත්ත විසිරිලා තියෙන විදිහ මේකෙන් පෙන්වනවා. මෙතනදී වැදගත්ම දේ තමයි Normal Distribution. මේක Bell Curve එකක් වගේ. ලෝකයේ ගොඩක් දේවල් (උදාහරණයක් විදියට අපි A/L වලදි සලකන z-score එක) තියෙන්නේ මේ හැඩයට. මේකේ මැද අගය (Mean) වටේට දත්ත වැඩිපුර එකතු වෙලා තියෙනවා.
3. PDF සහ PMF (සම්භාවිතාව මනින හැටි)
• PMF (Probability Mass Function) - Discrete දත්ත සඳහා සම්භාවිතාව පෙන්වන්නෙ මේකෙන්.
• PDF (Probability Density Function) - Continuous දත්ත සඳහා Range එකක් ඇතුළත සම්භාවිතාව පෙන්වන්නෙ මේකෙන්.
4. Bayes' Theorem
ML වල තියෙන වැදගත්ම ටොපික් එකක් තමයි මේක. මේකෙන් කරන්නේ අලුත් තොරතුරු ලැබෙද්දී අපේ පැරණි අනුමානයන් Update කරන එක. (formula එක ඔයාලා හොයාගෙන ඒ ගැන ඉගන ගන්න, එච්චර අමාරු නෑ)
සම්භාවිතාව කියන්නේ අපි ලග තියෙන අනුමාන කිරීමේ හැකියාව mathematically represent කිරීමක්. ML වල තියෙන Naive Bayes Classifier වගේ algorithms සම්පූර්ණයෙන්ම වැඩ කරන්නේ මේ Bayes' Theorem එක මත. ඊළඟ ලිපියෙන් (Article 5) අපි කතා කරන්නේ Statistics ගැන. මේක තමයි අපේ Mathematical Foundations Phase එකේ අවසාන කොටස. දත්ත වල තියෙන රහස් එළියට ගන්නේ කොහොමද කියලා අපි එතනදී බලමු.
✍️ @TheInfinityAI
❤2