انبار داده (Data Warehouse):
- تحلیل دادهها
- ذخیره دادههای خلاصهشده
- استفاده از OLAP (پردازش تحلیلی آنلاین) که بر اساس مدل داده چندبعدیه
- انجام عملیات پیچیده روی دادهها برای تحلیل
- نیاز به بهروزرسانی دادهها برای دریافت اطلاعات جدید
- معمولاً برای استفاده چند برنامه کاربردی و بخشهای مختلف سازمان طراحی میشه
- معمولاً برای پشتیبانی از تصمیمگیری و تحلیلهای کلان استفاده میشه
پایگاه داده (Database):
- ثبت دادهها و تراکنشها
- ذخیره دادههای جزئی و دقیق
- استفاده از OLTP (پردازش تراکنش آنلاین) که اجرای لحظهای تعداد زیادی از تراکنشهای پایگاه داده رو ممکن میکنه
- انجام عملیات اساسی روی دادهها
- دسترسی لحظهای به دادهها رو فراهم میکنه
- استفاده از دادهها از چند برنامه کاربردی
- معمولاً برای پشتیبانی از عملیات روزمره و تراکنشهای جاری استفاده میشه
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
جوینها در SQL به ما امکان میدن دادهها رو از چند جدول با هم ترکیب کنیم. درک صحیح از انواع مختلف JOIN و نحوه استفاده از اونها، برای هر برنامهنویس پایگاه داده ضروریه.
employees
و departments
داریم. میخوایم تمام کارمندان رو همراه با نام دپارتمانهاشون نشون بدیم، حتی اگه کارمندی دپارتمان نداشته باشه.SELECT employees.name, departments.department_name
FROM employees
LEFT JOIN departments ON employees.department_id = departments.id;
products
و orders
داریم. میخوایم تمام سفارشها رو همراه با جزئیات محصولاتشون نشون بدیم، حتی اگه محصولی در سفارشها نباشه.SELECT orders.order_id, products.product_name
FROM orders
RIGHT JOIN products ON orders.product_id = products.id;
students
و courses
داریم. میخوایم تمام دانشجویان و تمام دورهها رو نشون بدیم، حتی اگه دانشجویی در دورهای ثبتنام نکرده باشه یا دورهای دانشجو نداشته باشه.SELECT students.name, courses.course_name
FROM students
FULL OUTER JOIN courses ON students.course_id = courses.id;
authors
و books
داریم. میخوایم تمام کتابها رو همراه با نویسندگان نشون بدیم، فقط اگه کتابی نویسندهای داشته باشه.SELECT authors.name, books.title
FROM authors
INNER JOIN books ON authors.id = books.author_id;
SELECT A.*
FROM A
LEFT JOIN B ON A.id = B.id
WHERE B.id IS NULL;
SELECT B.*
FROM A
RIGHT JOIN B ON A.id = B.id
WHERE A.id IS NULL;
SELECT A.*, B.*
FROM A
FULL OUTER JOIN B ON A.id = B.id
WHERE A.id IS NULL OR B.id IS NULL;
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
انبار داده (Data Warehouse):
- قابلیت ذخیرهسازی دادههای ساختاریافته و پردازششده
- دارای حجم کمتری از دادهها در حدود ترابایت
- شامل دادههای تاریخی و رابطهای
- بیشتر توسط تحلیلگران کسبوکار استفاده میشه
- کاربرد در پردازش دستهای و گزارشدهی هوش تجاری
- دارای امنیت بالا و کامل
- ساختار انبار داده از قبل تعریف شده و برای پرسوجوهای خاص بهینه شده
دریاچه داده (Data Lake):
- قابلیت ذخیرهسازی مقادیر زیادی از دادههای ساختاریافته، نیمهساختاریافته، غیرساختاریافته و خام
- دارای حجم بسیار زیادی از دادهها در حدود پتابایت
- دادهها میتونن برای انواع مختلفی از کاربردها مثل یادگیری ماشین، تحلیل جریان داده و هوش مصنوعی استفاده شن
- بیشتر توسط دانشمندان داده و تحلیلگران داده استفاده میشه
- امنیتاش میتونه متغیر باشه و نیاز به مدیریت دقیق داره
- انعطافپذیری بیشتری در ذخیرهسازی و پردازش دادهها داره
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
انبار داده یک سیستم مرکزیه که دادههای سازمان رو از منابع مختلف جمعآوری، ذخیره و مدیریت میکنه تا برای تحلیل و گزارشدهی آماده باشن. این سیستم به منظور پشتیبانی از فرآیند تصمیمگیری و تحلیلهای پیچیده طراحی شده.
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
معماری Data Vault 2.0 یک روش پیشرفته برای طراحی انبار دادههاست که هدفش فراهم کردن قابلیت توسعهپذیری، انعطافپذیری و استحکام در مدیریت دادههای بزرگ و پیچیده است. Data Vault 2.0 به عنوان یک توسعه از مدل اصلی Data Vault طراحی شده.
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
پایگاه دادههای NoSQL یک دستهبندی از سیستمهای مدیریت پایگاه داده (DBMS) است که برای کار با دادههای غیرسازمانی و حجمهای بزرگ داده طراحی شدن. برخلاف پایگاه دادههای رابطهای (SQL) که از جداول و روابط ساختار یافته استفاده میکنن، پایگاه دادههای NoSQL انعطافپذیری بیشتری در مدلسازی دادهها ارائه میدن.
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
پایگاههای داده SQL به مدلهای ساختاریافته و رابطهای تأکید میکنن، درحالیکه پایگاههای داده NoSQL با رویکردی برای مدیریت دادههای متنوع و پویا با تأکید بیشتر بر مقیاسپذیری و سرعت دارن. این مطلب تفاوتهای بین این دو سیستم پایگاه داده رو بررسی میکنه.
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
BACKUP DATABASE MyDatabase TO DISK = 'C:\Backups\MyDatabaseFull.bak';
BACKUP DATABASE MyDatabase TO DISK = 'C:\Backups\MyDatabaseDiff.bak' WITH DIFFERENTIAL;
RMAN> BACKUP INCREMENTAL LEVEL 1 DATABASE;
RESTORE DATABASE MyDatabase FROM DISK = 'C:\Backups\MyDatabaseFull.bak';
RESTORE DATABASE MyDatabase FROM DISK = 'C:\Backups\MyDatabaseFull.bak' WITH NORECOVERY;
RESTORE DATABASE MyDatabase FROM DISK = 'C:\Backups\MyDatabaseDiff.bak' WITH RECOVERY;
RESTORE DATABASE MyDatabase FROM DISK = 'C:\Backups\MyDatabaseFull.bak' WITH NORECOVERY;
RESTORE LOG MyDatabase FROM DISK = 'C:\Backups\MyDatabaseLog.bak' WITH STOPAT = '2024-07-11T14:30:00', RECOVERY;
ابزار گرافیکی برای مدیریت پشتیبانگیری و بازیابی در SQL Server
ابزار پشتیبانگیری و بازیابی در Oracle Database
ابزاری برای پشتیبانگیری و بازیابی پایگاههای داده MySQL
ابزارهای خط فرمانی برای پشتیبانگیری و بازیابی در PostgreSQL
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
در پایگاه دادهها، وابستگی به این معناست که مقادیر یک ستون یا مجموعهای از ستونها میتونن تعیینکننده مقادیر ستونهای دیگه باشن. این وابستگیها به طراحان کمک میکنن تا جداول بهینهتر و بدون تکرار و ناسازگاری دادهها ایجاد کنن.
این وابستگی یعنی اگه در یک جدول، یک ستون خاص باشه که با دونستن مقدارش، بتونیم به طور قطعی مقدار یک ستون دیگه رو بگیم. مثلاً اگه شماره ملی یک نفر رو بدونیم، میتونیم نام و نام خانوادگیاش رو هم بفهمیم. بنابراین، شماره ملی تعیینکننده نام و نام خانوادگیه.
این نوع وابستگی زمانی رخ میده که یک ستون میتونه به چند مقدار مستقل از یک ستون دیگه مربوط باشه. مثلاً اگه یک دانشجو چند شماره تماس و همچنین چند آدرس ایمیل داشته باشه، شماره تماسها و آدرسهای ایمیل به طور مستقل از هم هستن، اما هر دو به یک دانشجو مربوط میشن.
این وابستگی زمانی رخ میده که یک ستون به طور غیرمستقیم به ستون دیگه وابسته باشه. مثلاً اگر بدونیم درس یک دانشجو چیه و بر اساسش استاد درس رو بدونیم، بعد اگه از روی استاد بتونیم دانشکده رو بفهمیم، اون وقت بین درس و دانشکده هم یک وابستگی غیرمستقیم (Transitive) وجود داره.
این وابستگی زمانی مطرح میشه که یک جدول بتونه به چند زیرجدول تقسیم شه و با ترکیب مجدد این زیرجدولها، جدول اصلی دوباره ساخته شه. یعنی اطلاعات به شکلی تقسیم شده که بشه با اتصال اونها دوباره به دادههای اولیه رسید.
این وابستگی زمانی مطرح میشه که تمام محدودیتها در جدول تنها به وسیله دامنه مجاز مقادیر ستونها و کلیدهای اصلی تعیین شه. در این صورت، جدول در بالاترین سطح نرمالسازی قرار داره.
این وابستگی بیان میکنه که مقدار یک ستون یا مجموعهای از ستونها در یک جدول باید با مقدار یک ستون یا مجموعهای از ستونها در جدول دیگه مطابقت داشته باشه. مثلاً شماره دانشجویی در جدول نمرات باید با شماره دانشجویی در جدول اطلاعات دانشجو تطابق داشته باشه.
این نوع وابستگی زمانی رخ میده که مجموعهای از وابستگیها یک حلقه تشکیل بدن. مثلاً اگه ستون A به ستون B وابسته باشه، ستون B به ستون C و ستون C دوباره به ستون A وابسته باش، این یک حلقه است.
این وابستگی زمانی رخ میده که یک ستون غیرکلیدی به بخشی از کلید ترکیبی وابسته باشه. مثلاً اگه یک کلید ترکیبی شامل دو ستون کد درس و شماره کلاس باشه و ستون نام استاد فقط به کد درس وابسته باشه، این وابستگی انتزاعیه.
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM
https://t.me/data_ml/655
#Weekend
#Database
@Data_ML | دیتاساینس و ماشین لرنینگ
Please open Telegram to view this post
VIEW IN TELEGRAM