شاخص‌ها (Index) و جداول دیتابیس‌های بزرگ با استفاده از بخش‌بندی یا Partitioning به Object‌های کوچک‌تر تقسیم شده و در نتیجه امکان مدیریت آن‌ها در سطحی دقیق‌تر از Granularity میسر می‌گردد. بخش‌بندی در اوراکل، گزینه‌ای از نسخه 12c Enterprise اوراکل محسوب می شود و موجب افزایش مدیریت‌پذیری، عملکرد و دسترس‌پذیری دیتابیس‌های بزرگ شده و به منظور پاسخ‌گویی به الزامات مختلف کسب‌وکارها گزینه‌های جامعی از روش‌های بخش‌بندی را فراهم نموده و می‌تواند بدون نیاز به تغییر هیچ کدی روی OLTP و برنامه‌های Data Warehousing (انباره داده) اعمال گردد. علاوه بر این Zone Mapهای موجود بر روی Oracle Engineered Systemها به منظور آراسته نمودن داده‌های نامحدود، جداول و Partitionها را به بخش‌های کوچک‌تر تقسیم می‌کند. Oracle Partitioning همچنین مدیریت ذخیره‌ساز Oracle Database 12c را تکمیل نموده و با ویژگی های فشرده‌سازی مشتریان خود را قادر می‌سازد تا هزینه‌های ذخیره سازی را کاهش دهند.
بهبود قابلیت مدیریت، عملکرد و دسترسی به پایگاه داده

در Oracle Partitioning، قابلیت مدیریت، عملکرد و دسترسی به چندین ترابایت OLTP و سیستم‌های Data Warehousing را به صورت قابل توجهی افزایش داده و برای تعیین اینکه چگونه داده‌ها در پارتیشن قرار می‌گیرند، گزینه‌های جامعی از روش‌های بخش‌بندی از جمله Range، Interval، Hash، List و Compositeرا ارائه می‌دهد.
#oracle #dba #partition @unixmens

بخش‌بندی به منظور بهبود قابلیت مدیریت

به منظور مدیریت اطلاعات، مدیران دیتابیس‌ها قادر خواهند بود با استفاده از Oracle Partitioning رویکرد ” تقسیم و غلبه” (Divide and Conquer) را اتخاذ نموده و عملیات نگهداری همچون Indexing، بارگذاری، فشرده‌سازی و آراستن و دسته بندی اطلاعات را بر اساس هر پارتیشن اجرا نمایند. به عنوان مثال یک مدیر دیتابیس قادر به ادغام و فشرده‌سازی چندین پارتیشن قدیمی در یک عملیات واحد بوده و همچنین بدون بروز اختلال در دسترسی به داده‌ها، آن‌ها را به فرآیند Tiering ذخیره‌سازی کم هزینه منتقل می‌نماید. با بخش‌بندی کردن جداول و شاخص‌های بزرگ به بخش‌های کوچک‌تر که آسان‌تر مدیریت می‌شوند چنین عملیات نگهداری تنها به Objectهای پایگاه داده مربوطه مانند Partitionsها اعمال می‌گردد.
بخش‌بندی به منظور افزایش عملکرد

در واقع Oracle Partitioning در مواجهه با افزایش حجم اطلاعات، با محدود کردن مقدار داده‌هایی که مورد بررسی یا عمل قرار می‌گیرند، عملکرد را بهبود می‌بخشد؛ بنابراین عملکرد در مقایسه با جداول تقسیم نشده، به صورت قابل توجهی بهبود می‌یابد و ویژگی‌های عملکردی Oracle Database 12c تکمیل می‌شود و در ارتباط با تکنیک‌های Indexing، اتصال و یا روش دسترسی موازی مورد استفاده قرار می‌گیرد. علاوه بر موارد فوق، بخش‌بندی در سطح دیتابیس پیاده‌سازی می‌شود، پس به منظور استفاده‌ی آسان از مزایای عملکرد، نیاز به اعمال هیچ ‌گونه تغییری در کد برنامه و یا اعلام Query نمی‌باشد از جمله‌ی این مزایا می‌توان به موارد زیر اشاره کرد:

برای استفاده ی خودکار از Meta Data های تقسیم کننده و استفاده از اطلاعات مرتبط برای انجام یک عملیات SQL، بخش‌بندی اصلاح می شود. در نتیجه‌ی این اقدام، برای برآوردن Queryهای خاص، دیتابیس به جای دسترسی به تمامی جداول یا شاخص‌ها تنها به بخش‌های مربوطه دسترسی خواهد داشت.
در Zone Mapها که به منظور اصلاح ” Zones Of Blocks” و همچنین اصلاح بخش‌های کامل برای هر ستون که در یک Zone Map تعریف شده، بدون در نظر گرفتن اینکه این ستون در کلید پارتیشن بندی جدول یا Table Partitioning Key وجود دارد یا خیر، مورد استفاده قرار می‌گیرند. بخش‌بندی همراه با Zone Mapها موجب فراهم نمودن جامع‌ترین اصلاحِ اطلاعات موجود در بازار می‌گردد. Zone Mapها تنها بر روی Oracle Engineered Systemها وجود دارند و از Oracle Database 12c 12.1.0.2 در دسترس قرار گرفتند.

اتصالات Partition-Wise می‌توانند به دو جدول که Join شده اند، اعمال گردند و هر دو جدول بر روی کلید اتصال بخش‌بندی می‌گردند. در نتیجه:

بین هر یک از پارتیشن‌ها، Join بزرگ به صورت خودکار به Joinهای کوچک‌تر تقسیم می‌گردند.
فرآیند Join کردن کلی، در زمان کوتاه‌تری تکمیل می‌شود.
منابع کمتری مورد استفاده قرار می‌گیرند.

این مزایا به منظور اجرای پیاپی و یا موازی Queryها عملکرد قابل توجهی ارائه می‌دهد.

خودمختاری یا Autonomy بخش‌های مجزا همراه با Database In-Memory تنها به دو نوع داده اجازه‌ی تجمیع به عنوان In-Memory Column می‌دهد:

ضروری‌ترین ‌داده‌های مربوط به کسب‌وکار
ضروری‌ترین ‌داده‌های مربوط به عملکرد

این در حالی است که اطلاعات ضروری کمتری در دیسک یا فلش ارزان‌تر مستقر می‌شوند. بنابراین حتی بزرگ‌ترین پایگاه‏داده می‌تواند از جانب In-Memory و بدون محدود شدن توسط حافظه‌ی موجود، شاهد مزایای عملکرد قابل توجهی باشد.
بخش‌بندی به منظور افزایش دسترس‌پذیری

در Objectهای دیتابیس بخش‌بندی شده، موجب فراهم نمودن بخش‌های مجزا می‌گردد که بخش مهمی از استراتژی دسترس‌پذیری بالا یا High-Availability می‌باشد. برای مثال، اگر بخشی از یک جدول در دسترس نباشد، تمامی بخش‌های دیگر جدول به صورت آنلاین و در دسترس باقی می‌مانند. برنامه‌های کاربردی در مقابل این جداول بخش‌بندی شده به اجرای Queryها و تراکنش‌ها، ادامه می‌دهند و این عملیات دیتابیس که نیازی به دسترسی به بخش غیرقابل دسترس ندارد با موفقیت اجرا می‌شود. علاوه بر این، پارتیشن کردن با قادر نمودن مدیران دیتابیس‌ها برای اجرای عملیات نگهداری بر روی Objectهای دیتابیس بزرگ در Short-Term Windows، موجب کاهش Downtime برنامه‌ریزی شده می‌گردد.
مدیریت چرخه اطلاعات با Oracle Partitioning
#oracle #dba #partition @unixmens

با استفاده از Oracle Partitioning، معضل سازمان‌های IT در ذخیره مقادیر وسیع اطلاعات با کمترین هزینه‌ی ممکن برطرف می‌شود. استقلال بخش‌های مجزا همراه با درک نحوه دسترسی به اطلاعات، عوامل کلیدی برای اجرای یک استراتژی ذخیره سازی به صورت Tier می‌باشند. فرآیند بخش‌بندی، مشخصا در جداول حاوی داده‌های پیشین، Partitionهای مجزا یا گروه‌های Partition را فعال می‌نماید تا در سطوح Storage مختلف، ذخیره شده و ویژگی های فیزیکی متفاوتی همچون فشرده‌سازی و Price Pointها را ارائه می‌نماید. به عنوان مثال تنها اطلاعات سه ماه اخیر یک جدول سفارشات حاوی اطلاعات دو سال، بر روی Tier ذخیره‌ساز High-End گران قیمت ذخیره می‌شود و بقیه جدول (تقریبا 90 درصد اطلاعات) در یک Tier ذخیره‌سازی ارزان قیمت نگهداری می‌شوند. با استفاده از Oracle Partitioning، هزینه‌های Storage به دلیل عواملی خاص و بدون تأثیر دسترسی کاربر نهایی کاهش می یابد، لازم به ذکر است که صرفه‌جویی در هزینه تا 50 درصد یا بیشتر معمول می‌باشد، بنابراین هزینه مالکیت برای اطلاعات ذخیره شده، کاهش پیدا می کند. با استفاده از Automatic Data Optimization همراه با Heat Map روند تجزیه و تحلیل استفاده از داده‌ها و نگهداری از فرآیند Tier ذخیره‌ساز و فشرده‌سازی می‌تواند بدون هیچگونه نیاز به مداخله دستی یا کدگذاری، به صورت کاملا خودکار انجام گیرد. لازم به ذکر است که Heat Map عملکردی در گزینه‌ی Advanced Compression می‌باشد.
در Oracle Partitioning برای تمامی برنامه های کاربردی دیتابیس

بخش‌بندی نمودن جداول و Indexهای بزرگ در Oracle Database 12c تضمین می‌نماید که یک روش بهینه برای هرگونه الزامات کسب‌وکار موجود بوده و موجب افزایش مدیریت‌پذیری، عملکرد و دسترس‌پذیری تقریبا هر برنامه‌ای از دیتابیس می‌شود. این یک فرآیند بسیار ساده برای پیاده‌سازی بخش‌بندی‌ها می‌باشد و می‌تواند به منظور تضمین موفقیت هم به لحاظ عملکرد کاربر تجاری و انتظارات دسترس‌پذیری و هم از لحاظ کاهش هزینه‌های عملیاتی و IT، برای پردازش هرگونه تراکنش و برنامه‌های Data Warehousing مورد استفاده قرار گیرد.
#oracle #dba #partition @unixmens

مقاله نحوه ریکاوری فایل و ... در لینوکس

داده ها از ارکان اصلی هر مجموعه می باشد . حال این ساختار یک فایل شخصی بوده یا فایل مهم سازمانی و یا اطلاعات مربوط به پایگاه داده عظیم باشد . اگر این داده ها حذف شوند یا دوایس آن دچار مشکل شود چه باید کرد ؟!


در واقع ریکاوری و باز گردانی داده یکی از چالش ها در هر ساختاری است . ما در این مقاله به بررسی این روند در سیستم عامل قدرتمند گنو/لینوکس پرداخته ایم .

🖇لینک دانلود مقاله 🖇


#linux #recovery #partition #yashar_esmaildokht @unixmens

mariadb storage engine - sharding and xa transactions
#mariadb #storage #linux #db #database #spider #sharding #partitions #partition xa_transaction

https://t.me/unixmens

mariadb spider storage engine



Spider Storage Engine is a plugin of
MySQL/MariaDB. Spider tables can be
used on other MySQL/MariaDB/OracleDB
tables as local tables. And Spider can
create database sharding by using table
partitioning feature.


spider engine suport xa transactions



Redundant feature
You can choose redundant level per table/partition.
Fault tolerance feature
You can use not only Spider’s fault tolerance feature
but also other MySQL’s fault tolerance solutions.
Fulltext/Geo search feature
(with table partitioning, available for patched MariaDB)
You can use backend Fulltext/Geo search feature
transparently.

NoSQL feature (now support )
You can use handlersocket for Spider.
OracleDB connecting feature
You can search sharded table by parallel.


mariadb storage engine - sharding and xa transactions
#mariadb #storage #linux #db #database #spider #sharding #partitions #partition xa_transaction

https://t.me/unixmens

ا -Partition Tolerance و Availability: MaxScale معمولاًتحمل پارتیشن‌بندی ودسترسی‌پذیری بالایی را فراهم می‌کند، اما همچنان در مواقع خاص، ممکن است داده‌ها بین گره‌ها ناسازگار باشند (به ویژه در سیستم‌های توزیع‌شده).

2.Spider Storage Engine (MySQL/MariaDB)

ا Spider Storage Engine یک موتور ذخیره‌سازی توزیع‌شده است که برایMySQL وMariaDB استفاده می‌شود و به سیستم‌ها این امکان را می‌دهد که داده‌ها را در چندین سرور یا گره توزیع کنند. این موتور برای دستیابی به مقیاس‌پذیری افقی وتوزیع بار طراحی شده است.

#ویژگی‌ها:

ا -Sharding (پارتیشن‌بندی داده‌ها): داده‌ها در چندین سرور توزیع می‌شوند که باعث افزایش دسترسی‌پذیری (Availability) ومقیاس‌پذیری (Scalability) می‌شود. Sharding همچنین به کاهش فشار بر سرورهای منفرد کمک می‌کند.

ا -Distributed Transactions (تراکنش‌های توزیع‌شده): یکی از مزایای کلیدی Spider این است که از تراکنش‌های توزیع‌شده پشتیبانی می‌کند. این به سیستم کمک می‌کند تایکپارچگی (Consistency) داده‌ها را در چندین گره بهبود بخشد، اما تراکنش‌های توزیع‌شده به دلیل پیچیدگی می‌توانند کند باشند و در صورت قطعی شبکه،دسترسی‌پذیری (Availability) را کاهش دهند.

ا -Replication (تکرار داده‌ها): Spider می‌تواند داده‌ها را بین چندین سرور همگام‌سازی کند که باعث افزایشAvailability می‌شود. این فرایند معمولاً به صورت ناهمزمان انجام می‌شود، به این معنی که ممکن است در یک زمان خاص داده‌ها بین سرورها به‌روز نباشند، که این مسئله بهeventual consistency منجر می‌شود.

#چالش‌ها در رابطه با CAP:

ا -Consistency: در سیستم‌های توزیع‌شده با تراکنش‌های توزیع‌شده، ممکن است عملیات‌های نوشتن کندتر از حد معمول انجام شوند، به ویژه اگر ارتباط بین گره‌ها دچار مشکل شود. به همین دلیل، ممکن است موقتی ناهماهنگی در داده‌ها رخ دهد.

ا -Partition Tolerance: Spider می‌تواند به شکلی مؤثر با خرابی‌های شبکه کنار بیاید و با تکیه بر تحمل پارتیشن‌بندی، همچنان سرویس‌دهی را ادامه دهد. با این حال، در شرایط بحرانی، انتخاب بین دسترسی‌پذیری یا یکپارچگی مطرح می‌شود.

ا-Availability: Spider معمولاً در محیط‌های توزیع‌شده دسترسی بالایی دارد، اما اگر تراکنش‌های توزیع‌شده زیادی وجود داشته باشد یا پارتیشن‌بندی زیادی رخ دهد، ممکن است سیستم نتواند به طور همزمان هر دو ویژگی Consistency و Availability را ارائه دهد.

چالش‌ها و فرصت‌ها:

سیستم‌های توزیع‌شده مانند MaxScale و Spider Storage Engine در تلاش هستند تا تعادلی بین سه ویژگی اصلی CAP theorem برقرار کنند، اما هنوز چالش‌های خاصی وجود دارد که باید در طراحی سیستم‌ها مورد توجه قرار گیرد:

ا1.Latency (تأخیر): در این سیستم‌ها، به دلیل توزیع داده‌ها و تراکنش‌های توزیع‌شده، تأخیر افزایش می‌یابد. این موضوع در مواقعی که نیاز به هماهنگی بین گره‌ها باشد، بیشتر مشهود است.

ا2.Complexity (پیچیدگی): مدیریت سیستم‌های توزیع‌شده، مخصوصاً با وجود شاردینگ و تراکنش‌های توزیع‌شده، پیچیده‌تر می‌شود. این سیستم‌ها نیاز به تنظیمات دقیق دارند تا بهترین کارایی را ارائه دهند.

ا 3.Trade-offs (مصالحه‌ها): همان‌طور که CAP theorem نشان می‌دهد، هیچ سیستمی نمی‌تواند به طور کامل هر سه ویژگی Consistency، Availability و Partition Tolerance را داشته باشد. سیستم‌های مانند MaxScale و Spider از مدل‌هایی استفاده می‌کنند که یکپارچگی نهایی (eventual consistency) را ترجیح می‌دهند، تا دسترسی و تحمل پارتیشن را بهبود بخشند.

نتیجه‌گیری:
سیستم‌هایی مانندMaxScale وSpider Storage Engine با ابزارها و تکنیک‌های پیچیده، تا حدودی محدودیت‌های CAP را به چالش می‌کشند و راهکارهایی برای مدیریت بهتر تعادل بینConsistency،Availability وPartition Tolerance ارائه می‌دهند. اما همچنان، در شرایط بحرانی، باید بین این ویژگی‌ها مصالحه کرد و بسته به نیازهای خاص برنامه و معماری سیستم، یک یا دو مورد از آن‌ها را اولویت داد.




ما آماده پیاده سازی این راهکار ها برای سازمان های شما هستیم . کافی است با ما تماس حاصل فرمایید .
جهت وقت مشاوره با پشتیبانی مکاتبه نمایید .

#db #dba #linux #cap #consistency #Availability #Partition #database


https://t.me/unixmens