خوشه بندی
کلاسترینگ
در واقع Cluster به گروهی از چند سیستم کامپیوتری گفته میشود که با هم کار میکنند و از خیلی جهات می‌توان آنها را یک سیستم واحد در نظر گرفت. اجزا یک کلاستر معمولا به وسـیله شبکه محـلی به یکدیگر متصل میشوند. این کلاسترها با هدف افزایش قدرت پردازش و یا امنیت فیزیکی اطلاعات و سرویسها تشکیل میشود و معمولاً از این نظر نسبت به یک سرور انفرادی مقرون به صرفه تر و مطمئن تر است. خدمات کلاسترینگ به 4 بخش Storage Cluster و High Availability و Load Balancing و High Performance Computing دسته بندی میشوند.
یک خوشه بندی Beowulf یک دسته از کامپیوتر ها است که در حالت عادی همگی یکسان هستند. این کامپیوترها به وسیله یک شبکه محلی کوچک شبکه شده اند و بر اساس زیرساخت نرم افزاری منبع باز(مانند لینوکس) و یا به وسیله کتابخانه ها و برنامه هایی که نصب شده اند اجازه می دهند پردازش ها میان آنها به اشتراک گذارده شود.نتیجه این کار برابر است با پردازش موازی خوشه ای با کارایی بالا به وسیله سخت افزار کامپیوترهای شخصی ارزان.
نام Beowulf در اصل اشاره میکند به یک کامپیوتر بخصوص که در سال 1994 بوسیله Tomas sterling و Donald becker در سازمان NASA ساخته شد. این نام برگرفته از نام یک شخصیت اصلی در یک شعر حماسی انگلیسی است.Beowulf که یک بخشنده تمام عیار بود به او لقب قهرمان را دادند.شرح او چنین بود که به اندازه 30 مرد سنگین و بازوان او بسیار قدرتمند بودند.
در سطح عادی هنگامی که دو یا بیشتر از دو کامپیوتر با یکدیگر برای حل یک مشکل همکاری میکنند آن را به مثابه یک خوشه در نظر می گیریم. خوشه ها معمولا برای دسترسی پذیری بالا (High Availability) ،قابلیت اطمینان بیشترGreater Reliability)) ، محاسبلت با کارایی بالا (High Performance Computing) و برای ارائه قدرت محاسباتی بیشتر استفاده می شوند. خوشه ها را به دو کلاس تقسیم میکنیم:
خوشه های کلاس 1 : خوشه ها در این کلاس به طور کامل با استفاده از کالاهای سخت افزاری و نرم افزاری استاندارد ساخته میشوند، مانندSCSI،اترنت،وIDE.
خوشه های کلاس 2 : خوشه ها در این کلاس از کالاهای سخت افزاری و نرم افزاری تخصصی برای دستیابی به کارایی بالاتر استفاده میکنند.و معمولا نسبت به خوشه های کلاس 1 گرانتر هستند.
به طور معمول از خوشه های سنتی برای برنامه های فنی مانند شبیه سازی و بیوتکنولوژی استفاده میشود و از پتروخوشه ها (petro-clusters)برای مدلسازی بازار مالی،داده کاوی،پردازش جریان و سرورهای اینترنتی بازی و صدا استفاده میشود.
برنامه هایBeowulfمعمولابااستفاده اززبانهایی مانند Cوفرترن نوشته می شوند. که در آنها از روش انتقال پیام برای رسیدن به پردازش موازی استفاده میشود.
یک قطعه نرم افزاری مخصوص که خوشه را به شکل Beowulf تعریف کند وجود ندارد. خوشه بندی Beowulf به صورت عادی اجرا می شود و در یک سیستم عامل نظیر UNIX مانند BSD،LINUX،SOLARIS و در حالت عادی بوسیله نرم افزارهای متن باز صورت می گیرد. برای پردازش های موازی از کتابخانه های شامل رابط های انتقال پیام (MPI) وماشین مجازی(PVM) که هردوی اینها به برنامه نویس این امکان را میدهند که وظایف را میان گروهی از کامپیوترهای شبکه شده تقسیم و نتایج را از میان آنها جمع آوری کند،استفاده می شود. برای مثال می توان نرم افزار های OPENMPI و MPICH نام برد که این نرم افزارها پیاده سازی هایی از MPIهستند و براحتی قابل دسترس هستند.
سیستم Beowulf معمولا شامل یک گره Server هستند.این گره سرویس دهنده وظایف کنترل تمامی خوشه و سرویس دهی فایل ها به گره های سرویس گیرنده را بر عهده دارد و همچنین خط فرمان خوشه و دروازه ورودی به جهان خارج از خوشه را در دست دارد.ماشین های Beowulf بزرگ ممکن است بیشتر از یک گره سرویس دهنده داشته باشد و شاید دیگر گره های سرویس دهنده به وظایف خاصی مانند پایانه های فرمان یا ایستگاه های گذارش گیری اختصاص داشته باشند.
در بیشتر موارد گره ها فقط انجام دهنده هستند یعنی به صورتی شکل دهی می شوند که فقط میتوانند کاری را که از آنها خواسته شده است را انجام دهند. یکی از تفاوت های اصلی میان خوشه بندی Beowulf و یک ایستگاه کاری خوشه بندی شده (Cluster of Workstations) این است که Beowulf رفتاری به مانند یک ماشین جدا دارد که تا اندازه ای سریعتر چنین ایستگاه کاری است.در بسیاری از موارد گره ها هیچگونه صفحه کلید یا مونیتوری ندارند و تنها به وسیله ورود به سیستم از راه دور قابل دسترسی هستند.
#clustering #hp #hpc #linux @unixmens
کلاسترینگ
در واقع Cluster به گروهی از چند سیستم کامپیوتری گفته میشود که با هم کار میکنند و از خیلی جهات می‌توان آنها را یک سیستم واحد در نظر گرفت. اجزا یک کلاستر معمولا به وسـیله شبکه محـلی به یکدیگر متصل میشوند. این کلاسترها با هدف افزایش قدرت پردازش و یا امنیت فیزیکی اطلاعات و سرویسها تشکیل میشود و معمولاً از این نظر نسبت به یک سرور انفرادی مقرون به صرفه تر و مطمئن تر است. خدمات کلاسترینگ به 4 بخش Storage Cluster و High Availability و Load Balancing و High Performance Computing دسته بندی میشوند.
یک خوشه بندی Beowulf یک دسته از کامپیوتر ها است که در حالت عادی همگی یکسان هستند. این کامپیوترها به وسیله یک شبکه محلی کوچک شبکه شده اند و بر اساس زیرساخت نرم افزاری منبع باز(مانند لینوکس) و یا به وسیله کتابخانه ها و برنامه هایی که نصب شده اند اجازه می دهند پردازش ها میان آنها به اشتراک گذارده شود.نتیجه این کار برابر است با پردازش موازی خوشه ای با کارایی بالا به وسیله سخت افزار کامپیوترهای شخصی ارزان.
نام Beowulf در اصل اشاره میکند به یک کامپیوتر بخصوص که در سال 1994 بوسیله Tomas sterling و Donald becker در سازمان NASA ساخته شد. این نام برگرفته از نام یک شخصیت اصلی در یک شعر حماسی انگلیسی است.Beowulf که یک بخشنده تمام عیار بود به او لقب قهرمان را دادند.شرح او چنین بود که به اندازه 30 مرد سنگین و بازوان او بسیار قدرتمند بودند.
در سطح عادی هنگامی که دو یا بیشتر از دو کامپیوتر با یکدیگر برای حل یک مشکل همکاری میکنند آن را به مثابه یک خوشه در نظر می گیریم. خوشه ها معمولا برای دسترسی پذیری بالا (High Availability) ،قابلیت اطمینان بیشترGreater Reliability)) ، محاسبلت با کارایی بالا (High Performance Computing) و برای ارائه قدرت محاسباتی بیشتر استفاده می شوند. خوشه ها را به دو کلاس تقسیم میکنیم:
خوشه های کلاس 1 : خوشه ها در این کلاس به طور کامل با استفاده از کالاهای سخت افزاری و نرم افزاری استاندارد ساخته میشوند، مانندSCSI،اترنت،وIDE.
خوشه های کلاس 2 : خوشه ها در این کلاس از کالاهای سخت افزاری و نرم افزاری تخصصی برای دستیابی به کارایی بالاتر استفاده میکنند.و معمولا نسبت به خوشه های کلاس 1 گرانتر هستند.
به طور معمول از خوشه های سنتی برای برنامه های فنی مانند شبیه سازی و بیوتکنولوژی استفاده میشود و از پتروخوشه ها (petro-clusters)برای مدلسازی بازار مالی،داده کاوی،پردازش جریان و سرورهای اینترنتی بازی و صدا استفاده میشود.
برنامه هایBeowulfمعمولابااستفاده اززبانهایی مانند Cوفرترن نوشته می شوند. که در آنها از روش انتقال پیام برای رسیدن به پردازش موازی استفاده میشود.
یک قطعه نرم افزاری مخصوص که خوشه را به شکل Beowulf تعریف کند وجود ندارد. خوشه بندی Beowulf به صورت عادی اجرا می شود و در یک سیستم عامل نظیر UNIX مانند BSD،LINUX،SOLARIS و در حالت عادی بوسیله نرم افزارهای متن باز صورت می گیرد. برای پردازش های موازی از کتابخانه های شامل رابط های انتقال پیام (MPI) وماشین مجازی(PVM) که هردوی اینها به برنامه نویس این امکان را میدهند که وظایف را میان گروهی از کامپیوترهای شبکه شده تقسیم و نتایج را از میان آنها جمع آوری کند،استفاده می شود. برای مثال می توان نرم افزار های OPENMPI و MPICH نام برد که این نرم افزارها پیاده سازی هایی از MPIهستند و براحتی قابل دسترس هستند.
سیستم Beowulf معمولا شامل یک گره Server هستند.این گره سرویس دهنده وظایف کنترل تمامی خوشه و سرویس دهی فایل ها به گره های سرویس گیرنده را بر عهده دارد و همچنین خط فرمان خوشه و دروازه ورودی به جهان خارج از خوشه را در دست دارد.ماشین های Beowulf بزرگ ممکن است بیشتر از یک گره سرویس دهنده داشته باشد و شاید دیگر گره های سرویس دهنده به وظایف خاصی مانند پایانه های فرمان یا ایستگاه های گذارش گیری اختصاص داشته باشند.
در بیشتر موارد گره ها فقط انجام دهنده هستند یعنی به صورتی شکل دهی می شوند که فقط میتوانند کاری را که از آنها خواسته شده است را انجام دهند. یکی از تفاوت های اصلی میان خوشه بندی Beowulf و یک ایستگاه کاری خوشه بندی شده (Cluster of Workstations) این است که Beowulf رفتاری به مانند یک ماشین جدا دارد که تا اندازه ای سریعتر چنین ایستگاه کاری است.در بسیاری از موارد گره ها هیچگونه صفحه کلید یا مونیتوری ندارند و تنها به وسیله ورود به سیستم از راه دور قابل دسترسی هستند.
#clustering #hp #hpc #linux @unixmens
Open mosix
کلاسترها چه هستند؟
به طور عمومی هنگامی که صحبت از کلاسترها می شود، مقصود فناوری هایی است که از طریق آن کامپیوترهای مختلف بتوانند با هم و با اشتراک قدرت پردازش هم، بتوانند امور پردازشی را که به آنها محول شده است، انجام دهند. این امور پردازشی همه چیز می تواند باشد. از پردازش های سنگین علمی تا تبدیل فایل های موسیقی و یا رندر کردن جلوه های ویژه فیلم های سینمایی. برای مثال، تمامی جلوه های ویژه فیلم های ارباب حلقه ها توسط کلاسترهای لینوکس رندر و پردازش شده اند.
انواع مختلفی از فناوری های کلاستر سازی برای سیستم عامل لینوکس وجود دارند. یکی از شناخته شده ترین آنها کلاستر Beowulf است. این کلاستر حاوی چندین ماشین است که توسط یک شبکه محلی پرسرعت به هم متصل شده اند. برای استفاده از این سیستم های کلاستر، برنامه های کاربردی باید مجددا برای استفاده از آن با استفاده از کتابخانه های کلاستر سازی نوشته شوند. عمومی ترین کتابخانه های کلاستر سازی عبارتند از PVM و MPI. هر دوی این کتابخانه ها بسیار عالی کار می کنند. با استفاده این کتابخانه ها، برنامه نویسان قادر به نوشتن برنامه هایی هستند که از منابع روی کلاستر همانند منابع روی یک کامپیوتر، بهره گیری نمایند.برای بسیاری از برنامه های کاربردی، PVM و MPI امکان افزایش خطی قدرت پردازش کلاسترها را با توجه به تعداد ماشین های روی آن فراهم می نمایند.
در واقع PVM و MPIمورد استفاده همگان قرار نمیگیرد !
با اینکه کلاسترهای Beowulf بسیار قدرتمند هستند ، بزرگترین اشکال آنها نیاز به نرم افزارهای خاص می باشد که با استفاده از PVM و MPI نوشته شده باشند تا بتوانند از مزایای کلاستر استفاده کنند. البته این برای مراکز علمی و تحقیقاتی که برنامه های کاربردی خاص خود را از ابتدا می نویسند، اشکال مهمی نیست. آنها به راحتی قادرند تا از MPI و PVM استفاده کنند.
حقیقتا درصد افراد و موسساتی که برنامه های کاربردی خود را از ابتدا می نویسند بسیار پایین است. برای کسانی که مایل هستند تا یک کلاستر بنا کرده و از مزایای آن در اجرای برنامه های کاربردی عادی استفاده کنند، این یک مسئله بزرگ است! برنامه های کاربردی این دسته از موسسات بدون استفاده از کتابخانه های کلاستر سازی نوشته شده اند، بنابراین ، این گونه موسسات قادر نیستند تا از مزایای کلاسترها بهره گیری نمایند.
آیا جالب نیست که یک فناوری وجود داشته باشد تا بتوانید با استفاده از آن از مزایای کلاسترهای لینوکس استفاده کنید، بدون آنکه نیاز داشته باشید تا برنامه های کاربردی خود را از ابتدا نوشته و یا حتی آنها را مجددا کامپایل نمایید؟ خوشبختانه چنین فناوری وجود دارد و نام آن OpenMosix است!
ورود به OpenMosix
در حقیقت OpenMosix قابلیت های کلاستر سازی را به هسته لینوکس اضافه می کند، بنابراین هر پروسه استاندارد لینوکس قادر خواهد بود تا از مزایای منابع کلاستر استفاده نماید. با استفاده از تکنیک های موازنه بار تطبیقی (Adaptive Load Balancing) پردازش های در حال اجرا بر روی یک گره (node) از کلاستر، قادرند تا بطور نامحسوس به یک گره دیگر از کلاستر مهاجرت کرده و بتوانند سریعتر اجرا شوند. بدلیل اینکه OpenMosix بطور کاملا نامحسوس (Transparent) عمل می کند، پردازش هایی که از یک گره به گره دیگر مهاجرت می کنند، حتی نمی دانند (لازم هم نیست بدانند) که در یک ماشین دیگر در حال اجرا هستند!
نامحسوس بودن OpenMosix به این معنی است که برای استفاده از مزایای موازنه بار تطبیقی آن، نیازی به برنامه نویسی خاصی نیست. در حقیقت، یک نصب پیش گزیده OpenMosix به طور خودکار پردازش ها را به بهترین گره منتقل خواهد کرد. این قابلیت OpenMosix را تبدیل به یک راه حل کلاستر سازی می کند که می تواند برای بخش عظیمی از برنامه ها مفید باشد.
#clustering #hp #hpc #linux #openmosix @unixmens
کلاسترها چه هستند؟
به طور عمومی هنگامی که صحبت از کلاسترها می شود، مقصود فناوری هایی است که از طریق آن کامپیوترهای مختلف بتوانند با هم و با اشتراک قدرت پردازش هم، بتوانند امور پردازشی را که به آنها محول شده است، انجام دهند. این امور پردازشی همه چیز می تواند باشد. از پردازش های سنگین علمی تا تبدیل فایل های موسیقی و یا رندر کردن جلوه های ویژه فیلم های سینمایی. برای مثال، تمامی جلوه های ویژه فیلم های ارباب حلقه ها توسط کلاسترهای لینوکس رندر و پردازش شده اند.
انواع مختلفی از فناوری های کلاستر سازی برای سیستم عامل لینوکس وجود دارند. یکی از شناخته شده ترین آنها کلاستر Beowulf است. این کلاستر حاوی چندین ماشین است که توسط یک شبکه محلی پرسرعت به هم متصل شده اند. برای استفاده از این سیستم های کلاستر، برنامه های کاربردی باید مجددا برای استفاده از آن با استفاده از کتابخانه های کلاستر سازی نوشته شوند. عمومی ترین کتابخانه های کلاستر سازی عبارتند از PVM و MPI. هر دوی این کتابخانه ها بسیار عالی کار می کنند. با استفاده این کتابخانه ها، برنامه نویسان قادر به نوشتن برنامه هایی هستند که از منابع روی کلاستر همانند منابع روی یک کامپیوتر، بهره گیری نمایند.برای بسیاری از برنامه های کاربردی، PVM و MPI امکان افزایش خطی قدرت پردازش کلاسترها را با توجه به تعداد ماشین های روی آن فراهم می نمایند.
در واقع PVM و MPIمورد استفاده همگان قرار نمیگیرد !
با اینکه کلاسترهای Beowulf بسیار قدرتمند هستند ، بزرگترین اشکال آنها نیاز به نرم افزارهای خاص می باشد که با استفاده از PVM و MPI نوشته شده باشند تا بتوانند از مزایای کلاستر استفاده کنند. البته این برای مراکز علمی و تحقیقاتی که برنامه های کاربردی خاص خود را از ابتدا می نویسند، اشکال مهمی نیست. آنها به راحتی قادرند تا از MPI و PVM استفاده کنند.
حقیقتا درصد افراد و موسساتی که برنامه های کاربردی خود را از ابتدا می نویسند بسیار پایین است. برای کسانی که مایل هستند تا یک کلاستر بنا کرده و از مزایای آن در اجرای برنامه های کاربردی عادی استفاده کنند، این یک مسئله بزرگ است! برنامه های کاربردی این دسته از موسسات بدون استفاده از کتابخانه های کلاستر سازی نوشته شده اند، بنابراین ، این گونه موسسات قادر نیستند تا از مزایای کلاسترها بهره گیری نمایند.
آیا جالب نیست که یک فناوری وجود داشته باشد تا بتوانید با استفاده از آن از مزایای کلاسترهای لینوکس استفاده کنید، بدون آنکه نیاز داشته باشید تا برنامه های کاربردی خود را از ابتدا نوشته و یا حتی آنها را مجددا کامپایل نمایید؟ خوشبختانه چنین فناوری وجود دارد و نام آن OpenMosix است!
ورود به OpenMosix
در حقیقت OpenMosix قابلیت های کلاستر سازی را به هسته لینوکس اضافه می کند، بنابراین هر پروسه استاندارد لینوکس قادر خواهد بود تا از مزایای منابع کلاستر استفاده نماید. با استفاده از تکنیک های موازنه بار تطبیقی (Adaptive Load Balancing) پردازش های در حال اجرا بر روی یک گره (node) از کلاستر، قادرند تا بطور نامحسوس به یک گره دیگر از کلاستر مهاجرت کرده و بتوانند سریعتر اجرا شوند. بدلیل اینکه OpenMosix بطور کاملا نامحسوس (Transparent) عمل می کند، پردازش هایی که از یک گره به گره دیگر مهاجرت می کنند، حتی نمی دانند (لازم هم نیست بدانند) که در یک ماشین دیگر در حال اجرا هستند!
نامحسوس بودن OpenMosix به این معنی است که برای استفاده از مزایای موازنه بار تطبیقی آن، نیازی به برنامه نویسی خاصی نیست. در حقیقت، یک نصب پیش گزیده OpenMosix به طور خودکار پردازش ها را به بهترین گره منتقل خواهد کرد. این قابلیت OpenMosix را تبدیل به یک راه حل کلاستر سازی می کند که می تواند برای بخش عظیمی از برنامه ها مفید باشد.
#clustering #hp #hpc #linux #openmosix @unixmens
در واقع OpenMosix دقیقا چکاری انجام میدهد؟
بزرگترین کاری که OpenMosix انجام می دهد، تبدیل دسته ای از ماشین های لینوکس به یک سیستم بزرگ مجازی چند پردازنده ای متقارن (SMP=Symmetric MultiProcessor) است. هرچند نحوه عملکرد آن با سیستم های SMP واقعی مقداری تفاوت دارد. نخست اینکه سیستم های واقعی SMP که مبتنی بر ۲ یا چند پردازنده هستند، می توانند اطلاعات را با سرعت بسیار بالا تبادل نمایند، در صورتی که در OpenMosix سرعت ارتباط بین گره های کلاستر، محدود به سرعت شبکه محلی است که گره ها در آن قرار دارند. استفاده از ارتباطات اترنت گیگابیت و یا سایر انواع پر سرعت اترنت باعث خواهد شد تا تبادل داده ها با سرعت بالاتری صورت گرفته و کارایی کلاستر بالاتر باشد.
البته OpenMosix دارای مزایایی نسبت به سیستم های چند پردازنده ای سنتی داراست. با استفاده از OpenMosix شما قادر به ایجاد کلاسترهایی حاوی ده ها و حتی صدها کامپیوتر با سخت افزار ارزان هستید در حالی که سیستم های SMP که حاوی تعداد زیادی پردازنده باشند، می توانند بسیار گرانقیمت باشند. برای بسیاری از برنامه های کاربردی، OpenMosix نسبت به سیستم های SMP یا Mainframe، حرف بیشتری برای گفتن دارد. البته دلیلی وجود ندارد که شما نتوانید OpenMosix را بر روی سیستم های قدرتمند چند پردازنده ای اجرا نمایید. حتی این امکان وجود دارد تا OpenMosix را به همراه برنامه های کاربردی که با MPI یا PVM توسعه یافته اند، اجرا نمایید تا سرعت کلاستر خود را بهینه نمایید.
همانند سیستم های SMP سنتی، OpenMosix قادر نیست تا یک پروسه را روی چند پردازنده فیزیکی اجرا نماید. واضح تر اینکه نباید انتظار داشته باشید تا اجرای برنامه ای مانند مرورگر موزیلا روی یک کلاستر سریعتر از یک سیستم تک پردازنده ای باشد، مگر اینکه اجرا پروسه آنرا به یک گره سریعتر روی کلاستر منتقل نمایید. بعلاوه در حال حاضر OpenMosix امکان جداسازی رشته های متعدد به هم پیوسته را از یکدیگر فراهم نمی کند.
وOpenMosix قادر است تا پروسه های استاندارد لینوکس را بین گره های کلاستر بدون مشکل مهاجرت دهد. در صورتی که یک برنامه کاربردی تعداد زیادی زیر پروسه داشته باشد، آنگاه OpenMosix قادر است تا هر یک از آنها را به یک گره مناسب در کلاستر منتقل کند. شما می توانید از این قابلیت حتی در برنامه های کاربردی که دارای زیر پروسه نیستند نیز استفاده کنید. برای مثال، در صورتی که نیاز دارید تا تعدادی فایل موسیقی را از فرمت wav به mp3 تبدیل نمایید، تبدیل هر فایل یک پروسه خواهد بود. شما می توانید تمام این پروسه ها را یکجا اجرا نمایید. در آنصورت عمل پردازش بین کلاستر پخش خواهد شد (بجای اینکه عملیات تبدیل فایل ها را یک به یک انجام دهید). در صورتی که شما ۱۲ فایل موسیقی و ۱۲ گره همسان داشته باشید، عملیات تبدیل ۱۲ بار سریعتر انجام خواهد شد.
يMosix در برابر OpenMosix
پروژه OpenMosix جدیدترین شعبه پروژه Mosix می باشد که یکی از اهداف آن فراهم کردن کلاستر سازی نامحسوس روی لینوکس است. پس چرا ما از OpenMosix استفاده کنیم؟ دلایل خوبی برای این امر وجود دارد. در اواخر سال ۲۰۰۱ رهبری پروژه Mosix تصمیم به انتشار نسخه های جدیدی از Mosix تحت مجوزهای غیر GPL گرفت (کدهایی که قبلا GPL بودند). بنابراین نسخه های جدید Mosix دیگر نرم افزار آزاد نبودند و حقوق کاربران نیز در آنها نامشخص بود و هیچ مانعی برای نویسنده Mosix وجود نداشت تا از کاربران درخواست پرداخت وجه نماید.
این تغییر مجوز باعث ایجاد نگرانی هایی در میان کاربران Mosix شد و برداشته شدن کدهای منبع و حذف لیست های پستی Mosix بدون توضیح موجه، این نگرانی را تشدید نمود. خوشبختانه این کاربران تنها کسانی نبودند که در باره این تغییرات جدید نگران بودند. موشه بار (Moshe Bar) یکی از مدیران پروژه Mosix با این تغییر مجوز از GPL موافق نبود. بنابراین وی پروژه OpenMosix را شروع کرد تا این اطمبنان حاصل شود که ارائه نسخه آزاد و رایگان Mosix به عموم مردم ادامه پیدا خواهد کرد. سایت رسمی پروژه OpenMosix در آدرس http://openmosix.sf.net/ یا http://openmosix.org/ قرار دارد.
پس از آغاز این پروژه، تعداد زیادی از کاربران Mosix به OpenMosix روی آوردند. سیاست توسعه باز موشه باعث شد تا توسعه OpenMosix سرعت بیشتری بگیرد. در حال حاصر ۱۴ نفر بطور فعال روی پروژه OpenMosix کار می کنند در حالی که تعداد افراد پروژه Mosix تنها ۴ نفر است. در حال حاضر تعداد زیادی رفع اشکال، بهینه سازی سرعت و بهینه سازی در کدهای OpenMosix صورت گرفته است و تعدادی قابلیت جدید و بهینه سازی مجدد در سرعت نیز بزودی ارائه خواهند شد. در حقیت جدا شدن پروژه OpenMosix از Mosix باعث ارائه راه حل های بهتری برای کلاستر سازی تحت سیستم عامل لینوکس فراهم نموده است.
#clustering #hp #hpc #linux #openmosix @unixmens
بزرگترین کاری که OpenMosix انجام می دهد، تبدیل دسته ای از ماشین های لینوکس به یک سیستم بزرگ مجازی چند پردازنده ای متقارن (SMP=Symmetric MultiProcessor) است. هرچند نحوه عملکرد آن با سیستم های SMP واقعی مقداری تفاوت دارد. نخست اینکه سیستم های واقعی SMP که مبتنی بر ۲ یا چند پردازنده هستند، می توانند اطلاعات را با سرعت بسیار بالا تبادل نمایند، در صورتی که در OpenMosix سرعت ارتباط بین گره های کلاستر، محدود به سرعت شبکه محلی است که گره ها در آن قرار دارند. استفاده از ارتباطات اترنت گیگابیت و یا سایر انواع پر سرعت اترنت باعث خواهد شد تا تبادل داده ها با سرعت بالاتری صورت گرفته و کارایی کلاستر بالاتر باشد.
البته OpenMosix دارای مزایایی نسبت به سیستم های چند پردازنده ای سنتی داراست. با استفاده از OpenMosix شما قادر به ایجاد کلاسترهایی حاوی ده ها و حتی صدها کامپیوتر با سخت افزار ارزان هستید در حالی که سیستم های SMP که حاوی تعداد زیادی پردازنده باشند، می توانند بسیار گرانقیمت باشند. برای بسیاری از برنامه های کاربردی، OpenMosix نسبت به سیستم های SMP یا Mainframe، حرف بیشتری برای گفتن دارد. البته دلیلی وجود ندارد که شما نتوانید OpenMosix را بر روی سیستم های قدرتمند چند پردازنده ای اجرا نمایید. حتی این امکان وجود دارد تا OpenMosix را به همراه برنامه های کاربردی که با MPI یا PVM توسعه یافته اند، اجرا نمایید تا سرعت کلاستر خود را بهینه نمایید.
همانند سیستم های SMP سنتی، OpenMosix قادر نیست تا یک پروسه را روی چند پردازنده فیزیکی اجرا نماید. واضح تر اینکه نباید انتظار داشته باشید تا اجرای برنامه ای مانند مرورگر موزیلا روی یک کلاستر سریعتر از یک سیستم تک پردازنده ای باشد، مگر اینکه اجرا پروسه آنرا به یک گره سریعتر روی کلاستر منتقل نمایید. بعلاوه در حال حاضر OpenMosix امکان جداسازی رشته های متعدد به هم پیوسته را از یکدیگر فراهم نمی کند.
وOpenMosix قادر است تا پروسه های استاندارد لینوکس را بین گره های کلاستر بدون مشکل مهاجرت دهد. در صورتی که یک برنامه کاربردی تعداد زیادی زیر پروسه داشته باشد، آنگاه OpenMosix قادر است تا هر یک از آنها را به یک گره مناسب در کلاستر منتقل کند. شما می توانید از این قابلیت حتی در برنامه های کاربردی که دارای زیر پروسه نیستند نیز استفاده کنید. برای مثال، در صورتی که نیاز دارید تا تعدادی فایل موسیقی را از فرمت wav به mp3 تبدیل نمایید، تبدیل هر فایل یک پروسه خواهد بود. شما می توانید تمام این پروسه ها را یکجا اجرا نمایید. در آنصورت عمل پردازش بین کلاستر پخش خواهد شد (بجای اینکه عملیات تبدیل فایل ها را یک به یک انجام دهید). در صورتی که شما ۱۲ فایل موسیقی و ۱۲ گره همسان داشته باشید، عملیات تبدیل ۱۲ بار سریعتر انجام خواهد شد.
يMosix در برابر OpenMosix
پروژه OpenMosix جدیدترین شعبه پروژه Mosix می باشد که یکی از اهداف آن فراهم کردن کلاستر سازی نامحسوس روی لینوکس است. پس چرا ما از OpenMosix استفاده کنیم؟ دلایل خوبی برای این امر وجود دارد. در اواخر سال ۲۰۰۱ رهبری پروژه Mosix تصمیم به انتشار نسخه های جدیدی از Mosix تحت مجوزهای غیر GPL گرفت (کدهایی که قبلا GPL بودند). بنابراین نسخه های جدید Mosix دیگر نرم افزار آزاد نبودند و حقوق کاربران نیز در آنها نامشخص بود و هیچ مانعی برای نویسنده Mosix وجود نداشت تا از کاربران درخواست پرداخت وجه نماید.
این تغییر مجوز باعث ایجاد نگرانی هایی در میان کاربران Mosix شد و برداشته شدن کدهای منبع و حذف لیست های پستی Mosix بدون توضیح موجه، این نگرانی را تشدید نمود. خوشبختانه این کاربران تنها کسانی نبودند که در باره این تغییرات جدید نگران بودند. موشه بار (Moshe Bar) یکی از مدیران پروژه Mosix با این تغییر مجوز از GPL موافق نبود. بنابراین وی پروژه OpenMosix را شروع کرد تا این اطمبنان حاصل شود که ارائه نسخه آزاد و رایگان Mosix به عموم مردم ادامه پیدا خواهد کرد. سایت رسمی پروژه OpenMosix در آدرس http://openmosix.sf.net/ یا http://openmosix.org/ قرار دارد.
پس از آغاز این پروژه، تعداد زیادی از کاربران Mosix به OpenMosix روی آوردند. سیاست توسعه باز موشه باعث شد تا توسعه OpenMosix سرعت بیشتری بگیرد. در حال حاصر ۱۴ نفر بطور فعال روی پروژه OpenMosix کار می کنند در حالی که تعداد افراد پروژه Mosix تنها ۴ نفر است. در حال حاضر تعداد زیادی رفع اشکال، بهینه سازی سرعت و بهینه سازی در کدهای OpenMosix صورت گرفته است و تعدادی قابلیت جدید و بهینه سازی مجدد در سرعت نیز بزودی ارائه خواهند شد. در حقیت جدا شدن پروژه OpenMosix از Mosix باعث ارائه راه حل های بهتری برای کلاستر سازی تحت سیستم عامل لینوکس فراهم نموده است.
#clustering #hp #hpc #linux #openmosix @unixmens
openmosix.sourceforge.net
openMosix, an Open Source Linux Cluster Project
openMosix home page, openMosix is an Open Source Linux Cluster Project.
جهت برپا سازی یک کلاستر، شما به حداقل دو دستگاه مبتنی بر لینوکس که به یک شبکه داخلی متصل بوده و قادر به کامپایل کردن و اجرای هسته های سری 2.4 باشند، نیاز دارید. همچنین شبکه شما باید دارای حداقل سرعت ۱۰۰ مگابیت باشد. این سرعت به شما سرعت بسیار خوبی را اعطا خواهد نمود. سرعت اترنت استاندارد یعنی ۱۰ مگابیت به شما سرعت چندان جالب توجهی نخواهد داد. البته در صورتی که شبکه شما از این نوع است و مایل هستید تا فقط OpenMosix را تجربه نمایید، پاسخ گو خواهد بود. استفاده از اترنت های گیگابیت مفید بوده ولی انتخابی است. البته ممکن است واقعا به آن نیاز نداشته باشید و اترنت ۱۰۰ مگابیت امور شما را به خوبی انجام دهد.
اتصال گره های کلاستر به یک سوئیچ پرسرعت سیستم های شما را قادر خواهد ساخت تا در حالت Full Duplex عمل نموده و پهنای باند شما دو برابر گردد. همچنین می توانید در یک کلاستر ۲ یا ۳ گره ای از سیم کشی مخصوص جهت اتصال مستقیم گره ها به هم استفاده نمایید.
داشتن فضای Swap کافی قویا توصیه می شود. به این صورت شما قادر خواهید بود تا گره ها را بصورت دینامیک از کلاستر خارج نمایید بدون اینکه با کمبود حافظه مواجه شوید. این موضوع نیز انتخابی بوده و ممکن است در شرایط خاصی که کلاستر تحت فشار کاری بالایی قرار دارد، به شما کمک کند.
در کنار مطالب بالا، باز هم اضافه می کنم که امکان ایجاد یک کلاستر مبتنی بر فقط دو دستگاه لینوکس و یک اترنت استاندارد نیز وجود دارد.
لازم نیست که تمام کامپیوترهایی که در یک کلاستر قرار می گیرند قوی باشند و یا مهم نیست که دارای سخت افزارهای متنوعی باشند. هر قدرت پردازشی می تواند به سرعت جمعی کمک کند!
#clustering #hp #hpc #linux #openmosix @unixmens
اتصال گره های کلاستر به یک سوئیچ پرسرعت سیستم های شما را قادر خواهد ساخت تا در حالت Full Duplex عمل نموده و پهنای باند شما دو برابر گردد. همچنین می توانید در یک کلاستر ۲ یا ۳ گره ای از سیم کشی مخصوص جهت اتصال مستقیم گره ها به هم استفاده نمایید.
داشتن فضای Swap کافی قویا توصیه می شود. به این صورت شما قادر خواهید بود تا گره ها را بصورت دینامیک از کلاستر خارج نمایید بدون اینکه با کمبود حافظه مواجه شوید. این موضوع نیز انتخابی بوده و ممکن است در شرایط خاصی که کلاستر تحت فشار کاری بالایی قرار دارد، به شما کمک کند.
در کنار مطالب بالا، باز هم اضافه می کنم که امکان ایجاد یک کلاستر مبتنی بر فقط دو دستگاه لینوکس و یک اترنت استاندارد نیز وجود دارد.
لازم نیست که تمام کامپیوترهایی که در یک کلاستر قرار می گیرند قوی باشند و یا مهم نیست که دارای سخت افزارهای متنوعی باشند. هر قدرت پردازشی می تواند به سرعت جمعی کمک کند!
#clustering #hp #hpc #linux #openmosix @unixmens
دانشمندان موفق شده‌اند با الهام گرفتن از يك روايت كهن ، شيوه كارآمد و در عين حال ارزاني را براي دستيابي به توان‌هاي محاسباتي بسيار بالا ، تكميل كنند. به نوشته ماهنامه علمي
" ساينتيفيك آمريكن " اين شيوه هم‌اكنون در بسياري از مراكز علمي و آزمايشگاه‌هاي تحقيقاتي ، مورد استفاده قرار گرفته است.
در افسانه‌هاي قديمي آمده است كه روزي گذار كهنه سربازي گرسنه و بي‌پول به دهي فقرزده افتاد و براي رفع گرسنگي ابتكاري به خرج داد. او به مردم دهكده گفت كه مي‌تواند با استفاده از يك ديگ بزرگ آب جوش و يك تكه سنگ آش خوشمزه‌اي بپزد. مردم ده ابتدا با ناباوري به او كه ديگ را بار گزارده بود نگريستند ، اما بعد هر يك براي آنكه سهمي از آش داشته باشند ، با اهدا يك تكه كوچك گوشت يا يك دسته سبزي ، يا يكي دو تا هويج ، يا مشتي برنج ، در كار پختن و تهيه آش مشاركت كردند. دست آخر درون ديگ آنقدر ماده خوردني جاي گرفته بود كه محصول نهايي را به اندازه كافي خوشمزه و مغذي مي‌كرد. به نوشته اين ماهنامه ، محققان آزمايشگاه ملي
" اوك ريج " با استفاده از همين تمثيل ابر كامپيوتر تازه‌اي موسوم به " سنگ " را تكميل كرده‌اند كه متشكل از 130 كامپيوتر معمولي است كه به صورت كلاستري عمل مي‌كنند. يكي از اين 130 دستگاه به عنوان ورودي كل سيستم عمل مي‌كند كه از يك سو با شبكه‌ها و سيستم‌هاي ديگر در تماس است و از سويي ديگر با بقيه اعضا شبكه خود ارتباط برقرار مي‌كند. اين شبكه مسائلي را كه بدان محول مي‌شود ، با استفاده از شيوه محاسبه موازي و با تقسيم كار ميان اعضاء شبكه به انجام مي‌رساند.
يكي از بزرگترين طرح‌هايي كه اين ابر كامپيوتر مونتاژ شده از عهده آن برآمده ، تهيه نقشه جامعي از ايالات متحده است كه در آن كل مساحت امريكا به 8/7 ميليون قطعه ، هر يك به مساحت يك كيلومتر مربع ، تقسيم شده و 25 مولفه آب و هوايي مختلف براي نقاط گوناگون آن در نظر گرفته شده و در مجموع 1000 ناحيه آب و هوايي متفاوت در آن منظور شده است.
هرچند انديشه به هم پيوستن كامپيوترهاي معمولي و يا قديمي براي دستيابي به توان عملياتي بالاتر ، انديشه تازه‌اي نيست و سابقه آن به دهه 1950 باز مي‌گردد ، اما تنها در چند سال اخير است كه ظهور نرم‌افزارهاي جديد امكان بهره‌گيري كلاستري از كامپيوترهاي ديجيتالي را فراهم آورده است. به عنوان نمونه ، هم‌اكنون در موزه تاريخ طبيعي آمريكا ، 560 كامپيوتر پنتيوم 3 موجود است كه محققان با به هم پيوستن آنها ، ابر كامپيوتر قدرتمندي را بوجود آورده‌اند كه از آن براي بررسي در نحوه تطور اختران و ستارگان بهره گرفته مي‌شود.
نكته حائز اهميت در رهيافت تازه آن است كه مي‌توان از كامپيوترهاي موجود در اوقاتي كه كاربران اصلي آنها از آنها استفاده نمي‌كنند ، بهره گرفت. به عنوان مثال ، پروژه " ستي " كه به وسيله دانشگاه كاليفرنيا و براي بررسي امكان وجود موجودات هوشمند در كيهان در حال اجراست ، فعاليت خود را از طريق اينترنت و به كمك 3 ميليون كامپيوتر شخصي متعلق به شهروندان ، و در ساعات آخر شب كه كامپيوترها مورد استفاده صاحبان آنها نيستند ، دنبال مي‌كند.
#clustering #hp #hpc #linux #beowulf @unixmens
" ساينتيفيك آمريكن " اين شيوه هم‌اكنون در بسياري از مراكز علمي و آزمايشگاه‌هاي تحقيقاتي ، مورد استفاده قرار گرفته است.
در افسانه‌هاي قديمي آمده است كه روزي گذار كهنه سربازي گرسنه و بي‌پول به دهي فقرزده افتاد و براي رفع گرسنگي ابتكاري به خرج داد. او به مردم دهكده گفت كه مي‌تواند با استفاده از يك ديگ بزرگ آب جوش و يك تكه سنگ آش خوشمزه‌اي بپزد. مردم ده ابتدا با ناباوري به او كه ديگ را بار گزارده بود نگريستند ، اما بعد هر يك براي آنكه سهمي از آش داشته باشند ، با اهدا يك تكه كوچك گوشت يا يك دسته سبزي ، يا يكي دو تا هويج ، يا مشتي برنج ، در كار پختن و تهيه آش مشاركت كردند. دست آخر درون ديگ آنقدر ماده خوردني جاي گرفته بود كه محصول نهايي را به اندازه كافي خوشمزه و مغذي مي‌كرد. به نوشته اين ماهنامه ، محققان آزمايشگاه ملي
" اوك ريج " با استفاده از همين تمثيل ابر كامپيوتر تازه‌اي موسوم به " سنگ " را تكميل كرده‌اند كه متشكل از 130 كامپيوتر معمولي است كه به صورت كلاستري عمل مي‌كنند. يكي از اين 130 دستگاه به عنوان ورودي كل سيستم عمل مي‌كند كه از يك سو با شبكه‌ها و سيستم‌هاي ديگر در تماس است و از سويي ديگر با بقيه اعضا شبكه خود ارتباط برقرار مي‌كند. اين شبكه مسائلي را كه بدان محول مي‌شود ، با استفاده از شيوه محاسبه موازي و با تقسيم كار ميان اعضاء شبكه به انجام مي‌رساند.
يكي از بزرگترين طرح‌هايي كه اين ابر كامپيوتر مونتاژ شده از عهده آن برآمده ، تهيه نقشه جامعي از ايالات متحده است كه در آن كل مساحت امريكا به 8/7 ميليون قطعه ، هر يك به مساحت يك كيلومتر مربع ، تقسيم شده و 25 مولفه آب و هوايي مختلف براي نقاط گوناگون آن در نظر گرفته شده و در مجموع 1000 ناحيه آب و هوايي متفاوت در آن منظور شده است.
هرچند انديشه به هم پيوستن كامپيوترهاي معمولي و يا قديمي براي دستيابي به توان عملياتي بالاتر ، انديشه تازه‌اي نيست و سابقه آن به دهه 1950 باز مي‌گردد ، اما تنها در چند سال اخير است كه ظهور نرم‌افزارهاي جديد امكان بهره‌گيري كلاستري از كامپيوترهاي ديجيتالي را فراهم آورده است. به عنوان نمونه ، هم‌اكنون در موزه تاريخ طبيعي آمريكا ، 560 كامپيوتر پنتيوم 3 موجود است كه محققان با به هم پيوستن آنها ، ابر كامپيوتر قدرتمندي را بوجود آورده‌اند كه از آن براي بررسي در نحوه تطور اختران و ستارگان بهره گرفته مي‌شود.
نكته حائز اهميت در رهيافت تازه آن است كه مي‌توان از كامپيوترهاي موجود در اوقاتي كه كاربران اصلي آنها از آنها استفاده نمي‌كنند ، بهره گرفت. به عنوان مثال ، پروژه " ستي " كه به وسيله دانشگاه كاليفرنيا و براي بررسي امكان وجود موجودات هوشمند در كيهان در حال اجراست ، فعاليت خود را از طريق اينترنت و به كمك 3 ميليون كامپيوتر شخصي متعلق به شهروندان ، و در ساعات آخر شب كه كامپيوترها مورد استفاده صاحبان آنها نيستند ، دنبال مي‌كند.
#clustering #hp #hpc #linux #beowulf @unixmens
بيشتر اوقات برنامه‌هاي كاربردي به توان محاسباتي بالاتري نسبت به آنچه كه يك كامپيوتر ترتيبي مي‌تواند ارائه دهد ، نياز دارند. يكي از راه‌هاي غلبه بر اين محدوديت بهبود بخشيدن سرعت عملياتي پردازنده‌ها و ساير اجزا مي‌باشد ، بطوريكه آنها بتوانند توان مورد نياز برنامه‌هاي كاربردي كه داراي محاسبات وسيع و گسترده هستند را فراهم نمايند. اگر چه در سال‌هاي اخير اين امكان تا اندازه‌اي مهيا شده است ، ليكن سرعت نور ، قوانين ترموديناميك و هزينه‌هاي سنگين ساخت پردازنده موانعي در جهت پيشرفتهاي آتي ايجاد كرده‌اند. يكي از راه‌حل‌هاي موثر و كم‌هزينه اتصال چندين پردازنده به يكديگر و هماهنگ نمودن عمليات و توان محاسباتي آنها مي‌باشد. سيستم‌هاي بوجود آمده تحت عنوان " كامپيوترهاي موازي " شهرت دارند و اجازه تقسيم يك كار محاسباتي بين چند پردازشگر را مي‌دهند.
همانگونه كه فيستر اشاره مي‌كند ، جهت بهبود عملكرد يك سيستم سه راه وجود دارد :
كار و تلاش بيشتر
كاركرد موثر و كارآمد
كمك گرفتن
در اصطلاح تكنولوژي‌هاي محاسباتي ، كار و تلاش بيشتر به مثابه استفاده از سخت‌افزار سريعتر
( پردازنده‌ها و دستگاه‌هاي جانبي با كارآيي و سرعت بالا ) مي‌باشد. كاركرد موثر و كارآمد به مثابه انجام كارها بصورت كارا بوده و در رابطه با الگوريتم‌ها و تكنيك‌هايي كه جهت حل مسائل و كارهاي محاسباتي استفاده مي‌شوند ، صحبت به عمل مي‌آورد. و در نهايت كمك گرفتن به بكارگيري چندين كامپيوتر جهت حل يك مسئله خاص اشاره دارد.
1 – 1 دوره‌هاي محاسبات
صنعت محاسبه يكي از صنايعي است كه سريعترين رشد را داشته و از دستاوردهاي فني پرشتاب در حوزه‌هاي سخت‌افزار و نرم‌افزار بهره جسته است. پيشرفتهاي تكنولوژي در عرصه سخت‌افزار ، رشد و توسعه تراشه‌ها ، فن‌آوري‌هاي ساخت تراشه ، ريزپردازنده‌هاي سريع و ارزان و همچنين پهناي باند بالا و شبكه‌هاي ارتباطي با تاخير كم مي‌باشند. در بين اين موارد پيشرفتهاي اخير در فن‌آوري VLSI ( تجمع در مقياس بسيار وسيع ) نقش مهمي در رشد كامپيوترهاي ترتيبي و موازي ايفا كرده است. فن‌آوري نرم‌افزار نيز به سرعت در حال رشد مي‌باشد. نرم‌افزارهاي پيشرفتهاي چون سيستم‌عامل‌ها ، زبان‌هاي برنامه‌نويسي ، متدهاي توسعه و ابزارها ، همگي در دسترس مي‌باشند. اينها باعث رشد و ساماندهي برنامه‌هاي كاربردي در جهت خدمت به نيازهاي علمي ، مهندسي و تجاري شده‌اند. همچنين بايد خاطر نشان كرد كه برنامه‌هاي بزرگ و قدرتمند نظير پيش‌بيني وضع هوا و تحليل و بررسي زلزله ، عامل اصلي رشد و توسعه كامپيوترهاي موازي قدرتمند بوده‌اند.
يكي از راه‌هاي مشاهده محاسبه تقسيم آن به دو عصر مي‌باشد :
عصر محاسبه ترتيبي
عصر محاسبه موازي
شكل شماره 2 تغييراتي كه در عصرهاي محاسبات بوجود آمده است را نشان مي‌دهد. هر عصر محاسبه با يك توسعه در معماري‌هاي سخت‌افزاري و به دنبال آن نرم‌افزار سيستم ( به ويژه در حوزه كامپايلرها و سيستم‌عامل‌ها ) و برنامه‌هاي كاربردي شروع شده و در نهايت با رشد در PSE ها
( محيط‌هاي حل مسئله ) به اوج خود رسيده است. هر جزء از سيستم محاسباتي داراي سه فاز R&D ( تحقيق و توسعه ) ، تجاري‌سازي و توليد جنس مي‌باشد. فن‌آوري كه در وراي توسعه اجزاي سيستم محاسبه در عصر ترتيبي وجود دارد به تكامل رسيده است و رشدهاي مشابه‌اي هنوز بايد در عصر موازي رخ دهند. يعني ، فن‌آوري محاسبه موازي هنوز جاي رشد و توسعه دارد ، زيرا به اندازه كافي پيشرفت نكرده است تا به عنوان يك تكنولوژي توليد كالا مطرح شود.
#clustering #hp #hpc #linux #beowulf @unixmens
همانگونه كه فيستر اشاره مي‌كند ، جهت بهبود عملكرد يك سيستم سه راه وجود دارد :
كار و تلاش بيشتر
كاركرد موثر و كارآمد
كمك گرفتن
در اصطلاح تكنولوژي‌هاي محاسباتي ، كار و تلاش بيشتر به مثابه استفاده از سخت‌افزار سريعتر
( پردازنده‌ها و دستگاه‌هاي جانبي با كارآيي و سرعت بالا ) مي‌باشد. كاركرد موثر و كارآمد به مثابه انجام كارها بصورت كارا بوده و در رابطه با الگوريتم‌ها و تكنيك‌هايي كه جهت حل مسائل و كارهاي محاسباتي استفاده مي‌شوند ، صحبت به عمل مي‌آورد. و در نهايت كمك گرفتن به بكارگيري چندين كامپيوتر جهت حل يك مسئله خاص اشاره دارد.
1 – 1 دوره‌هاي محاسبات
صنعت محاسبه يكي از صنايعي است كه سريعترين رشد را داشته و از دستاوردهاي فني پرشتاب در حوزه‌هاي سخت‌افزار و نرم‌افزار بهره جسته است. پيشرفتهاي تكنولوژي در عرصه سخت‌افزار ، رشد و توسعه تراشه‌ها ، فن‌آوري‌هاي ساخت تراشه ، ريزپردازنده‌هاي سريع و ارزان و همچنين پهناي باند بالا و شبكه‌هاي ارتباطي با تاخير كم مي‌باشند. در بين اين موارد پيشرفتهاي اخير در فن‌آوري VLSI ( تجمع در مقياس بسيار وسيع ) نقش مهمي در رشد كامپيوترهاي ترتيبي و موازي ايفا كرده است. فن‌آوري نرم‌افزار نيز به سرعت در حال رشد مي‌باشد. نرم‌افزارهاي پيشرفتهاي چون سيستم‌عامل‌ها ، زبان‌هاي برنامه‌نويسي ، متدهاي توسعه و ابزارها ، همگي در دسترس مي‌باشند. اينها باعث رشد و ساماندهي برنامه‌هاي كاربردي در جهت خدمت به نيازهاي علمي ، مهندسي و تجاري شده‌اند. همچنين بايد خاطر نشان كرد كه برنامه‌هاي بزرگ و قدرتمند نظير پيش‌بيني وضع هوا و تحليل و بررسي زلزله ، عامل اصلي رشد و توسعه كامپيوترهاي موازي قدرتمند بوده‌اند.
يكي از راه‌هاي مشاهده محاسبه تقسيم آن به دو عصر مي‌باشد :
عصر محاسبه ترتيبي
عصر محاسبه موازي
شكل شماره 2 تغييراتي كه در عصرهاي محاسبات بوجود آمده است را نشان مي‌دهد. هر عصر محاسبه با يك توسعه در معماري‌هاي سخت‌افزاري و به دنبال آن نرم‌افزار سيستم ( به ويژه در حوزه كامپايلرها و سيستم‌عامل‌ها ) و برنامه‌هاي كاربردي شروع شده و در نهايت با رشد در PSE ها
( محيط‌هاي حل مسئله ) به اوج خود رسيده است. هر جزء از سيستم محاسباتي داراي سه فاز R&D ( تحقيق و توسعه ) ، تجاري‌سازي و توليد جنس مي‌باشد. فن‌آوري كه در وراي توسعه اجزاي سيستم محاسبه در عصر ترتيبي وجود دارد به تكامل رسيده است و رشدهاي مشابه‌اي هنوز بايد در عصر موازي رخ دهند. يعني ، فن‌آوري محاسبه موازي هنوز جاي رشد و توسعه دارد ، زيرا به اندازه كافي پيشرفت نكرده است تا به عنوان يك تكنولوژي توليد كالا مطرح شود.
#clustering #hp #hpc #linux #beowulf @unixmens
دليل اصلي ايجاد و استفاده كامپيوترهاي موازي غلبه بر تنگناي سرعت كم پردازشگر واحد با استفاده از موازي‌سازي مي‌باشد. علاوه بر اين ، نسبت بها / عملكرد يك كامپيوتر موازي كوچك بر مبناي كلاستر در مقايسه با يك ميني كامپيوتر ، بسيار كوچكتر و در نتيجه از بهاي مناسب‌تري برخوردار خواهد بود. خلاصه اينكه ، توسعه و توليد سيستم‌هايي كه سرعت متوسطي داشته و از معماري‌هاي موازي استفاده مي‌كنند بسيار ارزانتر از ايجاد عملكرد معادل در يك سيستم ترتيبي مي‌باشد.
در بخش‌هاي باقيمانده ، گزينه‌هاي معماري براي ساختن كامپيوترهاي موازي ، محرك‌هاي تغيير در جهت محاسبه موازي كم‌هزينه ، مدل كلي يك كامپيوتر كلاستر شده ، اجزاي بكار گرفته شده در ساخت كلاستر، ميان‌افزار كلاستر ، مديريت و برنامه‌ريزي منابع ، ابزارها و محيط‌هاي برنامه‌نويسي و سيستم‌هاي نماينده كلاستر مورد بحث قرار خواهند گرفت. در نهايت تكنولوژي‌هايي كه در آينده در رابطه با كلاستر وجود خواهند داشت نيز توضيح داده مي‌شوند.
2 - معماري‌هاي مقياس‌پذير كامپيوتر موازي
در طول دهه‌هاي گذشته ، سيستم‌هاي كامپيوتري بسيار متفاوتي كه از عملكرد محاسباتي بالايي برخوردار بوده‌اند ، پديدار گشته‌اند. طبقه‌بندي آنها بر مبناي چگونگي پردازنده‌ها ، حافظه و اتصالات دروني بوده است. رايج‌ترين سيستم‌ها عبارتند از :
پردازنده‌هاي موازي گسترده ( MPP )
چندپردازنده‌هاي متقارن ( SMP )
دسترسي به حافظه غير همشكل و يكسان بودن كاشه ( CC-NUMA )
سيستم‌هاي توزيعي
كلاسترها ( Clusters )
جدول شماره 1 مقايسه ويژگي‌هاي معماري و عملياتي ماشين‌هاي بالا را نشان مي‌دهد.
در واقع MPP معمولاً يك سيستم پردازش موازي بزرگ است كه در معماري آن منبع مشترك وجود ندارد. اين سيستم شامل چند صد واحد پردازش ( گره ) مي‌باشد كه از طريق يك شبكه يا سوييچ ارتباطي با سرعت بالا به يكديگر متصل شده‌اند. هر گره ( Node ) مي‌تواند تنوعي از اجزاء سخت‌افزاري داشته باشد ، اما عموماً شامل يك يا چند پردازنده و يك حافظه اصلي است. بعلاوه ، گره‌هاي ويژه مي‌توانند وسايل جانبي نظير ديسك‌ها و يا سيستم‌هاي پشتيبان داشته باشند. هر گره يك نسخه جداگانه از سيستم‌عامل را اجرا مي‌كند.
#clustering #hp #hpc #linux #beowulf @unixmens
در بخش‌هاي باقيمانده ، گزينه‌هاي معماري براي ساختن كامپيوترهاي موازي ، محرك‌هاي تغيير در جهت محاسبه موازي كم‌هزينه ، مدل كلي يك كامپيوتر كلاستر شده ، اجزاي بكار گرفته شده در ساخت كلاستر، ميان‌افزار كلاستر ، مديريت و برنامه‌ريزي منابع ، ابزارها و محيط‌هاي برنامه‌نويسي و سيستم‌هاي نماينده كلاستر مورد بحث قرار خواهند گرفت. در نهايت تكنولوژي‌هايي كه در آينده در رابطه با كلاستر وجود خواهند داشت نيز توضيح داده مي‌شوند.
2 - معماري‌هاي مقياس‌پذير كامپيوتر موازي
در طول دهه‌هاي گذشته ، سيستم‌هاي كامپيوتري بسيار متفاوتي كه از عملكرد محاسباتي بالايي برخوردار بوده‌اند ، پديدار گشته‌اند. طبقه‌بندي آنها بر مبناي چگونگي پردازنده‌ها ، حافظه و اتصالات دروني بوده است. رايج‌ترين سيستم‌ها عبارتند از :
پردازنده‌هاي موازي گسترده ( MPP )
چندپردازنده‌هاي متقارن ( SMP )
دسترسي به حافظه غير همشكل و يكسان بودن كاشه ( CC-NUMA )
سيستم‌هاي توزيعي
كلاسترها ( Clusters )
جدول شماره 1 مقايسه ويژگي‌هاي معماري و عملياتي ماشين‌هاي بالا را نشان مي‌دهد.
در واقع MPP معمولاً يك سيستم پردازش موازي بزرگ است كه در معماري آن منبع مشترك وجود ندارد. اين سيستم شامل چند صد واحد پردازش ( گره ) مي‌باشد كه از طريق يك شبكه يا سوييچ ارتباطي با سرعت بالا به يكديگر متصل شده‌اند. هر گره ( Node ) مي‌تواند تنوعي از اجزاء سخت‌افزاري داشته باشد ، اما عموماً شامل يك يا چند پردازنده و يك حافظه اصلي است. بعلاوه ، گره‌هاي ويژه مي‌توانند وسايل جانبي نظير ديسك‌ها و يا سيستم‌هاي پشتيبان داشته باشند. هر گره يك نسخه جداگانه از سيستم‌عامل را اجرا مي‌كند.
#clustering #hp #hpc #linux #beowulf @unixmens
برنامه‌هاي كاربردي موازي و مقياس‌پذير نياز به عمليات مميز شناور با كارآيي بالا ، ارتباطات با تاخير كم و پهناي باند زياد ، پهناي باند قابل انعطاف و دسترسي سريع به فايل‌ها خواهند داشت. نرم‌افزار كلاستر مي‌تواند اين نيازمندي‌ها را با استفاده از منابعي كه جهت هر كلاستر وجود دارند ، مهيا كند. مي‌توان سيستم فايلي كه از ورودي و خروجي موازي پشتيباني به عمل مي‌آورد را با استفاده از ديسك‌هايي كه جهت هر ايستگاه كاري وجود دارد بجاي استفاده از RAID سخت‌افزاري گران‌قيمت ، بوجود آورد. مي‌توان كارآيي حافظه مجازي را با استفاده از حافظه شبكه به عنوان يك فضاي ذخيره‌سازي جبراني بجاي ديسك سخت ، بطور موثري بهبود بخشيد. سيستم‌هاي فايل موازي و حافظه شبكه به نوعي شكاف بزرگ كارآيي مابين پردازنده‌ها و ديسك‌ها را كوچكتر كرده و تقليل مي‌دهند.
متصل نمودن گره‌هاي موجود در يك كلاستر با استفاده از شبكه اترنت استاندارد و يا شبكه‌هاي مخصوص با كارآيي بالا نظير Myrinet امري متداول مي‌باشد. اين چند شبكه مي‌توانند جهت انتقال اطلاعات بين گره‌هاي موجود در كلاستر بصورت موازي مورد استفاده قرار گيرند. نرم‌افزار ارتباط چندمسيره در گره‌اي فرستنده اطلاعات عمل مالتي‌پلكسينگ داده‌ها را انجام داده و سپس آن را از طريق شبكه‌هاي چندگانه ارسال مي‌كند ، سپس در گره مقصد و يا گيرنده نيز عمل دي‌مالتي‌پلكسينگ داده‌ها را انجام مي‌دهد. به همين دليل تمامي شبكه‌هاي موجود مي‌توانند جهت انتقال اطلاعات سريع مابين گره‌هاي يك كلاستر مورد استفاده قرار گيرند.
#clustering #hp #hpc #linux #beowulf @unixmens
متصل نمودن گره‌هاي موجود در يك كلاستر با استفاده از شبكه اترنت استاندارد و يا شبكه‌هاي مخصوص با كارآيي بالا نظير Myrinet امري متداول مي‌باشد. اين چند شبكه مي‌توانند جهت انتقال اطلاعات بين گره‌هاي موجود در كلاستر بصورت موازي مورد استفاده قرار گيرند. نرم‌افزار ارتباط چندمسيره در گره‌اي فرستنده اطلاعات عمل مالتي‌پلكسينگ داده‌ها را انجام داده و سپس آن را از طريق شبكه‌هاي چندگانه ارسال مي‌كند ، سپس در گره مقصد و يا گيرنده نيز عمل دي‌مالتي‌پلكسينگ داده‌ها را انجام مي‌دهد. به همين دليل تمامي شبكه‌هاي موجود مي‌توانند جهت انتقال اطلاعات سريع مابين گره‌هاي يك كلاستر مورد استفاده قرار گيرند.
#clustering #hp #hpc #linux #beowulf @unixmens
https://www.linkedin.com/pulse/ceph-lustre-yashar-esmaildokht
#ceph #lustre #bigdata #storage #sds #object #block #file #hpc #scalability #scienceandtechnology #sciences
https://t.me/unixmens
#ceph #lustre #bigdata #storage #sds #object #block #file #hpc #scalability #scienceandtechnology #sciences
https://t.me/unixmens
Linkedin
ceph or lustre
The Lustre® file system is an open-source, parallel file system that supports many requirements of leadership class HPC simulation environments. Whether you’re a member of our diverse development community or considering the Lustre file system as a parallel…
محاسبات کوانتومی قرار است چشم انداز فناورانه را با تأثیرات عمده در حوزه سایبری تغییر دهد. ما نظرات رهبران صنعت را جمع آوری کردیم تا ببینیم که چگونه آنها به خطرات و فرصت‌های این فناوری در حال توسعه نزدیک میشوند.
بدون شک، فناوری امروز با سرعت باورنکردنی، به ویژه در پشت تحول دیجیتال ، پیشرفت میکند. بنگاه‌ها دائماً در حال نوآوری و اتخاذ فن آوری‌های برجسته برای هدایت فعالیت‌های تجاری خود هستند. با این حال، با وجود تمام توان محاسبات رایانه‌های مدرن ، چندین چالش همچنان ادامه دارد. به عنوان مثال ، خطر امنیت سایبری برای بسیاری از سازمان‌ها در مورد رمزگذاری پیش بینی میشود.کارشناسان خاطرنشان می کنند که با قدرت رایانه های امروز ، سالها طول می کشد یا در برخی موارد هزاران سال برای شکستن رمزهای فعلی زمان نیاز است.
با این حال ، محاسبات کوانتومی این زمان را به شدت کاهش میدهد. محاسبات کوانتومی برای حل برخی از مشکلات محاسباتی که امروز جهان با آن روبرو است، سرعت بالایی دارد. رایانه‌های کوانتومی معادله‌ها را با سرعت 158،000،000 برابر سریعتر از رایانه های معمولی انجام می دهند. آنها می توانند در چهار دقیقه یک محاسبات را حل کنند که هزاران سال رایانه های امروز را برای حل آن زمان نیاز دارند.
با شناخت این موضوع، دولت آمریکا محاسبات کوانتومی را به عنوان یکی از زمینه‌های اصلی برای سرمایه گذاری تحقیقاتی فدرال به ارزش 280 میلیارد دلار تایید کرده است.
رمزنگاری و امنیت سایبری یکی از بخش‌هایی است که محاسبات کوانتومی نحوه عملکرد مشاغل امروز را تغییر میدهد. محققان در Hub Security معتقدند که جهان باید سریعاً آماده شود، با توجه به اینکه بازیگران انقلابی میتوانند با محاسبات کوانتومی تغییرات شگرفی در این صنعت ایجاد کنند. بنابراین، Hub Security در حال ایجاد است تا در این روند قرار بگیرد، و ادعا شده است که فناوری در حال توسعه است که ایمنی را برای سامانه‌های محاسباتی تضمین کند.
ایال موسی بنیانگذار و مدیر عامل شرکت Hub Security ، در مصاحبه ای گفتراه حل Hub Security به عنوان یک رابط خارجی به افزایش امنیت شما کمک میکند.»
وی گفت: « API S3 برای محافظت فیزیکی، بهره برداری از آسیب پذیری و تشخیص و جلوگیری از تهدیدها با اجرای کنترل‌های سخت طراحی شده است و اطمینان حاصل می کند که API هرگز در معرض خطر قرار نمی گیرد.»
به همین ترتیب ، Cyberark راه حل های رمزنگاری جدید را ارائه می دهد که داده ها و ارتباطات جهان را از تهدیدهای کلاسیک و کوانتومی تضمین می کند. لاوی لازارروفیتز، رئیس تحقیقات امنیتی در Cyberark ، خاطرنشان کرد: «مسائل مربوط به امنیت سایبری اهمیت بیشتری پیدا خواهد کرد، زیرا دارایی‌های بیشتری به صورت آنلاین در آینده ایجاد میشود. فکر می کنم محاسبات کوانتومی یک تهدید بزرگ برای آینده است.»
یک رایانه کوانتومی می تواند همه ترافیک قبلاً ضبط شده را به سرعت رمزگشایی کند و اطلاعات میلیون ها نفر در معرض دید قرار می گیرند. نتیجه می تواند ویران کننده باشد ، هزینه و خسارت آن می تواند بسیار زیاد باشد.
شکی نیست که محاسبات کوانتومی در راه است و احتمالاً یک فناوری مستقل نخواهد بود. این موضوع همگام با سایر زیرساخت های فناوری اطلاعات از جمله ابر رایانه‌ها ، CPU ها و GPU ها باید به روز شود. بخش عمده ای از گفتگو بر پیامدهای امنیت سایبری محاسبات کوانتومی برای شرکت ها و دولت ها خواهد بود.
طبق یک مطالعه جدید بیش از نیمی از سازمان ها معتقدند که پیشرفت های آینده در محاسبات کوانتومی موجب تهدید داده‌ها و اطلاعات موجود میشود. در بررسی بیش از 400 متخصص امنیت سایبری ، 50.2 ٪ از پاسخ دهندگان گفتند که سازمان آنها در معرض خطر "برداشت اکنون ، بعداً رمزگشایی" است!
منبع : https://www.entrepreneur.com/en-au/technology/quantum-computing-is-coming-how-will-it-impact/439060
#security #compute #hpc
https://t.me/unixmens
بدون شک، فناوری امروز با سرعت باورنکردنی، به ویژه در پشت تحول دیجیتال ، پیشرفت میکند. بنگاه‌ها دائماً در حال نوآوری و اتخاذ فن آوری‌های برجسته برای هدایت فعالیت‌های تجاری خود هستند. با این حال، با وجود تمام توان محاسبات رایانه‌های مدرن ، چندین چالش همچنان ادامه دارد. به عنوان مثال ، خطر امنیت سایبری برای بسیاری از سازمان‌ها در مورد رمزگذاری پیش بینی میشود.کارشناسان خاطرنشان می کنند که با قدرت رایانه های امروز ، سالها طول می کشد یا در برخی موارد هزاران سال برای شکستن رمزهای فعلی زمان نیاز است.
با این حال ، محاسبات کوانتومی این زمان را به شدت کاهش میدهد. محاسبات کوانتومی برای حل برخی از مشکلات محاسباتی که امروز جهان با آن روبرو است، سرعت بالایی دارد. رایانه‌های کوانتومی معادله‌ها را با سرعت 158،000،000 برابر سریعتر از رایانه های معمولی انجام می دهند. آنها می توانند در چهار دقیقه یک محاسبات را حل کنند که هزاران سال رایانه های امروز را برای حل آن زمان نیاز دارند.
با شناخت این موضوع، دولت آمریکا محاسبات کوانتومی را به عنوان یکی از زمینه‌های اصلی برای سرمایه گذاری تحقیقاتی فدرال به ارزش 280 میلیارد دلار تایید کرده است.
رمزنگاری و امنیت سایبری یکی از بخش‌هایی است که محاسبات کوانتومی نحوه عملکرد مشاغل امروز را تغییر میدهد. محققان در Hub Security معتقدند که جهان باید سریعاً آماده شود، با توجه به اینکه بازیگران انقلابی میتوانند با محاسبات کوانتومی تغییرات شگرفی در این صنعت ایجاد کنند. بنابراین، Hub Security در حال ایجاد است تا در این روند قرار بگیرد، و ادعا شده است که فناوری در حال توسعه است که ایمنی را برای سامانه‌های محاسباتی تضمین کند.
ایال موسی بنیانگذار و مدیر عامل شرکت Hub Security ، در مصاحبه ای گفتراه حل Hub Security به عنوان یک رابط خارجی به افزایش امنیت شما کمک میکند.»
وی گفت: « API S3 برای محافظت فیزیکی، بهره برداری از آسیب پذیری و تشخیص و جلوگیری از تهدیدها با اجرای کنترل‌های سخت طراحی شده است و اطمینان حاصل می کند که API هرگز در معرض خطر قرار نمی گیرد.»
به همین ترتیب ، Cyberark راه حل های رمزنگاری جدید را ارائه می دهد که داده ها و ارتباطات جهان را از تهدیدهای کلاسیک و کوانتومی تضمین می کند. لاوی لازارروفیتز، رئیس تحقیقات امنیتی در Cyberark ، خاطرنشان کرد: «مسائل مربوط به امنیت سایبری اهمیت بیشتری پیدا خواهد کرد، زیرا دارایی‌های بیشتری به صورت آنلاین در آینده ایجاد میشود. فکر می کنم محاسبات کوانتومی یک تهدید بزرگ برای آینده است.»
یک رایانه کوانتومی می تواند همه ترافیک قبلاً ضبط شده را به سرعت رمزگشایی کند و اطلاعات میلیون ها نفر در معرض دید قرار می گیرند. نتیجه می تواند ویران کننده باشد ، هزینه و خسارت آن می تواند بسیار زیاد باشد.
شکی نیست که محاسبات کوانتومی در راه است و احتمالاً یک فناوری مستقل نخواهد بود. این موضوع همگام با سایر زیرساخت های فناوری اطلاعات از جمله ابر رایانه‌ها ، CPU ها و GPU ها باید به روز شود. بخش عمده ای از گفتگو بر پیامدهای امنیت سایبری محاسبات کوانتومی برای شرکت ها و دولت ها خواهد بود.
طبق یک مطالعه جدید بیش از نیمی از سازمان ها معتقدند که پیشرفت های آینده در محاسبات کوانتومی موجب تهدید داده‌ها و اطلاعات موجود میشود. در بررسی بیش از 400 متخصص امنیت سایبری ، 50.2 ٪ از پاسخ دهندگان گفتند که سازمان آنها در معرض خطر "برداشت اکنون ، بعداً رمزگشایی" است!
منبع : https://www.entrepreneur.com/en-au/technology/quantum-computing-is-coming-how-will-it-impact/439060
#security #compute #hpc
https://t.me/unixmens
Entrepreneur
Quantum Computing Is Coming: How Will It Impact Cybersecurity?
Quantum Computing is set to completely change the technological landscape with major effects in the Cyber field, among others. We gathered insights from the industry's leaders to see how they are approaching the risks and opportunities of this developing…
Forwarded from Academy and Foundation unixmens | Your skills, Your future
https://www.linkedin.com/pulse/ceph-lustre-yashar-esmaildokht
#ceph #lustre #bigdata #storage #sds #object #block #file #hpc #scalability #scienceandtechnology #sciences
https://t.me/unixmens
#ceph #lustre #bigdata #storage #sds #object #block #file #hpc #scalability #scienceandtechnology #sciences
https://t.me/unixmens
Linkedin
ceph or lustre
The Lustre® file system is an open-source, parallel file system that supports many requirements of leadership class HPC simulation environments. Whether you’re a member of our diverse development community or considering the Lustre file system as a parallel…
ebpf.pdf
837.4 KB
کتاب جدیدی که نوشتم تقدیم دوستان . این کتاب را بصورت آزاد منتشر کردم .
نویسنده : مهندس یاشار اسمعیل دخت
نکته : این کتاب نسخه : 0.1 میباشد .
#linux #kernel #yashar_esmaildokht #ebpf #bpf #cilium #network #security #k8s #kubernetes #openshift #openstack #hpc #sdn
https://t.me/unixmens
نویسنده : مهندس یاشار اسمعیل دخت
نکته : این کتاب نسخه : 0.1 میباشد .
#linux #kernel #yashar_esmaildokht #ebpf #bpf #cilium #network #security #k8s #kubernetes #openshift #openstack #hpc #sdn
https://t.me/unixmens
❤9
Forwarded from Academy and Foundation unixmens | Your skills, Your future
ebpf.pdf
837.4 KB
کتاب جدیدی که نوشتم تقدیم دوستان . این کتاب را بصورت آزاد منتشر کردم .
نویسنده : مهندس یاشار اسمعیل دخت
نکته : این کتاب نسخه : 0.1 میباشد .
#linux #kernel #yashar_esmaildokht #ebpf #bpf #cilium #network #security #k8s #kubernetes #openshift #openstack #hpc #sdn
https://t.me/unixmens
نویسنده : مهندس یاشار اسمعیل دخت
نکته : این کتاب نسخه : 0.1 میباشد .
#linux #kernel #yashar_esmaildokht #ebpf #bpf #cilium #network #security #k8s #kubernetes #openshift #openstack #hpc #sdn
https://t.me/unixmens
👍1🙏1