The PDT team is seeking a highly talented Linux HPC Systems Administrator to enhance and support our research computing clusters.
As part of the HPC/Grid team, you will be responsible for improving, extending, and maintaining the HPC/Grid infrastructure, and for helping provide a world-class computing and big data environment for PDT’s Quantitative Researchers. You will interface closely with research teams using the Grid, the entire Linux engineering group, software engineers, and PDT’s in-house monitoring team. You will also have the opportunity to serve as PDT’s subject matter expert for various HPC technologies.
Your focus will be traditional Beowulf clusters as well as other innovative large-scale computation. Strong Linux system administration skills are required. If you have mastered the art of turning cutting-edge storage and compute technology into a stable and scalable HPC infrastructure, you will thrive in this role.
Why join us? PDT Partners has a stellar twenty-three-year track record and a reputation for excellence. Our goal is to be the best quantitative investment manager in the world—measured by the quality of our products, not their size. PDT’s very high employee-retention rate speaks for itself. Our people are intellectually extraordinary and our community is close-knit, down-to-earth, and diverse.
Responsibilities:
Administration of HPC clusters and parallel file systems
Architecting innovative solutions to complex operating and file system issues
Linux cluster troubleshooting
Technology evaluation and selection
Providing direct support and education of the researcher community
Job scheduler optimization
Deep dives into specific cluster workloads to optimize them
Management and optimization of many petabytes of storage
Qualifications:
2-6 years of highly relevant experience
Excellent Linux systems administration and troubleshooting skills
Experience in design and engineering of HPC systems and schedulers (Slurm, SGE, TORQUE)
Experience administering and tuning scale out storage (GPFS, BeeGFS, Lustre, Ceph)
Experience with provisioning systems (Warewulf, Rocks, Bright, xCat, Mesos)
Advanced scripting or programming skills (C/C++, Python, Perl, or UNIX shell)
Education:
Bachelor’s degree in computer science, engineering, or related field from a strong academic program
محل کار : new york
https://boards.greenhouse.io/pdtpartners/jobs/136190?gh_src=n1tyjv#.WiCahCeb7Wc
#job #linux #clustering #beowulf @unixmens #oversea
As part of the HPC/Grid team, you will be responsible for improving, extending, and maintaining the HPC/Grid infrastructure, and for helping provide a world-class computing and big data environment for PDT’s Quantitative Researchers. You will interface closely with research teams using the Grid, the entire Linux engineering group, software engineers, and PDT’s in-house monitoring team. You will also have the opportunity to serve as PDT’s subject matter expert for various HPC technologies.
Your focus will be traditional Beowulf clusters as well as other innovative large-scale computation. Strong Linux system administration skills are required. If you have mastered the art of turning cutting-edge storage and compute technology into a stable and scalable HPC infrastructure, you will thrive in this role.
Why join us? PDT Partners has a stellar twenty-three-year track record and a reputation for excellence. Our goal is to be the best quantitative investment manager in the world—measured by the quality of our products, not their size. PDT’s very high employee-retention rate speaks for itself. Our people are intellectually extraordinary and our community is close-knit, down-to-earth, and diverse.
Responsibilities:
Administration of HPC clusters and parallel file systems
Architecting innovative solutions to complex operating and file system issues
Linux cluster troubleshooting
Technology evaluation and selection
Providing direct support and education of the researcher community
Job scheduler optimization
Deep dives into specific cluster workloads to optimize them
Management and optimization of many petabytes of storage
Qualifications:
2-6 years of highly relevant experience
Excellent Linux systems administration and troubleshooting skills
Experience in design and engineering of HPC systems and schedulers (Slurm, SGE, TORQUE)
Experience administering and tuning scale out storage (GPFS, BeeGFS, Lustre, Ceph)
Experience with provisioning systems (Warewulf, Rocks, Bright, xCat, Mesos)
Advanced scripting or programming skills (C/C++, Python, Perl, or UNIX shell)
Education:
Bachelor’s degree in computer science, engineering, or related field from a strong academic program
محل کار : new york
https://boards.greenhouse.io/pdtpartners/jobs/136190?gh_src=n1tyjv#.WiCahCeb7Wc
#job #linux #clustering #beowulf @unixmens #oversea
boards.greenhouse.io
HPC Systems Engineer
New York
About Engility
Engility delivers innovative solutions to critical challenges facing the nation and the world. As a premier provider of integrated services for the U.S. government, we support the Department of Defense, intelligence community, space communities, federal civilian agencies and international customers. Engility is dedicated to making lives better, safer and more secure.
Description
Provide AIT Level II Support
Linux Server and system administration support;
Planning, design, installation, configuration, documentation, system remediation, operations and maintenance, performance tuning, data protection, backup, and recovery;
Interfacing with vendors and service providers for analysis and troubleshooting;
User support, including, but not limited to: hardware, software, and multimedia support services;
Security requirement implementation;
Monitoring high performance computing clusters, servers, storage arrays, high performance workstations, and associated elements.
The HPC environment comprises two Beowulf clusters with 1,500 - 2,000 cores each, running CentOS and Scyld, plus a Cray with approximately 3,200 cores, running ROCKS. Nodes are connected via InfiniBand and 10G Ethernet. Data is stored on multiple network attached storage systems of varying technologies and is shared with advanced engineering workstations running Red Hat Enterprise Linux.
Required Qualifications
Active Secret Clearance
Bachelor’s degree in computer engineering, computer science, or information technology from an accredited college/university.
In lieu of the bachelor’s degree, the Linux Engineer may have one of the following certifications: GSEC; Security + (CE) Certificate; SSCP Certificate; or CNSSI/NSTISSI 4115/4016 Certificate.
The administrator shall have at least four years of Linux system administration experience.
Work experience shall also include/demonstrate the following:
Expertise in Lightweight Directory Access Protocol (LDAP), Network File System (NFS)\
Domain Name Service (DNS), and Secure Shell (SSH);
Ability to write and maintain Linux and Perl shell scripts;
Understanding of security and network/distributed computing concepts;
Strong technical problem solving skills, communication, teamwork, and customer service skills.
https://careers-engility.icims.com/jobs/38998/job?mobile=false&width=690&height=500&bga=true&needsRedirect=false&jan1offset=660&jun1offset=600
محل کار : US-MD-North Bethesda
#job #linux #clustering #beowulf @unixmens #oversea
Engility delivers innovative solutions to critical challenges facing the nation and the world. As a premier provider of integrated services for the U.S. government, we support the Department of Defense, intelligence community, space communities, federal civilian agencies and international customers. Engility is dedicated to making lives better, safer and more secure.
Description
Provide AIT Level II Support
Linux Server and system administration support;
Planning, design, installation, configuration, documentation, system remediation, operations and maintenance, performance tuning, data protection, backup, and recovery;
Interfacing with vendors and service providers for analysis and troubleshooting;
User support, including, but not limited to: hardware, software, and multimedia support services;
Security requirement implementation;
Monitoring high performance computing clusters, servers, storage arrays, high performance workstations, and associated elements.
The HPC environment comprises two Beowulf clusters with 1,500 - 2,000 cores each, running CentOS and Scyld, plus a Cray with approximately 3,200 cores, running ROCKS. Nodes are connected via InfiniBand and 10G Ethernet. Data is stored on multiple network attached storage systems of varying technologies and is shared with advanced engineering workstations running Red Hat Enterprise Linux.
Required Qualifications
Active Secret Clearance
Bachelor’s degree in computer engineering, computer science, or information technology from an accredited college/university.
In lieu of the bachelor’s degree, the Linux Engineer may have one of the following certifications: GSEC; Security + (CE) Certificate; SSCP Certificate; or CNSSI/NSTISSI 4115/4016 Certificate.
The administrator shall have at least four years of Linux system administration experience.
Work experience shall also include/demonstrate the following:
Expertise in Lightweight Directory Access Protocol (LDAP), Network File System (NFS)\
Domain Name Service (DNS), and Secure Shell (SSH);
Ability to write and maintain Linux and Perl shell scripts;
Understanding of security and network/distributed computing concepts;
Strong technical problem solving skills, communication, teamwork, and customer service skills.
https://careers-engility.icims.com/jobs/38998/job?mobile=false&width=690&height=500&bga=true&needsRedirect=false&jan1offset=660&jun1offset=600
محل کار : US-MD-North Bethesda
#job #linux #clustering #beowulf @unixmens #oversea
Careers
Linux Systems Administrator
- Provide AIT Level II Support
- Linux Server and system administration support;
- Planning, design, installation, configuration, documentation, system remediation, operations and maintenance, performance tuning, data protection, backup, and recovery; …
- Linux Server and system administration support;
- Planning, design, installation, configuration, documentation, system remediation, operations and maintenance, performance tuning, data protection, backup, and recovery; …
دانشمندان موفق شدهاند با الهام گرفتن از يك روايت كهن ، شيوه كارآمد و در عين حال ارزاني را براي دستيابي به توانهاي محاسباتي بسيار بالا ، تكميل كنند. به نوشته ماهنامه علمي
" ساينتيفيك آمريكن " اين شيوه هماكنون در بسياري از مراكز علمي و آزمايشگاههاي تحقيقاتي ، مورد استفاده قرار گرفته است.
در افسانههاي قديمي آمده است كه روزي گذار كهنه سربازي گرسنه و بيپول به دهي فقرزده افتاد و براي رفع گرسنگي ابتكاري به خرج داد. او به مردم دهكده گفت كه ميتواند با استفاده از يك ديگ بزرگ آب جوش و يك تكه سنگ آش خوشمزهاي بپزد. مردم ده ابتدا با ناباوري به او كه ديگ را بار گزارده بود نگريستند ، اما بعد هر يك براي آنكه سهمي از آش داشته باشند ، با اهدا يك تكه كوچك گوشت يا يك دسته سبزي ، يا يكي دو تا هويج ، يا مشتي برنج ، در كار پختن و تهيه آش مشاركت كردند. دست آخر درون ديگ آنقدر ماده خوردني جاي گرفته بود كه محصول نهايي را به اندازه كافي خوشمزه و مغذي ميكرد. به نوشته اين ماهنامه ، محققان آزمايشگاه ملي
" اوك ريج " با استفاده از همين تمثيل ابر كامپيوتر تازهاي موسوم به " سنگ " را تكميل كردهاند كه متشكل از 130 كامپيوتر معمولي است كه به صورت كلاستري عمل ميكنند. يكي از اين 130 دستگاه به عنوان ورودي كل سيستم عمل ميكند كه از يك سو با شبكهها و سيستمهاي ديگر در تماس است و از سويي ديگر با بقيه اعضا شبكه خود ارتباط برقرار ميكند. اين شبكه مسائلي را كه بدان محول ميشود ، با استفاده از شيوه محاسبه موازي و با تقسيم كار ميان اعضاء شبكه به انجام ميرساند.
يكي از بزرگترين طرحهايي كه اين ابر كامپيوتر مونتاژ شده از عهده آن برآمده ، تهيه نقشه جامعي از ايالات متحده است كه در آن كل مساحت امريكا به 8/7 ميليون قطعه ، هر يك به مساحت يك كيلومتر مربع ، تقسيم شده و 25 مولفه آب و هوايي مختلف براي نقاط گوناگون آن در نظر گرفته شده و در مجموع 1000 ناحيه آب و هوايي متفاوت در آن منظور شده است.
هرچند انديشه به هم پيوستن كامپيوترهاي معمولي و يا قديمي براي دستيابي به توان عملياتي بالاتر ، انديشه تازهاي نيست و سابقه آن به دهه 1950 باز ميگردد ، اما تنها در چند سال اخير است كه ظهور نرمافزارهاي جديد امكان بهرهگيري كلاستري از كامپيوترهاي ديجيتالي را فراهم آورده است. به عنوان نمونه ، هماكنون در موزه تاريخ طبيعي آمريكا ، 560 كامپيوتر پنتيوم 3 موجود است كه محققان با به هم پيوستن آنها ، ابر كامپيوتر قدرتمندي را بوجود آوردهاند كه از آن براي بررسي در نحوه تطور اختران و ستارگان بهره گرفته ميشود.
نكته حائز اهميت در رهيافت تازه آن است كه ميتوان از كامپيوترهاي موجود در اوقاتي كه كاربران اصلي آنها از آنها استفاده نميكنند ، بهره گرفت. به عنوان مثال ، پروژه " ستي " كه به وسيله دانشگاه كاليفرنيا و براي بررسي امكان وجود موجودات هوشمند در كيهان در حال اجراست ، فعاليت خود را از طريق اينترنت و به كمك 3 ميليون كامپيوتر شخصي متعلق به شهروندان ، و در ساعات آخر شب كه كامپيوترها مورد استفاده صاحبان آنها نيستند ، دنبال ميكند.
#clustering #hp #hpc #linux #beowulf @unixmens
" ساينتيفيك آمريكن " اين شيوه هماكنون در بسياري از مراكز علمي و آزمايشگاههاي تحقيقاتي ، مورد استفاده قرار گرفته است.
در افسانههاي قديمي آمده است كه روزي گذار كهنه سربازي گرسنه و بيپول به دهي فقرزده افتاد و براي رفع گرسنگي ابتكاري به خرج داد. او به مردم دهكده گفت كه ميتواند با استفاده از يك ديگ بزرگ آب جوش و يك تكه سنگ آش خوشمزهاي بپزد. مردم ده ابتدا با ناباوري به او كه ديگ را بار گزارده بود نگريستند ، اما بعد هر يك براي آنكه سهمي از آش داشته باشند ، با اهدا يك تكه كوچك گوشت يا يك دسته سبزي ، يا يكي دو تا هويج ، يا مشتي برنج ، در كار پختن و تهيه آش مشاركت كردند. دست آخر درون ديگ آنقدر ماده خوردني جاي گرفته بود كه محصول نهايي را به اندازه كافي خوشمزه و مغذي ميكرد. به نوشته اين ماهنامه ، محققان آزمايشگاه ملي
" اوك ريج " با استفاده از همين تمثيل ابر كامپيوتر تازهاي موسوم به " سنگ " را تكميل كردهاند كه متشكل از 130 كامپيوتر معمولي است كه به صورت كلاستري عمل ميكنند. يكي از اين 130 دستگاه به عنوان ورودي كل سيستم عمل ميكند كه از يك سو با شبكهها و سيستمهاي ديگر در تماس است و از سويي ديگر با بقيه اعضا شبكه خود ارتباط برقرار ميكند. اين شبكه مسائلي را كه بدان محول ميشود ، با استفاده از شيوه محاسبه موازي و با تقسيم كار ميان اعضاء شبكه به انجام ميرساند.
يكي از بزرگترين طرحهايي كه اين ابر كامپيوتر مونتاژ شده از عهده آن برآمده ، تهيه نقشه جامعي از ايالات متحده است كه در آن كل مساحت امريكا به 8/7 ميليون قطعه ، هر يك به مساحت يك كيلومتر مربع ، تقسيم شده و 25 مولفه آب و هوايي مختلف براي نقاط گوناگون آن در نظر گرفته شده و در مجموع 1000 ناحيه آب و هوايي متفاوت در آن منظور شده است.
هرچند انديشه به هم پيوستن كامپيوترهاي معمولي و يا قديمي براي دستيابي به توان عملياتي بالاتر ، انديشه تازهاي نيست و سابقه آن به دهه 1950 باز ميگردد ، اما تنها در چند سال اخير است كه ظهور نرمافزارهاي جديد امكان بهرهگيري كلاستري از كامپيوترهاي ديجيتالي را فراهم آورده است. به عنوان نمونه ، هماكنون در موزه تاريخ طبيعي آمريكا ، 560 كامپيوتر پنتيوم 3 موجود است كه محققان با به هم پيوستن آنها ، ابر كامپيوتر قدرتمندي را بوجود آوردهاند كه از آن براي بررسي در نحوه تطور اختران و ستارگان بهره گرفته ميشود.
نكته حائز اهميت در رهيافت تازه آن است كه ميتوان از كامپيوترهاي موجود در اوقاتي كه كاربران اصلي آنها از آنها استفاده نميكنند ، بهره گرفت. به عنوان مثال ، پروژه " ستي " كه به وسيله دانشگاه كاليفرنيا و براي بررسي امكان وجود موجودات هوشمند در كيهان در حال اجراست ، فعاليت خود را از طريق اينترنت و به كمك 3 ميليون كامپيوتر شخصي متعلق به شهروندان ، و در ساعات آخر شب كه كامپيوترها مورد استفاده صاحبان آنها نيستند ، دنبال ميكند.
#clustering #hp #hpc #linux #beowulf @unixmens
بيشتر اوقات برنامههاي كاربردي به توان محاسباتي بالاتري نسبت به آنچه كه يك كامپيوتر ترتيبي ميتواند ارائه دهد ، نياز دارند. يكي از راههاي غلبه بر اين محدوديت بهبود بخشيدن سرعت عملياتي پردازندهها و ساير اجزا ميباشد ، بطوريكه آنها بتوانند توان مورد نياز برنامههاي كاربردي كه داراي محاسبات وسيع و گسترده هستند را فراهم نمايند. اگر چه در سالهاي اخير اين امكان تا اندازهاي مهيا شده است ، ليكن سرعت نور ، قوانين ترموديناميك و هزينههاي سنگين ساخت پردازنده موانعي در جهت پيشرفتهاي آتي ايجاد كردهاند. يكي از راهحلهاي موثر و كمهزينه اتصال چندين پردازنده به يكديگر و هماهنگ نمودن عمليات و توان محاسباتي آنها ميباشد. سيستمهاي بوجود آمده تحت عنوان " كامپيوترهاي موازي " شهرت دارند و اجازه تقسيم يك كار محاسباتي بين چند پردازشگر را ميدهند.
همانگونه كه فيستر اشاره ميكند ، جهت بهبود عملكرد يك سيستم سه راه وجود دارد :
كار و تلاش بيشتر
كاركرد موثر و كارآمد
كمك گرفتن
در اصطلاح تكنولوژيهاي محاسباتي ، كار و تلاش بيشتر به مثابه استفاده از سختافزار سريعتر
( پردازندهها و دستگاههاي جانبي با كارآيي و سرعت بالا ) ميباشد. كاركرد موثر و كارآمد به مثابه انجام كارها بصورت كارا بوده و در رابطه با الگوريتمها و تكنيكهايي كه جهت حل مسائل و كارهاي محاسباتي استفاده ميشوند ، صحبت به عمل ميآورد. و در نهايت كمك گرفتن به بكارگيري چندين كامپيوتر جهت حل يك مسئله خاص اشاره دارد.
1 – 1 دورههاي محاسبات
صنعت محاسبه يكي از صنايعي است كه سريعترين رشد را داشته و از دستاوردهاي فني پرشتاب در حوزههاي سختافزار و نرمافزار بهره جسته است. پيشرفتهاي تكنولوژي در عرصه سختافزار ، رشد و توسعه تراشهها ، فنآوريهاي ساخت تراشه ، ريزپردازندههاي سريع و ارزان و همچنين پهناي باند بالا و شبكههاي ارتباطي با تاخير كم ميباشند. در بين اين موارد پيشرفتهاي اخير در فنآوري VLSI ( تجمع در مقياس بسيار وسيع ) نقش مهمي در رشد كامپيوترهاي ترتيبي و موازي ايفا كرده است. فنآوري نرمافزار نيز به سرعت در حال رشد ميباشد. نرمافزارهاي پيشرفتهاي چون سيستمعاملها ، زبانهاي برنامهنويسي ، متدهاي توسعه و ابزارها ، همگي در دسترس ميباشند. اينها باعث رشد و ساماندهي برنامههاي كاربردي در جهت خدمت به نيازهاي علمي ، مهندسي و تجاري شدهاند. همچنين بايد خاطر نشان كرد كه برنامههاي بزرگ و قدرتمند نظير پيشبيني وضع هوا و تحليل و بررسي زلزله ، عامل اصلي رشد و توسعه كامپيوترهاي موازي قدرتمند بودهاند.
يكي از راههاي مشاهده محاسبه تقسيم آن به دو عصر ميباشد :
عصر محاسبه ترتيبي
عصر محاسبه موازي
شكل شماره 2 تغييراتي كه در عصرهاي محاسبات بوجود آمده است را نشان ميدهد. هر عصر محاسبه با يك توسعه در معماريهاي سختافزاري و به دنبال آن نرمافزار سيستم ( به ويژه در حوزه كامپايلرها و سيستمعاملها ) و برنامههاي كاربردي شروع شده و در نهايت با رشد در PSE ها
( محيطهاي حل مسئله ) به اوج خود رسيده است. هر جزء از سيستم محاسباتي داراي سه فاز R&D ( تحقيق و توسعه ) ، تجاريسازي و توليد جنس ميباشد. فنآوري كه در وراي توسعه اجزاي سيستم محاسبه در عصر ترتيبي وجود دارد به تكامل رسيده است و رشدهاي مشابهاي هنوز بايد در عصر موازي رخ دهند. يعني ، فنآوري محاسبه موازي هنوز جاي رشد و توسعه دارد ، زيرا به اندازه كافي پيشرفت نكرده است تا به عنوان يك تكنولوژي توليد كالا مطرح شود.
#clustering #hp #hpc #linux #beowulf @unixmens
همانگونه كه فيستر اشاره ميكند ، جهت بهبود عملكرد يك سيستم سه راه وجود دارد :
كار و تلاش بيشتر
كاركرد موثر و كارآمد
كمك گرفتن
در اصطلاح تكنولوژيهاي محاسباتي ، كار و تلاش بيشتر به مثابه استفاده از سختافزار سريعتر
( پردازندهها و دستگاههاي جانبي با كارآيي و سرعت بالا ) ميباشد. كاركرد موثر و كارآمد به مثابه انجام كارها بصورت كارا بوده و در رابطه با الگوريتمها و تكنيكهايي كه جهت حل مسائل و كارهاي محاسباتي استفاده ميشوند ، صحبت به عمل ميآورد. و در نهايت كمك گرفتن به بكارگيري چندين كامپيوتر جهت حل يك مسئله خاص اشاره دارد.
1 – 1 دورههاي محاسبات
صنعت محاسبه يكي از صنايعي است كه سريعترين رشد را داشته و از دستاوردهاي فني پرشتاب در حوزههاي سختافزار و نرمافزار بهره جسته است. پيشرفتهاي تكنولوژي در عرصه سختافزار ، رشد و توسعه تراشهها ، فنآوريهاي ساخت تراشه ، ريزپردازندههاي سريع و ارزان و همچنين پهناي باند بالا و شبكههاي ارتباطي با تاخير كم ميباشند. در بين اين موارد پيشرفتهاي اخير در فنآوري VLSI ( تجمع در مقياس بسيار وسيع ) نقش مهمي در رشد كامپيوترهاي ترتيبي و موازي ايفا كرده است. فنآوري نرمافزار نيز به سرعت در حال رشد ميباشد. نرمافزارهاي پيشرفتهاي چون سيستمعاملها ، زبانهاي برنامهنويسي ، متدهاي توسعه و ابزارها ، همگي در دسترس ميباشند. اينها باعث رشد و ساماندهي برنامههاي كاربردي در جهت خدمت به نيازهاي علمي ، مهندسي و تجاري شدهاند. همچنين بايد خاطر نشان كرد كه برنامههاي بزرگ و قدرتمند نظير پيشبيني وضع هوا و تحليل و بررسي زلزله ، عامل اصلي رشد و توسعه كامپيوترهاي موازي قدرتمند بودهاند.
يكي از راههاي مشاهده محاسبه تقسيم آن به دو عصر ميباشد :
عصر محاسبه ترتيبي
عصر محاسبه موازي
شكل شماره 2 تغييراتي كه در عصرهاي محاسبات بوجود آمده است را نشان ميدهد. هر عصر محاسبه با يك توسعه در معماريهاي سختافزاري و به دنبال آن نرمافزار سيستم ( به ويژه در حوزه كامپايلرها و سيستمعاملها ) و برنامههاي كاربردي شروع شده و در نهايت با رشد در PSE ها
( محيطهاي حل مسئله ) به اوج خود رسيده است. هر جزء از سيستم محاسباتي داراي سه فاز R&D ( تحقيق و توسعه ) ، تجاريسازي و توليد جنس ميباشد. فنآوري كه در وراي توسعه اجزاي سيستم محاسبه در عصر ترتيبي وجود دارد به تكامل رسيده است و رشدهاي مشابهاي هنوز بايد در عصر موازي رخ دهند. يعني ، فنآوري محاسبه موازي هنوز جاي رشد و توسعه دارد ، زيرا به اندازه كافي پيشرفت نكرده است تا به عنوان يك تكنولوژي توليد كالا مطرح شود.
#clustering #hp #hpc #linux #beowulf @unixmens
دليل اصلي ايجاد و استفاده كامپيوترهاي موازي غلبه بر تنگناي سرعت كم پردازشگر واحد با استفاده از موازيسازي ميباشد. علاوه بر اين ، نسبت بها / عملكرد يك كامپيوتر موازي كوچك بر مبناي كلاستر در مقايسه با يك ميني كامپيوتر ، بسيار كوچكتر و در نتيجه از بهاي مناسبتري برخوردار خواهد بود. خلاصه اينكه ، توسعه و توليد سيستمهايي كه سرعت متوسطي داشته و از معماريهاي موازي استفاده ميكنند بسيار ارزانتر از ايجاد عملكرد معادل در يك سيستم ترتيبي ميباشد.
در بخشهاي باقيمانده ، گزينههاي معماري براي ساختن كامپيوترهاي موازي ، محركهاي تغيير در جهت محاسبه موازي كمهزينه ، مدل كلي يك كامپيوتر كلاستر شده ، اجزاي بكار گرفته شده در ساخت كلاستر، ميانافزار كلاستر ، مديريت و برنامهريزي منابع ، ابزارها و محيطهاي برنامهنويسي و سيستمهاي نماينده كلاستر مورد بحث قرار خواهند گرفت. در نهايت تكنولوژيهايي كه در آينده در رابطه با كلاستر وجود خواهند داشت نيز توضيح داده ميشوند.
2 - معماريهاي مقياسپذير كامپيوتر موازي
در طول دهههاي گذشته ، سيستمهاي كامپيوتري بسيار متفاوتي كه از عملكرد محاسباتي بالايي برخوردار بودهاند ، پديدار گشتهاند. طبقهبندي آنها بر مبناي چگونگي پردازندهها ، حافظه و اتصالات دروني بوده است. رايجترين سيستمها عبارتند از :
پردازندههاي موازي گسترده ( MPP )
چندپردازندههاي متقارن ( SMP )
دسترسي به حافظه غير همشكل و يكسان بودن كاشه ( CC-NUMA )
سيستمهاي توزيعي
كلاسترها ( Clusters )
جدول شماره 1 مقايسه ويژگيهاي معماري و عملياتي ماشينهاي بالا را نشان ميدهد.
در واقع MPP معمولاً يك سيستم پردازش موازي بزرگ است كه در معماري آن منبع مشترك وجود ندارد. اين سيستم شامل چند صد واحد پردازش ( گره ) ميباشد كه از طريق يك شبكه يا سوييچ ارتباطي با سرعت بالا به يكديگر متصل شدهاند. هر گره ( Node ) ميتواند تنوعي از اجزاء سختافزاري داشته باشد ، اما عموماً شامل يك يا چند پردازنده و يك حافظه اصلي است. بعلاوه ، گرههاي ويژه ميتوانند وسايل جانبي نظير ديسكها و يا سيستمهاي پشتيبان داشته باشند. هر گره يك نسخه جداگانه از سيستمعامل را اجرا ميكند.
#clustering #hp #hpc #linux #beowulf @unixmens
در بخشهاي باقيمانده ، گزينههاي معماري براي ساختن كامپيوترهاي موازي ، محركهاي تغيير در جهت محاسبه موازي كمهزينه ، مدل كلي يك كامپيوتر كلاستر شده ، اجزاي بكار گرفته شده در ساخت كلاستر، ميانافزار كلاستر ، مديريت و برنامهريزي منابع ، ابزارها و محيطهاي برنامهنويسي و سيستمهاي نماينده كلاستر مورد بحث قرار خواهند گرفت. در نهايت تكنولوژيهايي كه در آينده در رابطه با كلاستر وجود خواهند داشت نيز توضيح داده ميشوند.
2 - معماريهاي مقياسپذير كامپيوتر موازي
در طول دهههاي گذشته ، سيستمهاي كامپيوتري بسيار متفاوتي كه از عملكرد محاسباتي بالايي برخوردار بودهاند ، پديدار گشتهاند. طبقهبندي آنها بر مبناي چگونگي پردازندهها ، حافظه و اتصالات دروني بوده است. رايجترين سيستمها عبارتند از :
پردازندههاي موازي گسترده ( MPP )
چندپردازندههاي متقارن ( SMP )
دسترسي به حافظه غير همشكل و يكسان بودن كاشه ( CC-NUMA )
سيستمهاي توزيعي
كلاسترها ( Clusters )
جدول شماره 1 مقايسه ويژگيهاي معماري و عملياتي ماشينهاي بالا را نشان ميدهد.
در واقع MPP معمولاً يك سيستم پردازش موازي بزرگ است كه در معماري آن منبع مشترك وجود ندارد. اين سيستم شامل چند صد واحد پردازش ( گره ) ميباشد كه از طريق يك شبكه يا سوييچ ارتباطي با سرعت بالا به يكديگر متصل شدهاند. هر گره ( Node ) ميتواند تنوعي از اجزاء سختافزاري داشته باشد ، اما عموماً شامل يك يا چند پردازنده و يك حافظه اصلي است. بعلاوه ، گرههاي ويژه ميتوانند وسايل جانبي نظير ديسكها و يا سيستمهاي پشتيبان داشته باشند. هر گره يك نسخه جداگانه از سيستمعامل را اجرا ميكند.
#clustering #hp #hpc #linux #beowulf @unixmens
برنامههاي كاربردي موازي و مقياسپذير نياز به عمليات مميز شناور با كارآيي بالا ، ارتباطات با تاخير كم و پهناي باند زياد ، پهناي باند قابل انعطاف و دسترسي سريع به فايلها خواهند داشت. نرمافزار كلاستر ميتواند اين نيازمنديها را با استفاده از منابعي كه جهت هر كلاستر وجود دارند ، مهيا كند. ميتوان سيستم فايلي كه از ورودي و خروجي موازي پشتيباني به عمل ميآورد را با استفاده از ديسكهايي كه جهت هر ايستگاه كاري وجود دارد بجاي استفاده از RAID سختافزاري گرانقيمت ، بوجود آورد. ميتوان كارآيي حافظه مجازي را با استفاده از حافظه شبكه به عنوان يك فضاي ذخيرهسازي جبراني بجاي ديسك سخت ، بطور موثري بهبود بخشيد. سيستمهاي فايل موازي و حافظه شبكه به نوعي شكاف بزرگ كارآيي مابين پردازندهها و ديسكها را كوچكتر كرده و تقليل ميدهند.
متصل نمودن گرههاي موجود در يك كلاستر با استفاده از شبكه اترنت استاندارد و يا شبكههاي مخصوص با كارآيي بالا نظير Myrinet امري متداول ميباشد. اين چند شبكه ميتوانند جهت انتقال اطلاعات بين گرههاي موجود در كلاستر بصورت موازي مورد استفاده قرار گيرند. نرمافزار ارتباط چندمسيره در گرهاي فرستنده اطلاعات عمل مالتيپلكسينگ دادهها را انجام داده و سپس آن را از طريق شبكههاي چندگانه ارسال ميكند ، سپس در گره مقصد و يا گيرنده نيز عمل ديمالتيپلكسينگ دادهها را انجام ميدهد. به همين دليل تمامي شبكههاي موجود ميتوانند جهت انتقال اطلاعات سريع مابين گرههاي يك كلاستر مورد استفاده قرار گيرند.
#clustering #hp #hpc #linux #beowulf @unixmens
متصل نمودن گرههاي موجود در يك كلاستر با استفاده از شبكه اترنت استاندارد و يا شبكههاي مخصوص با كارآيي بالا نظير Myrinet امري متداول ميباشد. اين چند شبكه ميتوانند جهت انتقال اطلاعات بين گرههاي موجود در كلاستر بصورت موازي مورد استفاده قرار گيرند. نرمافزار ارتباط چندمسيره در گرهاي فرستنده اطلاعات عمل مالتيپلكسينگ دادهها را انجام داده و سپس آن را از طريق شبكههاي چندگانه ارسال ميكند ، سپس در گره مقصد و يا گيرنده نيز عمل ديمالتيپلكسينگ دادهها را انجام ميدهد. به همين دليل تمامي شبكههاي موجود ميتوانند جهت انتقال اطلاعات سريع مابين گرههاي يك كلاستر مورد استفاده قرار گيرند.
#clustering #hp #hpc #linux #beowulf @unixmens