نگاهی به تغییرات هدوپ در نسخه ۳

قسمت نخست

در ماه های انتهایی سال ۲۰۱۷ بعد از چندین سال کار مداوم، نسخه ۳ هدوپ به صورت رسمی عرضه شد. در این مقاله به قابلیتهای نوین این نسخه از چارچوب پردازشی محبوب کلان داده خواهیم پرداخت.

تغییرات اصلی که در این نسخه شاهد هستیم عبارتند از :

* ارتقا به نسخه ۸ جاوا
* پشتیبانی از الگوریتم کدگذاری Erasure در HDFS
* ارتقای سرویس خط زمان YARN و سهولت استفاده از داکر
* بازنویسی کدهای اسکریپت ها و دستورات خط فرمان
* استفاده از کتابخانه های جاوا (JAR فایل) تجمیع شده در هدوپ
* پشتیبانی از محفظه های اجرایی خوش بینانه
* بهینه سازی فرآیند توزیع و تجمیع در سطح Task
* تغییر پورت های پیش فرض بسیاری از سرویس های پایه هدوپ
* اتصال به سیستم فایل های جدید(اتصال به سرویس های ابری آمازون و مایکروسافت و .. .به صورت مستقیم)
* توزیع بار خودکار بین گره های داده (Data Node Load Balancer)
* بازنویسی مجدد برنامه های پشت صحنه هدوپ و ارتقای مدیریت حافظه آنها
#Hadoop #Tools #BigData

منبع: http://www.bigdata.ir/1396/12/%d9%86%da%af%d8%a7%d9%87%db%8c-%d8%a8%d9%87-%d8%a7%d9%85%da%a9%d8%a7%d9%86%d8%a7%d8%aa-%d9%87%d8%af%d9%88%d9%be-%db%b3/

#استخدام
در شهر مونیخ
How big is too big?

I am looking for multiple Big Data Engineers to join my client in Munich on a permanent basis.

Do you have strong experience with Hadoop and Scala and are interesting in working on an Autonomous Driving project?
If so, please comment below or email me at smouland@eu-recruit.com and we can have a chat today 😊

جهت تماس با شخص استخدام کننده به لینک زیر مراجعه شود :
https://www.linkedin.com/feed/update/urn:li:activity:6514455357551710208


کانال
https://t.me/Machinelearning_Kartal/1670