کلان داده و داکر و hive , hdfs و لینوکس و پایتون

#big_data, #hadoop, #linux, #python

تمرین درس است مربوط به مباحث کلان داده ها و داکر و hdfs و نیاز به دانستم پایتون و لینوکس و پایگاه داده ها است


توسط خریدار: کاربر347623

اطلاعات بیشتر:
https://parscoders.com/project/305210/کلان-داده-و-داکر-و-hive-,-hdfs-و-لینوکس-و-پایتون

t.me/ParscodersCom

تمرین بسیار ساده با hadoop و spark

#hadoop

سلام
تمرین بسیار ساده با Hadoop و Spark .
فایل سوال ضمیمه است .


توسط خریدار: m-rahimi

اطلاعات بیشتر:
https://parscoders.com/project/317682/تمرین-بسیار-ساده-با-hadoop-و-spark

t.me/ParscodersCom

بررسی پارامترهای HDFS ، شمارنده های MapReduce و معیارهای YARN در Hadoop
🔸 پروژه ویژه

#hadoop

بررسی پارامترهای Hadoop
یک تمرین درسی است و نتیجه کار گزارشی است در قالب فایل word که شامل توضیحات کامل درباره سه سوال زیر می باشد به همراه با تصاویر اسکرین شات از مراحل اجرای هدوپ برای پاسخ به سوالات
الف) بررسی معیارهای (metrics) HDFS با استفاده از HTTP API 
۵ معیار مهم از نظر خودتان را با ذکر کاربرد و دلیل اهمیت آن معرفی کنید. برای هر معیار حداقل یکی - دو پاراگراف توضیح داده شود و عکس هایی از مراحل اجرای آن معیار گذاشته شود که کاربرد آن معیار و نتیجه ی اجرای آن را نشان می دهد  
 ب)‌ پایش شمارنده های MapReduce با استفاده از web UI.
نحوه پایش اجرای taskهای MapReduce را با استفاده از معیارهای مربوطه توضیح دهید. در هر مرحله اجرا عکس هایی تهیه شده که توضیحات ارائه شده را به خوبی تایید و تکمیل کند. 
ج) بررسی معیارهای YARN با استفاده از HTTP API 
۵ معیار مهمتر از نظر خودتان را که نتیجه Jason است با ذکر کاربرد و دلیل اهمیت آن معرفی کنید.
برای هر معیار حداقل یکی - دو پاراگراف توضیح داده شود و عکس هایی از مراحل اجرای آن معیار گذاشته شود که کاربرد آن معیار و نتیجه ی اجرای آن را نشان می دهد.
در گزارش فنی که تحویل خواهید داد، مراحل و نتایج تحلیل را بصورت کامل ارائه نمایید. در این گزارش از کلیه اجرا و نتایج بر روی کامپیوتر خود تصاویر مناسب قرار دهید.
به ارسال تصاویر موجود در راهنماهای موجود در اینترنت هیج نمره تعلق نمی گیرد. 
توضیحات می بایست مرتبط ، کامل و در عین حال خلاصه باشد. دقیقا به موضوعات اشاره سوال اشاره کند و روند منطقی داشته باشد. می تواند کل گزارش به زبان انگلیسی باشد که در این صورت توجه شود بدون غلط و اشکال گرامری باشد. صرفا کپی از منبع نبوده و ویرایش شده باشد. قسمت های اضافی حذف و موارد هدف سوال به خوبی پوشش داده شود.
جهت پاسخ ب سوالات سایت زیر هم به نظر مفید بود : 
How to Collect Hadoop Metrics | Datadog (datadoghq.com)


توسط خریدار: کاربر326436

اطلاعات بیشتر:
https://parscoders.com/project/318867/بررسی-پارامترهای-hdfs-،-شمارنده-های-mapreduce-و-معیارهای-yarn-در-hadoop

t.me/ParscodersCom

تمرین بسیار ساده با hadoop و spark

#hadoop

با سلام
جهت انجام چند تمرین ساده و یک پروژه با hadoop و spark در محیط ویندوز به یک مجری نیازمندیم . لطفاً افرادی که تجربه و سابقه کار با hadoop و spark را دارند پیام دهند . 
سپاس


توسط خریدار: m_parsi

اطلاعات بیشتر:
https://parscoders.com/project/321683/تمرین-بسیار-ساده-با-hadoop-و-spark

t.me/ParscodersCom

پروژه Hadoop

#big_data, #database_administration, #hadoop

سلام دوستان عزیز ، پروژه مورد نظر با نرم افزار HADOOP قرار هست نوشته بشه با شرایط زیر :
1:دیتا ست مورد نظر مربوط به الودگی هوا باشه یا بیماری های تنفسی از سایت های رایج دیتابیس مثل KAGGLE.COM
2:اینتگریت و ایمپورت کردن دیتاست مورد نظر در فضای مناسب ذخیره و پردازش 
3:انالیز و استخراج اطلاعات کاربردی از دیتاست
4:ویژوالیزیشن کردن انالیز از طریق ابزار موجود در HADOOP
با تشکر از تیم پارس کدرز .. در پیوست موارد رو به انگلیسی هم پیوست کردم تا به درک موضوع کمک کنه


توسط خریدار: کاربر332161

اطلاعات بیشتر:
https://parscoders.com/project/353753/پروژه-hadoop

t.me/ParscodersCom

پیاده سازی بخشی از یک مقاله که مربوط به الگوریتم توزیع شده یافتن مجموعه آیتم های مکرر (Freqent itemset) روی دیتای مشخص و با استفاده از Map reduce است

#big_data, #hadoop, #map_reduce, #python, #data_mining

مقاله ای با عنوان 
Paradigm and performance analysis of distributed frequent itemset mining algorithms based on Mapreduce 
که فایل ضمیمه آن در اختیار قرار میگیرد دو الگوریتم داده کاوی بر روی دیتا برای یافتن مجموعه آیتم های مکرر بر روی کلان داده ها پیشنهاد داده شده است که اولین نوع آن یعنی LOCAL GLOBAL باید در پایتون کدنویسی شود وفریمورک HADOOP برای استفاده map reduce روی سرور لوکال یا واقعی راه اندازی شود تا  با دیتاستی که در اختیار قرار میگیرد تست شود و نتایج آن که زمان اجرا و تعداد مجموعه آیتم هاست مشخص گردد.


توسط خریدار: کاربر397146

اطلاعات بیشتر:
https://parscoders.com/project/355597/پیاده-سازی-بخشی-از-یک-مقاله-که-مربوط-به-الگوریتم-توزیع-شده-یافتن-مجموعه-آیتم-های-مکرر-freqent-itemset-روی-دیتای-مشخص-و-با-استفاده-از-map-reduce-است

t.me/ParscodersCom

نصب برنامه hadoopروی Ubuntu

#hadoop

نصب برنامه Hadoop رویubuntu نصب شده روی VMware 


توسط خریدار: کاربر402674

اطلاعات بیشتر:
https://parscoders.com/project/361877/نصب-برنامه-hadoopروی-ubuntu

t.me/ParscodersCom

پروژه هوم ورک python + spark
🔸 فوری

#big_data, #hadoop, #python, #pyspark

سلام، وقت بخیرT
فایل .ipynb رو اتاج کرده ام، اول کد یکسری مسیرها داده شده برای خوندن چنتا فایل، اون فایلها توی لینوکس هستن که من اون فایلها رو از روی سیستم برمیدارم و بهتون میدم. و باید به 2 سوال پایانی در فایل .ipynb  جواب داده بشه. فرصت تا سه شنبه شب هست.
ممنونم


توسط خریدار: کاربر388533

اطلاعات بیشتر:
https://parscoders.com/project/362448/پروژه-هوم-ورک-python-plus-spark

t.me/ParscodersCom

پروژه bigdata

#hadoop

پروژه big data
با برنامه hadoop
یا mongodb
پیاده سازی بشه


توسط خریدار: کاربر398474

اطلاعات بیشتر:
https://parscoders.com/project/363012/پروژه-bigdata

t.me/ParscodersCom

Big dataپیشرفته

#hadoop, #pyspark

به صورت فیلم و ورد به صورت کامل برای توضیح همه قسمت های پروژه برای ارائه دادن بنده در کلاس 
فایل جزوه ها و پروژه درسیستم بارگزاری شد 


توسط خریدار: کاربر410428

اطلاعات بیشتر:
https://parscoders.com/project/371267/big-dataپیشرفته

t.me/ParscodersCom

محاسبه یک فرمول ریاضی بصورت موازی با دو یا چند کامپیوتر

#hadoop, #java

با سلام
دیتاست و فرمول رو من میدم و محاسبات با هدوپ و 2 یا بیشتر node باید انجام شود.


توسط خریدار: کاربر426555

اطلاعات بیشتر:
https://parscoders.com/project/387778/محاسبه-یک-فرمول-ریاضی-بصورت-موازی-با-دو-یا-چند-کامپیوتر

t.me/ParscodersCom

پردازش داده های بزرگ – Taxi Trip Statistics

#big_data, #hadoop, #map_reduce, #python

You have two datasets: Trips.txt which records trip information, and Taxis.txt which is about taxi information. Both Trips.txt and Taxis.txt are stored on HDFS. Complete the following MapReduce programming tasks with Python.
A sample of Taxis.txt A sample of Trips.txt Assessment Type    − Individual assignment.− Submit online via Canvas → Assignment 1.− Marks awarded for meeting requirements as closely as possible.− Clarifications/updates may be made via announcements or relevant discussion forums.          Taxi#, company, model, year470,0,80,2018 332,11,88,2013 254,10,62,2018 460,4,90,2022 113,6,23,2015 275,16,13,2015 318,14,46,2014    Trip#, Taxi#, fare, distance, pickup_x, pickup_y, dropoff_x, dropoff_y0,354,232.64,127.23,46.069,85.566,10.355,4.83 1,173,283.7,150.74,5.02,31.765,88.386,27.265 2,8,83.84,43.17,63.269,33.156,92.953,60.647 3,340,259.2,136.3,14.729,13.356,14.304,90.273 4,32,270.07,152.65,27.965,13.37,77.925,62.82 5,64,378.31,202.95,1.145,94.519,98.296,35.469 6,480,235.98,121.23,66.982,66.912,5.02,31.765 7,410,293.16,162.29,2.841,95.636,91.029,16.232
Task 1 (5 marks)For each taxi, count the number of trips and the average distance per trip by developing MapReduce programs with Python. The program should implement in-mapper combining with state preserved across lines.The code must work for 3 reducers. You need to submit a shell script named task1-run.sh. Running the shell script, the task is performed where the shell script and code files are in the same folder (no subfolders).  RMIT Classification: TrustedTask 2 (10 marks)You are asked to write a MapReduce program with Python to cluster trips in Trips.txt based on pickup locations. Your code should implement k-medoid clustering algorithm known as Partitioning Around Medoids (PAM) algorithm which is described below:1. Initialize: randomly select 𝑘𝑘 of the 𝑛𝑛 data points as the medoids.2. Assignment step: Associate each data point to the closest medoid.3. Update step: For each medoid 𝑚𝑚 and each data point 𝑜𝑜 associated with 𝑚𝑚, swap 𝑚𝑚 and 𝑜𝑜, and compute the total cost of the configuration (that is, the average dissimilarity of 𝑜𝑜 to all the data pointsassociated to 𝑚𝑚). Select the medoid 𝑜𝑜 with the lowest cost of the configuration4. Repeatedly alternating steps 2 and 3 until there is no change in the assignments or after a givennumber 𝑣𝑣 of iterations.The code must work for 3 reducers, for different settings of 𝑘𝑘, and for different settings of 𝑣𝑣. Also, you should write up a shell script named task2-run.sh. Running the shell script, the task is performed where the shell script and code files are in the same folder (no subfolders). Note that 𝑘𝑘 and 𝑣𝑣 must be passed to task2-run.sh as arguments when it is executed.Task 3 (10 marks)You are required to use what you learned so far to solve a slightly more advanced task. The task is to write a MapReduce program with Python to count the number of trips for each taxi company. Both Taxis.txt and Trips.txt will be used and they are...


توسط خریدار: کاربر493380

اطلاعات بیشتر:
https://parscoders.com/project/435958/پردازش-داده-های-بزرگ-–-taxi-trip-statistics

t.me/ParscodersCom

پروژه بیگ دیتا با هدوپ (7113)

#big_data, #hadoop

باسلام
من یکار با هدوپ دارم بیگ دیتا واقعا کار خوب میخوام
بدون کپی باشه کار 
گزارشکارم 3000 کلکه ای حالا اونو به زبان اصلیه خودم میتونم کمک کنم بهتون 


توسط خریدار: payaprozhe

اطلاعات بیشتر:
https://parscoders.com/project/449893/پروژه-بیگ-دیتا-با-هدوپ-7113

t.me/ParscodersCom

پیاده سازی مقاله الگوریتم ذخیره سازی داده بهینه سازی شدة IoT مبتنی بر محاسبات ابری در سیستم توزیع شده به روش داخل مقاله
🔸 فوری

#hadoop, #python, #matlab, #training

پیاده سازی مقاله الگوریتم ذخیره سازی داده بهینه سازی شدة IoT مبتنی بر محاسبات ابری در سیستم توزیع شده به روش داخل مقاله درس سیستم های توزیع شده می باشد 
مقاله همراه با ترجمه کامل می باشد 


توسط خریدار: حسین-1134

اطلاعات بیشتر:
https://parscoders.com/project/476946/پیاده-سازی-مقاله-الگوریتم-ذخیره-سازی-داده-بهینه-سازی-شدة-iot-مبتنی-بر-محاسبات-ابری-در-سیستم-توزیع-شده-به-روش-داخل-مقاله

t.me/ParscodersCom

برنامه نویسی موازی با اسپارک

#hadoop, #parallels_automation, #python, #algorithm, #pyspark

سلام
توضیحات پروژه در فایل پیوست می باشد.
زمانئخیلی کمی دارم


توسط خریدار: مهندس-709

اطلاعات بیشتر:
https://parscoders.com/project/494765/برنامه-نویسی-موازی-با-اسپارک

t.me/ParscodersCom

پروژه Hadoop (76449)

#hadoop

سلام وقتتون بخیریه مثال حل شده mapreduce با Hdoopانجام بدین با یه قیمت دانشجویی تقریبا چقدر میشه؟یک مثال mapreduce با Hdoopحل بشهنرم افزار مورد استفاده Hadoopحل مپ ردیوس با هدوپ۳روزمهندسی کامپیوتر#Z


توسط خریدار: Hamyarprozhe

اطلاعات بیشتر:
https://parscoders.com/project/497385/پروژه-hadoop-76449

t.me/ParscodersCom

Top-k Term Weights Computationبا استفاده از MrJob
🔸 فوری

#big_data, #hadoop, #python

Top-k Term Weights Computation: تشخیص موضوعات محبوب و پرطرفدار از مقالات خبری برای نظارت بر افکار عمومی مهم است. در این پروژه، وظیفه شما تجزیه و تحلیل داده های متنی بر روی مجموعه داده ای از اخبار  با استفاده از MRJob است. مشکل این است که عبارت های k بالا را با بیشترین وزن برای هر سال در مجموعه مقالات خبری محاسبه کنیم.پروژه ال ۸۰٪ آن انجام شده فقط خروجی متفاوت میدهد که باید اصلاح شود. پروژه خیلی کوچکی است. فایل test.txt و abcnews.txt برای ورودی هستندشرح کامل پروژه: بصورت عکس ضمیمه کردم. خروجی برای abcnews.txt باید output.png باشه ولی مال من myoutput.png هست و براکت هم باید حذف بشه


توسط خریدار: mgh219

اطلاعات بیشتر:
https://parscoders.com/project/524265/top-k-term-weights-computationبا-استفاده-از-mrjob

t.me/ParscodersCom

مرتب سازی کلمات یک فایل

#hadoop

یک برنامه ساده دانشجویی در hadoop که کلمات یک فایل مرتب کند.


توسط خریدار: کاربر103250

اطلاعات بیشتر:
https://parscoders.com/project/528041/مرتب-سازی-کلمات-یک-فایل

t.me/ParscodersCom

تمرین کلاسی بیگ دیتا

#dotnet, #big_data, #hadoop, #javascript, #linux

تمرین کلاسیم هست میخوام کامل بدون نقص و سر موعد مقرر تحویل شه نمره ش برام خیلی مهمه


توسط خریدار: کاربر514225

اطلاعات بیشتر:
https://parscoders.com/project/539285/تمرین-کلاسی-بیگ-دیتا

t.me/ParscodersCom

تمرین بیگ دیتا

#big_data, #hadoop, #linux, #python, #pyspark

لطفا کسی واقعا وارده کمک کنه برای حل قسمتهای عملی میخوام بدون نقص انجام شه و یک گزارش کامل میخوام به نمره ۱۰۰از ۱۰۰احتیاج دارم


توسط خریدار: کاربر514225

اطلاعات بیشتر:
https://parscoders.com/project/542255/تمرین-بیگ-دیتا

t.me/ParscodersCom