پروژه یادگیری عمیق lstm مبتنی بر اسپارک (4805)

#deep_learning, #pyspark

 موضوع: پروژه یادگیزی عمیق lstm مبتنی بر اسپارک                                     
  این سایتی هستش که داده ها توش قرار داده     
          https://www.unb.ca/cic/datasets/dohbrw-2020.html                         
  این هم اون مقاله اولیه هستش که باهاش شروع کردم این پروژه رو
 فقط من زیاد وقت ندارم و باید تا 15 این ماه نتایج و داشته باشم که تا آخر ماه بتونم ذفاع کنم
 کشف ترافیک‌های مخرب DNS بر بستر Http در شبکه‌های کامپیوتری با یادگیری عمیق LSTM در زمان واقعی مبتنی بر اسپارک
 شرح پایان نامه:
الف) تعریف موضوع(تعریف مسأله، هدف از اجرا و کاربرد نتایج تحقیق):
امروزه با توجه به گستردگی و پیچیدگی حملات سایبری در شبکه‌های اینترنتی، آماده بودن برای دفع آنها بسیار حائز اهمیت است. حمله مورد بحث در این تحقیق حملات بر بستر پروتکل معروف DNS  یا همان Domain Name Service که یکی از پروتکل‌های مهم و در عین حال آسیب‌پذیر شبکه می‌باشد. این پروتکل به علت داشتن روزنه‌های امنیتی در طول سالیان مکرر مورد توجه و استفاده مهاجمین و هکرها بوده است.
پژوهشگران حوزه امنیت جهت پوشش برخی از این روزنه‌های امنیتی پروتکلی به نام DoH یا DNS over Http را معرفی نمودند. با وجود امنیت این پروتکل در بسیاری از جهات، هکرها برای استفاده از آن و آلوده ساختن ترافیک‌های مبادله شده در بستر این پروتکل برای هدف‌های خود، راه‌هایی را به وجود آورده اند. از این رو تشخیص ترافیک‌های آلوده و مخرب در این پروتکل اهمیت بیشتری پیدا می‌کند. یکی از راه‌های تشخیص این گونه ترافیک‌ها استفاده از یادگیری عمیق در حوزه یادگیری ماشین می‌باشد که در حال حاضر کارشناسان حوزه امنیت در سطح جهان با استفاده و بهره‌گیری از آن می‌تواند رفتارهای غیر معمول و مخرب را در ترافیک‌های شبکه‌ای تشخیص دهند. اهمیت این موضوع از آن جهت است که در این حالت خطاهای انسانی در پایش ترافیک از بین می‌رود و همچنین رصد ترافیک به صورت تمام وقت صورت می‌پذیرد و در صورت مشاهده ترافیک غیر معمول می‌تواند هشدار صادر کند.
تحقق و تشخیص این نوع حملات می‌تواند به کارشناسان حوزه امنیت در ایجاد سامانه‌های هشدار بسیار کمک کننده،می‌باشد.

ب) ضرورت انجام تحقیق:
ایجاد امنیت سایبری در یک ساختار شبکه‌ای همواره یکی در دغدغه‌های مدیران ارشد IT و امنیت بوده و است. برای جلوگیری از حملات گسترده سایبری راه حل‌هایی مانند: ایجاد سامانه‌های SIEM برای پایش مداوم شبکه، استفاده از ابزارهایی که به ما دیدگاه‌هایی برای حملاتی که در  نقاط مختلف دنیا انجام شده را می‌دهند، و همچنین استفاده از فن‌آوری‌های نوین مانند یادگیری‌ماشین و.. که به تشخیص هرچه بهتر این حملات کمک بهتری می‌کنند. در این تحقیق سعی شده در مورد یکی از حملاتی که امروزه در حال استفاده است و می‌تواند در آینده گسترده تر مورد استفاده قرار گیرد، راه‌حل مناسبی ارائه گردد.
در طی سالیان گذشته سوء استفاده از پروتکل DNS همیشه بخش مهمی از نگرانی‌های کارشناسان حوزه امنیت بوده است. ایجاد بستر امن و همچنین دارا بودن یک حریم خصوصی برای ارسال درخواست‌ها و دریافت پاسخ‌ها، چالش بزرگی برای مهاجمان در ایجاد حملات پیچیده و به سرقت بردن داده‌های حساس، ایجاد کرده است.
برای از بین بردن بعضی از این آسیب‌پذیری‌ها که مرتبط با حریم خصوصی و دستکاری داده می‌باشد، سازمان IETF یک پروتکل به نام DNS over Http (DoH) در سند RFC8484 معرفی نمود. این پروتکل با استفاده از رمزنگاری درخواست‌های DNS و ارسال آنها در یک کانال امن و پنهانی باعث بالا بردن حریم خصوصی، جلوگیری از استراق سمع داده‌ها و جلوگیری ا...


توسط خریدار: کاربر110164

اطلاعات بیشتر:
https://parscoders.com/project/340981/پروژه-یادگیری-عمیق-lstm-مبتنی-بر-اسپارک-4805

t.me/ParscodersCom

توسعه یک روش یادگیری ماشین خودکار برای نگهداری پیش‌بینی‌کننده کارخانه‌های تولید

#big_data, #python, #pyspark

هدف از کار، توسعه یک روش یادگیری ماشین خودکار برای نگهداری پیش‌بینی‌کننده کارخانه‌های تولید است. این روش یادگیری می تواند به طور خودکار روی داده های فناوری های مختلف تولید اعمال شود و سپس یک مدل پیش بینی خوب برای وضعیت سلامت یا خرابی های قریب الوقوع ماشین آموزش داده شود. باید بررسی شود که آیا می توان از روش های یادگیری ماشین برای پیش بینی خرابی ماشین در مراحل اولیه بر اساس داده های فرآیند از کارخانه های تولید و داده های مستندات خطا استفاده کرد تا اقدامات تعمیر و نگهداری در زمان مناسب انجام شود.
برای رسیدن به این هدف باید مراحل مختلفی را طی کرد. ابتدا، تفاوت‌های بین داده‌ها و برچسب‌های مورد نظر موارد استفاده مختلف بررسی می‌شود. سپس یک مدل فرآیندی فرموله می‌شود که موارد استفاده مختلف، نحوه محاسبه ویژگی‌ها و خروجی مدل یادگیری ماشین را توصیف می‌کند. برای مثال بسته به اطلاعاتی که در دسترس است
سیگنال ها، مقادیر اندازه گیری شده و غیره، ویژگی ها محاسبه شده و خروجی ها تعریف می شوند. بر اساس این اطلاعات، روش یادگیری ماشین مناسب انتخاب می شود. این روش می تواند طبقه بندی یا رگرسیون و خوشه بندی/تشخیص ناهنجاری باشد. سپس برای موارد استفاده مختلف آزمایش و ارزیابی می شود. این بررسی می کند که آیا مدل فرآیند کار می کند یا خیر.
بنابراین، به عنوان بخشی از پایان نامه کارشناسی ارشد، بسته به اینکه ساختار داده ماشینی متعلق به کدام دسته باشد، یک روش یادگیری ماشینی مناسب انتخاب می شود که سپس بر روی داده های موجود اعمال می شود.


توسط خریدار: کاربر394198

اطلاعات بیشتر:
https://parscoders.com/project/352566/توسعه-یک-روش-یادگیری-ماشین-خودکار-برای-نگهداری-پیش‌بینی‌کننده-کارخانه‌های-تولید

t.me/ParscodersCom

توسعه یک روش یادگیری ماشین خودکار برای نگهداری پیش‌بینی‌کننده کارخانه‌های تولید

#big_data, #python, #pyspark

هدف از کار، توسعه یک روش یادگیری ماشین خودکار برای نگهداری پیش‌بینی‌کننده کارخانه‌های تولید است. این روش یادگیری می تواند به طور خودکار روی داده های فناوری های مختلف تولید اعمال شود و سپس یک مدل پیش بینی خوب برای وضعیت سلامت یا خرابی های قریب الوقوع ماشین آموزش داده شود. باید بررسی شود که آیا می توان از روش های یادگیری ماشین برای پیش بینی خرابی ماشین در مراحل اولیه بر اساس داده های فرآیند از کارخانه های تولید و داده های مستندات خطا استفاده کرد تا اقدامات تعمیر و نگهداری در زمان مناسب انجام شود.
برای رسیدن به این هدف باید مراحل مختلفی را طی کرد. ابتدا، تفاوت‌های بین داده‌ها و برچسب‌های مورد نظر موارد استفاده مختلف بررسی می‌شود. سپس یک مدل فرآیندی فرموله می‌شود که موارد استفاده مختلف، نحوه محاسبه ویژگی‌ها و خروجی مدل یادگیری ماشین را توصیف می‌کند. برای مثال بسته به اطلاعاتی که در دسترس است
سیگنال ها، مقادیر اندازه گیری شده و غیره، ویژگی ها محاسبه شده و خروجی ها تعریف می شوند. بر اساس این اطلاعات، روش یادگیری ماشین مناسب انتخاب می شود. این روش می تواند طبقه بندی یا رگرسیون و خوشه بندی/تشخیص ناهنجاری باشد. سپس برای موارد استفاده مختلف آزمایش و ارزیابی می شود. این بررسی می کند که آیا مدل فرآیند کار می کند یا خیر.
بنابراین، به عنوان بخشی از پایان نامه کارشناسی ارشد، بسته به اینکه ساختار داده ماشینی متعلق به کدام دسته باشد، یک روش یادگیری ماشینی مناسب انتخاب می شود که سپس بر روی داده های موجود اعمال می شود.


توسط خریدار: کاربر394198

اطلاعات بیشتر:
https://parscoders.com/project/352563/توسعه-یک-روش-یادگیری-ماشین-خودکار-برای-نگهداری-پیش‌بینی‌کننده-کارخانه‌های-تولید

t.me/ParscodersCom

پروژه هوم ورک python + spark
🔸 فوری

#big_data, #hadoop, #python, #pyspark

سلام، وقت بخیرT
فایل .ipynb رو اتاج کرده ام، اول کد یکسری مسیرها داده شده برای خوندن چنتا فایل، اون فایلها توی لینوکس هستن که من اون فایلها رو از روی سیستم برمیدارم و بهتون میدم. و باید به 2 سوال پایانی در فایل .ipynb  جواب داده بشه. فرصت تا سه شنبه شب هست.
ممنونم


توسط خریدار: کاربر388533

اطلاعات بیشتر:
https://parscoders.com/project/362448/پروژه-هوم-ورک-python-plus-spark

t.me/ParscodersCom

Big dataپیشرفته

#hadoop, #pyspark

به صورت فیلم و ورد به صورت کامل برای توضیح همه قسمت های پروژه برای ارائه دادن بنده در کلاس 
فایل جزوه ها و پروژه درسیستم بارگزاری شد 


توسط خریدار: کاربر410428

اطلاعات بیشتر:
https://parscoders.com/project/371267/big-dataپیشرفته

t.me/ParscodersCom

22704 - پروژه اسپارک

#dotnet, #java, #php, #pyspark

پروژه فوری "پیش بینی موقعیت آینده شی متحرک"
به زبان پایتون و با اسپارک و کافکا
دیتاست https://theairlab.org/trajair/ 
سورس و توضیحات فنی مربوط به کانفیگ و ابزارها و... و گزارش کار انجام شده ارائه شود


توسط خریدار: کاربر416232

اطلاعات بیشتر:
https://parscoders.com/project/378595/22704-پروژه-اسپارک

t.me/ParscodersCom

حل تمرین یادگیری ماشین الگوریتم Logistic regression با استفاده از pyspark

#python, #machine_learning, #pyspark

نیازمند حل یک تمرین یادگیری ماشین و الگوریتم Logistic Regression با استفاده از پلتفرم اسپارک و کتابخانه Pyspark در پایتون
در این پروژه به هیچ عنوان از کتابخانه pandas استفاده نشود. به جای آن از pyspark استفاده شود.
فایل تمرین پیوست شده است.
حداکثر مهلت تحویل پایان روز یکشنبه 27 فروردین


توسط خریدار: علیرضا آقابابایی

اطلاعات بیشتر:
https://parscoders.com/project/396095/حل-تمرین-یادگیری-ماشین-الگوریتم-logistic-regression-با-استفاده-از-pyspark

t.me/ParscodersCom

حل تمرین یادگیری ماشین الگوریتم Support vector machine با استفاده از pyspark

#python, #machine_learning, #pyspark

نیازمند حل یک تمرین یادگیری ماشین و الگوریتم Support Vector Machine با استفاده از پلتفرم اسپارک و کتابخانه Pyspark در پایتون

در این پروژه به هیچ عنوان از کتابخانه pandas استفاده نشود. به جای آن از pyspark استفاده شود.

فایل تمرین پیوست شده است.


توسط خریدار: علیرضا آقابابایی

اطلاعات بیشتر:
https://parscoders.com/project/397454/حل-تمرین-یادگیری-ماشین-الگوریتم-support-vector-machine-با-استفاده-از-pyspark

t.me/ParscodersCom

حل تمرین یادگیری ماشین، الگوریتم خوشه بندی K-Means

#python, #machine_learning, #pyspark

نیازمند حل یک تمرین یادگیری ماشین با استفاده از الگوریتم خوشه بندی K-Means و کتابخانه Pyspark در پایتون و استفاده از پلتفرم آپاچی کافکا برای ارسال و دریافت داده ها به صورت در جریان
در این پروژه به هیچ عنوان از کتابخانه pandas استفاده نشود. به جای آن از pyspark استفاده شود.
در پایان پروژه علاوه بر کد، نیاز به گزارشی جهت تحلیل کد و نتایج به دست آمده داریم.
فایل تمرین پیوست شده است.


توسط خریدار: علیرضا آقابابایی

اطلاعات بیشتر:
https://parscoders.com/project/399057/حل-تمرین-یادگیری-ماشین،-الگوریتم-خوشه-بندی-k-means

t.me/ParscodersCom

یک پروژه دانشگاهی در رشته Big Data

#big_data, #python, #sql, #pyspark

با سلام و خسته نباشید .یک‌ پروژه دانشجویی در رشته Big Data می باشد . فایل PDF که توضیحات کامل داده شده رو‌در اختیارتون‌ می زارم . اما یه توضیح مختصر اینجا خدمتتون می دم .به طور کلی کل پروژه شما باید یه دیتا به سایز بین ۴۰۰ mb تا ۲gb انتخاب کنید . این دیتا رو شما با برنامه های Hadoop ، Impala ، Hive ، ایمپورت کنید و Unstructured دیتا رو با استفاده از Query های Sql انالیز کنید و همین طور با کمک spark RDD به Structured تبدیل کنید.به طور کلی ۸-۱۰ تا query لازم هست که بیشتر ان ها باید در سطح پیشرفته باشه . هر بخش به صورت جداگانه نمره داره و باید انجام بشه . بعد از انجام این کار به ریپورت به اندازه ی ۳۰۰۰ کلمه نیاز هست که کار هایی که انجام شده توضبح داده شه و به زبان انگلیسی باید باشه . اگه مشکل در زبان یا نوشتن ریپورت دارید من کمک می کنم . ( با هم انجام می دیم یعنی ) .


توسط خریدار: کاربر520508

اطلاعات بیشتر:
https://parscoders.com/project/449890/یک-پروژه-دانشگاهی-در-رشته-big-data

t.me/ParscodersCom

یک پروژه در Big Data

#big_data, #mysql, #python, #pyspark

با سلام و خسته نباشید .
یک‌ پروژه دانشجویی در رشته Big Data می باشد . فایل PDF که توضیحات کامل داده شده رو‌در اختیارتون‌ می زارم . اما یه توضیح مختصر اینجا خدمتتون می دم .
به طور کلی کل پروژه شما باید یه دیتا به سایز بین ۴۰۰ mb تا ۲gb انتخاب کنید . این دیتا رو شما با برنامه های Hadoop ، Impala ، Hive ، ایمپورت کنید و Unstructured دیتا رو با استفاده از Query های Sql انالیز کنید و همین طور با کمک spark RDD به Structured تبدیل کنید.
به طور کلی ۸-۱۰ تا query لازم هست که بیشتر ان ها باید در سطح پیشرفته باشه . 
هر بخش به صورت جداگانه نمره داره و باید انجام بشه . 
بعد از انجام این کار به ریپورت به صورت فایل HTML باید تبدیل بشه.


توسط خریدار: پوریا حاجی شاه محمد

اطلاعات بیشتر:
https://parscoders.com/project/455339/یک-پروژه-در-big-data

t.me/ParscodersCom

پروژه spark

#help_do_something, #pyspark

سلام

من یک پروژه کلاسی دارم که باید با استفاده از spark و یا dask انجام بشه
یک سری عملیات هست که روی فایل csv با حجم بالا باید انجام بشه و باید 
موازی سازی بکنیم

فایل راهنما و داده ها در فایل ارسالی وجود داره ممنون میشم بررسی کنید و اگر امکان انجامش رو دارید لطفا سریع اطلاع بدید


توسط خریدار: ایران کار

اطلاعات بیشتر:
https://parscoders.com/project/468560/پروژه-spark

t.me/ParscodersCom

32104 - پروژه درسی (Spark یا dask)

#electrical_engineering, #electronics, #pyspark

- مقطع : ارشد
- پروژه درسی با Spark و یا dask باید انجام بدم
- جزئیات پروژه را ضمیمه کردم
- فقط موازی سازی با dask و یا spark یکی از اینها باید انجام بشه. پروژه رو باید 4شنبه به استاد تحویل بدم


توسط خریدار: مهندس خوب

اطلاعات بیشتر:
https://parscoders.com/project/468324/32104-پروژه-درسی-spark-یا-dask

t.me/ParscodersCom

اتوماسیون خانه هوشمند

#c_plus_plus_programming, #python, #iot, #pyspark

سلام 
لطفا لینک زیر رو ببینید
https://www.instructables.com/IoT-Based-Home-Automation-Using-Sinric-Pro-Google-/
تمامی مشخصات کد ها و pcb و توضیحات داخلش هست فقط باید اجرا بشه 
لطفا قیمت قطعات و دستمزد جداگانه بدید 
5 عدد لازم دارم که همه بایستی بهم متصل باشند سنسور دما و رطوبت و گاز هم میخام داشته باشه 
تعداد رله ها حداکثر تعداد ممکن در نظر گرفته بشه ، توی این سایت 4 عدد در نظر گرفته شده 


توسط خریدار: روح اله شجاعی

اطلاعات بیشتر:
https://parscoders.com/project/484161/اتوماسیون-خانه-هوشمند

t.me/ParscodersCom

برنامه نویسی موازی با اسپارک

#hadoop, #parallels_automation, #python, #algorithm, #pyspark

سلام
توضیحات پروژه در فایل پیوست می باشد.
زمانئخیلی کمی دارم


توسط خریدار: مهندس-709

اطلاعات بیشتر:
https://parscoders.com/project/494765/برنامه-نویسی-موازی-با-اسپارک

t.me/ParscodersCom

تغییر زمان بند تسک در Apache Spark

#matlab, #pyspark, #training, #troubleshooting

تغییر زمان بند تسک در  Apache Spark  هست.
 برنامه Apache Spark یک چارچوب رایانش توزیع‌شده متن‌باز است.
زبان اصلی پیاده سازی برنامه آپاچی اسپارک اسکالا است.
زمانبندی تسک ها در آپاچی اسپارک به صورت دیفالت FIFO  و Fair است.
در پروژه تعریف شده من می خواهم زمان بند تسک آپاچی اسپارک رو به یک زمان بند اولویت دار تغییر دهم.


توسط خریدار: آکادمی مهرسام

اطلاعات بیشتر:
https://parscoders.com/project/512679/تغییر-زمان-بند-تسک-در-apache-spark

t.me/ParscodersCom

pyqt6 طراحی GUI برای یک کد

#python, #pyspark, #programming

من یک کد simulation python دارم میخواهم یک gui برای کدم طراحی کنم. 

برای اطلاع از جزییات کار به من پیام بدهید


توسط خریدار: کاربر614941

اطلاعات بیشتر:
https://parscoders.com/project/523657/pyqt6-طراحی-gui-برای-یک-کد

t.me/ParscodersCom

تمرین کلاسی big data
🔸 فوری

#linux, #word, #pyspark

تمرین کلاسیم هست و میخوام کامل بدون نقص انجام شه لطف کنید فقط کسی که کاملا تسلط داره قبول پروژه کنه 🙏


توسط خریدار: کاربر514225

اطلاعات بیشتر:
https://parscoders.com/project/528562/تمرین-کلاسی-big-data

t.me/ParscodersCom

تمرین بیگ دیتا

#big_data, #hadoop, #linux, #python, #pyspark

لطفا کسی واقعا وارده کمک کنه برای حل قسمتهای عملی میخوام بدون نقص انجام شه و یک گزارش کامل میخوام به نمره ۱۰۰از ۱۰۰احتیاج دارم


توسط خریدار: کاربر514225

اطلاعات بیشتر:
https://parscoders.com/project/542255/تمرین-بیگ-دیتا

t.me/ParscodersCom

تمرین بیگ دیتا

#dotnet, #javascript, #php, #python, #pyspark

تمرین کلاسیم هست گزارش و فایل های ضمیمه کامل


توسط خریدار: کاربر514225

اطلاعات بیشتر:
https://parscoders.com/project/542367/تمرین-بیگ-دیتا

t.me/ParscodersCom