📖 کتاب بخوانیم؛

"تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها"
"Big Data Analytics: Systems, Algorithms, Applications"


📌 بخش هفدهم: روندهای تحقیقاتی آتی تحلیل عظیم داده

🔸فصل آخر کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها" به مروری مختصر بر روندهای تحقیقات آتی در حوزه عظیم داده بر اساس مقالات منتشر شده در سال‌های اخیر می‌پردازد. داده کاوی، تجزیه و تحلیل پویای جریان داده و شبکه، خوشه بندی تکاملی و رخداد کاوی از جمله موضوعات مورد توجه در پژوهش‌های عظیم داده معرفی شده‌اند که مورد توجه پژوهشگران قرار گرفته‌اند.

✅ برای خواندن این مطلب می‌توانید به لینک زیر مراجعه فرمایید:

🔗 https://b2n.ir/m31567

#کتاب_بخوانیم
#فصل_هفدهم
#علی_محمدی
#تحلیل_عظیم‌داده_سیستم‌ها_الگوریتم‌ها_و_کاربردها

www.bdbanalytics.ir
@BigData_BusinessAnalytics

🔎کاربرد داده محوری در صنعت مد و پوشاک


💡مطالعه موردی: شرکت بربری

♦️چگونه شد که شرکت بربری که در آستانه ورشکستگی قرار داشت با تغییر رویکرد خود و استفاده از داده‌محوری در کمتر از 20 سال خود را به جمع ده برند برتر حوزه مد و پوشاک رساند؟
شرکت بربری از داده‌محوری در چه حیطه‌هایی از کسب و کار خود استفاده کرد؟

♦️اگر شما نیز به صنعت مد و پوشاک علاقه‌مند هستید و قصد دارید روندهای نوین و تغییرات عمده این صنعت را مطالعه کنید به شما پیشنهاد می‌کنم با ما همراه باشید...

🔗 https://b2n.ir/j73826

#محمدرضا_مرادی
#مورد_کاوی
#بربری
#مدوپوشاک

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌معرفی مقالات داغ حوزه عظیم‌داده

❇️نام مقاله: کاربردهای داده­‌های عظیم در رشته­‌های نوظهور مدیریت: مروری بر ادبیات موضوع با استفاده از متن کاوی

🖋نویسندگان مقاله:
Amit Kumar Kushwaha, Arpan Kumar Kar , Yogesh K. Dwivedi

📔ژورنال: International Journal of Information Management Data Insights

🗓تاریخ انتشار: ۲۰۲۱


🔹اهمیت تصمیمات و پشتیبانی داده محور در کلیه حوزه‌های مدیریتی در حال افزایش است. دسترسی مداوم به حجم زیادی از داده‌ها با تنوع بالا باعث شده تا داده‌های عظیم به بخشی جدایی ناپذیر از مطالعات مدیریتی تبدیل شوند.

همچنین حوزه‌های فرعی مدیریتی نیز با پشتیبانی از داده‌های عظیم برای هدایت کسب‌وکارها روز به روز در حال ظهور هستند.

👈 در همین راستا این پژوهش با یک رویکرد نظام­‌مند مروری ادبیات، به کشف حوزه‌های نوظهور مدیریتی که توسط داده‌های عظیم در دوران معاصر پشتیبانی می‌شوند، می­‌پردازد.

👈در واقع این پژوهش به دنبال پاسخ­‌دهی به 2 سوال زیر است:

❓جدیدترین حوزه­‌های مدیریتی که از قابلیت­‌های تحلیل داده­‌های عظیم استفاده می­‌کنند، کدامند؟

❓چگونه این حوزه ‌ها، موضوعات مهم تحلیل­گری داده­‌ها را در عمل حل می­‌کنند؟


✔️برای بررسی و پاسخ‌دهی به سوالات فوق، مقالات منتشر شده در مجلات مدیریتی معتبر در فاصله زمانی سال‌های 2011 تا 2021 مورد بررسی قرار گرفته­‌اند. انتخاب این بازه زمانی به این سبب است که در این محدوده تحلیل­‌گری عظیم داده‌‌ها (BDA) بطور جدی برای حل مشکلات دنیای واقعی بکار گرفته شده است.

💡روش کار به این صورت بوده که با جستجو در پایگاه مقالات Scopus با کلمات کلیدی “Big data” و “Big data analytics” مقالات همراه با اطلاعاتی شامل منبع انتشار و نام نویسنده دانلود شدند. سپس برای تعیین مقالات مرتبط معیارهایی لحاظ شده که عبارتند از : حذف مقالات کنفرانسی، حذف مقالات به زبان غیر انگلیسی، درنظرگیری مقالات پژوهشی در ژورنال­های مدیریتی و تجاری.

🔹در گام بعد برای بهبود کیفیت مقالات منتخب، پژوهش محدود به 50 مجله فهرست شده در فایننشیال تایمز، مجلات رتبه A*، A و B در رتبه‌بندی مجلات شورای بازرگانی استرالیا و رتبه‌­های 4*، 3 یا 2 در رتبه‌بندی مجلات انجمن رسمی مدارس بازرگانی شده است. همچنین مقالات بصورت جداگانه از لحاظ فاکتورهایی مانند دقت علمی، روش تحقیق و چارچوب نظری مورد ممیزی قرار گرفته‌اند.

👈در نهایت 1756 مقاله انتخاب شدند و مورد تحلیل قرار گرفتند. روش تحلیل مقالات به این صورت بوده که با استفاده از کلمات کلیدی و عناوین مقالات، به تحلیل کابرد BDA در رشته‌های نوظهور مدیریت پرداخته شده است. نویسندگان اذعان دارند که بیشتر متون Clean بوده و نویز کمی داشته‌اند، لذا با استفاده از Topic modeling روی کلمات کلیدی و ایجاد دیاگرام شبکه‌ای از کاربرد BDA، نمودارهای شبکه ­ای از کاربرد BDA حول کلمات کلیدی ایجاد کرده­‌اند . این نمودار پایه در واقع یک کلاستر از کلمات کلیدی و کاربردهای BDA همراه آنها به انضمام شبکه مرتبط با هریک از آنها می­‌باشد.

🔹با تحلیل دیاگرام شبکه همراه با BDA به عنوان تم مرکزی، کلاسترهای اطراف ایده‌هایی از رشته‌های مدیریتی نوظهور (EMD) را ارائه کردند که در مجموع به 12 حوزه به شرح زیر می‌باشند:

مدیریت سلامت و بهداشت، مدیریت بحران، مدیریت امنیت، تولید و صنعت هوشمند، مدیریت قابلیت­های پویا، سیستم­های پشتیبان مدیریت، مدیریت مدل­های کسب و کار، مدیریت شبکه (عموما" مبتنی بر پلتفرم‌های رسانه‌های اجتماعی)، مدیریت خدمات، دیجیتال مارکتینگ و بهینه‌سازی موتور جستجو (SEO)، مدیریت (خدمات) دیجیتال، و مدیریت مالی.

🔸در ادامه مقاله به بررسی نقش BDA در هریک از این EMD ها می­‌پردازد.

🔸نویسندگان اذعان دارند که این تحقیق به‌عنوان مرجعی برای محققان سیستم‌های اطلاعاتی آینده عمل می‌کند که می‌خواهند تحلیل‌هایی را انجام دهند که ماهیت عمیقی در هر یک از این حوزه‌های مدیریتی داشته باشد و تمام توجه لازم را برای تبدیل شدن به حوزه‌های تحقیقاتی اختصاصی به خود جلب خواهند کرد.

🔹برای دریافت مقاله، به لینک زیر مراجعه فرمایید:

🔗 https://b2n.ir/h54413


#معرفی_مقاله
#تحلیل_عظیم_داده
#متن_کاوی
#مدیریت_خدمات
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

‍ 📚 معرفی کتاب

کاربردهای یادگیری ماشین در تحلیل عظیم داده و محاسبات ابری
“Applications of Machine Learning in Big-Data Analytics and Cloud Computing”


📍 این کتاب در سال ۲۰۲۱ و توسط انتشارات River Publisher منتشر شده است.

📍 محاسبات ابری و فناوری‌های عظیم داده به تعاریف جدیدی از عصر دیجیتال تبدیل شده‌اند. میزان داده‌های دیجیتال به سرعت در حال افزایش است و پیش‌بینی می‌شود تا سال ۲۰۳۰ از میزان ۶۵ تریلیون گیگابایت هم عبور کند. این انفجار داده به فرصت‌ها و تحولاتی در حوزه‌های مختلف مانند پزشکی، سازمان‌ها و صنایع منجر شده است. ابزارهای جدید محاسبات ابری و عظیم داده، به محققان و تحلیلگران کمک می‌کنند تا به جمع آوری و مدیریت و تحلیل این حجم از داده بپردازند. در حوزه کلاود و تحلیل عظیم داده نیز، یادگیری عمیق در حال توسعه دسته‌ای از تکنیک‌های یادگیری ماشین برای حل مساپل پیچیده کسب و کاری است. یادگیری عمیق، رایانه‌ها را قادر می‌سازد حجم زیادی از داده‌های بدون ساختار را تحلیل کنند.

📍این کتاب به معرفی پیشرفت‌های اخیر در استفاده از یادگیری ماشین در کلاود و تحلیل عظیم داده می‌پردازد و به عنوان یک مرجع برای محققان و دانش آموزان جدید در حوزه علوم داده و کامپیوتر می‌باشد. مفاهیم مورد نیاز برای درک چالش‌های حال حاضر یادگیری ماشین و راه حل‌های احتمالی به همراه روال‌های پیش رو در تحلیل عظیم داده، در این کتاب به تشریح درآمده‌اند.


این کتاب را می‌توانید از لینک زیر دریافت نمایید:


🔗 https://b2n.ir/g97558


#معرفی_کتاب
#تحلیل‌_عظیم‌داده_و_کسب‌وکار
#میثم_عسگری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📣 وبینار مجازی: محدودیت‌های فنی توسعه متاورس در دانشگاه‌ها

♦️ مدرس: پروفسور علی اکبر جلالی
رئیس کرسی یونسکو در آموزش و یادگیری الکترونیکی

📌تاریخ برگزاری: پنج شنبه 10 شهریور - ساعت 16 الی 17

🌐 لینک ثبت نام:
🔗 14dea.shahroodut.ac.ir


@BigData_BusinessAnalytics
www.bdbanalytics.ir

🔎 استفاده از هوش مصنوعی در خدمات مالی

🔻 مورد مطالعه: آمریکن اکسپرس

🔸 امریکن اکسپرس بیش از 25 درصد از موارد استفاده از کارت اعتباری در ایالات متحده را بر عهده دارد که در سال 2017 معادل 1.1 تریلیون دلار تراکنش در سال بوده است و بر اساس فوربس یکی از با ارزش‌ترین برندها در خدمات مالی است. این شرکت در محور هر کاری که انجام می‌دهد، داده‌ها و تحلیل‌گری را قرار داده است. با این حال، دو مورد از موارد استفاده کلیدی آن کشف تقلب و بهبود تجربه مشتری است.

🔹 بانک‌ها و موسسات مالی از جمله صادر کنندگان کارت اعتباری و بیمه‌ها، همواره از الگوهای به دست آمده در داده‌های تاریخی برای کشف تقلب استفاده می‌کنند. این موضوع به موسسات مالی امکان ایجاد مدل‌هایی را می‌دهد که می‌توانند برای پیش‌بینی قابل اعتماد بودن معاملات آتی مورد استفاده قرار دهند.

🔸 مطالعه موردی شرکت آمریکن اکسپرس در خصوص بهره‌گیری از سیستم‌های هوش مصنوعی نشان می‌دهد مدل‌های یادگیری ماشین برای کشف تقلب باید به طور مداوم و به صورت بلادرنگ تطبیق یافته و بروزرسانی شوند به این معنا که نیازمند جریان داده‌ای پیوسته برای یادگیری هستند. همچنین ذخیره سازی توزیع شده و میزان قابل توجه توان محاسباتی از الزامات استفاده از این حجم از داده جهت پیش‌بینی دقیق و بلادرنگ می‌باشد.

🔸 تعداد بالای تراکنش‌های پردازش شده توسط آمریکن اکسپرس به این معناست که افزایش کمی در کارایی می‌تواند بهبودهای بزرگی را در امنیت کلی ایجاد نماید.

🔹 علاوه بر کشف تقلب، کسب و کارهای ارائه دهنده خدمات مالی از هوش مصنوعی برای ایجاد ارزش افزوده برای مشتریان در راه تغییر در بهره‌گیری از خدمات خود استفاده می‌کنند. از جمله می‌توان از اپلیکیشن «دستیار سفر شخصی» مبتنی بر هوش مصنوعی آمریکن اکسپرس نام برد که در آن از هوش مصنوعی برای کمک به دارنده کارت با استفاده از توصیه‌های خرید شخصی‌سازی شده بر اساس عادات و سابقه خرید قبلی وی استفاده شده است.



🔺 برای خواندن این مطلب می‌توانید به لینک زیر مراجعه فرمایید:

🔗 https://b2n.ir/a95709

#نمونه_موردی
#عظیم_داده
#هوش_مصنوعی
#خدمات_مالی
#فاطمه_مظفری

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌 تحلیل‌گری عظیم داده
🔹 در این ویدئو به زبان ساده با مفهوم تحلیل‌گری عظیم داده آشنا می‌شویم.

🔸 همچنین شما می‌توانید این ویدئو را از لینک زیر تماشا نمایید.

🔗 https://b2n.ir/d47448

#ويدئو
#عظیم_داده
#تحلیلگری_داده
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir

❇️مروری بر روند داده محور شدن DBS بانک سنگاپور

🔹همانطور که می‌دانیم Big Data بصورت بنیادین تمام صنایع و بخش­‌ها را دستخوش تغییراتی کرده و حوزه مالی نیز از این موضوع مستثناء نیست. با فراگیر شدن استفاده از موبایل و رشد حجم تراکنش­‌های دیجیتال، موسسات مالی شاهد رشد حجم داده­‌ها بوده که این امر می­‌تواند به ایشان در درک بهتر مشتریان و نیازهای آنها کمک شایانی نماید. در ادامه این مطلب خواهیم دید چگونه DBS بانک سنگاپور، یکی از پیشروترین بانک­‌های آسیایی، تبدیل به یک بانک داده­‌محور شد.

🔹بانک DBS پس از درک ضرورت بهره­‌گیری از پتانسیل بالای تحلیل عظیم داده­‌ها، از آنجاییکه بستر تکنولوژیک لازم برای این امر را نداشت، با مشارکت Cloudera و تشکیل یک تیم و هاب مرکزی، پلتفرمی چابک با قابلیت ذخیره و تحلیل میلیون‌ها تراکنش را ایجاد نمود. لذا این امکان را یافت تا به سوالات پیش از پرسیده شدن پاسخ دهد و در این راستا تجربه مشتری از خدمات را بهبود بخشید. بطور مثال از ماشین لرنینگ برای تحلیل احساسات مشتریان استفاده کرده به این صورت که تمام تعاملات مشتریان با مراکز تماس رکورد شده، پس از تبدیل به متن شدن توسط الگوریتم­‌های ML مورد تحلیل قرار می­‌گیرند. در نتیجه بسیاری از مشکلات برای بانک مشخص می‌شوند. به همین ترتیب اطلاعات رفتاری توسط الگوریتم­‌های ML در ترکیب با بیومتریک مورد تحلیل قرار گرفته و باعث بهبود فرآیند تشخیص هویت شده است که در نتیجه آن مشتری نیاز به فراهم آوردن مستندات یا استفاده از ابزارهای فیزیکی برای انجام تراکنش­‌ها ندارد.

🔹بطور کلی دو نوع تحلیل Predictive و Prescriptive در این بانک صورت می­‌گیرد. به عنوان نمونه از دسته تحلیل­‌های پیش‌بینی کننده می­‌توان به این مورد اشاره کرد که وقتی یکی از شعب بصورت موقت برای بازسازی تعطیل است، تیم با انجام تحلیل‌های دقیق پیش‌بینی می‌کند که ترافیک در کدام یک از شعب افزایش خواهد یافت، لذا با برنامه‌ریزی صحیح منابع از تداوم تجربه مطلوب مشتری از خدمات بانکی پشتیبانی می‌کند.

🔹در حوزه تحلیل‌های تجویزی بانک سعی دارد تا با اتخاذ استراتژی صحیح و مشارکت کارکنان، توصیه‌های مناسبی برای مشتریان داشته باشد. بعنوان نمونه یکی از پروژه‌های بانک به این صورت است که با استفاده از الگوریتم‌های ML زمان و پلن بیمه مناسب هر مشتری را به او توصیه کند. این پیشنهادات ثابت نبوده و با تغییر در شرایط زندگی افراد، تغییر می‌یابد.

🔹مدیر گروه تکنولوژی و عملیات DBS، آقای David Gledhill، توضیح می‌دهد که بهره‌گیری از تحلیل عظیم داده‌ها در این سازمان فراتر از حوزه مشتریان بوده و تحول سازمان به سمت یک کسب و کار داده‌محور، باعث پیشرفت عملیات در سراسر سازمان شده است. بعنوان نمونه بانک با پیش‌بینی جریان نقدینگی مشتریان و بار تراکنش‌های انجام شده روی ATM، به پیش‌بینی فواصل پر کردن وجوه نقد درون ATM ها می‌پردازد.

🔹در نهایت باید به این نکته اشاره کرد که DBS بانک به دنبال این بوده که توانایی تحلیل‌گری داده را منحصر به یک تیم نکرده و در کلیه افراد سازمان ایجاد کند. اگرچه در ابتدا مشکلاتی در این زمینه بوده اما به مرور با پیاده‌سازی موردهای کاربری کوچک در بخش‌های مختلف سازمان، شور و شوق زیادی نسبت به این موضوع در سازمان شکل گرفت که همراه با پیشرفت خدمات و کارایی عملیات، کاهش هزینه‌ها را برای سازمان در برداشت.

👈این مطلب را می‌توانید در لینک زیر نیز مطالعه فرمایید:

🔗 https://b2n.ir/r00791

#کسب_و_کار_داده_محور
#تحلیل_عظیم_داده
#DBSبانک
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

🌻 تابستان‌نامه

ماحصل بیستمین فصل از فعالیت‌های گروه تحلیلگری عظیم‌داده و کسب‌وکار، (تابستان 1401) در پست بعد قابل دریافت می‌باشد.

#فصلنامه_الکترونیک
#تابستان‌نامه

www.bdbanalytics.ir
@BigData_BusinessAnalytics

فایل بیستمین شماره فصلنامه گروه "تحلیلگری عظیم‌داده و کسب‌وکار"

#فصلنامه_الکترونیک
#تابستان‌نامه

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌معرفی ابزار Talend : ابزاری برای یکپارچه سازی داده


🖋این ابزار یک ابزار ETL برای یکپارچه سازی داده ها است. راه حل های نرم افزاری برای آماده سازی داده ها، کیفیت داده ها، یکپارچه سازی داده ها، یکپارچه سازی برنامه ها، مدیریت داده ها و داده های بزرگ ارائه می دهد. Talend برای همه این راه حل ها محصول جداگانه ای دارد. رویکرد منحصر به فرد Talend یکپارچه سازی داده ها را ساده می کند، نیازهای متخصصان داده و کاربران تجاری را با ابزارهای سلف سرویس و کیفیت داده که در هر مرحله تعبیه شده است، برآورده می کند.

یکپارچه سازی داده ها مزایای بسیاری را ارائه می دهد که در زیر توضیح داده شده است :
📍بهبود همکاری بین تیم های مختلف در سازمان که سعی در دسترسی به داده های سازمان دارند.
📍در زمان صرفه جویی می کند و تجزیه و تحلیل داده ها را آسان می کند، زیرا داده ها به طور مؤثر یکپارچه می شوند.
📍 فرآیند یکپارچه سازی خودکار داده ها، داده ها را همگام سازی می کند و گزارش های زمان واقعی و دوره ای را آسان می کند، که در غیر این صورت اگر به صورت دستی انجام شود زمان بر است.
📍 داده هایی که از چندین منبع ادغام شده اند با گذشت زمان بالغ می شوند و بهبود می یابند که در نهایت به کیفیت بهتر داده ها کمک می کند.

✅ متن کامل یادداشت را در لینک زیر بخوانید:
🔗https://b2n.ir/j31234

#معرفی_ابزار
#یکپارچه_سازی_داده
#فاطمه_مصلحی
#Talend

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📚 فایل ترجمه خلاصه کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها"
"Big Data Analytics: Systems, Algorithms, Applications"

📌 ضمن تشکر بابت همراهی شما با کانال گروه تحلیلگری عظیم داده، فایل کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها" در قالب یک فایل جمع‌آوری شده است.

برای دریافت این فایل می‌توانید نسبت به تکمیل فرم زیر اقدام نمایید.

🔗 https://goo.gl/forms/4v4YGrI4x5RX5gnC3

لازم به ذکر است افرادی که برای فایلهای قبلی فرم را تکمیل کرده‌اند، نیازی به تکمیل فرم ندارند.

#تحلیل_عظیم‌داده_سیستم‌ها_الگوریتم‌ها_و_کاربردها



@BigData_BusinessAnalytics
www.bdbanalytics.ir

🔎کاربرد داده محوری در تصمیم گیری برای کسب و کار


💡مطالعه موردی: وبسایت Booking

♦️یک شرکت در دوراهی‌هایی که قرار می‌گیرد چگونه باید تصمیم گیری کند تا ریسک انتخاب خود را به حداقل برساند؟ در اینجا ما با هم به بررسی booking می‌پردازیم که چگونه با استفاده از داده تصمیمات خود را به بهترین نحو ممکن اخذ می‌کند و کسب و کار خود را نه بر اساس صرفا نظر مدیران بلکه با رفتار کاربر طراحی می‌کند

♦️اگر شما نیز به در کسب و کار خود برای تصمیم‌گیری و کاهش ریسک تصمیمات دچار تردید و ابهام هستید به شما پیشنهاد می‌کنم با ما همراه باشید...

🔗 https://b2n.ir/y64178

#محمدرضا_مرادی
#مورد_کاوی
#کسب_و_کار_داده_محور
#بوکینگ
#Booking
#بهینه_سازی


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌معرفی مقالات داغ حوزه عظیم داده­‌ها

❇️نام مقاله: تجزیه و تحلیل داده‌های عظیم برای سیستم­‌های تولید هوشمند

🖋نویسندگان مقاله:
Junliang Wang , Chuqiao Xu , Jie Zhang , Ray Zhong

📔ژورنال: Journal of Manufacturing Systems

🗓تاریخ انتشار: January 2022


🔹با توسعه اینترنت اشیا (IoT)، 5G و فناوری‌های رایانش ابری، میزان داده‌های سیستم‌های تولیدی به سرعت در حال افزایش است. با تولید داده‌های صنعتی عظیم، دستاوردهایی فراتر از انتظارات در طراحی، ساخت و نگهداری محصول حاصل شده است. در واقع در تولید هوشمند، استفاده از داده­‌های عظیم صنعتی نه‌تنها شرکت­‌ها را به درک دقیق تغییرات محیط داخلی و خارجی در سیستم ارتقا می­‌دهد، بلکه تجزیه و تحلیل علمی و تصمیم­‌گیری برای بهینه ‌سازی فرآیند تولید، کاهش هزینه­‌ها و بهبود کارایی عملیاتی را تسهیل می­‌کند.
می­‌توان گفت تجزیه و تحلیل داده­‌های عظیم (BDA) یک فناوری اصلی برای تقویت سیستم­‌های تولید هوشمند به حساب می­‌آید.

🔹به منظور گزارش کامل نقش BDA در بهینه­‌سازی سیستم‌های تولید هوشمند، این مقاله با استفاده از روش تحقیق مرور کتابخانه‌ای، به تجزیه و تحلیل مطالعات انجام شده از سال 2011 تا 2020 در رابطه با تولید هوشمند مبتنی بر داده­‌های عظیم، از پایگاه داده Web of Science می­‌پردازد.

🔹در این مرور جامع موضوعات مرتبط مانند مفهوم داده‌های عظیم، روش‌های مبتنی بر مدل و داده‌محور، چارچوب تولید هوشمند مبتنی بر داده­‌های عظیم، روش­‌های توسعه، انواع فناوری‌های کلیدی پردازش(محاسبات توزیعی، محاسبات لبه- ابر، پردازش دسته­‌ای، پردازش جریان، پردازش ترکیبی دسته‌ای و جریان) مورد بحث و بررسی قرار می­‌گیرند.

🔹🔹همچنین یکی از نکات قوت این مقاله بررسی کاربردهای BDA برای هر یک از فازهای مطرح در سیستم‌های تولید هوشمند اعم از طراحی محصول، برنامه­‌ریزی و زمان­بندی، مدیریت کیفیت و مدیریت سلامت فرآیندها و کشف ناهنجاری­‌های احتمالی در آنها است که می‌تواند راهنمای خوبی برای نحوه پیاده‌سازی تحلیل­‌گری عظیم داده‌ها در سیستم‌های تولید باشد.

🔹در پایان نیز این مقاله به بررسی چالش‌ها و فرصت‌ها برای تحقیقات آینده در این خصوص پرداخته که از طریق این کار ایده‌های جدیدی برای تحقق BDA برای سیستم‌های تولید هوشمند ارائه می شود.

👈درصورت تمایل، می‌توانید مقاله مذکور را در پست بعد دريافت و مطالعه نماييد.



#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

‍ ‍ 📚 معرفی کتاب

📌 پردازش زبان طبیعی با Spark NLP
"Natural Language Processing with Spark NLP: Learning to Understand Text at Scale”


📌 نویسنده: Alex Thomas
📌 این کتاب در سال 2020 و توسط انتشارات O'Reilly منتشر شده است.

📍این کتاب درباره به کارگیری Spark NLP برای ایجاد اپلیکیشن‌های پردازش زبان طبیعی (NLP) می‌باشد. Spark NLP یک کتابخانه NLP است که بر روی آپاچی اسپارک ساخته شده است. در این کتاب چگونگی به کارگیری Spark NLP و همچنین مبانی پردازش زبان طبیعی پوشش داده می‌شود. با مطالعه این کتاب یک ابزار نرم افزاری جدید برای کار با زبان طبیعی و Spark NLP را در اختیار خواهید داشت و همچنین با مجموعه‌ای از تکنیک‌ها و چگونگی کارکرد آنها در این حوزه آشنا می‌شوید.

📍در بخش اول کتاب فناوری‌ها و تکنیک‌هاي مورد نیاز جهت به کارگیری در Spark NLP نظیر مبانی زبان طبیعی، NLP بر روی آپاچی اسپارک و مبانی یادگیری عمیق معرفی شده‌اند. سپس در بخش دوم در مورد بلوک‌های سازنده NLP از جمله پردازش کلمات، بازیابی اطلاعات، دسته بندی و رگرسیون، مدلسازی توالی با Keras، استخراج اطلاعات، تاپیک مدلینگ و word embeddings بحث شده است. در نهایت در بخش سوم و چهارم کتاب به اپلیکیشن‌ها و سیستم‌های پردازش زبان طبیعی پرداخته شده است که شامل تحلیل احساسات و تشخیص احساس، ایجاد پایگاه‌های دانشی، موتور جستجو، چت بات، بازشناسی ویژگی آبجکت، پشتیبانی از چندین زبان، برچسب زدن توسط انسان، و تولید اپلیکیشن‌های NLP می‌باشد.

📍کار بر روی یک اپلیکیشنی که نیازمند پردازش زبان طبیعی است، توأم با سه رویکرد توسعه دهنده نرم افزار، زبان شناس، و دانشمند داده می‌باشد. رویکرد توسعه نرم افزار بر آنچه که اپلیکیشن باید انجام دهد تمرکز دارد و مبتنی بر محصولی است که می‌خواهیم ایجاد نماییم. رویکرد زبان شناسی بر آنچه که می‌خواهیم از داده‌ها استخراج کنیم متمرکز است و در نهایت رویکرد دانشمند داده بر چگونگی استخراج اطلاعات مورد نیاز ار داده‌ها تمرکز دارد.

📍در این کتاب علاوه بر Spark NLP، آپاچی اسپارک، و تنسورفلو، از سایر ابزار نظیر پایتون، آناکوندا، ژوپیتر نوت‌بوک و داکر نیز استفاده شده است و در هر بخش کدهای مربوطه ارائه شده است.



این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#پردازش_زبان_طبیعی
#اسپارک
#Spark_NLP
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌 تحلیل‌گر عظیم‌داده

با توجه به دغدغه برخی از دانشجویان و دانش‌آموختگان دانشگاهی جهت ورود به بازار کار حوزه عظیم داده و رسیدن به تخصص بیشتر جهت تبدیل شدن به یک تحلیل گر عظیم‌داده توصیه می‌شود تا برای قرار گرفتن در مسیر شغلی مذکور فرآیند زیر را دنبال نمایند.

1. شرکت در دوره‌های آموزشی مرتبط با حوزه تحلیل‌گری عظیم‌داده با هدف دستیابی به درک کامل از موضوعات
2. مطالعه کتاب‌های مرجع مانند کتاب‌های تخصصی انتشارات‌ O'reilly و Packt
3. نصب و راه‌اندازی پلتفرم‌های مطرح عظیم‌داده مانند آپاچی هدوپ
4. آشنایی با پایگاه داده‌های Nosql
5. انتخاب زبان برنامه نویسی مناسب مانند پایتون، جاوا، اسکالا که از پرکاربردترین زبان‌های برنامه‌نویسی در حوزه عظیم‌داده هستند.

🔹 در این ویدئو به زبان ساده با شغل تحلیل‌گر عظیم‌داده آشنا می‌شویم.


#ويدئو
#عظیم_داده
#تحلیلگری_داده
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌مروری بر نحوه استفاده کمپانی H&M از عظیم داده‌ها در جهت بهبود کسب و کار

🖋یکی از حوزه­‌هایی که هوش مصنوعی تاثیر شگرفی بر روند کار آن داشته، حوزه خرده فروشان مد و پوشاک است. فعالان این بازار بطور فزاینده‌ای به هوش مصنوعی روی آورده‌اند تا بتوانند در برآورده‌سازی خواسته‌های مشتریان خود موفق عمل کرده و همچنان در عصر دیجیتال رقابتی باقی مانند.
در همین راستا نگاهی خواهیم داشت به عملکرد یکی از محبوب‌ترین برندهای این حوزه، گروه H&M، و خواهیم دید این کمپانی سوئدی چگونه از عظیم داده‌ها و هوش مصنوعی جهت ارائه خدمات به مشتریان خود استفاده می‌کند.

✳️هدف H&M از بهره‌گیری از عظیم داده‌ها، تحلیل دقیق خواسته‌های مشتریان است تا آنجا که بجای ذخیره‌سازی فروشگاه‌های سراسر دنیا با کالاهای مشابه، با استفاده از بینش حاصل از تحلیل عظیم داده‌ها، به سفارشی‌سازی محلی آنچه در فروشگاه‌ها می‌فروشد بپردازد.

✅در این کمپانی بیش از 200 دانشمند داده برای درک الگوها و روند خرید مشتریان مشغول به کار هستند. این تیم الگوریتم‌هایی برای تجزیه و تحلیل رسیدهای فروشگاهی و داده‌های کارتهای وفاداری ایجاد کرده‌اند تا خواسته‌های مشتریان را بهتر درک کنند. علاوه بر این، برای جمع‌آوری داده‌های بیشتر از پست‌های وبلاگها و نیز جستجوهای انجام شده در موتورهای جستجو استفاده می‌شود.

✳️به عنوان مثال، در یکی از فروشگاه‌های H&M در استکهلم وقتی از الگوریتم‌های هوش مصنوعی برای مطالعه ترجیحات مشتریان استفاده شد، نتایج نشان داده که خریداران کالا از این فروشگاه بیشتر خانم بوده و بیشتر خریدها متمرکز بر مد مثل دامن‌های گلدار بوده است. همچنین نتایج نشان داد در این فروشگاه خرید کالاهایی با قیمت بالا ترجیح داده می‌شود. لذا اکنون در این فروشگاه کیف‌های چرمی 118 دلاری و ژاکت‌های کشمیر 107 دلاری در کنار تی‌شرت‌های معمولی 6 دلاری به فروش می‌رسد. از دیگر نتایج تحلیل این بود که این فروشگاه به مجموعه خود یک کافی شاپ اضافه کرد و فروش گل را نیز در سبد خدمات خود قرار داد چراکه خروجی تحلیل‌ها حاکی از این بود که مشتریان در طول تجربه خرید خود به این خدمات تمایل دارند.
✅در واقع H&M بجای تصمیم‌گیری مبتنی بر شهود مدیران، رو به استفاده از الگوریتم‌هایی آورد که بطور مداوم با رفتار و انتظارات مشتریان تنظیم می‌شوند. H&M معتقد است استفاده از عظیم داده‌ها به آنها قدرتی می‌دهد تا دقیق‌تر و مرتبط‌تر به مشتریان خود به ارائه سرویس بپردازند.
✳️راهکارهایی که به لطف الگوریتم‌ها و هوش مصنوعی در H&M بکار گرفته می شوند عبارتند از:
⏺پیش بینی تقاضای بازار: خرده‌فروشان حوزه مد و پوشاک مانند H&M به محصولات تازه با قیمت‌های رقابتی متکی هستند. بینش حاصل از تحلیل داده‌ها به H&M کمک می‌کند تا آنچه را که بازار می‌خواهد پیش‌بینی کند و مجبور نباشد موجودی خود را برای فروش به تخفیف گذارد.
⏺نگهداری اقلام محبوب: بوسیله الگوریتم‌ها و تحلیل روند خریدهای هر فروشگاه، H&M می‌داند که کدام اقلام را در کجا و به چه صورت تبلیغ کند و به فروش رساند.
⏺انبارهای خودکار: گروه H&M روی انبارهای خودکار و تحویل سریع، که در اکثر بازارهای اروپایی یک روزه است، سرمایه گذاری کرده و این امر منحصر به مشتریان وفادار بوده که تحلیل و شناسایی آنها توسط الگوریتم‌ها انجام می‌شود.

👈حال نگاهی خواهیم داشت به زیرساخت فنی پشتیبان این تحلیل‌ها.
✅همانطور که گفته شد اتکاء اصلی H&M بر داده‌ها بعنوان هسته مرکزی کار بوده و از طرفی باز شدن سریع فروشگاه‌ها در سطح جهان، نیاز به بهبود زنجیره تامین را افزایش می‌دهد.
❇️در این شرایط سیستم Hadoop داخلی H&M ناتوان از تجزیه و تحلیل داده‌های تولید شده توسط میلیون‌ها مشتری بوده، لذا این شرکت به سمت‌ پلتفرم Databricks مهاجرت کرده است.
❇️این پلتفرم با ایجاد محیطی مقیاس پذیر و مشارکتی به مهندسان و دانشمندان داده اجازه می‌دهد تا مدل‌ها را به سرعت با هدف تسریع زنجیره تامین آموزش داده و عملیاتی کنند.
❇️یکپارچگی پلتفرم Databricks با Azure و سایر تکنولوژی‌ها مانند Apache Airflow و Kubernetes اجازه می‌دهد تا مدل‌ها در مقیاس عظیم آموزش ببینند.

👈بطور کلی در H&M حتی 0.1 درصد بهبود در دقت مدل، تاثیر شگرفی بر کسب و کار دارد. این کمپانی با بکارگیری Databricks داده‌ها را برای تصمیم گیرندگان قابل دسترس‌تر کرده و این امر باعث رشد سریع کسب و کار می‌شود.

👈 در مجموع Databricks با بهبود کارایی عملیاتی، بهبود تعاملات و همکاری‌های بین‌تیمی و تاثیرات شگرف بر کسب‌و‌کار با استفاده از بینش حاصل از تحلیل داده‌ها، باعث هوشمندسازی تصمیم‌گیری و نیز صرفه‌جویی چشم‌گیر 70 درصدی در هزینه‌های H&M شده است.


#نمونه_موردی
#عظیم_داده
#اچاندام
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BisinessAnalytics

📌📌معرفی ابزار HPCC: یک پلتفرم قدرتمند و منبع باز تجزیه و تحلیل عظیم داده

✅ پلتفرم HPCC (High-Performance Computing Cluster) یک پلتفرم سیستم محاسباتی منبع باز است که توسط LexisNexis Risk Solutions توسعه یافته است. پلت فرم HPCC که با نام DAS (Data Analytics Super Computer) نیز شناخته می شود، دارای یک معماری نرم افزاری است که بر روی خوشه های محاسباتی پیاده سازی شده است تا پردازش موازی داده با کارایی بالا را برای برنامه های کاربردی با استفاده از داده های بزرگ ارائه دهد. پلتفرم HPCC شامل پیکربندی‌های سیستمی برای پشتیبانی از پردازش داده‌های دسته‌ای موازی (Thor) و برنامه‌های درخواست آنلاین با کارایی بالا با استفاده از فایل‌های داده فهرست‌شده (Roxie) است. پلتفرم HPCC همچنین شامل یک زبان برنامه نویسی اعلامی داده محور برای پردازش داده های موازی به نام (ECL) Enterprise Control Language است.
انتشار عمومی HPCC در سال 2011 پس از ده سال توسعه داخلی (طبق گفته LexisNexis) اعلام شد. این پلتفرم یک جایگزین برای Hadoop و دیگر پلتفرم‌های Big Data است.
✅ پلتفرمHPCC هر دو نسخه Community و Enterprise Edition را ارائه می‌دهد. نسخه Community برای دانلود رایگان است، شامل کد منبع است و تحت مجوز آپاچی 2.0 منتشر شده است. نسخه Enterprise تحت مجوز تجاری در دسترس است و شامل آموزش، پشتیبانی، غرامت و ماژول های اضافی است.
دو خوشه یکپارچه، یک زبان برنامه نویسی اعلامی، و یک پلت فرم خدمات وب مبتنی بر استانداردها، اساس این راه حل کلان داده جامع و بسیار مقیاس پذیر را تشکیل می دهند.
✅ ویژگی های کلیدی:
🔹 عملکرد سریع
🔹 استقرار و استفاده آسان
🔹 مقیاس از داده های کوچک تا بزرگ
🔹 داشتن API غنی برای آماده سازی داده ها، یکپارچه سازی، بررسی کیفیت، بررسی تکراری و غیره.
🔹 الگوریتم های یادگیری ماشینی موازی برای داده های توزیع شده
🔹 جستجو و جستجوی بلادرنگ با پشتیبانی از SQL، JSON، SOAP و XML
🔹 پشتیبانی رایگان از طریق مستندات دقیق، آموزش های ویدئویی، انجمن ها و تماس مستقیم.
✅ معماری سیستم HPCC
معماری سیستم HPCC شامل دو محیط پردازش خوشه‌ای متمایز Thor و Roxie است که هر یک می‌توانند به طور مستقل برای هدف پردازش داده‌های موازی خود بهینه شوند.
✅اولین مورد از این پلتفرم ها Thor نام دارد، یک پالایشگاه داده که هدف کلی آن پردازش کلی حجم عظیمی از داده های خام از هر نوع برای هر منظوری است، اما معمولاً برای پاکسازی و بهداشت داده ها، پردازش ETL (استخراج، تبدیل، بارگذاری) استفاده می شود. داده‌های خام، پیوند رکورد و تفکیک موجودیت، تجزیه و تحلیل پیچیده ad hoc در مقیاس بزرگ، و ایجاد داده‌ها و فهرست‌های کلیدی برای پشتیبانی از پرس و جوهای ساختاریافته و برنامه‌های انبار داده با کارایی بالا. نام پالایشگاه داده Thor اشاره ای به خدای اسطوره ای اسکاندیناوی تندر با چکش بزرگ نماد خرد کردن مقادیر زیادی داده خام به اطلاعات مفید است. خوشه Thor از نظر عملکرد، محیط اجرا، سیستم فایل و قابلیت‌هایش مشابه پلتفرم‌های Google وHadoop MapReduce است.
خوشه پردازش فیزیکی Thor است که به عنوان یک موتور اجرای کار دسته ای برای برنامه های محاسباتی فشرده داده مقیاس پذیر عمل می کند. علاوه بر گره‌های اصلی Thor و Slave، اجزای کمکی و مشترک اضافی برای پیاده‌سازی یک محیط پردازش کامل HPCC مورد نیاز است.
✅دومین پلت فرم پردازش داده موازی Roxie نام دارد و به عنوان یک موتور تحویل سریع داده عمل می کند. این پلتفرم به عنوان یک پلتفرم پرس و جو و تجزیه و تحلیل ساختاریافته آنلاین با کارایی بالا یا انبار داده طراحی شده است که نیازمندی های پردازش دسترسی موازی به داده های برنامه های کاربردی آنلاین را از طریق رابط های خدمات وب ارائه می کند که از هزاران پرس و جو و کاربر همزمان با زمان پاسخ دهی زیر ثانیه پشتیبانی می‌کند. Roxie از یک سیستم فایل نمایه شده توزیع شده برای ارائه پردازش موازی پرس و جوها با استفاده از یک محیط اجرای بهینه و سیستم فایل برای پردازش آنلاین با کارایی بالا استفاده می کند. یک خوشه Roxie از نظر عملکرد و قابلیت‌هایش شبیه به ElasticSearch و Hadoop با قابلیت‌های HBase و Hive اضافه شده است و تأخیرهای جستجوی قابل پیش‌بینی تقریباً زمان واقعی را فراهم می‌کند. هر دو خوشه Thor و Roxie از زبان برنامه نویسی ECL برای پیاده سازی برنامه ها، افزایش تداوم و بهره وری برنامه نویس استفاده می کنند.
یک خوشه پردازش فیزیکی Roxie است که به عنوان یک موتور اجرای پرس و جو آنلاین برای برنامه های کاربردی پرس و جو و انبار داده با کارایی بالا عمل می کند. یک خوشه Roxie شامل چندین گره با فرآیندهای master و slave برای پردازش پرس و جوها است.