📖 کتاب بخوانیم؛
"عظیم‌داده، چگونه داده‌ها، کسب‌وکارهای بزرگ را قدرت می‌بخشند"
"Big Data, Understanding How Data Powers Big Business"
☑ بخش سیزدهم(بخش پایاني): "فراخوانی برای اقدام "
"Call to Action"
📌 برای خواندن این مطلب می‌توانید به لینک زیر مراجعه فرمایید:
🔗 http://yon.ir/Vwkl6
#کتاب_بخوانیم
#عظیم‌داده_چگونه_کسب‌وکارهای_بزرگ_را_قدرتمند_می‌سازد
#فصل_سیزدهم
#ساینا_رتبه‌ای
@BigData_BusinessAnalytics
"عظیم‌داده، چگونه داده‌ها، کسب‌وکارهای بزرگ را قدرت می‌بخشند"
"Big Data, Understanding How Data Powers Big Business"
☑ بخش سیزدهم(بخش پایاني): "فراخوانی برای اقدام "
"Call to Action"
📌 برای خواندن این مطلب می‌توانید به لینک زیر مراجعه فرمایید:
🔗 http://yon.ir/Vwkl6
#کتاب_بخوانیم
#عظیم‌داده_چگونه_کسب‌وکارهای_بزرگ_را_قدرتمند_می‌سازد
#فصل_سیزدهم
#ساینا_رتبه‌ای
@BigData_BusinessAnalytics
📖 کتاب بخوانیم؛
"ذخیره‌سازی و تحلیل در سطح اینترنت" از مجموعه کتب "راهنمای کامل هدوپ"
"Hadoop: The Definitive Guide: Storage and Analysis at Internet Scale"
☑️ بخش سیزدهم: Parquet
📌فصل سیزدهم این کتاب به معرفی یک قالب ذخیره‌سازی داده به نام Apache Parquet می‌پردازد.
🔸این قالب که یک شیوه ذخیره‌سازی ستونی است، می‌تواند برای داده‌های تو در تو (nested) بسیار مناسب باشد. قالب‌های ستونی به این دلیل که بازدهی بهتری از نظر اندازه فایل و کارآیی query دارند، جذاب هستند. از آنجایی که داده‌های موجود در یک ستون، قالبا از یک جنس هستند، کدگذاری آنها (Encoding) آسان است. برای مثال اگر یک ستون شامل داده‌های زمانی با فواصل مشخص باشد، صرفا ذخیره‌سازی داده اول و بازه‌ی زمانی بین هر دو سطر، کفایت می‌کند.
☑️برای خواندن ادامه این مطلب می‌توانید به لینک زیر مراجعه فرمایید:
🔗https://bit.ly/2LCaGoL
#کتاب_بخوانیم
#ذخیره‌سازی_و_تحلیل_در_سطح_اینترنت_از_مجموعه_کتب_راهنمای_کامل_هدوپ
#فصل_سیزدهم
#احسان_نوری
www.bdbanalytics.ir
@BigData_BusinessAnalytics
"ذخیره‌سازی و تحلیل در سطح اینترنت" از مجموعه کتب "راهنمای کامل هدوپ"
"Hadoop: The Definitive Guide: Storage and Analysis at Internet Scale"
☑️ بخش سیزدهم: Parquet
📌فصل سیزدهم این کتاب به معرفی یک قالب ذخیره‌سازی داده به نام Apache Parquet می‌پردازد.
🔸این قالب که یک شیوه ذخیره‌سازی ستونی است، می‌تواند برای داده‌های تو در تو (nested) بسیار مناسب باشد. قالب‌های ستونی به این دلیل که بازدهی بهتری از نظر اندازه فایل و کارآیی query دارند، جذاب هستند. از آنجایی که داده‌های موجود در یک ستون، قالبا از یک جنس هستند، کدگذاری آنها (Encoding) آسان است. برای مثال اگر یک ستون شامل داده‌های زمانی با فواصل مشخص باشد، صرفا ذخیره‌سازی داده اول و بازه‌ی زمانی بین هر دو سطر، کفایت می‌کند.
☑️برای خواندن ادامه این مطلب می‌توانید به لینک زیر مراجعه فرمایید:
🔗https://bit.ly/2LCaGoL
#کتاب_بخوانیم
#ذخیره‌سازی_و_تحلیل_در_سطح_اینترنت_از_مجموعه_کتب_راهنمای_کامل_هدوپ
#فصل_سیزدهم
#احسان_نوری
www.bdbanalytics.ir
@BigData_BusinessAnalytics
📖 کتاب بخوانیم؛
"تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها"
"Big Data Analytics: Systems, Algorithms, Applications"
📌 بخش سیزدهم: تحلیل عظیم داده در بیوانفورماتیک
🔸 به‌کارگیری مناسب تکنیک‌های تحلیل عظیم داده در زمینه بیولوژی و پزشکی با توجه به پیچیدگی و ساختار این داده‌ها؛ در تحلیل‌های مختلف خرد و سیستمی ساختار بدن انسان خروجی‌های ارزشمندی را در حوزه بیوانفورماتیک به ارمغان می‌آورد.
استفاده از این نتایج در کنار نظر خبرگان این حوزه باعث خواهد شد تا ضمن شناخت و درک مکانیزم و نحوه تعامل بخش‌های مختلف بتوان راه‌حل‌های درمانی و بهبودی برای بیماری‌ها ارائه داد.
در این بخش به کاربرد‌های تحلیل عظیم داده‌ها در بیوانفورماتیک پرداخته شده است.
🔹بیوانفورماتیک یک علم میان رشته ای است که راه حل‌های زندگی در زمینه بیولوژی و سلامت با به کارگیری ابزارهای بسیاری در حوزه های مختلفی همچون علوم کامپیوتر، آمار، ذخیره سازی و بازیابی و پردازش اطلاعات ارائه می‌دهد. به عبارتی دیگر بیوانفورماتیک به کاربرد فناوری اطلاعات در سیستم‌های بیولوژیکی اشاره دارد.
خروجی این علم در پزشکی، سلامت، ژنتیک و کشاورزی نیز می تواند مورد استفاده قرار گیرد.
مراحل مختلف عمل بیوانفورماتیک معمولاً شامل موارد زیر می باشد:
1. جمع آوری داده های بیولوژیکی.
2. ساخت یک مدل محاسباتی.
3. حل یک الگوی مدل سازی محاسباتی.
4. تست و ارزیابی الگوریتم های محاسباتی.
🔸حجم داده‌های تولید شده در بیوانفرماتیک در پنج ساله اخیر رشد چشم گیری داشته است که همین امر داده‌های ورودی اولیه موردنیاز برای تحلیل‌های پیشرفته در این علم را فراهم آورده است. داده‌های توزیع شده در منابع مختلفی داده‌ای یکی از ویژگی‌های عظیم داده در زمینه بیوانفورماتیک می‌باشد. یکی از چالش‌های اصلی در تحلیل داده‌های مربوط به بیوانفورماتیک تاثیر متغیرهای جمعیت شناختی و جغرافیایی و همچنین ناهمگون بودن داده‌ها می‌باشد. تولید داده‌های مربوط به بیوانفورماتیک به دلیل اینکه توسط سازمان‌های مختلفی انجام می‌شود و هیچ سازمان یکپارچه و واحدی برای آن تعریف نشده است هیچ گونه استاندارد و فرمت خاصی ندارد که به نوبه‌ی خود به عنوان چالشی دیگر محسوب می‌شود.
🔹تحلیل‌های داده‌ای مختلفی در حوزه بیوانفورماتیک ایجاد شده است که با به کارگیری ابزارهای تحلیلی می‌توانند اطلاعات بسیار مفیدی را استخراج نمایند.
تحلیل توالی:
یکی از نکات مهم در مطالعات مولکولی و پروتئینی تاثیر ویژگی‌های مختلف در توالی و شکلگیری می‌باشد. از آنجایی که کوچکترین تغییری در مشخصات و ویژگی‌ها در توالی ژنوم‌ها اثرگذار خواهد بود این مدل تحلیل‌ها می‌توانند اطلاعات ارزشمندی را ارائه دهند. پایگاه‌های داده‌ای توالی مختلفی که شامل اطلاعات پروتیئن‌ها، ژنوم‌ها می‌باشند منابع داده‌ای مهمی در این جنس تحلیل محسوب می‌شوند.
تحلیل فیلوژنتیک:
در این تحلیل هدف بررسی ارتباط بین تکامل‌های مختلفی می‌باشد که در مولکول‌ها و مکانیزم کارکردی آنها اتفاق می‌افتد. تحلیل‌های پیشرفته داده‌ای در این زمینه می‌تواند تکامل‌های آتی را نیز پیش بینی کند.
تحلیل خرد داده:
در این جنس از داده‌های مربوط به جزییات تغییر مولکولی ژن‌ها در مراحل مختلف یک بیماری تجزیه و تحلیل می‌شوند تا ضمن شناخت چگونگی مکانیزم یک بیماری بتوان به راه حل‌های موثر درمان و بهبود آن پرداخت.
تحلیل تعامل مولکولی:
یکی از موضوعات مهم در بیولوژی ارتباط و نحوه تعامل مولکولی می‌باشد چرا که هر گونه خللی در این تعامل می‌تواند منجر به یک نتیجه معنادار باشد. تحلیل تعامل مولکولی مبتنی بر داده می‌تواند در کشف و تولید داروهای درمانی با تغییر مکانیزم این تعامل منجر شود که جز دستاوردهای مهم در علم پزشکی نیز محسوب می‌شود.
تحلیل سیستم بیولوژی:
نگاه تحلیل داده در این بخش بر خلاف موارد پیشین به صورت کلان‌تر و متمرکز به عملکرد کلی اجزا در کنار هم می‌باشد.
🔸ابزارهای یادگیری ماشین و تحلیل عظیم داده که در حوزه‌های دیگر به کار گرفته می‌شوند در تحلیل‌های بیورانفورماتیک نیز بدون تغییر قابل پیاده سازی می‌باشند. این ابزارها و تکنیک‌ها همانند هر حوزه ی دیگری که بسته به ماهیت مساله و دیتاست سفارشی می‌شوند نیاز است که در این حوزه نیز بر اساس معیارهای ارزیابی با یکدیگر مقایسه شوند. در پلتفرم‌های متداول تحلیل عظیم داده ابزارهای مجزایی به طور خاص برای تحلیل توالی داده‌ها وجود دارد اما نکته قابل توجه استفاده از خروجی‌های این ابزارها و تکنیک‌ها در کنار نظرات متخصصان حوزه بیولوژی می‌باشد.
#کتاب_بخوانیم
#فصل_سیزدهم
#علی_محمدی
#تحلیل_عظیم‌داده_سیستم‌ها_الگوریتم‌ها_و_کاربردها
www.bdbanalytics.ir
@BigData_BusinessAnalytics
"تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها"
"Big Data Analytics: Systems, Algorithms, Applications"
📌 بخش سیزدهم: تحلیل عظیم داده در بیوانفورماتیک
🔸 به‌کارگیری مناسب تکنیک‌های تحلیل عظیم داده در زمینه بیولوژی و پزشکی با توجه به پیچیدگی و ساختار این داده‌ها؛ در تحلیل‌های مختلف خرد و سیستمی ساختار بدن انسان خروجی‌های ارزشمندی را در حوزه بیوانفورماتیک به ارمغان می‌آورد.
استفاده از این نتایج در کنار نظر خبرگان این حوزه باعث خواهد شد تا ضمن شناخت و درک مکانیزم و نحوه تعامل بخش‌های مختلف بتوان راه‌حل‌های درمانی و بهبودی برای بیماری‌ها ارائه داد.
در این بخش به کاربرد‌های تحلیل عظیم داده‌ها در بیوانفورماتیک پرداخته شده است.
🔹بیوانفورماتیک یک علم میان رشته ای است که راه حل‌های زندگی در زمینه بیولوژی و سلامت با به کارگیری ابزارهای بسیاری در حوزه های مختلفی همچون علوم کامپیوتر، آمار، ذخیره سازی و بازیابی و پردازش اطلاعات ارائه می‌دهد. به عبارتی دیگر بیوانفورماتیک به کاربرد فناوری اطلاعات در سیستم‌های بیولوژیکی اشاره دارد.
خروجی این علم در پزشکی، سلامت، ژنتیک و کشاورزی نیز می تواند مورد استفاده قرار گیرد.
مراحل مختلف عمل بیوانفورماتیک معمولاً شامل موارد زیر می باشد:
1. جمع آوری داده های بیولوژیکی.
2. ساخت یک مدل محاسباتی.
3. حل یک الگوی مدل سازی محاسباتی.
4. تست و ارزیابی الگوریتم های محاسباتی.
🔸حجم داده‌های تولید شده در بیوانفرماتیک در پنج ساله اخیر رشد چشم گیری داشته است که همین امر داده‌های ورودی اولیه موردنیاز برای تحلیل‌های پیشرفته در این علم را فراهم آورده است. داده‌های توزیع شده در منابع مختلفی داده‌ای یکی از ویژگی‌های عظیم داده در زمینه بیوانفورماتیک می‌باشد. یکی از چالش‌های اصلی در تحلیل داده‌های مربوط به بیوانفورماتیک تاثیر متغیرهای جمعیت شناختی و جغرافیایی و همچنین ناهمگون بودن داده‌ها می‌باشد. تولید داده‌های مربوط به بیوانفورماتیک به دلیل اینکه توسط سازمان‌های مختلفی انجام می‌شود و هیچ سازمان یکپارچه و واحدی برای آن تعریف نشده است هیچ گونه استاندارد و فرمت خاصی ندارد که به نوبه‌ی خود به عنوان چالشی دیگر محسوب می‌شود.
🔹تحلیل‌های داده‌ای مختلفی در حوزه بیوانفورماتیک ایجاد شده است که با به کارگیری ابزارهای تحلیلی می‌توانند اطلاعات بسیار مفیدی را استخراج نمایند.
تحلیل توالی:
یکی از نکات مهم در مطالعات مولکولی و پروتئینی تاثیر ویژگی‌های مختلف در توالی و شکلگیری می‌باشد. از آنجایی که کوچکترین تغییری در مشخصات و ویژگی‌ها در توالی ژنوم‌ها اثرگذار خواهد بود این مدل تحلیل‌ها می‌توانند اطلاعات ارزشمندی را ارائه دهند. پایگاه‌های داده‌ای توالی مختلفی که شامل اطلاعات پروتیئن‌ها، ژنوم‌ها می‌باشند منابع داده‌ای مهمی در این جنس تحلیل محسوب می‌شوند.
تحلیل فیلوژنتیک:
در این تحلیل هدف بررسی ارتباط بین تکامل‌های مختلفی می‌باشد که در مولکول‌ها و مکانیزم کارکردی آنها اتفاق می‌افتد. تحلیل‌های پیشرفته داده‌ای در این زمینه می‌تواند تکامل‌های آتی را نیز پیش بینی کند.
تحلیل خرد داده:
در این جنس از داده‌های مربوط به جزییات تغییر مولکولی ژن‌ها در مراحل مختلف یک بیماری تجزیه و تحلیل می‌شوند تا ضمن شناخت چگونگی مکانیزم یک بیماری بتوان به راه حل‌های موثر درمان و بهبود آن پرداخت.
تحلیل تعامل مولکولی:
یکی از موضوعات مهم در بیولوژی ارتباط و نحوه تعامل مولکولی می‌باشد چرا که هر گونه خللی در این تعامل می‌تواند منجر به یک نتیجه معنادار باشد. تحلیل تعامل مولکولی مبتنی بر داده می‌تواند در کشف و تولید داروهای درمانی با تغییر مکانیزم این تعامل منجر شود که جز دستاوردهای مهم در علم پزشکی نیز محسوب می‌شود.
تحلیل سیستم بیولوژی:
نگاه تحلیل داده در این بخش بر خلاف موارد پیشین به صورت کلان‌تر و متمرکز به عملکرد کلی اجزا در کنار هم می‌باشد.
🔸ابزارهای یادگیری ماشین و تحلیل عظیم داده که در حوزه‌های دیگر به کار گرفته می‌شوند در تحلیل‌های بیورانفورماتیک نیز بدون تغییر قابل پیاده سازی می‌باشند. این ابزارها و تکنیک‌ها همانند هر حوزه ی دیگری که بسته به ماهیت مساله و دیتاست سفارشی می‌شوند نیاز است که در این حوزه نیز بر اساس معیارهای ارزیابی با یکدیگر مقایسه شوند. در پلتفرم‌های متداول تحلیل عظیم داده ابزارهای مجزایی به طور خاص برای تحلیل توالی داده‌ها وجود دارد اما نکته قابل توجه استفاده از خروجی‌های این ابزارها و تکنیک‌ها در کنار نظرات متخصصان حوزه بیولوژی می‌باشد.
#کتاب_بخوانیم
#فصل_سیزدهم
#علی_محمدی
#تحلیل_عظیم‌داده_سیستم‌ها_الگوریتم‌ها_و_کاربردها
www.bdbanalytics.ir
@BigData_BusinessAnalytics