یک کتابخانه متن باز برای زبان پایتون است که توسط گوگل در سال ۲۰۱۵ انتشار پیدا کرد. این کتابخانه در به برنامه نویسان کمک میکند تا بتواند طراحی و پیاده سازی شبکه های عصبی عمیق (Deep Learning Network) را به سادگی انجام دهند.
البته این که بخواهیم Tensorflow را فقط یک کتابخانه مربوط به شبکه های عصبی عمیق بدانیم، شاید کاره درستی نباشد. این کتابخانه در واقع یک چهارچوب نرم افزاری برای زبان پایتون است که به برنامه نویسان اجازه می دهد تا محاسبات خود را به صورت گراف (Graph) و جریان داده (Data Flow) انجام دهند. در Tensorflow همه چیز از گره (Node) و یال (Edge) تشکیل شده است. گره ها، در Tensorflow عملیات ریاضی هستند، این در حالی است که یال ها، همان داده ها را نمایش می دهند، که بین گره ها (عملیات ریاضی) جا به جا می شوند.
البته این که بخواهیم Tensorflow را فقط یک کتابخانه مربوط به شبکه های عصبی عمیق بدانیم، شاید کاره درستی نباشد. این کتابخانه در واقع یک چهارچوب نرم افزاری برای زبان پایتون است که به برنامه نویسان اجازه می دهد تا محاسبات خود را به صورت گراف (Graph) و جریان داده (Data Flow) انجام دهند. در Tensorflow همه چیز از گره (Node) و یال (Edge) تشکیل شده است. گره ها، در Tensorflow عملیات ریاضی هستند، این در حالی است که یال ها، همان داده ها را نمایش می دهند، که بین گره ها (عملیات ریاضی) جا به جا می شوند.
به خاطر پیاده سازی قدرتمند، کاربردهای بسیار زیادی در حوزه داده کاوی و یادگیری عمیق دارد. برای مثال از کاربردهای این چهارچوب نرم افزاری میتوان موارد زیر را بیان کرد:
» شناسایی کاراکتراهای عددی و حروفی
» شناسایی عناصر موجود در عکس
» تشخیص و طبقه بندی تصاویر (برای مثال اگر تصویر چند گربه را به شبکه بدهیم، میتواند این تصویر گربه را یادگرفته، و اگر از این به بعد تصاویر گربه به این شبکه داده شد، میتواند تشخیص دهد)
» شناسایی کاراکتراهای عددی و حروفی
» شناسایی عناصر موجود در عکس
» تشخیص و طبقه بندی تصاویر (برای مثال اگر تصویر چند گربه را به شبکه بدهیم، میتواند این تصویر گربه را یادگرفته، و اگر از این به بعد تصاویر گربه به این شبکه داده شد، میتواند تشخیص دهد)
خودت رو دوست داشته باش...
عشق من نسبت به خودم
من را از قربانی بودن به برنده بودن تبدیل می کند!
عشق من نسبت به خودم
تجربیات شگفت انگیزی را جذب می کند!
افرادی که نسبت به خودشان احساس خوبی دارند، به طور طبیعی جذاب هستند...!
👤 لوئیز هی
عشق من نسبت به خودم
من را از قربانی بودن به برنده بودن تبدیل می کند!
عشق من نسبت به خودم
تجربیات شگفت انگیزی را جذب می کند!
افرادی که نسبت به خودشان احساس خوبی دارند، به طور طبیعی جذاب هستند...!
👤 لوئیز هی
تلاش برای پیش بینی بورس چشماندازی دلفریب برای دانشمندان دادهای فراهم کرده است که بیش از سود مالی به مسائل چالشی علاقمند هستند. همه روزه میتوان شاهد فراز و نشیبهای بازار بورس بود و به این فکر کرد که آیا الگوهایی وجود دارند که افراد یا مدلها (یادگیری ماشین) بتوانند آنها را بیاموزند و بر اساس آنچه آموختهاند بر معاملهگرانی که مدارک تخصصی کسبوکار دارند غلبه کنند و به پیش بینی بورس بپردازند؟
«ویلیام کوهرسن» (William Koehrsen) در مطلبی با عنوان «پیش بینی بورس با پایتون» چنین میگوید: «هنگامی که من شروع به استفاده از مدلهای گوناگون برای پیشبینی سریهای زمانی کردم، مجبور بودم روشم را روی دادههای بازار بورس با سرمایههای شبیهسازی شده تست کنم. بنابراین، به ناچار به جمع کثیر افرادی پیوستم که در تلاش برای غلبه بر بازار با بهرهگیری از روشهای تحلیلی روز به روز (تحلیل دادههای روزانه) بودند و البته همه به نوعی شکست خوردند
«ویلیام کوهرسن» (William Koehrsen) در مطلبی با عنوان «پیش بینی بورس با پایتون» چنین میگوید: «هنگامی که من شروع به استفاده از مدلهای گوناگون برای پیشبینی سریهای زمانی کردم، مجبور بودم روشم را روی دادههای بازار بورس با سرمایههای شبیهسازی شده تست کنم. بنابراین، به ناچار به جمع کثیر افرادی پیوستم که در تلاش برای غلبه بر بازار با بهرهگیری از روشهای تحلیلی روز به روز (تحلیل دادههای روزانه) بودند و البته همه به نوعی شکست خوردند
محیط مجازی (virtual environment) رو نصب کنید. محیط مجازی اصن چه بدرد میخوره؟ فرض کنید در یکی از پروژههاتون از تنسورفلو نسخه ۰.۱۰ استفاده کردید و در یکی دیگه از تنسورفلو نسخه ۱.۱۰.مساله ای که خیلی متداول است اینه که اگر تنسورفلو خودتون رو به روزرسانی کنید خیلی از کدهایی که قبلا زدید اجرا نمیشن و اصلاحا کدهایی که زدید backward compatible نیستند. از طرف دیگه اگر نسخه اتون رو کاهش بدید به ۱.۱۰تبدیل کنیدخیلی از ویژگیهای جدید رو از دست میدهید.برای رفع این مشکل درپایتون معمولا از محیط مجازی یا virtual environment استفاده میکنند. به صورت پیشفرض محیط مجازی با پایتون نصب نمیشه و بخاطر همین مجبوریم که خودمون نصب کنیم.
تنسرفلو برای این که بتواند توزیع پذیری داشته باشد و performance را بالا ببرد مدل برنامه نویسی graph base را ارائه داده و محاسبات را از اجرا جدا کرده است.
مثال: با توجه به شکل دو نود برای input ، یک نود برای mul و یک نود برای add داریم. خروجی نود mul و add می توانند به یک نود add دیگر بروند. حالا می توانیم به input ها عدد بدهیم و خروجی را ببینیم.
مثال: با توجه به شکل دو نود برای input ، یک نود برای mul و یک نود برای add داریم. خروجی نود mul و add می توانند به یک نود add دیگر بروند. حالا می توانیم به input ها عدد بدهیم و خروجی را ببینیم.
دستاوردهای داده های بزرگ (Big Data)
در این پست به دستاوردهای داده های بزرگ اشاره خواهم کرد:
1️⃣ داده های بزرگ به ما کمک می کنند تا به جای یک برش زمانی از داده ها ، از جریان پایدار داده ها استفاده کنیم. این به ما کمک می کند که نتایج به روز و تصمیم گیری در لحظه داشته باشیم.
2️⃣ داده های بزرگ ما را از انحراف در تحلیل نجات می دهند. با کمک داده های بزرگ و بررسی یک موضوع از مناظر مختلف و با حجم گسترده داده متنوع می توانیم با احتمال بسیار زیاد نتایج صحیحی داشته باشیم.
3️⃣ داده های بزرگ امکان تمرکز ما را بر روی جزئی ترین مسائل افزایش می دهند. یعنی در عین نگاه کلان، نگاه بسیار دقیق و جزئی هم به ما می دهد.
در این پست به دستاوردهای داده های بزرگ اشاره خواهم کرد:
1️⃣ داده های بزرگ به ما کمک می کنند تا به جای یک برش زمانی از داده ها ، از جریان پایدار داده ها استفاده کنیم. این به ما کمک می کند که نتایج به روز و تصمیم گیری در لحظه داشته باشیم.
2️⃣ داده های بزرگ ما را از انحراف در تحلیل نجات می دهند. با کمک داده های بزرگ و بررسی یک موضوع از مناظر مختلف و با حجم گسترده داده متنوع می توانیم با احتمال بسیار زیاد نتایج صحیحی داشته باشیم.
3️⃣ داده های بزرگ امکان تمرکز ما را بر روی جزئی ترین مسائل افزایش می دهند. یعنی در عین نگاه کلان، نگاه بسیار دقیق و جزئی هم به ما می دهد.
پردازش تصویر با پایتون یکی از جدیدترین مباحث امروز در دنیای هوش مصنوعی و یادگیری ماشین به حساب می آید. به طور کلی پردازش تصویر یعنی شما با اعمال یکسری از فرآیندها بر روی تصویر مورد نظر یکسری داده و خروجی مناسب از آن دریافت می کنید.
پردازش چهره نیز بخشی از پردازش تصویر محسوب می شود و می توان از آن در اپلیکیشن ها و نرم افزارهای مختلف جهت تایید هویت کاربر و افزایش امنیت استفاده کرد. تشخیص چهره به کمک AI و یا به طور دقیق تر به کمک یادگیری ماشین حالا تبدیل به یکی از محبوب ترین فیلدهای کاری شده است
پردازش چهره نیز بخشی از پردازش تصویر محسوب می شود و می توان از آن در اپلیکیشن ها و نرم افزارهای مختلف جهت تایید هویت کاربر و افزایش امنیت استفاده کرد. تشخیص چهره به کمک AI و یا به طور دقیق تر به کمک یادگیری ماشین حالا تبدیل به یکی از محبوب ترین فیلدهای کاری شده است
چرا تحلیلگران به وب اسکرپینگ نیاز دارند؟
یک سازمان بزرگ نیاز دارد تا خود را با تغییرات اطلاعاتی که در تعداد زیادی از وبسایتها به وقوع میپیوندد به روز نگه دارد. یک وب اسکرپر هوشمند (intelligent web scraper) وبسایتهای جدیدی که باید دادهها را از آنها اسکرپ کند مییابد. رویکردهای هوشمند، دادههای تغییر یافته را تعیین کرده و آنها را بدون بیرون آوردن لینکهای غیر لازم موجود در محتوا، استخراج کرده و به منظور نظارت و استخراج اطلاعات زمان واقعی به طور موثر و کارآمدی در صفحه وب خزش میکنند. پژوهشگر میتواند به سادگی بر چندین وبسایت به طور همزمان نظارت کند، در حالیکه با فرکانس تکرارها نیز به روز است.
یک سازمان بزرگ نیاز دارد تا خود را با تغییرات اطلاعاتی که در تعداد زیادی از وبسایتها به وقوع میپیوندد به روز نگه دارد. یک وب اسکرپر هوشمند (intelligent web scraper) وبسایتهای جدیدی که باید دادهها را از آنها اسکرپ کند مییابد. رویکردهای هوشمند، دادههای تغییر یافته را تعیین کرده و آنها را بدون بیرون آوردن لینکهای غیر لازم موجود در محتوا، استخراج کرده و به منظور نظارت و استخراج اطلاعات زمان واقعی به طور موثر و کارآمدی در صفحه وب خزش میکنند. پژوهشگر میتواند به سادگی بر چندین وبسایت به طور همزمان نظارت کند، در حالیکه با فرکانس تکرارها نیز به روز است.