اطلاعات جامع در خصوص علم داده

📌آیا علم داده برای من مناسب است؟
📌آینده شغلی علم داده چیست؟
📌برای کسب شغل در این حیطه چه استانداردهایی باید داشته باشم؟
📌چطور در حوزه علم داده شغل مورد نظر خود را پیدا کنم؟
📌چه سازمان هایی به دنبال متخصص علم داده هستند؟

پاسخ این سوالات را می توانید در فایل ضمیمه پست بعد پیدا کنید (زبان این فایل انگلیسی روان است.)

#علم_داده
#سوالات_متداول
#پایتون_مالی
#data_science
#faq

@python4finance

کار با داده ها به راحتی یک صفحه گسترده
حتما همه شما با اکسل کار کرده اید و لذت استفاده از یک صفحه گسترده را تجربه کرده اید. در پایتون ماژول Pandas شاید سلطان بلامنازع کار با داده ها باشد اما همواره استفاده از خروجی های آن علی الخصوص برای تازه وارد ها کمی سخت است.
یکی از کتابخانه های بسیار زیبا در این خصوص کتابخانه D-Tale است. این کتابخانه بیشتر امکانات رایج کار با داده ها را در یک رابط کاربری زیبا در اختیار شما می گذارد و لذت استفاده از پایتون رو دو چندان می کند.
اگر به این ماژول ارزشمند علاقه مند شدید سری به صفحه گیت هاب آن به نشانی بزنید.
در پست های آتی در خصوص این ماژول با هم بیشتر صحبت می کنیم.


#Data_table
#Data_farme
#pandas
#dtale
#python

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

استفاده از ماژول Dtale برای تحلیل داده ها
در پست قبل در خصوص ویژگی های ماژول Dtale صحبت کردیم. برای استفاده از امکانات این ماژول لازم است دیتافریم خود را با تابع show باز کنید.
در تصویر این پست داده های سهم اپل، از ابتدای سال 2021 با استفاده از ماژول Dtale باز شده است. برای استفاده از امکانات ماژول، کافی است بر روی علامت مثلث سمت چپ تصویر کلیک کنید تا کلیه امکانات تحلیلی ماژول برای شما باز شود.
با استفاده از این ماژول تقریبا بیشتر کارهای متداول نرم افزهای آماری مانند spss و eviews را می توانید انجام دهید.


#Data_table
#Data_farme
#pandas
#dtale
#python

پایتون برای مالی در تلگرام
t.me/python4finance

معرفی کتاب «دستور العمل تمیزکردن داده ها» به انگلیسی «Python Data Cleaning Cookbook»

داده مهمترین دارایی ما در دنیای اطلاعات است و دریافت داده و پاکسازی آن اولین قدم در مدلسازی و ارائه تحلیل است.
در این کتاب کلیه فرآیندهای تبدیل داده های کثیف به داده های قابل استفاده در مدلسازی را به زبان پایتون توضیح داده می شود.
دانستن موضوعات این کتاب برای همه علاقه مندان علم داده و نیز مدلسازی مالی ضروری است.

#معرفی_کتاب
#تمیز_کردن_داده_ها
#داده_های_کثیف
#پایتون_مالی

#Data_cleaning

t.me/python4finance

دانلود کتاب «دستور العمل تمیزکردن داده ها» به انگلیسی «Python Data Cleaning Cookbook»

#معرفی_کتاب
#تمیز_کردن_داده_ها
#داده_های_کثیف
#پایتون_مالی

#Data_cleaning

t.me/python4finance

کار با داده ها به راحتی یک صفحه گسترده - 2
قبلا در این پست در خصوص ماژول D-Tale و امکاناتی که برای کار با داده ها در قالب یک صفحه گسترده فراهم می کرد صحبت کردیم.
این بار با ماژول دیگری به نام Mito آشنا می شویم. شعار این ماژول عبارت است از:
Do Python analyses 10x faster
که گویای هدف سازندگان آن است. توجه داشته باشید که این ماژول صرفا روی Jupyter Lab اجرا می شود.
بعد از نصب این ماژول می توانید با دو خط زیر Mito را فراخوانی کنید و کار با داده ها را در یک محیط بسیار کاربر پسند دنبال کنید.
import mitosheet
mitosheet.sheet()
برای اطلاعات بیشتر می توانید به صفحه این ماژول در این آدرس مراجعه نمایید.

#Data_table
#Data_farme
#pandas
#Mito
#DTale
#python

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

احتمالا همه شما گزارش سال 2021 Kaggle را در خصوص وضعیت علم داده و یادگیری ماشین مشاهده کرده اید. بر اساس این گزارش تحلیل بسیار خوبی می توان از وضعیت فعلی و آینده علم داده داشت.
یکی از نکاتی که نظر من را جلب کرد اندازه تیم های علم داده و نیز شرکت های پذیرای متخصصین علم داده است.
بر اساس این گزارش شرکت های استارت آپی و نوپا (کمتر از 50 نفر ) و شرکت های بزرگ (بالای 1000) نفر مشتریان اصلی جذب دانشمندان داده در دنیا هستند.
همچنین عموم تیم های علم داده و یادگیری ماشین یا با جمعیت های کوچک کمتر از 9 نفر و یا با تعداد بالای 20 نفر شکل می گیرند که موید داده بالاست.
جمع بندی من اینکه چه بخواهید خودتان کسب و کاری راه بیندازید و در یک استارت آپ مشغول شوید یا اینکه در یک شرکت قدرتمند و بزرگ مشغول شوید، علم داده و مهارت های مدلسازی با داده ها بسیار مسیر مناسبی برای شما خواهد بود.
🌐لینک کگل
🌐لینک مستقیم گزارش

#گزارش
#کگل
#علم_داده
#یادگیری_ماشین
#Report
#Machine_learning
#Kaggle
#Data_Science
#python_for_finance

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

کشف روابط بین متغیرها با Pairplot
یکی از توانایی مهم یک مدلساز مالی و دانشمند داده توانایی استخراج نوع رابطه بین متغیر هاست. ترسیم شکل و مصورسازی داده ها از جمله توانمندی هایی است که به ما در استخراج ضمنی این روابط کمک شایانی می کند. کتابخانه Seaborn یکی از ابزارهای قدرتمند رسم شکل در پایتون است که البته از زیرساخت Matplotlib استفاده می کند.
در تصویر این پست، ابتدا داده های مربوط به سه سهم اپل، مایکروسافت و گوگل و نیز شاخص S&P500 دریافت می شود و به وسیله Pairplot در Seaborn رسم می شود.

#رسم_نمودار
#علم_داده

#Graph
#Data_scinece
#Seaborb
#python_for_finance

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

معرفی کتاب «آشنایی با پایتون برای اقتصاد سنجی، آمار و تحلیل داده» به انگلیسی «Introduction to Python for Econometrics, Statistics and Data 2021 Analysis»
کتاب توسط Kevin Sheppard نوشته شده است. وی فارغ التحصیل دوره دکتری از دانشگاه آکسفورد است و در حال حاضر به عنوان دانشیار در این دانشگاه مشغول فعالیت است.
سطح کتاب متوسط و از زبان انگیسی روانی برخوردار است.

#معرفی_کتاب
#اقتصاد سنجی
#تحلیل داده
#آمار
#پایتون_مالی

#Econometrics
#Statistics
#Data Analysis

t.me/python4finance

دانلود کتاب «آشنایی با پایتون برای اقتصاد سنجی، آمار و تحلیل داده» به انگلیسی «Introduction to Python for Econometrics, Statistics and Data 2021 Analysis»

#معرفی_کتاب
#اقتصاد سنجی
#تحلیل داده
#آمار
#پایتون_مالی

#Econometrics
#Statistics
#Data Analysis

t.me/python4finance

معرفی کتاب «یادگیری ماشین برای اقتصاد و مالی در TensorFlow» به انگلیسی «Machine Learning for Economics and Finance in TensorFlow 2»
تمرکز این کتاب بیشتر به بعد فنی است و مدلهای یادگیری ماشین را در قالب مثال های اقتصادی و مالی ارائه می کند.
سطح کتاب متوسط و از زبان انگیسی روانی برخوردار است.

#معرفی_کتاب
#یادگیری_ماشین
#تحلیل داده
#پایتون_مالی

#Machine_learning
#Statistics
#Data Analysis
#TensorFlow

t.me/python4finance

دانلود کتاب «یادگیری ماشین برای اقتصاد و مالی در TensorFlow» به انگلیسی «Machine Learning for Economics and Finance in TensorFlow 2»

#معرفی_کتاب
#یادگیری_ماشین
#تحلیل داده
#پایتون_مالی

#Machine_learning
#Statistics
#Data Analysis
#TensorFlow

t.me/python4finance

معرفی کتاب «یادگیری ماشین در کسب و کار، آشنایی با دنیای علم داده» نگارش دوم به انگلیسی «Machine Learning in Business: An Introduction to the World of Data Science»

جان هال را تقریبا همه می شناسند. کتاب های ابزار مشتقه و مدیریت ریسک او به حدی معروف است که سه بار عنوان پرفروش ترین کتاب سال در حوزه های مرتبط را به خود اختصاص داده است. او استاد دانشکده مدیریت دانشگاه تورنتو است. جان هال در این کتاب دانسته‌های خود از یادگیری ماشین و کاربردهای آن در کسب و کار را با زبان غیر فنی بیان کرده است. از ویژگی های مهم کتاب این است که توسط یک متخصص مالی نه یک مهندس کامپیوتر! نوشته شده است که این موضوع درک محتوا را برای مخاطبین بسیار آسان می کند.
اگر علاقه‌مند به یادگیری مباحث یادگیری ماشین هستید مطالعه این کتاب ارزشمند را به شما توصیه می کنم.

#معرفی_کتاب
#یادگیری_ماشین
#تحلیل داده
#پایتون_مالی
#جان_هال

#Machine_learning
#Statistics
#Data Analysis
#John_Hull

t.me/python4finance

دانلود کتاب «یادگیری ماشین در کسب و کار، آشنایی با دنیای علم داده» نگارش دوم به انگلیسی «Machine Learning in Business: An Introduction to the World of Data Science»

اگر علاقه‌مند به یادگیری مباحث یادگیری ماشین هستید مطالعه این کتاب ارزشمند را به شما توصیه می کنم.

#معرفی_کتاب
#یادگیری_ماشین
#تحلیل داده
#پایتون_مالی
#جان_هال

#Machine_learning
#Statistics
#Data Analysis
#John_Hull

t.me/python4finance

ترکیب دیتافریم ها با یکدیگر (بخش دوم)
فرض کنید داده های مربوط به کاربران شامل نام و میزان کمیسیون فروش آنها را در یک جدول به نام users‌ ذخیره کرده ایم. در جدول دیگری به نام sales میزان فروش کاربران را ذخیره کرده ایم.
با استفاده از تابع join و مشخص کردن شیوه ترکیب توسط پارامتر how می توانید ادغام را انجام دهید.

#ترکیب
#دیتافریم
#merge
#join
#Pandas
#data_science

پایتون برای مالی در تلگرام
🆔 https://t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

نگاهی گذرا به مفهوم مصور سازی داده ها
وقتی صحبت از مصور سازی داده ها یا data visualization می کنیم، خیلی ها فکر می کنند منظور استفاده از نمودارهای زیبا و رنگی است، در حالی که مصور سازی داده ها یک مفهوم بسیار فنی و دقیق دارد.
در این ویدئو نگاهی گذرا به مفهوم مصورسازی داده ها خواهیم داشت.
زبان ویدئو انگلیسی فصیح است.

#مصورسازی_داده_ها
#پایتون
#پایتون_مالی
#ویدئو
#data_visualization
#Python_for_finance
#video

✅عضویت در کانال پایتون برای مالی
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

انواع خطاها در کار با داده ها - 1
یکی از مهمترین کارها قبل از شروع تحلیل، علی الخصوص در تحلیل داده های بزرگ پاکسازی داده ها یا Data Cleansing است. پاکسازی داده ها یکی از مهمترین بخش های پیش پردازش داده ها (preprocessing) است. اهمیت این موضوع زمانی که شما داده ها را از منابع مختلف جمع آوری می کنید بیش از پیش نمایان می شود. در ادامه انواع خطاها در هنگام کار با داده ها را با هم بررسی می کنیم.

#preprocessing
#Data_Cleansing
پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance

انواع خطاها در کار با داده ها - 2
مهمترین خطاهایی که در داده ها ممکن است وجود داشته باشد عبارت است:
1️⃣ ناقص بودن اطلاعات (incompleteness error): یعنی داده وجود نداشته باشد که در پایتون با NA یا NaN نمایش داده می شود. معمولا برای حل این موضوع از میانگین، میانه، مد و یا صفر (بسته به مسئله) برای پر کردن داده ها استفاده می شود. (ردیف2)
2️⃣ بی اعتبار بودن داده ها (invalidity error): یعنی زمانی که داده ها از محدوده معناداری خارج می شوند. برای مثال در ردیف 2 تاریخ تولد فرد مذکور سال 1300 ذکر شده است که خارج از محدوده است.
3️⃣ دقت پایین داده ها (inaccuracy error): وقتی که داده ها با مقادیر صحیح پر نشده باشند، این خطا عموما از ناحیه مسئولین داده ها اتفاق می افتد. برای مثال افراد یا کارت بانکی دارند یا ندارند، «بدون پاسخ» در ردیف 4 معنی ندارد.
4️⃣ ناسازگاری داده ها (inconsistency error): وقتی بخش های مختلف داده با هم ناسازگار باشند. در ردیف 5 نام فرد خانم ب است اما جنسیت مرد ذکر شده است. معمولا برای رفع این مشکل معمولا از داده های تکمیلی استفاده می کنند.
5️⃣ یکنواخت نبودن داده ها (non-uniformity error): برای راحتی محاسبه و افزایش دقت لازم است داده ها از یک الگو تبعیت کنند. راهکار این موضوع تبدیل داده ها به یک فرم یکنواخت است. برای مثال در همه ردیف ها سال تولد با الگوی 4 رقم ذکر شده است اما در ردیف 3 با الگوی دو رقم ذکر شده است.
6️⃣ تکراری بودن داده ها (duplication error): وجود داده های تکراری ممکن است باعث جابجایی میانگین، میانه و مد شود و تمرکز ما از جابجا کند. راه کار آن نیز حذف داده های تکراری است. در مثال ردیف 1و 4 تکراری هستند.


#preprocessing
#Data_Cleansing
پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance

پایتون و SQL دو مهارت برنامه نویسی مشترک در بین دانشمندان داده در سال 2022
بر اساس گزارش سال 2022 Kaggle ، پایتون و SQL دو زبان برنامه نویسی پرتقاضا در میان دانشمندان علم داده است. R و جاوا در رتبه های سوم و چهارم قرار دارند.
(روند صعودی پایتون و نزولی R طی چهارسال اخیر مشهود است)

#گزارش2022
#کگل
#علم_داده
#یادگیری_ماشین
#Report2022
#Machine_learning
#Kaggle
#Data_Science
#python_for_finance

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug