طریقه دریافت اطلاعات از TSETMC (بورس ایران)- بخش چهارم

حالا دستورات فوق را در محیط پایتون وارد کنید. نتیجه چیزی شبیه آنچه در شکل مشاهده می کنید خواهد بود.
در پست های بعد، راجع به شیوه تحلیل داده ها با هم صحبت خواهیم کرد.

#پایتون_مالی
#داده
#Pandas

پایتون برای مالی در تلگرام
https://t.me/joinchat/AAAAAFGMkouqbsb86Vfzug
پایتون برای مالی در بله
https://ble.im/python4finance

مقایسه روند دو سهم اپل و مایکروسافت در بورس NASDAQ

در این مثال با استفاده از کتابخانه pandas_datareader اطلاعات مربوط به سهام دو شرکت اپل و مایکروسافت دریافت شده و نمودار روند آن ترسیم شده است.
#پایتون_مالی
#pandas_datareader

پایتون برای مالی در تلگرام
https://t.me/joinchat/AAAAAFGMkouqbsb86Vfzug
پایتون برای مالی در بله
https://ble.im/python

پرکردن نقایص داده ها (interpolate)
یکی از مشکلاتی که در کار با سری های زمانی و دیتافریم ها داریم، داده های ناقص است. برای مثال یک سهم ممکن است در زمان های خاصی بسته باشد یا داده های یک متغیر در زمان های خاصی در دسترس نباشد. این موارد باعث به هم خوردن محاسبات و بعضا error های حین برنامه می شود. پانداس برای مدیریت کردن داده های خالی یا اصطلاحا NaN روش های متنوعی را ارائه می دهد. یکی از این روش ها پر کردن داده ها بر اساس داده های قبلی و بعدی است. به این معنا که پانداس داده های قبلی و بعدی را در نظر می گیرد و جای خالی را با میانگین آنها پر می کند. این کار در هموار سازی داده ها بسیار تاثیر گذار است. در تصویر این پست، نمونه ای این روش با استفاده از تابع interpolate در پانداس نشان داده شده است.

#پانداس
#سری_زمانی
#پایتون_مالی
#داده
#interpolate
#pandas


پایتون برای مالی در تلگرام
https://t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

کار با مقادیر از دست رفته در پایتون، ماژول Pandas- بخش پنجم (پایانی)

در پست های قبل در خصوص داده های از دست رفته صحبت کردیم. پانداس امکانات بسیار خوبی را برای کار با توابع از دست رفته در اختیار قرار می دهد.
معمولا یا داده های از دست رفته را حذف می کنیم (dropna) یا آنها را با یک مقدار ثابت جابجا می کنیم (replace و fillna) یا آنها را با نزدیک ترین مقدار قبلی یا بعدی پر می کنیم (fillna). البته می توانیم با استفاده از توابع شرطی تصمیم خاصی روی آنها بگیریم (notnull و isnull)
در تصویر این پست، نحوه عملکرد برخی توابع کار با داده های از دست رفته نشان داده شده است.

#پانداس
#pandas
#fillna
#bfill
#ffill

پایتون برای مالی در تلگرام https://t.me/python4finance
پایتون برای مالی در بله https://ble.im/python4finance

نمایش شاخص S&P500 (وضعیت 500 شرکت برتر بورس نیورک)

در این برنامه شاخص S&P از ابتدای سال 2020 تا امروز رسم شده است. به ریزش بازار سهام در ابتدای پیدایش ویروس کرونا و بعد، از بین رفتن آثار آن در طی این مدت دقت فرمایید.

#شاخص
#پایتون_مالی
#S&P
#pandas_datareader


پایتون برای مالی در تلگرام https://t.me/python4finance
پایتون برای مالی در بله https://ble.im/python4finance

رفع مشکل دریافت دیتا از Yahoo Finance با Pandas-datareader

چند روزی بود که به علت تغییرات در سایت Yahoo Finance امکان دریافت داده از طریق Pandas-datareader میسر نبود و با خطا مواجه می شدیم.
خوشبختانه توسعه دهندگان این ماژول چند ساعت قبل (امروز 22 تیر 1400) آپدیتی را برای این موضوع ارائه کردند.
برای به روز رسانی این ماژول دستور زیر را در CMD اجرا کنید.
pip install --upgrade pandas-datareader

#پایتون_مالی
#یاهو_فایننس
#pandas_datareder
#yahoo_finance

@python4finance

کار با اندیس های تکراری در Pandas
بسیاری از اوقات پیش می آید، که در دیتافریم ها، اندیس‌های تکراری داریم. مثلا فرض کنید میزان فروش شرکت در ایام هفته را ثبت کرده ایم اما برای برخی روزها چون عدد فروش ثبت کرده‌ایم، لازم است همه را یکی کنیم.
یکی از راهکارها برای حل این موضوع استفاده از groupby است. دقت داریم که این تابع همیشه با یک تابع کمکی مثلا میانگین، جمع و ... استفاده می شود.
در مثال این پست؛ جمع موارد بر اساس اندیس تکراری نمایش داده شده است.

#پانداس
#اندیس_تکراری
#پایتنون_مالی
#pandas


@python4finance

اعمال یک تابع روی دیتافریم با تابع apply
یکی از توابع کارآمد در کار با دیتافریم ها تابع apply است. به کمک این تابع می توانید توابع مورد نظر خود را روی دیتافریم اعمال کنید. تابع apply بعد از groupby استفاده می شود.
یک مثال:
فرض کنید میزان خرید و فروش سهام خود را از دو سهم A و B به صورت روزانه ثبت کرده اید.
می خواهیم میزان خرید و فروش کل از هر سهم را محاسبه کنیم.
می خواهیم درصد خرید و فروش هر کدام از سهم ها را نیز محاسبه کنیم.
در مثال این پست می توانید نمونه کد این مثال را مشاهده نمایید.


#دیتافریم
#اعمال_تابع
#پایتون_مالی
#dataframe
#pandas
#groupby
#apply

@python4finance

بررسی روند GDP ایران و ایالات متحده از سال 2000 تا الان
این اطلاعات به کمک ماژول pandas dataredear و از منبع بانک جهانی (Iran GDP , US GDP) استخراج و رسم شده است.

#پایتون_مالی
#تولید_ناخالص_داخلی
#GDP
#Pandas_datareader


@python4finance

مقایسه عناصر دو دیتافریم
حالتی را تصور کنید که شما داده های مربوط به یک نماد (مثلا بیت کوین) را در یک بازه زمانی مشخص از دو کارگزاری مختلف دریافت می کنید اما در محاسبات (مثلا محاسبه انحراف معیار یا میانگین) نتایج مختلفی را مشاهده می کنید. در این حالت ابتدا لازم است یکسان بودن داده ها را بررسی کنید. برای بررسی یکسان بودن داده ها از تابع compare در pandas استفاده می کنیم.
در مثال این پست، عناصر دو دیتافریم بررسی و تفاوت ها نمایش داده می شود.

#دیتا_فریم
#پانداس
#پایتون_مالی

#DataFrame
#Pandas
#python

@python4finance

کار با داده ها به راحتی یک صفحه گسترده
حتما همه شما با اکسل کار کرده اید و لذت استفاده از یک صفحه گسترده را تجربه کرده اید. در پایتون ماژول Pandas شاید سلطان بلامنازع کار با داده ها باشد اما همواره استفاده از خروجی های آن علی الخصوص برای تازه وارد ها کمی سخت است.
یکی از کتابخانه های بسیار زیبا در این خصوص کتابخانه D-Tale است. این کتابخانه بیشتر امکانات رایج کار با داده ها را در یک رابط کاربری زیبا در اختیار شما می گذارد و لذت استفاده از پایتون رو دو چندان می کند.
اگر به این ماژول ارزشمند علاقه مند شدید سری به صفحه گیت هاب آن به نشانی بزنید.
در پست های آتی در خصوص این ماژول با هم بیشتر صحبت می کنیم.


#Data_table
#Data_farme
#pandas
#dtale
#python

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

استفاده از ماژول Dtale برای تحلیل داده ها
در پست قبل در خصوص ویژگی های ماژول Dtale صحبت کردیم. برای استفاده از امکانات این ماژول لازم است دیتافریم خود را با تابع show باز کنید.
در تصویر این پست داده های سهم اپل، از ابتدای سال 2021 با استفاده از ماژول Dtale باز شده است. برای استفاده از امکانات ماژول، کافی است بر روی علامت مثلث سمت چپ تصویر کلیک کنید تا کلیه امکانات تحلیلی ماژول برای شما باز شود.
با استفاده از این ماژول تقریبا بیشتر کارهای متداول نرم افزهای آماری مانند spss و eviews را می توانید انجام دهید.


#Data_table
#Data_farme
#pandas
#dtale
#python

پایتون برای مالی در تلگرام
t.me/python4finance

کار با داده ها به راحتی یک صفحه گسترده - 2
قبلا در این پست در خصوص ماژول D-Tale و امکاناتی که برای کار با داده ها در قالب یک صفحه گسترده فراهم می کرد صحبت کردیم.
این بار با ماژول دیگری به نام Mito آشنا می شویم. شعار این ماژول عبارت است از:
Do Python analyses 10x faster
که گویای هدف سازندگان آن است. توجه داشته باشید که این ماژول صرفا روی Jupyter Lab اجرا می شود.
بعد از نصب این ماژول می توانید با دو خط زیر Mito را فراخوانی کنید و کار با داده ها را در یک محیط بسیار کاربر پسند دنبال کنید.
import mitosheet
mitosheet.sheet()
برای اطلاعات بیشتر می توانید به صفحه این ماژول در این آدرس مراجعه نمایید.

#Data_table
#Data_farme
#pandas
#Mito
#DTale
#python

پایتون برای مالی در تلگرام
t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

ترکیب دیتافریم ها با یکدیگر (بخش دوم)
فرض کنید داده های مربوط به کاربران شامل نام و میزان کمیسیون فروش آنها را در یک جدول به نام users‌ ذخیره کرده ایم. در جدول دیگری به نام sales میزان فروش کاربران را ذخیره کرده ایم.
با استفاده از تابع join و مشخص کردن شیوه ترکیب توسط پارامتر how می توانید ادغام را انجام دهید.

#ترکیب
#دیتافریم
#merge
#join
#Pandas
#data_science

پایتون برای مالی در تلگرام
🆔 https://t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

دانلود فایل رسم انواع نمودارها با Pandas
رسم نمودارها همیشه یکی از مهمترین کارهای یک دانشمند داده است. قبلا در پست های زیادی در خصوص انواع #نمودار با هم صحبت کرده بودیم. در این فایل نمودارهای اصلی پانداس بررسی و شیوه ترسیم آنها ذکر می شود.

#پانداس
#نمودار
#pandas

پایتون برای مالی در تلگرام
https://t.me/joinchat/AAAAAFGMkouqbsb86Vfzug

رفع مشکل pandas_datareader
ماژول pandas_datareader یکی از بهترین و متداولترین ماژولها برای دریافت داده ها از yahoo finance است، یا بهتر بود بگویم بود! چند وقتی است که این ماژول دچار مشکل شده است و متاسفانه توسعه دهندگان آن به روز رسانی جدیدی را برای آن ارائه نکرده اند و البته (تا جایی که من بررسی کردم) راه حل استانداری برای حل مشکل آن ارائه نشده است.
یکی از سوالات کاربران، راه حل این موضوع بود که البته yfinance بهترین جایگزین برای این موضوع است. اما اگر در پروژه هایتان قبلا از pandas_datareader استفاده کرده اید و نمی خواهید همه کدها را تغییر دهید می توانید با استفاده از yfinance از راه حل زیر برای حل موضوع استفاده کنید.

#pandas_datareader
#yfianance


پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance

ایجاد نقشه حرارتی در دیتافریم
بسیاری از اوقات می خواهیم با یک نگاه رابطه بین متغیرها رو بررسی کنیم. یکی از بهترین نماگرها برای این موضوع، نقشه حرارتی است. به کمک پانداس به راحتی می توان نقشه حرارتی را تشکیل داد.
در مثال این پست، رابطه همبستگی بین بازدهی سهام چند شرکت از ابتدای 2024 بررسی و نقشه حرارتی آنها نیز مشخص می شود.

import pandas as pd
import yfinance as yf
df=yf.download(["GOOG","META","MSFT","AMZN","AAPL"],start="2024-01-01")["Adj Close"].pct_change().corr()
df.sort_values("AAPL",axis=0).style.format().background_gradient()

#پانداس
#همبستگی
#نقشه حرارتی
#pandas
#heatmaps

🆔 t.me/python4finance

کار با مقادیر از دست رفته در پایتون، ماژول Pandas - بخش ششم (توابع جدید)
قبلا در این پست در خصوص تمیز کردن داده ها و کار با مقادیر از دست رفته (None و NAN) صحبت کرده بودیم. در به روزرسانی های اخیر پانداس، توابع ffill و bfill جایگزین fillna(method='ffill') و fillna(method='bfill') شده اند و از نسخه 2.1.0 این تغییر اتفاق افتاده است. در صورتی که در کدهای خود از این توابع استفاده کرده اید، هر چه سریعتر نسبت به بروزرسانی اقدام نمایید.
#pandas
#fillna
#bfill
#ffill
پایتون برای مالی
🆔 t.me/python4finance
🆔 ble.ir/python4finance

اختصاصی سازی مقادیر نمایش داده شده در pandas
یکی از ویژگی های جالب پانداس، امکانات بسیار خوبی است که برای اختصاصی سازی داده ها به کاربر می دهد. برای مثال فرض کنید می خواهیم به جای داده های Nan عبارت خالی را نمایش دهیم. یا می خواهیم داده ها را به صورت سه رقم سه رقم نمایش دهیم. برای این کار به آسانی می توانیم از style.format استفاده کنیم.
در مثال این پست، اختصاصی سازی داده ها برای مقادیر مختلف نمایش داده می شود.

import pandas as pd
df = pd.DataFrame([[np.nan, 1234567, np.nan], [2.0, 'A' , 3.0]])
df.style.format(thousands=",", precision=2 , decimal="/", na_rep='خالی')  

#پایتون_مالی
#پانداس
#pandas

عضویت در کانال پایتون برای مالی👇👇👇

🆔 t.me/python4finance
🆔 ble.ir/python4finance

خلاصه بندی OHLC داده ها با resample
یکی از توابع بسیار کاربردی pandas تابع resample است. به کمک این تابع می توانیم تناوب داده ها را تغییر دهیم. مثلا داده های ساعتی را به داده های روزانه تبدیل کنیم یا داده های روزانه را به هفتگی، ماهانه و سالانه.
یکی از بخش های قشنگ این ماژل تبدیل داده ها به فرمت OHLC است. یعنی داده های مربوط به بازشدن، بالاترین داده، کمترین داده و داده بسته شده. (البته برای بچه های بازار سرمایه این فرمت آشناست، اما برای سایر رشته ها شاید کمی عجیب به نظر برسد)
فرض کنید داده های ساعتی هواشناسی را داریم. می خواهیم دمای هوا در ابتدا و انتهای روز و نیز بالاترین دما و پایین ترین دما را مشخص و رسم کنیم.
با استفاده از resample به راحتی قابل انجام است.

import pandas as pd
import mplfinance as mpf
url="https://python4finance.ir/datafolder/WeatherData.csv"
df=pd.read_csv(url,index_col="Date/Time" , parse_dates=True)
mpf.plot(df.loc["01/01/2012 00:00":"05/01/2012 00:00"]["Temp_C"].resample("D").ohlc(),type="candle",figsize=(16,6),mav=(10))

#پانداس
#pandas
#resample

پایتون برای مالی

🆔 @python4finance