از این پس پایتون .pdf
12.6 MB
📘 کتاب از این پس پایتون. (نسخه کامل)
ترجمه و تالیف : سعید خالقی - علیرضا حق نیا.
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
ترجمه و تالیف : سعید خالقی - علیرضا حق نیا.
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
👍2
کتاب داده کاوی.pdf
19.8 MB
کتاب بسیار مفید داده کاوی. (نسخه کامل)
مولف : ران زاچارسکی
مترجم : مسعود کاویانی
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
مولف : ران زاچارسکی
مترجم : مسعود کاویانی
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
👍2
🟩 آشنایی با معاملات الگوریتمی
@pyfinance
آیا تا این لحظه واژه #معاملات_الگوریتمی به گوشتان خورده است؟! زمانی که معاملات #بورس راه اندازی شد، سرعت پردازش در رایانهها به شکل امروزی نبود و این بازارها به وجود آنها وابسته نبود. بنابراین در آن زمان معاملات به صورت دستی و حضوری و بطور #سنتی انجام میشد. هر شخصی برای خرید یا فروش سهام در بازار بورس ایران باید خود را به خیابان حافظ میرساند تا اولا از روی تابلو قیمتهای به روز شده را ببیند و سپس برای خرید یا فروش سهم خود باید فرمهای مربوطه را پر میکرد. اما امروزه به لطف پیشرفت در سیستمهای نرمافزاری و سختافزاری و در دسترس بودن اینترنت، در حالی که در خانه یا محل کار خود در حال نوشیدن یک #چای گرم هستید تنها با وارد شدن به سایت #کارگزاری خود و با زدن یک دکمه میتوانید سهام خود را خریداری یا بفروش برسانید.
اما در حال حاضر نرم افزارها و سخت افزارهای رایانهای، کار را برای ما از این هم راحتتر کردهاند. دکمهای را که معاملهگر بدون #استراتژی خاصی برای خرید یا فروش سهم خود با هر حالت روحی و روانی میزند نیز رایانه عهده دار آن است و معاملات را بدور از هیچ استرس روحی و روانی و با توجه به استراتژی معاملاتی میخرد و یا میفروشد. حال کمی فراتر می رویم میخواهیم معاملات #هوشمندانهتر انجام شود مثلا اول شرایط بازار را بسنجد و بعد میزان سرمایه را چک کند و سپس وارد معامله شود، به این گونه معاملات که هوشمندی خاصی دارند، معاملات الگوریتمی میگویند.
اگر بخواهیم به زبان ساده معاملات الگوریتمی را بیان نماییم، به هر نوع معامله هوشمندانه که به صورت #خودکار توسط رایانه برنامهریزی شود را معاملات الگوریتمی می گویند که این کار نیز با زبان #پایتون قابل دسترسی خواهد بود.
🔅 برای شرکت در دوره جامع معاملات الگوریتمی به @data_vest پیام ارسال نمایید.
➖➖➖➖➖➖➖
@pyfinance
@pyfinance
آیا تا این لحظه واژه #معاملات_الگوریتمی به گوشتان خورده است؟! زمانی که معاملات #بورس راه اندازی شد، سرعت پردازش در رایانهها به شکل امروزی نبود و این بازارها به وجود آنها وابسته نبود. بنابراین در آن زمان معاملات به صورت دستی و حضوری و بطور #سنتی انجام میشد. هر شخصی برای خرید یا فروش سهام در بازار بورس ایران باید خود را به خیابان حافظ میرساند تا اولا از روی تابلو قیمتهای به روز شده را ببیند و سپس برای خرید یا فروش سهم خود باید فرمهای مربوطه را پر میکرد. اما امروزه به لطف پیشرفت در سیستمهای نرمافزاری و سختافزاری و در دسترس بودن اینترنت، در حالی که در خانه یا محل کار خود در حال نوشیدن یک #چای گرم هستید تنها با وارد شدن به سایت #کارگزاری خود و با زدن یک دکمه میتوانید سهام خود را خریداری یا بفروش برسانید.
اما در حال حاضر نرم افزارها و سخت افزارهای رایانهای، کار را برای ما از این هم راحتتر کردهاند. دکمهای را که معاملهگر بدون #استراتژی خاصی برای خرید یا فروش سهم خود با هر حالت روحی و روانی میزند نیز رایانه عهده دار آن است و معاملات را بدور از هیچ استرس روحی و روانی و با توجه به استراتژی معاملاتی میخرد و یا میفروشد. حال کمی فراتر می رویم میخواهیم معاملات #هوشمندانهتر انجام شود مثلا اول شرایط بازار را بسنجد و بعد میزان سرمایه را چک کند و سپس وارد معامله شود، به این گونه معاملات که هوشمندی خاصی دارند، معاملات الگوریتمی میگویند.
اگر بخواهیم به زبان ساده معاملات الگوریتمی را بیان نماییم، به هر نوع معامله هوشمندانه که به صورت #خودکار توسط رایانه برنامهریزی شود را معاملات الگوریتمی می گویند که این کار نیز با زبان #پایتون قابل دسترسی خواهد بود.
🔅 برای شرکت در دوره جامع معاملات الگوریتمی به @data_vest پیام ارسال نمایید.
➖➖➖➖➖➖➖
@pyfinance
👍2
علم داده و بازارهای مالی
در چند سال اخیر توجه به #علم_داده و اهمیت آن در بازارهای مالی به طرز چشمگیری در بین شرکتهای فعال در #صنعت_مالی کشور افزایش یافته است. با این حال به نظرم تا رسیدن به نقطه مطلوب فاصله زیادی وجود دارد. بسیاری از شرکتهای #سرمایه_گذاری، #سبدگردان ها، #کارگزاری ها،#بانک ها و #بیمه ها به صورت سنتی به انجام امور محوله می پردازند و از موهبت علم داده در تکمیل و تسریع وظایف فعلی و ایجاد فرصت های کسب و کاری جدید توسط علم داده ناآگاهاند. در یک سال اخیر دوره های متعددی در این زمینه برای نهادهای مالی مختلف از جمله #بیمه_ملت، #صندوق_بازنشستگی، #هلدینگ_خلیج_فارس و ... داشتهام. دورههایی که اغلب تمرکز آنها بر روشهای #یادگیری_ماشین با استفاده از #پایتون متناسب با آن کسب و کار بوده است و به عنوان یک شخص حقیقی در این یک سال بیش از 500 دانشجو در این حوزه داشتهام. همچنین در حال حاضر در حال طراحی یک دوره جامع (حدود 200 ساعت)، با همکاری یکی از نهادهای مالی هستم.
از عزیزانی که می تونن در برگزاری دورههای مرتبط با «علم داده» اعم از دیتابیس، یادگیری ماشین، #یادگیری_عمیق، #معاملات_الگوریتمی، کاربردهای خاص در صنایع مختلف مالی و ... کمک کنن به بنده پیام ارسال کنند یا به ایمیل زیر رزومه خودشون رو ارسال کنند:
aliraoofi1@gmail.com
در چند سال اخیر توجه به #علم_داده و اهمیت آن در بازارهای مالی به طرز چشمگیری در بین شرکتهای فعال در #صنعت_مالی کشور افزایش یافته است. با این حال به نظرم تا رسیدن به نقطه مطلوب فاصله زیادی وجود دارد. بسیاری از شرکتهای #سرمایه_گذاری، #سبدگردان ها، #کارگزاری ها،#بانک ها و #بیمه ها به صورت سنتی به انجام امور محوله می پردازند و از موهبت علم داده در تکمیل و تسریع وظایف فعلی و ایجاد فرصت های کسب و کاری جدید توسط علم داده ناآگاهاند. در یک سال اخیر دوره های متعددی در این زمینه برای نهادهای مالی مختلف از جمله #بیمه_ملت، #صندوق_بازنشستگی، #هلدینگ_خلیج_فارس و ... داشتهام. دورههایی که اغلب تمرکز آنها بر روشهای #یادگیری_ماشین با استفاده از #پایتون متناسب با آن کسب و کار بوده است و به عنوان یک شخص حقیقی در این یک سال بیش از 500 دانشجو در این حوزه داشتهام. همچنین در حال حاضر در حال طراحی یک دوره جامع (حدود 200 ساعت)، با همکاری یکی از نهادهای مالی هستم.
از عزیزانی که می تونن در برگزاری دورههای مرتبط با «علم داده» اعم از دیتابیس، یادگیری ماشین، #یادگیری_عمیق، #معاملات_الگوریتمی، کاربردهای خاص در صنایع مختلف مالی و ... کمک کنن به بنده پیام ارسال کنند یا به ایمیل زیر رزومه خودشون رو ارسال کنند:
aliraoofi1@gmail.com
👍2
1635001118986.pdf
4.1 MB
گزارش جدید شرکت Kaggle از وضعیت علم داده و یادگیری ماشینی
برخی نکات قابل تامل:
- بیش از 80 درصد دیتاساینتیستها دارای جنسیت مذکر هستند! و این درصد در 5 سال اخیر ثابت مانده است.
- بیشترین فراوانی در رده سنی 25 تا 29 سال!
- بیشترین دیتاساینتیستها در کشورهای هند و آمریکا (حدود 40 درصد) اما سهم هند به شدت در 5 سال اخیر افزایش و سهم آمریکا کاهش داشته است.
- حدود 50 درصد از دیتاساینتیستها دارای مدرک ارشد و 30 درصد دارای مدرک کارشناسی هستند. سهم دکتری کمتر از 15 درصد
- بیشتر افراد دیتاساینس را از طریق دوره های coursera گذراندهاند.
- دستمزد سالانه یک دیتاساینتیست در آمریکا بین 150 تا 200 هزار دلار است.
- بیشتر دیتاساینتییستها در شرکت های با کمتر از 50 کارکن کار میکنند.
- محبوب ترین محیط توسعه با اختلاف ژوپیترنوتبوک است.
- مورد استفاده ترین فریم ورک های sklearn و tensorflow
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
برخی نکات قابل تامل:
- بیش از 80 درصد دیتاساینتیستها دارای جنسیت مذکر هستند! و این درصد در 5 سال اخیر ثابت مانده است.
- بیشترین فراوانی در رده سنی 25 تا 29 سال!
- بیشترین دیتاساینتیستها در کشورهای هند و آمریکا (حدود 40 درصد) اما سهم هند به شدت در 5 سال اخیر افزایش و سهم آمریکا کاهش داشته است.
- حدود 50 درصد از دیتاساینتیستها دارای مدرک ارشد و 30 درصد دارای مدرک کارشناسی هستند. سهم دکتری کمتر از 15 درصد
- بیشتر افراد دیتاساینس را از طریق دوره های coursera گذراندهاند.
- دستمزد سالانه یک دیتاساینتیست در آمریکا بین 150 تا 200 هزار دلار است.
- بیشتر دیتاساینتییستها در شرکت های با کمتر از 50 کارکن کار میکنند.
- محبوب ترین محیط توسعه با اختلاف ژوپیترنوتبوک است.
- مورد استفاده ترین فریم ورک های sklearn و tensorflow
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
👍1
#یادگیری_ماشین، #یادگیری_عمیق و علم مالی
بعد از آشنایی با مطالب مرتبط با یادگیری ماشین، بسیاری از علاقه مندان این حوزه با اصطلاحی به نام یادگیری عمیق نیز آشنا میشوند. در صورت کنجکاوی، به پرس و جو و کاوش در اینترنت میپردازند و احتمالاً تا حدی با این تعریف آشنا شده و حس کنجکاوی آنها برطرف میشود. عده ای اما کمی موشکافانه تر به برسی تفاوت های یاد گیری عمیق و یادگیری ماشین میپپردازند. قائل شدن این تفاوت بین مدل های یادگیری عمیق و یادگیری ماشین شاید از نظر بعضی حتی غلط به نظر برسد از آن جهت که یاد گیری عمیق را بخشی از یادگیری ماشین میدانند. اما با ریزبینی بیشتر، میتوان ویژگی هایی در مدل های یاد گیری عمیق یافت که در مدل های عادی یادگیری ماشین دیده نمیشود. همچنین برای کسانی که ذهن پرسش گری نسبت به موضوع دارند پاسخ های داده شده برای بیان تفاوت یادگیری عمیق و یادگیری ماشین کلاسیک راضی کننده نیست.
اگر بخواهیم یک جمع بندی از پاسخ هایی که برای شرح این تفاوت ها داده شده ارائه دهیم نکات ذیل در منابع گوناگون به دفعات ذکر شده اند:
1. یاد گیری عمیق توان استخراج دانش بیشتری از میان داده های حجیم نسبت به مدل های یاد گیری ماشین کلاسیک دارند
2. مدل های یاد گیری عمیق به شبکه های عصبی با بیش از 3 لایه مخفی گفته میشود
3. مدل های یاد گیری عمیق توان استخراج ویژگی هایی را از میان داده ها دارند که در مدل های یادگیری ماشین کلاسیک توسط انسان استخراج میشود.
تا اینجا همه چیز تا حدودی قابل قبول است. به طور مثال میتوان از معماری موفق شبکه ResNetXt-50 که در سال 2017 توسعه داده شد به عنوان یک مثال از مدل یادگیری عمیق در حوزه ی پردازش تصویر نام برد.
اما سوال اصلی این است که چرا چنین معماری های شناخته شده و فراگیری در حوزه ی پردازش داده های #سری_زمانی_مالی وجود ندارد.
اگر در جواب معماری های منتشر شده مبتنی مدل های LSTM و GRU به ذهنتان آمد، سوال بعدی این است که آیا واقعا چنین معماری هایی بر مبنای رفتار آماری داده های مالی به عمل استخراج ویژگی می پردازند؟ آیا ویژگی مرتبط با تشخیص چرخهی رونق و رکود بازار های مالی را استخراج میکنند؟ آیا ویژگی های مربوط به تشخیص هیجانات سرمایه گزاران را استخراج میکند؟ ویژگی ها خلاف قاعده های بازار را چطور؟
اگر پاسختان به سوالات بالا بلی است ، به این معنی است که اگر ویژگی های آماری به خصوصی توسط محققان و خبرگان رشته مالی به یاری مدل های یاد گیری عمیق بیایند امکان افزایش دقت پیشبینی های مالی نخواهد بود.
در پایان به نظر میرسد فاصله ای علمی و فنی میان متخصصان رشته مالی و داده کاوی وجود دارد که نیاز به بحث و برسی بیشتر دارد.
نظر شما چیست؟ چطور این فاصله را کمتر و کمتر کنیم؟
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
بعد از آشنایی با مطالب مرتبط با یادگیری ماشین، بسیاری از علاقه مندان این حوزه با اصطلاحی به نام یادگیری عمیق نیز آشنا میشوند. در صورت کنجکاوی، به پرس و جو و کاوش در اینترنت میپردازند و احتمالاً تا حدی با این تعریف آشنا شده و حس کنجکاوی آنها برطرف میشود. عده ای اما کمی موشکافانه تر به برسی تفاوت های یاد گیری عمیق و یادگیری ماشین میپپردازند. قائل شدن این تفاوت بین مدل های یادگیری عمیق و یادگیری ماشین شاید از نظر بعضی حتی غلط به نظر برسد از آن جهت که یاد گیری عمیق را بخشی از یادگیری ماشین میدانند. اما با ریزبینی بیشتر، میتوان ویژگی هایی در مدل های یاد گیری عمیق یافت که در مدل های عادی یادگیری ماشین دیده نمیشود. همچنین برای کسانی که ذهن پرسش گری نسبت به موضوع دارند پاسخ های داده شده برای بیان تفاوت یادگیری عمیق و یادگیری ماشین کلاسیک راضی کننده نیست.
اگر بخواهیم یک جمع بندی از پاسخ هایی که برای شرح این تفاوت ها داده شده ارائه دهیم نکات ذیل در منابع گوناگون به دفعات ذکر شده اند:
1. یاد گیری عمیق توان استخراج دانش بیشتری از میان داده های حجیم نسبت به مدل های یاد گیری ماشین کلاسیک دارند
2. مدل های یاد گیری عمیق به شبکه های عصبی با بیش از 3 لایه مخفی گفته میشود
3. مدل های یاد گیری عمیق توان استخراج ویژگی هایی را از میان داده ها دارند که در مدل های یادگیری ماشین کلاسیک توسط انسان استخراج میشود.
تا اینجا همه چیز تا حدودی قابل قبول است. به طور مثال میتوان از معماری موفق شبکه ResNetXt-50 که در سال 2017 توسعه داده شد به عنوان یک مثال از مدل یادگیری عمیق در حوزه ی پردازش تصویر نام برد.
اما سوال اصلی این است که چرا چنین معماری های شناخته شده و فراگیری در حوزه ی پردازش داده های #سری_زمانی_مالی وجود ندارد.
اگر در جواب معماری های منتشر شده مبتنی مدل های LSTM و GRU به ذهنتان آمد، سوال بعدی این است که آیا واقعا چنین معماری هایی بر مبنای رفتار آماری داده های مالی به عمل استخراج ویژگی می پردازند؟ آیا ویژگی مرتبط با تشخیص چرخهی رونق و رکود بازار های مالی را استخراج میکنند؟ آیا ویژگی های مربوط به تشخیص هیجانات سرمایه گزاران را استخراج میکند؟ ویژگی ها خلاف قاعده های بازار را چطور؟
اگر پاسختان به سوالات بالا بلی است ، به این معنی است که اگر ویژگی های آماری به خصوصی توسط محققان و خبرگان رشته مالی به یاری مدل های یاد گیری عمیق بیایند امکان افزایش دقت پیشبینی های مالی نخواهد بود.
در پایان به نظر میرسد فاصله ای علمی و فنی میان متخصصان رشته مالی و داده کاوی وجود دارد که نیاز به بحث و برسی بیشتر دارد.
نظر شما چیست؟ چطور این فاصله را کمتر و کمتر کنیم؟
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
Telegram
پایتون مالی
این کانال برای یادگیری پایتون با رویکرد مالی ایجاد شده است.
در اینجا مطالب آموزشی علم داده، هوش مصنوعی، پایتون مالی و معاملات الگوریتمی به اشترک گذاشته خواهد شد.
سپاس بابت همراهیتان
Admin:
علی رئوفی - دکتری اقتصاد مالی و اقتصادسنجی
@raoofiali
در اینجا مطالب آموزشی علم داده، هوش مصنوعی، پایتون مالی و معاملات الگوریتمی به اشترک گذاشته خواهد شد.
سپاس بابت همراهیتان
Admin:
علی رئوفی - دکتری اقتصاد مالی و اقتصادسنجی
@raoofiali
Forwarded from یادداشتهای اقتصادی
دوره معاملات الگوریتمی با پایتون
آیا میدانستید درحال حاضر بیش از ۸۵ درصد معاملات بازارهای مالی به صورت الگوریتمی انجام میشوند؟
#معاملات_الگوریتمی، معاملاتی هستند که بوسیله کامپیوتر و بدون دخالت انسان و با دقت بالا انجام میشوند. تحلیل حجم انبوهی از دادههای مالی که در لحظه تولید میشوند از عهده یک فرد یا گروهی از افراد خارج است. از این رو استفاده از معاملات الگوریتمی در بازارهای مالی برای دریافت و پالایش دادهها و انجام معاملات به صورت خودکار روز به روز در حال گسترش است.
این دوره با این فرض طراحی شده است که مخاطب هیچ دانش و تجربه قبلی در زمینه برنامهنویسی نداشته و در طول آموزش با این زبان آشنا میشود.
طول دوره: ۲۰ساعت + ۴ساعت پرسش و پاسخ و تمرین
مدرس:
علی رئوفی- دکتری اقتصادسنجی و مالی
نحوه برگزاری:
آنلاین + ویدئو به صورت مادامالعمر
✅ ۲۵ درصد #تخفیف تا جمعه ۲۸ آبان
برای کسب اطلاعات بیشتر و دریافت سرفصلها به ایدی تلگرامی @abedizohreh پیام ارسال فرمایید.
آیا میدانستید درحال حاضر بیش از ۸۵ درصد معاملات بازارهای مالی به صورت الگوریتمی انجام میشوند؟
#معاملات_الگوریتمی، معاملاتی هستند که بوسیله کامپیوتر و بدون دخالت انسان و با دقت بالا انجام میشوند. تحلیل حجم انبوهی از دادههای مالی که در لحظه تولید میشوند از عهده یک فرد یا گروهی از افراد خارج است. از این رو استفاده از معاملات الگوریتمی در بازارهای مالی برای دریافت و پالایش دادهها و انجام معاملات به صورت خودکار روز به روز در حال گسترش است.
این دوره با این فرض طراحی شده است که مخاطب هیچ دانش و تجربه قبلی در زمینه برنامهنویسی نداشته و در طول آموزش با این زبان آشنا میشود.
طول دوره: ۲۰ساعت + ۴ساعت پرسش و پاسخ و تمرین
مدرس:
علی رئوفی- دکتری اقتصادسنجی و مالی
نحوه برگزاری:
آنلاین + ویدئو به صورت مادامالعمر
✅ ۲۵ درصد #تخفیف تا جمعه ۲۸ آبان
برای کسب اطلاعات بیشتر و دریافت سرفصلها به ایدی تلگرامی @abedizohreh پیام ارسال فرمایید.
Media is too big
VIEW IN TELEGRAM
🔵مقدمات زبان برنامه نویسی #پایتون
#درس_اول
ساخت انواع متغیرهای صحیح، اعشاری و رشته
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
#درس_اول
ساخت انواع متغیرهای صحیح، اعشاری و رشته
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
👍1
📑 مفهوم کلانداده
امروزه با دادههای بسيار زياد، مختلف، و با پيچيدگي بالا سروکار داريم که مديريت، سازماندهی، و نگهداری آنها مساله مهمي است.
طبق آمار، ۹۰ درصد دادههای موجود در جهان تنها در دو سال اخیر ایجاد شدهاند. رشد دادهها در سال ۲۰۰۹ چیزی در حدود ۰.۸ زتابایت (۰.۸ ZB) بوده است که پیشبینی ميشود اين مقدار در سال ۲۰۲۰ به ۳۲ ZB افزايش يابد.
رشد دادهها همچنان مانند گذشته ادامه دارد و رشد آنها روزه به روز سریعتر میشود.
مشکل اصلی البته این است که رشد دادهها بیشتر در زمینهی دادههای غیرِ ساخت یافته صورت میگیرد.
امروزه #کلانداده توسط منابع مختلفی مانند دستگاههای موبایل، GPS، RFID، شبکههای اجتماعی، مشتریان و بسیاری از منابع دیگر توليد ميشود.
🔰 تعریف کلانداده
برای کلاندادهها تعاریف متعددی ارائه شده است که در زیر به چند مورد از آنها اشاره میشود:
به طور عمومی کلانداده عبارت است از مجموعه دادههایی که به روشهای سنتی موجود در فناوری اطلاعات، نرمافزارها و سختافزار و در یک زمان قابل قبول قادر به جمعآوری، درک، و مدیريت نباشند.
تعریف Apache Hadoop در سال ۲۰۱۰ برای کلانداده: کلانداده عبارت است از مجموعه دادههایی که باتوجه به کامپیوترهای موجود براحتی قابل جمعآوری، مدیريت، و پردازش نباشند.
برای کلاندادهها یکسری چالش و فرصت معرفی شده که به صورت مدل ۳V بیان میشود و شامل افزایش حجم، شتاب، و تنوع میباشد.
۱. حجم (Volume): با تولید و جمعآوری دادهها در نهایت به انبوهی از دادهها دست مییابیم که گسترهی آنها بسیار زياد است.
۲. شتاب (Velocity): دادهها با سرعت زیادی تولید میشوند و نیاز به تحلیل سریع و به موقع است.
۳. تنوع (Variety): به معنی وجود انواع مختلف دادهها است که خود شامل دادههای ساخت یافته، نیمه ساخت یافته و غیرساخت یافته است مانند ویدئو، صوت، متن، و صفحات وب.
چرخهی حیات کلانداده
چرخهی حیات کلانداده را میتوان یک حلقه از چهار عملیات زیر در نظر گرفت:
۱. جمعآوری (Collection): شامل جمعآوری دادههای مناسب از مجموعهی دادهای مناسب است. برای مثال جمعآوری دادهها میتوانند از یک شبکهي اجتماعي يا شبکههاي حسگر بيسيم باشند.
۲. یکپارچهسازی (Integrate): دادههای جمعآوری شده با یکدیگر یکپارچه و سازماندهی (Organize) میشوند. گاهي ممکن است مجبور شويم آنها را با مجموعهي دادهاي خود منطبق کنيم.
۳. تحلیل (Analysis): در این بخش میتوان تحلیلهای ساده و یا تحلیلهای پیشرفتهي آماري بر روي دادهها انجام داد.
۴. تصمیمگیریها و اقدامات (Actions Decisions): بعد از جمعآوری، یکپارچهسازی، و تحلیل دادهها میتوان آنها را به مدیر تحويل داد و بر اساس اين دادهها مدير ميتواند اقدامات لازم و مفيد را اجرا کند. براي مثال اگر شما يک کتاب در زمينهي علوم کامپيوتر از آمازون خريداري کنيد، ممکن است به شما پيشنهاد خريد کتابي در زمينهي کلانداده نيز ارائه شود.
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
امروزه با دادههای بسيار زياد، مختلف، و با پيچيدگي بالا سروکار داريم که مديريت، سازماندهی، و نگهداری آنها مساله مهمي است.
طبق آمار، ۹۰ درصد دادههای موجود در جهان تنها در دو سال اخیر ایجاد شدهاند. رشد دادهها در سال ۲۰۰۹ چیزی در حدود ۰.۸ زتابایت (۰.۸ ZB) بوده است که پیشبینی ميشود اين مقدار در سال ۲۰۲۰ به ۳۲ ZB افزايش يابد.
رشد دادهها همچنان مانند گذشته ادامه دارد و رشد آنها روزه به روز سریعتر میشود.
مشکل اصلی البته این است که رشد دادهها بیشتر در زمینهی دادههای غیرِ ساخت یافته صورت میگیرد.
امروزه #کلانداده توسط منابع مختلفی مانند دستگاههای موبایل، GPS، RFID، شبکههای اجتماعی، مشتریان و بسیاری از منابع دیگر توليد ميشود.
🔰 تعریف کلانداده
برای کلاندادهها تعاریف متعددی ارائه شده است که در زیر به چند مورد از آنها اشاره میشود:
به طور عمومی کلانداده عبارت است از مجموعه دادههایی که به روشهای سنتی موجود در فناوری اطلاعات، نرمافزارها و سختافزار و در یک زمان قابل قبول قادر به جمعآوری، درک، و مدیريت نباشند.
تعریف Apache Hadoop در سال ۲۰۱۰ برای کلانداده: کلانداده عبارت است از مجموعه دادههایی که باتوجه به کامپیوترهای موجود براحتی قابل جمعآوری، مدیريت، و پردازش نباشند.
برای کلاندادهها یکسری چالش و فرصت معرفی شده که به صورت مدل ۳V بیان میشود و شامل افزایش حجم، شتاب، و تنوع میباشد.
۱. حجم (Volume): با تولید و جمعآوری دادهها در نهایت به انبوهی از دادهها دست مییابیم که گسترهی آنها بسیار زياد است.
۲. شتاب (Velocity): دادهها با سرعت زیادی تولید میشوند و نیاز به تحلیل سریع و به موقع است.
۳. تنوع (Variety): به معنی وجود انواع مختلف دادهها است که خود شامل دادههای ساخت یافته، نیمه ساخت یافته و غیرساخت یافته است مانند ویدئو، صوت، متن، و صفحات وب.
چرخهی حیات کلانداده
چرخهی حیات کلانداده را میتوان یک حلقه از چهار عملیات زیر در نظر گرفت:
۱. جمعآوری (Collection): شامل جمعآوری دادههای مناسب از مجموعهی دادهای مناسب است. برای مثال جمعآوری دادهها میتوانند از یک شبکهي اجتماعي يا شبکههاي حسگر بيسيم باشند.
۲. یکپارچهسازی (Integrate): دادههای جمعآوری شده با یکدیگر یکپارچه و سازماندهی (Organize) میشوند. گاهي ممکن است مجبور شويم آنها را با مجموعهي دادهاي خود منطبق کنيم.
۳. تحلیل (Analysis): در این بخش میتوان تحلیلهای ساده و یا تحلیلهای پیشرفتهي آماري بر روي دادهها انجام داد.
۴. تصمیمگیریها و اقدامات (Actions Decisions): بعد از جمعآوری، یکپارچهسازی، و تحلیل دادهها میتوان آنها را به مدیر تحويل داد و بر اساس اين دادهها مدير ميتواند اقدامات لازم و مفيد را اجرا کند. براي مثال اگر شما يک کتاب در زمينهي علوم کامپيوتر از آمازون خريداري کنيد، ممکن است به شما پيشنهاد خريد کتابي در زمينهي کلانداده نيز ارائه شود.
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
Telegram
پایتون مالی
این کانال برای یادگیری پایتون با رویکرد مالی ایجاد شده است.
در اینجا مطالب آموزشی علم داده، هوش مصنوعی، پایتون مالی و معاملات الگوریتمی به اشترک گذاشته خواهد شد.
سپاس بابت همراهیتان
Admin:
علی رئوفی - دکتری اقتصاد مالی و اقتصادسنجی
@raoofiali
در اینجا مطالب آموزشی علم داده، هوش مصنوعی، پایتون مالی و معاملات الگوریتمی به اشترک گذاشته خواهد شد.
سپاس بابت همراهیتان
Admin:
علی رئوفی - دکتری اقتصاد مالی و اقتصادسنجی
@raoofiali
👍1
یکی از نگرانی های که در ذهن بسیاری از دانش پذیران #علم_داده_در_مالی وجود دارد ایناست که از کجا باید شروع کرد؟؟؟
-اول تئوری را یاد بگیریم؟
-اول برنامهنویسی یاد بگیریم؟
-آیا کسی که رشته تخصصی اش ریاضی و آمار نیست امکان یادگیری این علم را دارد؟
در پاسخ به این سوالات از تجربه شخصی و بسیاری از دانش پذیران موفق دوره های گذشته وام میگیرم.
#یادگیری_ماشین ابزاری است که بدون پیاده سازی بر روی داده های متفاوت و #برنامه_نویسی عملاً یاد گیری آنناقص است. به بیانی دیگر این ابزار زمانی معنی پیدا میکند که عملا بر روی داده ها اعمال شوند و نتایج آن مشاهده شود. بنا بر این اگر فردی صرفا بر تئوری این موضوع چه بسا تسلط مناسبی داشته باشد نمیتواتد از آن به صورت عملی صرفاً بر روی کاغذ استفاده کند.
از طرفی صرفاً دانستن نام تعدادی الگوریتم معروف در یک کتاب خانه ای که صرفا یک ماژول از پیش آماده در اختیار مدل ساز قرار میدهد در بسیاری از مواقع نمیتواند یک پاسخ کاملاً هوشمندانه باشد. دلیل آن هم ندانستم ماهیت محاسبات آن الگوریتم و ندانستن تطابق ماهیت الگوریتم با ماهیت داده های مورد بررسی است.
در اینشرایط بهترین شیوه برای یادگیری اینمفاهیم پیش بردن ابعاد تئوری و عملی آن به صورت موازی است. به اینمعنی که به صورت نسبی تئوری را آموزش دیده و بلا فاصله به پیاده سازی و آزمایش های متعدد پرداخته شود. در این شیوه نه تنها هر دو بعد تئوری و عملی این علم پوشش داده میشود بلکه ارتباط تئوری و عمل به شکلی ملموس برای دانش پذیر نهادینهمیشود.
در پایان، این نکته حائز اهمیت است که علم #یادگیری_ماشین امروزه آنقدر محبوب است که توجه افراد زیادی از رشته های متفاوت را به خود جلبکرده است و با اختصاص زمان کافی و شیوه آموزش مناسب، فارق از تخصص دانشگاهی، میتوان در آن به موفقیت دست یافت.
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
-اول تئوری را یاد بگیریم؟
-اول برنامهنویسی یاد بگیریم؟
-آیا کسی که رشته تخصصی اش ریاضی و آمار نیست امکان یادگیری این علم را دارد؟
در پاسخ به این سوالات از تجربه شخصی و بسیاری از دانش پذیران موفق دوره های گذشته وام میگیرم.
#یادگیری_ماشین ابزاری است که بدون پیاده سازی بر روی داده های متفاوت و #برنامه_نویسی عملاً یاد گیری آنناقص است. به بیانی دیگر این ابزار زمانی معنی پیدا میکند که عملا بر روی داده ها اعمال شوند و نتایج آن مشاهده شود. بنا بر این اگر فردی صرفا بر تئوری این موضوع چه بسا تسلط مناسبی داشته باشد نمیتواتد از آن به صورت عملی صرفاً بر روی کاغذ استفاده کند.
از طرفی صرفاً دانستن نام تعدادی الگوریتم معروف در یک کتاب خانه ای که صرفا یک ماژول از پیش آماده در اختیار مدل ساز قرار میدهد در بسیاری از مواقع نمیتواند یک پاسخ کاملاً هوشمندانه باشد. دلیل آن هم ندانستم ماهیت محاسبات آن الگوریتم و ندانستن تطابق ماهیت الگوریتم با ماهیت داده های مورد بررسی است.
در اینشرایط بهترین شیوه برای یادگیری اینمفاهیم پیش بردن ابعاد تئوری و عملی آن به صورت موازی است. به اینمعنی که به صورت نسبی تئوری را آموزش دیده و بلا فاصله به پیاده سازی و آزمایش های متعدد پرداخته شود. در این شیوه نه تنها هر دو بعد تئوری و عملی این علم پوشش داده میشود بلکه ارتباط تئوری و عمل به شکلی ملموس برای دانش پذیر نهادینهمیشود.
در پایان، این نکته حائز اهمیت است که علم #یادگیری_ماشین امروزه آنقدر محبوب است که توجه افراد زیادی از رشته های متفاوت را به خود جلبکرده است و با اختصاص زمان کافی و شیوه آموزش مناسب، فارق از تخصص دانشگاهی، میتوان در آن به موفقیت دست یافت.
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
Telegram
پایتون مالی
این کانال برای یادگیری پایتون با رویکرد مالی ایجاد شده است.
در اینجا مطالب آموزشی علم داده، هوش مصنوعی، پایتون مالی و معاملات الگوریتمی به اشترک گذاشته خواهد شد.
سپاس بابت همراهیتان
Admin:
علی رئوفی - دکتری اقتصاد مالی و اقتصادسنجی
@raoofiali
در اینجا مطالب آموزشی علم داده، هوش مصنوعی، پایتون مالی و معاملات الگوریتمی به اشترک گذاشته خواهد شد.
سپاس بابت همراهیتان
Admin:
علی رئوفی - دکتری اقتصاد مالی و اقتصادسنجی
@raoofiali
This media is not supported in your browser
VIEW IN TELEGRAM
بیایید امروز با یکی از پروژههای هوش مصنوعی GANs آشنا بشیم و اونو تست کنیم.
در سایت زیر عکس خود را وارد کنید و اونو به تصویر کارتنی تبدیل کنید.
https://huggingface.co/spaces/akhaliq/AnimeGANv2
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
در سایت زیر عکس خود را وارد کنید و اونو به تصویر کارتنی تبدیل کنید.
https://huggingface.co/spaces/akhaliq/AnimeGANv2
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
دادههای پرت بعضی مواقع دردسر ساز هستند و ما به دنبال حذف آنها قبل از مدلسازی هستیم و در بعضی مواقع هم مساله اصلی تشخیص و مدلسازی همین دادههای پرت به عنوان ناهنجاری (Anomaly Detection) است.
فرض کنید میانگین حقوق در یک شرکت ۴میلیون است.آیا این بدان معنی است که اکثر افراد در آن شرکت ۴میلیون (یا نزدیک به آن)حقوق میگیرند.در نگاه یک متخصص دادهکاوی قطعا جواب خیر است چرا که در کنار شاخصهای مرکزی مانند میانگین باید شاخصهای پراکندگی نیز مورد ارزیابی قرار گیرد.ممکن است ۹۸درصد افراد حاضر در آن شرکت ۱میلیون حقوق بگیرند و ۲ درصد بقیه حقوقشان ۲۰میلیون باشد.در واقع این ۲درصد نوعی داده پرت هستند که میانگین را به نفع خود جا به جا کردهاند!
فرض کنید میانگین ثروت کارمندان ماکروسافت ۱۰۰میلیون دلار است.طبیعتا شخصی مانند بیل گیتس که ثروت او به اندازه چندین کشور است،میانگین را به بسیار بالاتر از میانگین واقعی تبدیل کرده است و یک متخصص دادهکاوی باید بتواند این این مسئله را تشخیص دهد.در واقع ثروت بیل گیتس یک داده پرت یا همان Outlier در میان ثروت کارکنان و مدیران مایکروسافت است.
🌐 دانش مالی با پایتون
https://t.me/pyfinance
فرض کنید میانگین حقوق در یک شرکت ۴میلیون است.آیا این بدان معنی است که اکثر افراد در آن شرکت ۴میلیون (یا نزدیک به آن)حقوق میگیرند.در نگاه یک متخصص دادهکاوی قطعا جواب خیر است چرا که در کنار شاخصهای مرکزی مانند میانگین باید شاخصهای پراکندگی نیز مورد ارزیابی قرار گیرد.ممکن است ۹۸درصد افراد حاضر در آن شرکت ۱میلیون حقوق بگیرند و ۲ درصد بقیه حقوقشان ۲۰میلیون باشد.در واقع این ۲درصد نوعی داده پرت هستند که میانگین را به نفع خود جا به جا کردهاند!
فرض کنید میانگین ثروت کارمندان ماکروسافت ۱۰۰میلیون دلار است.طبیعتا شخصی مانند بیل گیتس که ثروت او به اندازه چندین کشور است،میانگین را به بسیار بالاتر از میانگین واقعی تبدیل کرده است و یک متخصص دادهکاوی باید بتواند این این مسئله را تشخیص دهد.در واقع ثروت بیل گیتس یک داده پرت یا همان Outlier در میان ثروت کارکنان و مدیران مایکروسافت است.
🌐 دانش مالی با پایتون
https://t.me/pyfinance
👍2
وبینار «کاربرد علم داده در کسب و کار مالی»
این وبینار به صورت آنلاین برگزار میشود و برای ۱۰۰ نفر اول رایگان است.
لینک شرکت در دوره:
www.ifc.ir/213
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام 👇
https://t.me/pyfinance
این وبینار به صورت آنلاین برگزار میشود و برای ۱۰۰ نفر اول رایگان است.
لینک شرکت در دوره:
www.ifc.ir/213
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام 👇
https://t.me/pyfinance
Media is too big
VIEW IN TELEGRAM
🔵مقدمات زبان برنامه نویسی #پایتون
#درس_دوم
تغییر جنس متغیر های تعریف شده در پایتون
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
#درس_دوم
تغییر جنس متغیر های تعریف شده در پایتون
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
Media is too big
VIEW IN TELEGRAM
چگونه از یک اقتصادخوانده به یک دانشمند داده تبدیل شویم؟
- در یک تخمین ابتدایی، ۱۳ درصد دیتاساینتیستهای جهان، دارای مدرک اقتصاد هستند.
- افراد اقتصادخوانده به دلیل آشنایی مناسب با دادهها، روابط علّی و همبستگی، روشهای رگرسیون خطی و لجستیک، گزینههای مناسبی برای تبدیل شدن به دانشمندان داده هستند.
- اقتصادخواندهها معمولا با ریاضیات، آمار، جبرخطی میانه خوبی دارند، علاوه بر این مهارتهایی مانند روانشناسی و سیاست نیز در مواقعی در علم داده مورد نیاز است، که افراد اقتصادخوانده با آن آشنا هستند.
- در سالهای اخیر به دلیل افزایش خیره کننده مشاغل مربوط به تحلیل داده در بازارهای مالی، افراد زیادی تمایل دارند که به این حوزه ورود کنند.
در این ویدئوی بسیار جالب، فرآیند تبدیل شدن از یک اقتصادخوانده به دانشمند داده به زبان ساده تشریح شده است.
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
- در یک تخمین ابتدایی، ۱۳ درصد دیتاساینتیستهای جهان، دارای مدرک اقتصاد هستند.
- افراد اقتصادخوانده به دلیل آشنایی مناسب با دادهها، روابط علّی و همبستگی، روشهای رگرسیون خطی و لجستیک، گزینههای مناسبی برای تبدیل شدن به دانشمندان داده هستند.
- اقتصادخواندهها معمولا با ریاضیات، آمار، جبرخطی میانه خوبی دارند، علاوه بر این مهارتهایی مانند روانشناسی و سیاست نیز در مواقعی در علم داده مورد نیاز است، که افراد اقتصادخوانده با آن آشنا هستند.
- در سالهای اخیر به دلیل افزایش خیره کننده مشاغل مربوط به تحلیل داده در بازارهای مالی، افراد زیادی تمایل دارند که به این حوزه ورود کنند.
در این ویدئوی بسیار جالب، فرآیند تبدیل شدن از یک اقتصادخوانده به دانشمند داده به زبان ساده تشریح شده است.
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
Media is too big
VIEW IN TELEGRAM
🔵مقدمات زبان برنامه نویسی #پایتون
#درس_سوم
ساخت لیست
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
#درس_سوم
ساخت لیست
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
معرفی کتاب Python Algorithmic Trading Cookbook
این کتاب، مستقیم وارد فضای عملی شده و کمتر به بحثهای تئوری میپردازد و برای کسانی که میخواهند خیلی سریع تکنیکها را یاد بگیرند مناسب است.
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
این کتاب، مستقیم وارد فضای عملی شده و کمتر به بحثهای تئوری میپردازد و برای کسانی که میخواهند خیلی سریع تکنیکها را یاد بگیرند مناسب است.
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
@Pyfinance AlgoTrading Cookb_2020 .pdf
34.6 MB
دانلود کتاب Python Algorithmic Trading Cookbook
#معرفی_کتاب
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
#معرفی_کتاب
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
متخصصان علم داده تا چه مقطعی تحصیل کردهاند؟
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.
➖➖➖➖➖➖➖➖➖
🌐 ما را در تلگرام دنبال کنید.
افزایش دانش مالی با پایتون در تلگرام
https://t.me/pyfinance
.