Forwarded from Pythonic AI (Soroush Hashemi Far)
Keras for Beginners: Building Your First Neural Network
A beginner-friendly guide on using Keras to implement a simple neural network in python.
لینک
#python #keras #machinelearning #neural #network #deeplearning
@pythonicAI
A beginner-friendly guide on using Keras to implement a simple neural network in python.
لینک
#python #keras #machinelearning #neural #network #deeplearning
@pythonicAI
Pythonic AI
کار مهندس داده با توجه به نمودار بالا، میبینیم که بیشتر کار مهندس داده، مهندسی نرم افزار و آماده سازی داده است. پوپ میگوید کار مهندس داده، ارائه و تغییر دیتا به گونه ای که قابل استفاده شود، میباشد. باید دیتای خام را بگیرد، تمیز کند، وارد دیتابیس کند، تگ…
مهندسین داده، درواقع زیر ساخت های اطلاعاتی ای را میسازند که پروژه های دیتاساینس به آنها وابسته است. این افراد مسئول طراحی و مدیریت جریان داده هایی هستند که از منابع مختلف جمع آوری شده و در یک مخزن، مانند data warehouse یکپارچه میشوند تا بعدا توسط دیتاساینتیست ها تحلیل شوند. بطور کلی، مهندسین داده براساس مدل ETL کار میکنند.
ETL: Extract, Transform, Load
نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.
- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.
- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.
ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده
Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.
Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ
SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای
زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia
#data #engineer #machinelearning #hadoop #kafka #scala #python #julia
@pythonicAI
ETL: Extract, Transform, Load
نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.
- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.
- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.
ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده
Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.
Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ
SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای
زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia
#data #engineer #machinelearning #hadoop #kafka #scala #python #julia
@pythonicAI
Pythonic AI
مهندسین داده، درواقع زیر ساخت های اطلاعاتی ای را میسازند که پروژه های دیتاساینس به آنها وابسته است. این افراد مسئول طراحی و مدیریت جریان داده هایی هستند که از منابع مختلف جمع آوری شده و در یک مخزن، مانند data warehouse یکپارچه میشوند تا بعدا توسط دیتاساینتیست…
برخی منابع مفید یادگیری مهندسی داده:
📙 مهندسی داده:
لینک۱
لینک۲
لینک۳
📕 پایتون
لینک۱
لینک۲
لینک۳
📗 سیستم عامل
لینک۱
لینک۲
📘 دیتابیس
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
📙 data warehouse / big data
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
لینک۱۱
لینک۱۲
📕 یادگیری ماشین
لینک۱
لینک۲
لینک۳
#hadoop #spark #python #machinelearning #data #engineer #resource
@pythonicAI
📙 مهندسی داده:
لینک۱
لینک۲
لینک۳
📕 پایتون
لینک۱
لینک۲
لینک۳
📗 سیستم عامل
لینک۱
لینک۲
📘 دیتابیس
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
📙 data warehouse / big data
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
لینک۱۱
لینک۱۲
📕 یادگیری ماشین
لینک۱
لینک۲
لینک۳
#hadoop #spark #python #machinelearning #data #engineer #resource
@pythonicAI
Medium
A Beginner’s Guide to Data Engineering — Part I
Data Engineering: The Close Cousin of Data Science
🔴 دوره رایگان آموزش پایتون مقدماتی
👨🏫 مدرس دوره جادی میرمیرانی
👨💻👩💻برگزاری دوره به صورت انلاین
👨🎓👩🎓اعطای مدرک در پایان دوره
https://gotoclass.ir/courses/%d8%a2%d9%85%d9%88%d8%b2%d8%b4-%d9%be%d8%a7%db%8c%d8%aa%d9%88%d9%86/
#python
@pythonicAI
👨🏫 مدرس دوره جادی میرمیرانی
👨💻👩💻برگزاری دوره به صورت انلاین
👨🎓👩🎓اعطای مدرک در پایان دوره
https://gotoclass.ir/courses/%d8%a2%d9%85%d9%88%d8%b2%d8%b4-%d9%be%d8%a7%db%8c%d8%aa%d9%88%d9%86/
#python
@pythonicAI
0.1 + 0.2 != 0.3
Check my latest article in medium to discuss why this happens in many programming languages 😉
Link
#python #logic #float #double
@pythonicAI
Check my latest article in medium to discuss why this happens in many programming languages 😉
Link
#python #logic #float #double
@pythonicAI
Medium
Can you believe that 0.1 + 0.2 is not equal to 0.3 ?!
This weird thing, seems to happen in most of programming languages. Now I’m going to investigate it. First Let’s review single precision…
5-part mini-course on web data scraping:
✅ requests
✅ BeautifulSoup
✅ Reddit & Wikipedia APIs
✅ law & ethics of screen scraping
✅ Twitter's API.
Link
#python #webscraping #datagathering
@pythonicAI
✅ requests
✅ BeautifulSoup
✅ Reddit & Wikipedia APIs
✅ law & ethics of screen scraping
✅ Twitter's API.
Link
#python #webscraping #datagathering
@pythonicAI
GitHub
GitHub - CU-ITSS/Web-Data-Scraping-S2019
Contribute to CU-ITSS/Web-Data-Scraping-S2019 development by creating an account on GitHub.
a complete guide to the stochastic gradient descent algorithm
Link
#machinelearning #artificialintelligence
@pythonicAI
Link
#machinelearning #artificialintelligence
@pythonicAI
YouTube
Stochastic Gradient Descent | Why and How it Works?
This video contains all the conceptual details of the stochastic gradient descent and mini-batch gradient descent with a python implementation! I know it's a...
🌍 کتابخانه دانشگاه تهران🌍
📕 راهنمای مبتدیان برای برنامه نویسی پایتون 3
📅سال چاپ: 2019
📝چاپ کننده : Springer
🧷لینک دانلود:
https://bit.ly/33aDPwm
#پایتون
#Python
@pythonicAI
📕 راهنمای مبتدیان برای برنامه نویسی پایتون 3
📅سال چاپ: 2019
📝چاپ کننده : Springer
🧷لینک دانلود:
https://bit.ly/33aDPwm
#پایتون
#Python
@pythonicAI
برترین منابع یادگیری پایتون👇
1⃣ Code Cademy
2⃣ Learn Python the Hard Way
3⃣ Google's Python Class
4⃣ A Byte of Python
5⃣ TutsPlus
6⃣ Learning Python
#python #programming
@pythonicAI
1⃣ Code Cademy
2⃣ Learn Python the Hard Way
3⃣ Google's Python Class
4⃣ A Byte of Python
5⃣ TutsPlus
6⃣ Learning Python
#python #programming
@pythonicAI
Codecademy
Learn Python 2 | Codecademy
Learn the basics of the world's fastest growing and most popular programming language used by software engineers, analysts, data scientists, and machine learning engineers alike.