کار تحلیلگر داده

کار وی، مواجهه با کسب و کار است تا نیاز کسب و کار به دیتا را مشخص کند و همچنین visualization هایی آماده کند که به کسب و کار در درک دیتا کمک کند.

پوپ میگوید: کار تحلیلگر داده، تفسیر اطلاعات برای استفاده آن در کسب و کار است. این شغل کمتر با ماشین لرنینگ در ارتباط است.

مهارتهای لازم:
RapidMiner, PostgreSQL

#part3
#machinelearning #data #science #engineer #bigdata #science

@pythonicAI

کار دیتاساینتیست

دیتاساینتیست ها به شدت با کسب و کار درگیر هستند و با مهندسان داده کار میکنند. آنها مدلهای یادگیری ماشین را روی داده های اماده شده اموزش میدهند.

پوپ میگوید: نقش دیتاساینتیست، ساختن مدلها برای استخراج اطلاعات از دیتا و ارائه توصیه هایی مرتبط با کسب و کار است. دیتاساینتیست ها باید آمار را بفهمند اما بیشتر الگوریتم های ماشین لرنینگ براساس ریاضیات چندمتغیره و جبرخطی و غیرخطی بنا شده. تنها در همین حد ریاضیات لازم است.

#part4
#machinelearning #data #science #engineer #bigdata #science

@pythonicAI

⚜GreenTunnel
@UseLinux
ابزار GreenTunnel که با مکانیزمی جالب می تواند ساختار DPI شرکت های ارائه دهنده اینترنت را که برای بلاک کردن ترافیک خاص مورد استفاده قرار می گیرد،دور بزند.

➡️Download From Github

@UseLinux

آمازون به دنبال گذاشتن ۳۲۳۶ ماهواره اینترنتی در مدار زمین


https://jadi.net/2019/07/amazon-kulper/

شرکت آمازون از کمیسیون ارتباطات فدرال آمریکا (FCC) درخواست کرده تا اجازه بده که ۳۲۳۶ ماهواره رو در مدار زمین قرار بده! این ماهواره‌ها که به اسم رمز «پروژه کولپر (Kulper) شناخته می‌شن قراره به ده ها میلیون نفر از مردم جهان که دسترسی محدودی به اینترنت دارن، امکان برقراری ارتباط با این شبکه رو بده.

قبلا شرکت آمازون اشاره های به این پروژه کرده بود ولی هیچ وقت توضیحی در موردش نداده بود ولی حالا که مجبوره به FCC توضیح بده، به نظر می رسه به دنبال گذاشتن هزاران ماهواره در مدار پایین و ارائه اینترنت پر سرعت و با تاخیرکم به مردم است. آمازون از شرکت هایی که هدف مشابه دارن خواسته در پروژه همکاری کنه.

چنین پروژه‌هایی جدید نیستن. قبلا هم گوگل و فیبسوک برنامه‌هایی مشابهی رو شروع کرده بود ولی اینبار احتمالا نزدیکی آمازون به شرکت فضایی بلو اوریجین (که توسط جف بزوس تاسیس شده) می تونه کمکی بهتر به اجرای این برنامه باشه. ما هم که مثل همیشه در ایران منتظریم ببینیم آیا ناجی ای پیدا می شه بالاخره به ما اینترنت بدون فیلتر تقدیم کنه یا نه (:

مهندسین داده، درواقع زیر ساخت های اطلاعاتی ای را میسازند که پروژه های دیتاساینس به آنها وابسته است. این افراد مسئول طراحی و مدیریت جریان داده هایی هستند که از منابع مختلف جمع آوری شده و در یک مخزن، مانند data warehouse یکپارچه میشوند تا بعدا توسط دیتاساینتیست ها تحلیل شوند. بطور کلی، مهندسین داده براساس مدل ETL کار میکنند.

ETL: Extract, Transform, Load

نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.

- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.

- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.

ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده

Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.

Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ

SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای

زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia

#data #engineer #machinelearning #hadoop #kafka #scala #python #julia

@pythonicAI

برخی منابع مفید یادگیری مهندسی داده:
📙 مهندسی داده:
لینک۱
لینک۲
لینک۳

📕 پایتون
لینک۱
لینک۲
لینک۳

📗 سیستم عامل
لینک۱
لینک۲

📘 دیتابیس
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰

📙 data warehouse / big data
لینک۱
لینک۲
لینک۳
لینک۴
لینک۵
لینک۶
لینک۷
لینک۸
لینک۹
لینک۱۰
لینک۱۱
لینک۱۲

📕 یادگیری ماشین
لینک۱
لینک۲
لینک۳


#hadoop #spark #python #machinelearning #data #engineer #resource

@pythonicAI

تعدادی از منابع خوب در زمینه پردازش زبان طبیعی و پردازش متن:

1. Natural Language Processing with Python. by Steven Bird, Ewan Klein and Edward Loper.

2. Foundations of Statistical Natural Language Processing. by Christopher Manning and Hinrich Schütze.

3. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics and Speech Recognition. by Dan Jurafsky and James H. Martin

4. The Oxford Handbook of Computational Linguistics. by Ruslan Mitkov

5. Text Mining with R. by Julia Silge and David Robinson.

6. Neural Network Methods in Natural Language Processing (Synthesis Lectures on Human Language Technologies). by Yoav Goldberg , Graeme Hirst

7. Taming Text. by Grant Ingersoll, Thomas Morton and Drew Farris.

8. Deep Learning in Natural Language Processing. by Li Deng, Yang Liu

9. Applied Text Analysis with Python: Enabling Language-Aware Data Products with Machine Learning. by Benjamin Bengfort , Rebecca Bilbro , Tony Ojeda

10. Hands-On Machine Learning with Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build

#nlp #natural #language #process #machinelearning #deeplearning #text

@pythonicAI

چند وبسایت جهت دریافت رایگان پایان نامه های خارجی:

http://oaktrust.library.tamu.edu

http://www.diva-portal.org

http://dspace.mit.edu

http://www.essays.se

http://www.dart-europe.eu

@pythonicAI

#معرفی_اعضای_کانال
#آموزش
#پروژه_دیپ_لرنینگ
#دیپ_لرنینگ

اعضا: سروش معاضد، دانشجوی ترم آخر کارشناسی ارشد، دانشکده مهندسی پزشکی دانشگاه امیرکبیر
@Machinelearning_Kartal
تشریح کار و پروژه ای که انجام داده اند.
🌿🌿🌿💭💭💭🌹🌹🌹
اگر بخواهید چهره کسی را برای دوست خود توصیف کنید، از کنار هم قرار دادن برخی ویژگیها استفاده میکنید تا دوست شما بتواند آن چهره را مجسم کند: “مرد” “جوان”ی با “موهای سیاه” و “بینی نوک تیز” و ... آیا میتوان مدلی داشت که بتواند تصاویر چهره را توسط این ویژگی‌های ظاهری بازنمایی کند؟
@Machinelearning_Kartal
مدل‌های معروف به Variational Auto-Encoder یا به اصطلاح VAE مدلهایی هستند که توزیع آماری داده را مدل میکنند. در تصاویر، برای مدلسازی توزیع آماری پیکسلها و پیوستگی بینشان، از شبکه های عصبی کانوولوشنال استفاده میشود. مدلهای ابتدایی VAE به عنوان تابع هزینه از اختلاف دو به دو بین تصاویر تولید شده در خروجی و تصاویر اصلی استفاده میکردند که به همین علت کیفیت تصاویر تولیدی چشمگیر نبود. در شبکه Deep Feature Consistent VAE به جای محاسبه اختلاف دو به دو بین پیکسلها، اختلاف بین بازنمایی تولید شده توسط یک شبکه از پیش تعلیم داده شده مانند VGG19 از تصویر تولید شده و تصویر اصلی به عنوان تابع هزینه در نظر گرفته میشود. در این صورت کیفیت تصاویر تولیدی به مراتب افزایش می یابد و از طرفی به خاطر مدلسازی دقیقتر توزیع داده ها، میتوان بردارهایی برای برخی ویژگیها استخراج نمود.
@Machinelearning_Kartal
به عنوان مثال، اگر تصاویر چهره “خندان” توسط قسمت انکودر مدل کدگذاری شوند و از این بردارها میانگین بگیریم، به یک بردار “خنده” میرسیم که با اضافه کردن این بردار به بردار تولید شده برای یک چهره و سپس بازسازی توسط قسمت دیکودر مدل، خنده به چهره اضافه خواهد شد.
@Machinelearning_Kartal
میتوانید با باز کردن نوتبوک قرار داده شده در مخزن مورد نظر، و اجرای خط به خط کدها، به سادگی طی چندین ساعت مدل خود را تعلیم داده و به دستکاری چهره دوستان خود بپردازید :)
منبع نوشته: ارسالی از خود عضو محترم.
لینک پروژه :

https://github.com/iamsoroush/face_vae/blob/master/README.md

کانال
@Machinelearning_Kartal

تحلیلگر داده کسی است که اعداد و دیتا را به زبان آدمیزاد تبدیل میکند تا کسب و کارها بتوانند به کمک انها تصمیم بگیرند. خواه دیتای مربوط به مارکتینگ باشد، یا اَشکال فروش یا هزینه های حمل و نقل و... تحلیلگر داده این دیتاها را گرفته و از دل آنها اطلاعاتی بیرون میکشد. مثلا اینکه قیمت مواد جدید چقدر باشد؟ یا چطور هزینه حمل و نقل را کاهش دهند؟

انها وضعیت فعلی را تحلیل میکنند و پیشبینی هایی از اینده ارائه میدهند. دیتا باید مرتب، نرمالیزه و کالیبره بشه تا بشه ازش اطلاعات استخراج کرد یا به تنهایی ازش استفاده کرد یا درکنار اعداد دیگر قرارش داد و همچنان یکپارچگی خودش را حفظ کند.

تحلیلگر داده علاوه بر توانایی رمزگشایی داده، لازم است که بتواند معانی تغییرات اعداد در یک بازه زمانی یا ساختارهای مختلف را توضیح دهد. چون انها تنها افرادی هستند که درک خوبی از داده پیدا کرده اند و معمولا باید به مدیران پروژه یا سرپرست بخش توصیه هایی درخصوص نقاط خاص دیتا و همچنین نحوه بهبود داده ها در یک بازه زمانی، بدهند.

وظایف یک تحلیلگر داده:
- کار کردن با تیم های مدیریتی و دیتاساینتیست ها
- جمع اوری دیتا از منابع اولیه و ثانویه
- تمیز کردن داده ها جهت حذف اطلاعات نامرتبط
- تحلیل و تفسیر نتایج به کمک ابزارهای اماری
- تعیین الگوهای موجود در داده ها
- شناسایی موقعیت های بهبود پروسه ها و رویه ها
- ارائه گزارش داده ها به مدیر
- طراحی، ساخت و نگهداری دیتابیس ها
- رفع ایرادات کدها و مسائل مربوط به داده ها

اهداف تحلیلگر داده و دیتاساینتیست خیلی بهم نزدیک است. گاهی اوقات به تحلیلگر داده، junior data scientist گفته میشود.

#data #analyst #scientist #artificialintelligence

@pythonicAI

📕 یادگیری ماشین با متلب | نسخه دوم
📅سال چاپ: 2019
📝چاپ کننده: Apress
🧷لینک دانلود:
https://bit.ly/2M7S0hS

#machin_learning #Matlab
#یادگیری_ماشین #متلب

@pythonicAI

متفاوت ترین جلسه #مصاحبه شغلی در #مرسدس_بنز
مصاحبه با بیش از 100 دولوپر در محیطی متفاوت

نهایت #خلاقیت رو همیشه از شرکت های مطرح دنیا مشاهده میکنیم. در اتاق های فکر آنها چه میگذرد؟ حتی برای مصاحبه هم برنامه ای خاص و تبلیغاتی دارند ولی ما همچنان درگیر استخدامی با مزایایی از قبیل حقوق به موقع و بیمه تامین اجتماعی هستیم.

@pythonicAI

#معرفی_اعضای_کانال
#آموزش
#پروژه_دیپ_لرنینگ
#دیپ_لرنینگ

اعضا: سروش معاضد، دانشجوی ترم آخر کارشناسی ارشد، دانشکده مهندسی پزشکی دانشگاه امیرکبیر
@Machinelearning_Kartal
تشریح کار و پروژه ای که انجام داده اند.
🌿🌿🌿💭💭💭🌹🌹🌹
اگر بخواهید چهره کسی را برای دوست خود توصیف کنید، از کنار هم قرار دادن برخی ویژگیها استفاده میکنید تا دوست شما بتواند آن چهره را مجسم کند: “مرد” “جوان”ی با “موهای سیاه” و “بینی نوک تیز” و ... آیا میتوان مدلی داشت که بتواند تصاویر چهره را توسط این ویژگی‌های ظاهری بازنمایی کند؟
@Machinelearning_Kartal
مدل‌های معروف به Variational Auto-Encoder یا به اصطلاح VAE مدلهایی هستند که توزیع آماری داده را مدل میکنند. در تصاویر، برای مدلسازی توزیع آماری پیکسلها و پیوستگی بینشان، از شبکه های عصبی کانوولوشنال استفاده میشود. مدلهای ابتدایی VAE به عنوان تابع هزینه از اختلاف دو به دو بین تصاویر تولید شده در خروجی و تصاویر اصلی استفاده میکردند که به همین علت کیفیت تصاویر تولیدی چشمگیر نبود. در شبکه Deep Feature Consistent VAE به جای محاسبه اختلاف دو به دو بین پیکسلها، اختلاف بین بازنمایی تولید شده توسط یک شبکه از پیش تعلیم داده شده مانند VGG19 از تصویر تولید شده و تصویر اصلی به عنوان تابع هزینه در نظر گرفته میشود. در این صورت کیفیت تصاویر تولیدی به مراتب افزایش می یابد و از طرفی به خاطر مدلسازی دقیقتر توزیع داده ها، میتوان بردارهایی برای برخی ویژگیها استخراج نمود.
@Machinelearning_Kartal
به عنوان مثال، اگر تصاویر چهره “خندان” توسط قسمت انکودر مدل کدگذاری شوند و از این بردارها میانگین بگیریم، به یک بردار “خنده” میرسیم که با اضافه کردن این بردار به بردار تولید شده برای یک چهره و سپس بازسازی توسط قسمت دیکودر مدل، خنده به چهره اضافه خواهد شد.
@Machinelearning_Kartal
میتوانید با باز کردن نوتبوک قرار داده شده در مخزن مورد نظر، و اجرای خط به خط کدها، به سادگی طی چندین ساعت مدل خود را تعلیم داده و به دستکاری چهره دوستان خود بپردازید :)
منبع نوشته: ارسالی از خود عضو محترم.
لینک پروژه :

https://github.com/iamsoroush/face_vae/blob/master/README.md

کانال
@Machinelearning_Kartal

"A machine capable of learning? That sounds wonderful." Learn how heroes of #deeplearning Yann LeCun and Ruslan Salakhutdinov first became interested in #AI:

✴️ @AI_Python_EN

For Who Have a Passion For:

1. Artificial Intelligence
2. Machine Learning
3. Deep Learning
4. Data Science
5. Computer vision
6. Image Processing
7. Cognitive Neuroscience
8. Research Papers and Related Courses

https://t.me/DeepLearningML

We Are Available in Engilsh Please Ask Your Question in English

قانونی به نام hr1044 در خانه ملت به رای گذاشته شد و رای آورد
این قانون سقف کشوری گرین کار‌ (۷ درصد) رو برمیداره

یعنی اینکه کشورهایی که جمعیت زیادی دارند مثل هند همه گرین کارت ها رو میگیرن و هر ملیت دیگری باید بیش از ۱۵ سال منتظر بمونه

ما داریم فعالیت می‌کنیم که این طرح قانون نشه

دوستان چینی هم به‌راه افتادن
به ۱۰۰ هزار امضا نیاز داریم
این رو همه جا پخش کنید و امضا کنید
لینک تایید امضا به ایمیلها میفرسته ، لطفا چک کنید بدون تایید امضاتون بی اثر خواهد شد .
https://petitions.whitehouse.gov/petition/do-not-pass-bills-s386-or-hr1044-do-not-pass-bills-s386-or-hr1044-us-worker-and-racial-diversity

#خبر
شرکت IBM بالاخره نتیجه‌ی تلاش‌هایش برای تصاحب Red Hat را گرفت و با پرداخت ۳۴ میلیارد دلار، آن را به زیرمجموعه‌ی خود افزود.
#redhat
#ibm
@pythonicAI

2008 Feature Engineering for Machine Learning

2015 Feature Selection for High-Dimensional Data

#مقاله چگونه دانشمند داده شویم؟

https://towardsdatascience.com/a-long-term-data-science-roadmap-which-wont-help-you-become-an-expert-in-only-several-months-4436733e63ff

#machinelearning #data #science

@pythonicAI

آماری از میانگین قیمت ۱ گیگابایت اینترنت همراه در کشورهای مختلف در سال ۲۰۱۹
@pythonicAI