"چالش عکس ده ساله که به نظر می‌رسید جنبه فان داشته باشه یه پروژه بزرگ بود برای جمع آوری یه دیتابیس بزرگ هوش مصنوعی برای فیس بوک"
خبری که خیلی پخش شد و خیلیارو نگران کرد! در لینک زیر مقاله ای از مجله فوربز هست در این مورد که این شایعه رو تایید میکنه از زبان یکی از نویسندگان وایرد بنام oneill.
Oneill
معتقده فیسبوک برای این چالشو راه انداخته تا یه دیتابیس (با حجم ۵.۲ میلیون) از چهره افراد جمع کنه و با استفاده از اون بتونه پیشبینی کنه چهره افراد بعد از n سال چقدر تغییر میکنه و چه شکلی میشن.
به گفته پروفسور دانشگاه نیویورک، Amy Webb این چالش یه توفان فوق العاده برای یادگیری ماشین است!
در این حال فیسبوک اظهار میکنه که این چالش به خودی خود وایرال شده و مردم از عکسهای فیسبوکشون(که از قبل در دسترس فیسبوک بوده) برای این چالش استفاده میکنن. از طرفی کاربران فیسبوک میتونن در پروفایلون قابلیت face recognition رو غیرفعال کنن. اما این خاموش کردن به این معنی نیست که فیسبوک از دیتاهای از قبل ثبت شده شما استفاده نمیکنه. فیسبوک از این دیتا برای کارهایی مثل تگ زدن عکسها و عکسهایی که شما در اونها تگ شدین استفاده میکنه. پس حتی اگر شما این قابلیت رو خاموش کنین، چهره شما از این پلتفرم حذف نمیشه!
به گفته oneill، یکی از کاربردهای مفید دیتای بدست امده از این چالش میتونه یافتن کودکان گم شده یا تشخیص افراد ترنس که در طی زمان چهره شون تغییر کرده باشه!
لینک
#facebook #data #face #recognition #challenge
@pythonicAI
خبری که خیلی پخش شد و خیلیارو نگران کرد! در لینک زیر مقاله ای از مجله فوربز هست در این مورد که این شایعه رو تایید میکنه از زبان یکی از نویسندگان وایرد بنام oneill.
Oneill
معتقده فیسبوک برای این چالشو راه انداخته تا یه دیتابیس (با حجم ۵.۲ میلیون) از چهره افراد جمع کنه و با استفاده از اون بتونه پیشبینی کنه چهره افراد بعد از n سال چقدر تغییر میکنه و چه شکلی میشن.
به گفته پروفسور دانشگاه نیویورک، Amy Webb این چالش یه توفان فوق العاده برای یادگیری ماشین است!
در این حال فیسبوک اظهار میکنه که این چالش به خودی خود وایرال شده و مردم از عکسهای فیسبوکشون(که از قبل در دسترس فیسبوک بوده) برای این چالش استفاده میکنن. از طرفی کاربران فیسبوک میتونن در پروفایلون قابلیت face recognition رو غیرفعال کنن. اما این خاموش کردن به این معنی نیست که فیسبوک از دیتاهای از قبل ثبت شده شما استفاده نمیکنه. فیسبوک از این دیتا برای کارهایی مثل تگ زدن عکسها و عکسهایی که شما در اونها تگ شدین استفاده میکنه. پس حتی اگر شما این قابلیت رو خاموش کنین، چهره شما از این پلتفرم حذف نمیشه!
به گفته oneill، یکی از کاربردهای مفید دیتای بدست امده از این چالش میتونه یافتن کودکان گم شده یا تشخیص افراد ترنس که در طی زمان چهره شون تغییر کرده باشه!
لینک
#facebook #data #face #recognition #challenge
@pythonicAI
Forbes
Was The Facebook '10 Year Challenge' A Way To Mine Data For Facial Recognition AI?
A recent challenge on Facebook has raised concerns about facial recognition technology and privacy. Facebook denies that they had anything to do with the start of the challenge, but experts disagree. Here is how it may affect you.
Forwarded from Pythonic AI
"چالش عکس ده ساله که به نظر می‌رسید جنبه فان داشته باشه یه پروژه بزرگ بود برای جمع آوری یه دیتابیس بزرگ هوش مصنوعی برای فیس بوک"
خبری که خیلی پخش شد و خیلیارو نگران کرد! در لینک زیر مقاله ای از مجله فوربز هست در این مورد که این شایعه رو تایید میکنه از زبان یکی از نویسندگان وایرد بنام oneill.
Oneill
معتقده فیسبوک برای این چالشو راه انداخته تا یه دیتابیس (با حجم ۵.۲ میلیون) از چهره افراد جمع کنه و با استفاده از اون بتونه پیشبینی کنه چهره افراد بعد از n سال چقدر تغییر میکنه و چه شکلی میشن.
به گفته پروفسور دانشگاه نیویورک، Amy Webb این چالش یه توفان فوق العاده برای یادگیری ماشین است!
در این حال فیسبوک اظهار میکنه که این چالش به خودی خود وایرال شده و مردم از عکسهای فیسبوکشون(که از قبل در دسترس فیسبوک بوده) برای این چالش استفاده میکنن. از طرفی کاربران فیسبوک میتونن در پروفایلون قابلیت face recognition رو غیرفعال کنن. اما این خاموش کردن به این معنی نیست که فیسبوک از دیتاهای از قبل ثبت شده شما استفاده نمیکنه. فیسبوک از این دیتا برای کارهایی مثل تگ زدن عکسها و عکسهایی که شما در اونها تگ شدین استفاده میکنه. پس حتی اگر شما این قابلیت رو خاموش کنین، چهره شما از این پلتفرم حذف نمیشه!
به گفته oneill، یکی از کاربردهای مفید دیتای بدست امده از این چالش میتونه یافتن کودکان گم شده یا تشخیص افراد ترنس که در طی زمان چهره شون تغییر کرده باشه!
لینک
#facebook #data #face #recognition #challenge
@pythonicAI
خبری که خیلی پخش شد و خیلیارو نگران کرد! در لینک زیر مقاله ای از مجله فوربز هست در این مورد که این شایعه رو تایید میکنه از زبان یکی از نویسندگان وایرد بنام oneill.
Oneill
معتقده فیسبوک برای این چالشو راه انداخته تا یه دیتابیس (با حجم ۵.۲ میلیون) از چهره افراد جمع کنه و با استفاده از اون بتونه پیشبینی کنه چهره افراد بعد از n سال چقدر تغییر میکنه و چه شکلی میشن.
به گفته پروفسور دانشگاه نیویورک، Amy Webb این چالش یه توفان فوق العاده برای یادگیری ماشین است!
در این حال فیسبوک اظهار میکنه که این چالش به خودی خود وایرال شده و مردم از عکسهای فیسبوکشون(که از قبل در دسترس فیسبوک بوده) برای این چالش استفاده میکنن. از طرفی کاربران فیسبوک میتونن در پروفایلون قابلیت face recognition رو غیرفعال کنن. اما این خاموش کردن به این معنی نیست که فیسبوک از دیتاهای از قبل ثبت شده شما استفاده نمیکنه. فیسبوک از این دیتا برای کارهایی مثل تگ زدن عکسها و عکسهایی که شما در اونها تگ شدین استفاده میکنه. پس حتی اگر شما این قابلیت رو خاموش کنین، چهره شما از این پلتفرم حذف نمیشه!
به گفته oneill، یکی از کاربردهای مفید دیتای بدست امده از این چالش میتونه یافتن کودکان گم شده یا تشخیص افراد ترنس که در طی زمان چهره شون تغییر کرده باشه!
لینک
#facebook #data #face #recognition #challenge
@pythonicAI
Forbes
Was The Facebook '10 Year Challenge' A Way To Mine Data For Facial Recognition AI?
A recent challenge on Facebook has raised concerns about facial recognition technology and privacy. Facebook denies that they had anything to do with the start of the challenge, but experts disagree. Here is how it may affect you.
Forwarded from Pythonic AI
"چالش عکس ده ساله که به نظر می‌رسید جنبه فان داشته باشه یه پروژه بزرگ بود برای جمع آوری یه دیتابیس بزرگ هوش مصنوعی برای فیس بوک"
خبری که خیلی پخش شد و خیلیارو نگران کرد! در لینک زیر مقاله ای از مجله فوربز هست در این مورد که این شایعه رو تایید میکنه از زبان یکی از نویسندگان وایرد بنام oneill.
Oneill
معتقده فیسبوک برای این چالشو راه انداخته تا یه دیتابیس (با حجم ۵.۲ میلیون) از چهره افراد جمع کنه و با استفاده از اون بتونه پیشبینی کنه چهره افراد بعد از n سال چقدر تغییر میکنه و چه شکلی میشن.
به گفته پروفسور دانشگاه نیویورک، Amy Webb این چالش یه توفان فوق العاده برای یادگیری ماشین است!
در این حال فیسبوک اظهار میکنه که این چالش به خودی خود وایرال شده و مردم از عکسهای فیسبوکشون(که از قبل در دسترس فیسبوک بوده) برای این چالش استفاده میکنن. از طرفی کاربران فیسبوک میتونن در پروفایلون قابلیت face recognition رو غیرفعال کنن. اما این خاموش کردن به این معنی نیست که فیسبوک از دیتاهای از قبل ثبت شده شما استفاده نمیکنه. فیسبوک از این دیتا برای کارهایی مثل تگ زدن عکسها و عکسهایی که شما در اونها تگ شدین استفاده میکنه. پس حتی اگر شما این قابلیت رو خاموش کنین، چهره شما از این پلتفرم حذف نمیشه!
به گفته oneill، یکی از کاربردهای مفید دیتای بدست امده از این چالش میتونه یافتن کودکان گم شده یا تشخیص افراد ترنس که در طی زمان چهره شون تغییر کرده باشه!
لینک
#facebook #data #face #recognition #challenge
@pythonicAI
خبری که خیلی پخش شد و خیلیارو نگران کرد! در لینک زیر مقاله ای از مجله فوربز هست در این مورد که این شایعه رو تایید میکنه از زبان یکی از نویسندگان وایرد بنام oneill.
Oneill
معتقده فیسبوک برای این چالشو راه انداخته تا یه دیتابیس (با حجم ۵.۲ میلیون) از چهره افراد جمع کنه و با استفاده از اون بتونه پیشبینی کنه چهره افراد بعد از n سال چقدر تغییر میکنه و چه شکلی میشن.
به گفته پروفسور دانشگاه نیویورک، Amy Webb این چالش یه توفان فوق العاده برای یادگیری ماشین است!
در این حال فیسبوک اظهار میکنه که این چالش به خودی خود وایرال شده و مردم از عکسهای فیسبوکشون(که از قبل در دسترس فیسبوک بوده) برای این چالش استفاده میکنن. از طرفی کاربران فیسبوک میتونن در پروفایلون قابلیت face recognition رو غیرفعال کنن. اما این خاموش کردن به این معنی نیست که فیسبوک از دیتاهای از قبل ثبت شده شما استفاده نمیکنه. فیسبوک از این دیتا برای کارهایی مثل تگ زدن عکسها و عکسهایی که شما در اونها تگ شدین استفاده میکنه. پس حتی اگر شما این قابلیت رو خاموش کنین، چهره شما از این پلتفرم حذف نمیشه!
به گفته oneill، یکی از کاربردهای مفید دیتای بدست امده از این چالش میتونه یافتن کودکان گم شده یا تشخیص افراد ترنس که در طی زمان چهره شون تغییر کرده باشه!
لینک
#facebook #data #face #recognition #challenge
@pythonicAI
Forbes
Was The Facebook '10 Year Challenge' A Way To Mine Data For Facial Recognition AI?
A recent challenge on Facebook has raised concerns about facial recognition technology and privacy. Facebook denies that they had anything to do with the start of the challenge, but experts disagree. Here is how it may affect you.
وقتی اولین انسان غارنشین توانست آتش روشن کند، کمی پس از آن، دومین انسان غارنشین تصمیم گرفت یاد بگیرد چطور میتواند آتش روشن کند. مشکل اینجا بود که نمیتوانست با خواندن کتاب یا پاس کردن یک درس ۳ واحدی در دانشگاه، روشن کردن آتش را یاد بگیرد. پس شروع به نگاه کردن به انسان غارنشین اول کرد، سعی کرد کار او را تکرار کند، شکست خورد و دوباره سعی کرد تا اینکه موفق به روشن کردن آتش شد. انسان به همین شکل اموزش میبیند: در یک پروسه تکراری نگاه کردن، تمرین کردن، شکست خوردن و تصحیح کردن خود.
اما نحوه استفاده ما از کامپیوتر با این روش تفاوت دارد. ما دیتا را جمع آوری و پیش پردازش کرده و در انبار داده ها و استخرها دخیره میکنیم و سپس به وسیله ابزارهای تحلیل، آنها را مطالعه میکنیم. مشکل اینجاست که ابزار تحلیل، همه چیز را تحلیل نمیکند!صرفا با تکه تکه کردن داده ها و نمایش آنها به درک بهتر آنها توسط انسان کمک میکند.
ما باید کامپیوتر را به همان شکلی که خودمان اموزش میبینیم، اموزش بدهیم. مجموعه ای از داده ها را برای الگوریتم های ماشین لرنینگ که روی پلتفرم های ابری گوگل و IBM پیاده شده، فرستاده و از آنها الگو و بینش های درون دیتا را دریافت کنیم. بدون شک ماشین اشتباه خواهد کرد، و ار ما این است که آن را اصلاح کرده و بارها و بارها این فرایند را تکرار کنیم. بعد از چندبار تکرار، مدل بهتری خواهیم داشت. هدف، کمک به انسان است. ماشین این داده ها را خیلی سریع زیر و رو کرده و با استفاده از مدلی که براساس خود دیتا ساخته شده، به انسان توصیه هایی میکند که میتواند به کمک آنها، الگوها و بینش هایی از این داده ها استخراج کند.
با افزایش طول عمر و افزایش تحصیلات، قدرت شناختی انسان رشد میکند. از حدود سال ۱۹۵۰ قدرت شناختی کامپیوتر شروع به پیشرفت کرد. در سال ۲۰۰۸، میزان قدرت شناختی کامپیوتر به اندازه ۵۰ درصد مغز یک موش تخمین زده شد.
طبق پیشبینی Ray Kurzweil، متخصص هوش مصنوعی، در سال ۲۰۲۰ میزان قدرت شناختی کامپیوتر به اندازه مغز انسان خواهد بود و ۲۵ سال پس از آن، تکینگی(singularity) اتفاق خواهد افتاد، جایی که قدرت شناختی کامپیوتر برابر مغز تمام انسان ها خواهد شد.
اگر میزان رشد قدرت شناختی کامپیوتر را روی یک نمودار در واحد زمان (از ابتدای تمدن تا کنون) رسم کنید، متوجه رشد سریع آن خواهید شد (تقریبا یک خط عمودی خواهد بود) که ما تازه در ابتدای راه درک تاثیر این قدرت روی بشریت هستیم. این موضوع میتواند ترسناک باشد!
منبع: لینک
#machinelearning #artificialinterlligence #ray #kurzweil #singularity #data
@pythonicAI
اما نحوه استفاده ما از کامپیوتر با این روش تفاوت دارد. ما دیتا را جمع آوری و پیش پردازش کرده و در انبار داده ها و استخرها دخیره میکنیم و سپس به وسیله ابزارهای تحلیل، آنها را مطالعه میکنیم. مشکل اینجاست که ابزار تحلیل، همه چیز را تحلیل نمیکند!صرفا با تکه تکه کردن داده ها و نمایش آنها به درک بهتر آنها توسط انسان کمک میکند.
ما باید کامپیوتر را به همان شکلی که خودمان اموزش میبینیم، اموزش بدهیم. مجموعه ای از داده ها را برای الگوریتم های ماشین لرنینگ که روی پلتفرم های ابری گوگل و IBM پیاده شده، فرستاده و از آنها الگو و بینش های درون دیتا را دریافت کنیم. بدون شک ماشین اشتباه خواهد کرد، و ار ما این است که آن را اصلاح کرده و بارها و بارها این فرایند را تکرار کنیم. بعد از چندبار تکرار، مدل بهتری خواهیم داشت. هدف، کمک به انسان است. ماشین این داده ها را خیلی سریع زیر و رو کرده و با استفاده از مدلی که براساس خود دیتا ساخته شده، به انسان توصیه هایی میکند که میتواند به کمک آنها، الگوها و بینش هایی از این داده ها استخراج کند.
با افزایش طول عمر و افزایش تحصیلات، قدرت شناختی انسان رشد میکند. از حدود سال ۱۹۵۰ قدرت شناختی کامپیوتر شروع به پیشرفت کرد. در سال ۲۰۰۸، میزان قدرت شناختی کامپیوتر به اندازه ۵۰ درصد مغز یک موش تخمین زده شد.
طبق پیشبینی Ray Kurzweil، متخصص هوش مصنوعی، در سال ۲۰۲۰ میزان قدرت شناختی کامپیوتر به اندازه مغز انسان خواهد بود و ۲۵ سال پس از آن، تکینگی(singularity) اتفاق خواهد افتاد، جایی که قدرت شناختی کامپیوتر برابر مغز تمام انسان ها خواهد شد.
اگر میزان رشد قدرت شناختی کامپیوتر را روی یک نمودار در واحد زمان (از ابتدای تمدن تا کنون) رسم کنید، متوجه رشد سریع آن خواهید شد (تقریبا یک خط عمودی خواهد بود) که ما تازه در ابتدای راه درک تاثیر این قدرت روی بشریت هستیم. این موضوع میتواند ترسناک باشد!
منبع: لینک
#machinelearning #artificialinterlligence #ray #kurzweil #singularity #data
@pythonicAI
📕داده کاوی، روش ها و ابزارهای عملی یادگیری ماشین | نسخه چهارم
📅سال چاپ: 2017
📝چاپ کننده: Springer
🧷لینک دانلود:
https://bit.ly/2VQxN4k
#داده_کاوی
#Data_mining #Machin_Learning
@pythonicAI
📅سال چاپ: 2017
📝چاپ کننده: Springer
🧷لینک دانلود:
https://bit.ly/2VQxN4k
#داده_کاوی
#Data_mining #Machin_Learning
@pythonicAI
تفاوت بین مهندس داده، تحلیلگر داده و دانشمند داده؟
در کنفرانس زنان میدان سیلیکون لندن، دکتر ربکا پوپ، نورو ساینتیست و سرپرست تیم دیتا ساینس KPMG، بیان میکند که شما جهت کار کردن در حوزه بیگ دیتا نیازی نیست که یک ریاضیدان یا آماردان فوق العاده و یا یک برنامه نویس باشید. فقط کافیست به آمار علاقه داشته باشید و همچنین تلاش کافی برای یادگیری کدنویسی داشته باشید و همچنین بتوانید برخی عملیاتهای ریاضی سطح بالا را انجام دهید.
پوپ خودش هیچگاه آمار خالص را مطالعه نکرده و همچنین برنامه نویسی را بعد از فارغ التحصیلی یاد گرفته! همچنین میگوید: من زبان R را یادگرفتم ولی اگر میخواهید شغلی در دیتا ساینس داشته باشید، باید در پایتون متخصص شوید. پایتون را زبان اول خود کنید.
یک آماردان مدلی ارائه میدهد که رابطه ای بین یک متغیر و یک خروجی میسازد. اما یک دیتا ساینتیست، کار بیشتری نسبت به آن انجام میدهد: پیشبینی! دیتاساینتیست ها مدلهایی روی دیتا اموزش میدهند که بتواند دیتاهای آینده را با حداکثر دقت پیشبینی کند.
#part1
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
در کنفرانس زنان میدان سیلیکون لندن، دکتر ربکا پوپ، نورو ساینتیست و سرپرست تیم دیتا ساینس KPMG، بیان میکند که شما جهت کار کردن در حوزه بیگ دیتا نیازی نیست که یک ریاضیدان یا آماردان فوق العاده و یا یک برنامه نویس باشید. فقط کافیست به آمار علاقه داشته باشید و همچنین تلاش کافی برای یادگیری کدنویسی داشته باشید و همچنین بتوانید برخی عملیاتهای ریاضی سطح بالا را انجام دهید.
پوپ خودش هیچگاه آمار خالص را مطالعه نکرده و همچنین برنامه نویسی را بعد از فارغ التحصیلی یاد گرفته! همچنین میگوید: من زبان R را یادگرفتم ولی اگر میخواهید شغلی در دیتا ساینس داشته باشید، باید در پایتون متخصص شوید. پایتون را زبان اول خود کنید.
یک آماردان مدلی ارائه میدهد که رابطه ای بین یک متغیر و یک خروجی میسازد. اما یک دیتا ساینتیست، کار بیشتری نسبت به آن انجام میدهد: پیشبینی! دیتاساینتیست ها مدلهایی روی دیتا اموزش میدهند که بتواند دیتاهای آینده را با حداکثر دقت پیشبینی کند.
#part1
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
کار مهندس داده
با توجه به نمودار بالا، میبینیم که بیشتر کار مهندس داده، مهندسی نرم افزار و آماده سازی داده است.
پوپ میگوید کار مهندس داده، ارائه و تغییر دیتا به گونه ای که قابل استفاده شود، میباشد. باید دیتای خام را بگیرد، تمیز کند، وارد دیتابیس کند، تگ بزند و انرا برای مراحل بعدی اماده کند.
مهارتهای لازم:
Apache Spark, Scala, Docker, Java, Hadoop, and Kubernetes NiFI
#part2
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
با توجه به نمودار بالا، میبینیم که بیشتر کار مهندس داده، مهندسی نرم افزار و آماده سازی داده است.
پوپ میگوید کار مهندس داده، ارائه و تغییر دیتا به گونه ای که قابل استفاده شود، میباشد. باید دیتای خام را بگیرد، تمیز کند، وارد دیتابیس کند، تگ بزند و انرا برای مراحل بعدی اماده کند.
مهارتهای لازم:
Apache Spark, Scala, Docker, Java, Hadoop, and Kubernetes NiFI
#part2
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
کار تحلیلگر داده
کار وی، مواجهه با کسب و کار است تا نیاز کسب و کار به دیتا را مشخص کند و همچنین visualization هایی آماده کند که به کسب و کار در درک دیتا کمک کند.
پوپ میگوید: کار تحلیلگر داده، تفسیر اطلاعات برای استفاده آن در کسب و کار است. این شغل کمتر با ماشین لرنینگ در ارتباط است.
مهارتهای لازم:
RapidMiner, PostgreSQL
#part3
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
کار وی، مواجهه با کسب و کار است تا نیاز کسب و کار به دیتا را مشخص کند و همچنین visualization هایی آماده کند که به کسب و کار در درک دیتا کمک کند.
پوپ میگوید: کار تحلیلگر داده، تفسیر اطلاعات برای استفاده آن در کسب و کار است. این شغل کمتر با ماشین لرنینگ در ارتباط است.
مهارتهای لازم:
RapidMiner, PostgreSQL
#part3
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
کار دیتاساینتیست
دیتاساینتیست ها به شدت با کسب و کار درگیر هستند و با مهندسان داده کار میکنند. آنها مدلهای یادگیری ماشین را روی داده های اماده شده اموزش میدهند.
پوپ میگوید: نقش دیتاساینتیست، ساختن مدلها برای استخراج اطلاعات از دیتا و ارائه توصیه هایی مرتبط با کسب و کار است. دیتاساینتیست ها باید آمار را بفهمند اما بیشتر الگوریتم های ماشین لرنینگ براساس ریاضیات چندمتغیره و جبرخطی و غیرخطی بنا شده. تنها در همین حد ریاضیات لازم است.
#part4
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
دیتاساینتیست ها به شدت با کسب و کار درگیر هستند و با مهندسان داده کار میکنند. آنها مدلهای یادگیری ماشین را روی داده های اماده شده اموزش میدهند.
پوپ میگوید: نقش دیتاساینتیست، ساختن مدلها برای استخراج اطلاعات از دیتا و ارائه توصیه هایی مرتبط با کسب و کار است. دیتاساینتیست ها باید آمار را بفهمند اما بیشتر الگوریتم های ماشین لرنینگ براساس ریاضیات چندمتغیره و جبرخطی و غیرخطی بنا شده. تنها در همین حد ریاضیات لازم است.
#part4
#machinelearning #data #science #engineer #bigdata #science
@pythonicAI
Pythonic AI
کار مهندس داده با توجه به نمودار بالا، میبینیم که بیشتر کار مهندس داده، مهندسی نرم افزار و آماده سازی داده است. پوپ میگوید کار مهندس داده، ارائه و تغییر دیتا به گونه ای که قابل استفاده شود، میباشد. باید دیتای خام را بگیرد، تمیز کند، وارد دیتابیس کند، تگ…
مهندسین داده، درواقع زیر ساخت های اطلاعاتی ای را میسازند که پروژه های دیتاساینس به آنها وابسته است. این افراد مسئول طراحی و مدیریت جریان داده هایی هستند که از منابع مختلف جمع آوری شده و در یک مخزن، مانند data warehouse یکپارچه میشوند تا بعدا توسط دیتاساینتیست ها تحلیل شوند. بطور کلی، مهندسین داده براساس مدل ETL کار میکنند.
ETL: Extract, Transform, Load
نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.
- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.
- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.
ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده
Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.
Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ
SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای
زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia
#data #engineer #machinelearning #hadoop #kafka #scala #python #julia
@pythonicAI
ETL: Extract, Transform, Load
نقش های مختلف مهندسی داده:
- آرشیتکت داده
پایه و اساس سیستم های مدیریت داده جهت وارد کردن، یکپارچه سازی و نگهداری منابع داده را فراهم میکند.
- ادمین دیتابیس
همانطور که از اسمش پیداست باید اطلاعات عمیقی از دیتابیس ها داشته باشد.
- مهندس داده
باید اطلاعاتی از دیتابیس ها، زبانهایی مانند پایتون و جاوا و سیستم های توزیع شده (مانند هدوپ) و... داشته باشد. درواثع ترکیبی از تمام نقش ها در یک نقش است.
ابزارهای موردنیاز مهندس داده:
Apache Hadoop
فریم ورکی جهت مرتب سازی و پردازش حجم زیادی از اطلاعات بصورت توزیع شده
Apache Spark
پلتفرم پردازش داده جهت پردازش جریان real-time و همچنین پردازش بصورت batch. این پلتفرم api هایی برای زبانهای پایتون، R، جاوا و اسکالا دارد.
Apache Kafka
ابزاری قدرتمند جهت جمع آوری و وارد کردن سریع جریان داده ها به سیستمی مانند هدوپ
SQL & NoSQL
دیتابیس های رابطه ای و غیر رابطه ای
زبانهای برنامه نویسی موردنیاز مهندس داده:
پایتون، جاوا، اسکالا scala، جولیا julia
#data #engineer #machinelearning #hadoop #kafka #scala #python #julia
@pythonicAI