خلاصة:
کلان داده و9 فناوری دوپ
سحر جعفری
دانشجوی مهندسی کامپیوترء دانشگاه صنعتی شیرازء شیراز» ایران
کلانداده مربوط به دادههایی با حجم زیاد است که به صورت نمایی در حال رشد میباشد؛ این داده حجیم با یک سرعت زیاد
از منابع مختلف و در انواع مختلف ساختاریافته» بدون ساختار و نیمه ساختاریافته تولید میشود که ما میتوانیم اطلاعات
ارزشمندی را از آن استخراج کنیم و در تصمیمگیریها از کمکهای آن بهرهمند شویم. این پژوهش به منظور آشنایی بیشتر با
کلانداده و فناوری هدوپ بوده و یافتهها حاکی از آن است که به طور کلی کلانداده توسط سه ویژگی اساسی خودء یعنی
حجم (volume)» سرعت (velocity) و تنوع (variety) مشخص میشود که این سه ویژگی باید همزمان وجود داشته
باشند در غیر این صورت نمیتوان درباره دادههای بزرگ صحبت کرد. برخی از محققان برای بیان بهتر کلانداده ویژگیهای
دیگری را نیز معرفی کردهاند از جمله ارزش (value) و صحت (veracity ). تحلیل کلانداده با فراهم کردن اطلاعات
ارزشمند. ء میتواند در حوزههای مختلف پزشکی, تجارت و سیاست بسیار کمک کننده باشد؛ اما استفاده از روشهای سنتی
برای ذخیره سازی و پردازش کلانداده کاری وقتگیر و هزینهبر است به همین خاطر فناوریهایی مانند هدوپ از طریق برقرار
کردن امکان ذخیرهسازی هر نوع داده در یک محیط توزیعشده و پردازش آنها به صورت موازی به کمک ما آمدهاند. اپاچی
هدوپ از سه بخش سیستم فایل توزیعشده (HDFS» چهارچوب برنامهنویسی نگاشتکاهش (MapReduce ) و سرویس
مدیریت منابع ([YARN) تشکیل شده است که به ترتیب به عنوان واحد ذخیرهسازی» واحد پردازش و واحد مدیریت منابع در
هدوپ مورد استفاده قرار میگیرند و از این طریق مدیریت کلانداده برای ما میسر میشود.
ملخص الجهاز:
کلان داده و فناوري هدوپ سحر جعفري دانشجوي مهندسي کامپيوتر، دانشگاه صنعتي شيراز، شيراز، ايران چکيده کلان داده مربوط به داده هايي با حجم زياد است که به صورت نمايي در حال رشد ميباشد؛ اين داده حجيم با يک سرعت زياد از منابع مختلف و در انواع مختلف ساختاريافته ، بدون ساختار و نيمه ساختاريافته توليد ميشود که ما ميتوانيم اطلاعات ارزشمندي را از آن استخراج کنيم و در تصميم گيري ها از کمک هاي آن بهره مند شويم .
اين پژوهش به منظور آشنايي بيشتر با کلان داده و فناوري هدوپ بوده و يافته ها حاکي از آن است که به طور کلي کلان داده توسط سه ويژگي اساسي خود، يعني حجم (volume)، سرعت (velocity) و تنوع (variety) مشخص ميشود که اين سه ويژگي بايد هم زمان وجود داشته باشند در غير اين صورت نميتوان درباره داده هاي بزرگ صحبت کرد.
تحليل کلان داده با فراهم کردن اطلاعات ارزشمند، ميتواند در حوزه هاي مختلف پزشکي، تجارت و سياست بسيار کمک کننده باشد؛ اما استفاده از روش هاي سنتي براي ذخيره سازي و پردازش کلان داده کاري وقت گير و هزينه بر است به همين خاطر فناوريهايي مانند هدوپ از طريق برقرار کردن امکان ذخيره سازي هر نوع داده در يک محيط توزيع شده و پردازش آن ها به صورت موازي به کمک ما آمده اند.
آپاچي هدوپ از سه بخش سيستم فايل توزيع شده (HDFS)، چهارچوب برنامه نويسي نگاشت کاهش (MapReduce) و سرويس مديريت منابع (YARN) تشکيل شده است که به ترتيب به عنوان واحد ذخيره سازي، واحد پردازش و واحد مديريت منابع در هدوپ مورد استفاده قرار ميگيرند و از اين طريق مديريت کلان داده براي ما ميسر ميشود.