آموزش استفاده از پایگاه داده هدوپ (Hadoop)

آموزش استفاده از پایگاه داده هدوپ (Hadoop) دوره ای پروژه محور و مقدماتی تا پیشرفته است که توسط هلدینگ فرتاک ارائه شده است.

هدوپ یک نرم افزار متن باز است که برای ذخیره سازی و پردازش داده های بزرگ به کار می رود.هدوپ اولین بار در شرکت آپاچی ارائه و به وسیله زبان برنامه نویسی جاوا نوشته شده است که شما در آموزش استفاده از پایگاه داده هدوپ (Hadoop) با آن آشنا میشوید.

پیش‌ نیاز این دوره

آشنایی ذخیره و بازیابی اطلاعات

آشنایی پایگاه داده‌ها

آشنایی با سیستم‌های توزیع شده

کاربرد هدوپ (hadoop) چیست؟

درواقع هدوپ برای ذخیره کردن و فراخوانی اطلاعات پرحجم مورد استفاده قرار می گیرد؛ اطلاعاتی که شامل فایل و یا پردازش می شود.

دلایل اهمیت هدوپ (hadoop):

امروزه سازمان های زیادی وجود دارند که به دنبال روشی برای جستجوی میلیونها صفحه وب و بازگشت نتایج مربوطه به هدوپت هستند. در این قسمت شما را با کاربردهای هدوپت آشنا خواهیم کرد:

• امکان پردازش و ذخیره‌ی مقادیرداده با سرعت بالا:  این مورد برای زمانی که حجم افزایش یافته و داده ها به انواع مختلفی تقسیم می شوند مهم است.

• قدرت پردازش: هدوپ قابلیت پردازش بالای داده های بزرگ را دارد .

• میزان خطا: هدوپ داده ها را پردازش کرده و از برنامه ها در برابر خرابی سخت افزار محافظت می کند. به این صورت اگر یک گره خراب شود و از کار بیفتد، تمامی کارها به طور خودکار به گره های دیگر منتقل می شوند تا این اطمینان برایتان حاصل شود که محاسبات توزیع شده از کار نمی افتند. همچنین از تمام داده ها به صورت خودکار چندین نسخه ذخیره می شود.

• انعطاف پذیری: در هدوپ می توانید اطلاعات را به اندازه ای که می خواهید ذخیره کرده و بعدا استفاده کنید. این مورد شامل داده های بدون ساختار مانند متن، تصاویر و فیلم ها می شود.

• هزینه پایین: قالب منبع باز هدوپ آزاد است و از سخت افزار برای ذخیره ی داده ها با کمترین هزینه استفاده می شود.

• مقیاس پذیری: شما می توانید سیستم تان را برای مدیریت داده های بیشتر، به آسانی و با اضافه کردن گره ها ارتقاء دهید.

چالش های استفاده از هدوپ (hadoop):

برنامه نویسی MapReduce راه حل همه ی مشکلات نیست:  برای تقاضاها و مشکلات ساده‌ی اطلاعاتی، که قابلیت تقسیم شدن به واحدهای مستقل را دارند کاربرد دارد، اما برای کارهای تحلیلی و تعاملی مناسب نیست. 

مهارت بالا نیاز دارد:  برای تهیه ی MapReduce ، پیدا کردن برنامه نویسانی که در جاوا مهارت کافی دارند بسی دشوار است.

امنیت داده ها : یکی دیگر از مراکز چالش پیرامون مسائل مرتبط به امنیت داده های پراکنده است، با اینکه ابزارها و تکنولوژی های جدید در حال ارائه هستند. پروتکل احراز هویت  Kerberos قدمی بزرگ در جهت ایمن سازی محیط های هدوپ است.

مدیریت کامل داده ها:  هدوپ از ابزارهای کاملاً کاربردی و آسان برای مدیریت داده ها، پاکسازی داده ها برخوردار نیست. به خصوص کمبود ابزار برای کیفیت داده ها و استاندارد سازی وجود ندارد.

هسته ی اصلی هدوپ به دو بخش ذخیره سازی و پردازش تقسیم می شود. هدوپ فایل ها را به بلوک های بزرگ می شکند و آن ها را بین نودهای یک خوشه توزیع می کند. در پردازش داده، بخش Map/Reduce بسته کدی را برای نودها ارسال می کنند تا پردازش را به صورت موازی انجام دهند. در این بخش نودها بر روی قسمتی از داده که در دسترس هستند، کار می کنند. بدین صورت داده ها سریع تر پردازش می شوند. هدوپ دارای قالب اصلی می باشد که شما را با آنها آشنا خواهیم کرد.

قالب اصلی هدوپ تشکیل شده از ماژول‌های زیر است:

بخش مشترکات هدوپ: شامل کتابخانه‌های جاوا می باشد و برای تمامی ماژول ها استفاده می شود.

سیستم فایل توزیع شده هدوپ (HDFS): یک سیستم فایل تقسیم شده است که داده را بر روی ماشین‌های خوشه ذخیره کرده و پهنای باند وسیعی را تولید می کنند.

 YARN هدوپ: یک پلتفرم مدیریت منابع است که مسئول مدیریت منابع محاسباتی در کامپیوترهای زیرمجموعه می باشد.

Map/Reduce  هدوپ: یک مدل برنامه‌نویسی برای پردازش و تجزیه و تحلیل داده در مقیاس‌های بالا است.

در واقع هدوپ یک سیستم فایل توزیع شده را تولید می‌کند که می‌تواند داده را بر روی چندین سرور ذخیره کند و وظیفه را بر روی این ماشین‌ها پخش کرده و کار را در کنار داده انجام می‌دهد.

هدوپ چگونه کار می کند ؟

هدوپ دسته‌های سازنده‌ای را فراهم می‌کند که کارها، خدمات و برنامه‌های دیگری بر روی آنها ساخته می‌شود. برنامه‌هایی که داده‌ها را در قالب‌های مختلف جمع آوری می‌کنند، می‌توانند داده‌ها را با استفاده از یک API برای اتصال به NameNode در سرور هدوپ قرار دهند.

سیستم هدوپ وظیفه مدیریت فضای نام فایل سیستم را بر عهده دارد و دسترسی کلاینت‌ها به فایل‌ها را تنظیم می‌کند NameNode .ها نیز وظایفی از جمله باز و بسته کردن ، تغییر نام فایل‌ها و فولدر‌ها را از طریق یک واسط برای فضای فایل سیستم انجام می دهد. هدوپ به وسیله ی ابزارها و برنامه های زیادی به جمع آوری ، ذخیره، پردازش، تجزیه و تحلیل و مدیریت داده‌های بزرگ می پردازد.