پردازش سریع تصاویر دریافت از راه دور (RS) در بسیاری از نظارت های بلادرنگ مقیاس بزرگ ضروری است، مانند نظارت هواشناسی و هشدار فاجعه طبیعی. با این حال، هزینه محاسبه RS اغلب گران است، روش‌های پردازش RS سنتی نمی توانند زمان مورد نیاز نظارت پویا را تامین کنند. خوشبختانه، محاسبات ابری نه تنها سرویس موثر برای مدیریت داده ها فراهم می‌کند، بلکه یک راه مناسب برای اجرای محاسبات RS ارائه می دهد. لازم است تا سرویس پردازش RS سریع  را در یک معماری محاسبات ابری یکپارچه ادغام کنیم. معماری می تواند به کاربران سرویس پردازش تصویر RS سریع یکپارچه از طریق مدیریت موثر داده های بزرگ و پردازش موازی توزیع شده ارائه کند. این مقاله به بررسی روش های پردازش سریع و استراتژی برای تصاویر RS بر اساس محاسبات ابری می‌پردازد. به منظور مقایسه با دیگر نمونه‌های محاسباتی، ما طبقه بندی حداکثر احتمال (MLC) را به عنوان الگوریتم آزمایش و خوشه فاصله ماهالانوبیس (MDC) را به عنوان الگوریتم تایید برای اجرای مقایسه انتخاب کرده ایم. در این آزمایشات، ما هزینه محاسبات پردازش RS را در سه پارادایم محاسبات (مستقل، MPI، و MapReduce) مقایسه کردیم. از نتایج آزمایشی فشرده، پی بردیم که پردازش RS بر اساس محاسبات ابری بهترین عملکرد را از جنبه های راحتی برنامه نویسی، مدیریت داده ها و بهره وری محاسباتی به طور همزمان، به ویژه هنگامی که مقدار زیادی از داده ها را پردازش می‌کند، ایفا می‌کند.

پردازش تصویر RS نقش مهمی در بسیاری از کاربردها ایفا می کند. یک موضوع عملی پردازش تصویر RS بهنگام بودن است. به عنوان مثال، اصلاح یک تصویر RS (30000*30000پیکسل) شامل تقریبأ ده ها میلیارد عملیات ممیز شناور است که تحت معماری محاسبات فعلی نیاز به چند ساعت حتی چند روز دارد که به پایان برسد. زمان پردازش نمی تواند الزامات این برنامه های خاص را تأمین کند. محاسبات مستقل غیر ممکن است که قدرت چنین وظایف بهنگام را فراهم کند.

ذخیره سازی فشرده و محاسبات فشرده دو ویژگی ذاتی پردازش RS می باشند. سرعت پردازش تصویر RS توسط دو عامل تعیین می شود: مقدار پیکسل های تصویر و پیچیدگی الگوریتم پردازش. از آنجا که محاسبات موازی، که از بسیاری از گره های کامپیوتر برای اجرای یک وظیفه پردازش تصویر RS استفاده می کند، می تواند به موقع بودن را تضمین کند، بسیاری از روش های سریع پردازش تصویر RS با محاسبات موازی، به ویژه محاسبات گرید توسعه یافته اند. محاسبات گرید یک '' ابر کامپیوتر مجازی '' است که از شبکه ای از کامپیوتر سست اتصال برای انجام وظایف بسیار بزرگ تشکیل شده است. این فن آوری به مسائل علوم محاسبات فشرده، ریاضی، و دانشگاهی اعمال شده است. پردازش تصویر RS یک وظیفه معمول از این نوع کاربردها است. ژوهای فانگ، لیو تائو و بسیاری از محققان دیگر محاسبات گرید را برای پردازش تصویر RS در مطالعات خود اقتباس کرده اند.

محاسبات ابری یک الگوی فوق محاسابت بر اساس اینترنت است، که باعث استفاده از گره های کامپیوتر در خوشه ابر از طریق یک شبکه برای تکمیل یک کار محاسبات به صورت موازی می شود. در مقایسه با دیگر پارادایم های محاسباتی مانند محاسبات گرید، محاسبات ابری می تواند سازماندهی منابع را به صورت خودکار انجام دهد تا قدرت محاسباتی بی نهایت و یک رابط کاربر پسند فراهم آورد. به عنوان مثال، پارتیشن بندی داده ها، تعادل بار و تحمل پذیر خطا برای کاربران در محاسبات ابری شفاف می باشد. با وعده خود درباره منابع تقریبا بی نهایت، مقیاس پذیری بالا و تحمل پذیر خطا، محاسبات ابری به طور موثر می تواند به مسائل محاسبات علمی منابع حریص رسیدگی کند. پردازش تصویر RS، دقیقا نوعی از این مسائل محاسباتی است.

فضای ذخیره سازی ابر مانند سیستم فایل توزیع شده هادوپ (HDFS) یک روش امن و مناسب برای مدیریت داده های بزرگ فراهم می کند. اگر چه محاسبات گرید این سرویس را ارائه می کند، مجبور است تا بسیاری از ابزارها را ترکیب کند تا وعده ثبات و قابلیت اطمینان در اندازه خوشه متفاوت را بدهد. به عنوان مثال، تحقیقات گرید اروپا (EELA، SEEGRID، EGI]) ابزار های بسیاری در گرید ملی، منطقه ای و بین قاره ای  معرفی کرد. در مطالعه SEE-GRID، محققان روش محاسبات گرید را به دو دسته تقسیم کردند: یکی MPI است (یک نماینده نوعی MPI-G است که در جعبه ابزار گلوباس پیاده¬سازی شده است) و از سوی دیگر پارادایم دسته ای (نمایندگان معمولی PBS و Conder هستند) است. MPI در محاسبه محاسبات فشرده پردازش RS خوب است، که تعامل قوی بین گره های خوشه ای فراهم می کند، اما ثبات و قابلیت اطمینان آن تحت تأثیر ابزارهای دیگر است. هدف از PBS و Conder تسهیل اجرای وظایف دسته‌ای است، به طوری که آنها عملکرد ضعیف در سرویس‌های دیگر مانند کنترل تعاملی دارند.

محاسبات ابری دارای مجموعه ای از پیاده‌سازی‌های همراه سیستم فایل و چارچوب برنامه‌نویسی است. این دو ویژگی فقط برای خصوصیات محاسبه فشرده و ذخیره‌سازی فشرده تصاویر RS سازگار می‌شوند. یکی از نمایندگان عمومی هادوپ، متشکل از HDFS و MapReduce است. پشتیبان‌گیری ایمن و اجرای تفکری می‌تواند ثبات و قابلیت اطمینان برنامه را بهبود بخشد. با این حال این مکانیزم‌ها نیز کارایی محاسبات پایین تر نسبت به MPI به ارمغان می‌آورند.

اگر چه بسیاری از مطالعات در استفاده از محاسبات گرید و محاسبات ابری برای پردازش سریع تصاویر RS وجود دارد [1,3,11]، بسیاری از آنها تنها در یکی از آنها متمرکز شده اند و عملکرد مختلف بین آنها را مورد بحث قرار نداده اند. در این مقاله، ما دو نوع از محاسبات موازی را مقایسه کنیم.

ابتدا، یک ابر خصوصی به نام AgrCloud می‌سازیم و یک ماژول پردازش تصویر RS طراحی می‌کنیم که برخی الگوریتم های تصویر RS را بر اساس AgrCloud اجرا می کند. AgrCloud مبتنی بر هادوپ توسعه یافته است، که چارچوب ابری است که به طور گسترده مورد استفاده قرار می‌گیرد. ماژول پردازش RS نه تنها از HDFS برای ذخیره داده ها RS بزرگ استفاده می‌کند، بلکه همچنین سرویسی برای پردازش سریع  تصویر RS فراهم می‌کند.

دوم، ما یک الگوریتم پردازش تصویر RS برای مقایسه انتخاب کردیم. انواع بسیاری از الگوریتم‌ها در پردازش تصویر RS، مانند اصلاح عکس، تقویت و طبقه بندی وجود دارد. به طور معمول، این الگوریتم‌ها بر اساس اصل اساسی مشترک اجرا می‌شوند: محاسبه پیکسل به پیکسل. MLC یک الگوریتم سنتی است که بر اساس این اصل طراحی شده است. به عنوان یک الگوریتم طبقه بندی کلاسیک، MLC اهمیت عملی دارد (برای مثال، اوتوکی و بلاسچکی از آن برای مشاهده و تغییر پوشش زمین در 2010 استفاده کردند) و همچنین در بسیاری از  نرم‌افزارهای تجاری و پردازش تصویر سنجش از راه دور سورس باز اجرا شد. 

در نهایت، ما آزمایش‌هایی برای مقایسه سه پارادایم محاسبات مختلف: مستقل، MPI و MapReduce طراحی کردیم. در این آزمایشات، ما طبقه‌بندی تصویر RS منطقه هایدین، پکن را به عنوان وظیفه پردازش تصویر RS انتخاب کردیم و از MLC به عنوان روش طبقه‌بندی استفاده نمودیم. علاوه بر این، ما آزمایش تأیید دیگری برای مقایسه زمان محاسبات MDC که تئوری آن اجرای خوشه‌بندی پیکسل با مقایسه تکراری فاصله ماهالانوبیس برای سه نمونه محاسبات مختلف است را طراحی نمودیم.

کار مرتبط

پردازش سریع تصاویر RS نیاز به قدرت محاسباتی قوی و سرعت محاسبات سریع دارد، و زمانیکه فرآیند محاسباتی پیچیده است و داده RS عظیم است، به یک مشکل چالش برانگیز تبدیل می شود. برای مقابله با این مشکلات، بسیاری از محققان محاسبات گرید و محاسبات ابری را برای پردازش تصاویر RS انتخاب کره اند. اگر چه این پارادایم‌های محاسباتی سرعت پردازش بهتر داده ها بوسیله محاسبات موازی دارند، برخی از مشکلات عملی به ارمغان می آورند.

ژنگ یو محاسبات خوشه ای را برای حل ترکیب، فیلتر کردن، تقسیم بندی تصویر RS استفاده کرد. عملکرد به موقع بودن به طور قابل توجهی بهبود یافته است. با این حال، مقیاس‌پذیری سیستم به دلیل مشکل خوشه همگن محقق  نشده بود.

ژو هایفنگ دوباره  برخی از الگوریتم های (PGCA، WAGR، PGWA) با استفاده از محاسبات گرید پیاده‌سازی کرد. محاسبات گرید بر اساس ماشین‌های ناهمگن بود. یک مشکل بزرگ برای سیستم‌ها پیاده سازی مجدد یک الگوریتم بود، که نیاز به نوشتن پارامترهای مختلف، مانند پارتیشن بندی داده‌ها برای الگوریتم‌های مختلف توسط برنامه‌نویسان دارد.

لیو تائو  MLC را برای MPI اقتباس کرد که ابزار برنامه‌نویسی محاسبات گرید در تحقیقاتش است و بهره‌وری بهبود یافته بوسیله محاسبات گرید برای MLC را تجزیه و تحلیل کرد. اما او راه حلی در مورد مدیریت داده‌های عظیم برای حجم بزرگی از داده‌های پردازش تصویر RS ارائه نمی‌دهد.

لیو یی چندین مدل سرویس دریافت از راه دور را تجزیه و تحلیل کرد و تطبیق حالت محاسبات ابری برای پیاده‌سازی سرویس سنجش از راه دور برای مقیاس‌پذیری بهتر را پیشنهاد نمود. اما او در مورد چگونگی بکارگیری یک الگوریتم خاص برای MapReduce بحث نکرد.

AgrCloud

هدف ما از پلت فرم AgrCloud ارائه سرویس ابری برای پردازش RS، مانند اصلاح، تقسیم بندی و طبقه بندی تصویر RS است. همه اشیاء پردازش این برنامه ها داده های بزرگ RS هستند که در HDFS ذخیره می شوند.

AgrCloud بر روی هادوپ ایجاد شده است، که یک پروژه سورس باز توسعه یافته توسط آپاچی است، که دو جزء اصلی آن مدل برنامه نویسی موازی شده MapReduce و سیستم فایل توزیع شده HDFS است. هادوپ ابر توسط چندین گره داده که فایل را ذخیره می کنند، محاسبات را اجرا می کنند و یک گره نام که مسئول مدیریت گره های داده ساخته شده است، تشکیل شده است. آن به طور گسترده ای هم در تحقیق و هم در صنعت استفاده می شود. به عنوان مثال، مکعب محصول اطلاعات Taobao (www.taobao.com) روی هادوپ ساخته شده است، که تابع هسته جستجو، ذخیره سازی و تجزیه و تحلیل مقادیر عظیمی از داده ها است.

ما یک لایه پشتیبان برای پشتیبانی از پردازش تصویر RS طراحی کردیم. این لایه سه ماژول هسته اصلی دارد: زمانبندی کار، اعزام کار و ماژول هادوپ. شکل 1 معماری سیستم AgrCloud را نشان می دهد.

لایه پشتیبانی از زیرساخت های پلت فرم ابر برای ارائه سرویس به برنامه های کاربردی RS استفاده می‌کند. در این لایه، انواع مختلف پردازش تصویر برای تصاویر وارد شده مختلف (Landsat، Spot و QuickBird) انجام شده است. لایه به شرح زیر کار می کند:

در مرحله اول، ماژول زمانبندی کار یک درخواست سرویس جدید از یک مشتری وب قبول می کند، و سپس، این درخواست را به صف زمانبندی می‌افزاید. ماژول زمانبندی کار صف درخواست را نگه می دارد و ماژول اعزام کار را برای اعزام کار جدید هنگامی که کار قبلی به پایان رسید، فراخوانی می‌کند.

در مرحله دوم، ماژول اعزام کار، اطلاعات تصاویر RS را با GDAL (کیتی برای دریافت اطلاعات از تصاویر RS با فرمتهای مختلف) می‌گیرد، و سپس، فایل اطلاعات را در گره های داده AgrCloud اعزام می‌کند.

در نهایت، ماژول هادوپ یک برنامه خاص را بر اساس کتابخانه MapReduce برای پردازش فایل اطلاعات ذخیره شده در HDFS اجرا می‌کند. کتابخانه MapReduce مدل برنامه‌نویسی موازی ارائه شده توسط هادوپ است، و یک برنامه محاسبه باید با کتابخانه برای کنترل محاسبات موازی کد گذاری شود.

به طور کلی، اجرای یک کار محاسبات دو مرحله دارد: نگاشت و کاهش. نگاشت کار محاسبات را به چند کار فرعی با توجه به پارتیشن‌های داده در HDFS پارتیشن‌بندی می‌کند. به عنوان مثال، تصویر مورد نظر به سه مجموعه داده (DS1، DS2، و DS3) تقسیم می‌شود، و این مجموعه داده‌ها در سه گره داده  (DN1، DN2، DN3) ذخیره می‌شوند. در طول نگاشت، محاسبات  ds1 در DN1 اجرا می‌شود. هنگامی که نگاشت به پایان رسید، کاهش برای ادغام نتایج حاصل از نگاشت فراخوانی می‌شود تا یک مجموعه تا حد امکان کوچک از مقادیر تشکیل دهد. خروجی نهایی خواهد شد در HDFS ذخیره می شود.

MLC مبتنی بر MapReduce

ورودی MLC مبتنی بر MapReduce یک فایل متنی است که توسط میان افزار GDAL شکل می‌گیرد و حاوی اطلاعات تصاویر است. توسط محاسبات ابری، AgrCloud نتایج طبقه بندی را

محاسبه می‌کند و آن را در یک فایل با فرمت BMP ذخیره می‌کند.

MLC مبتنی بر MapReduce شامل 4 مرحله نشان داده شده در شکل 2 است:

(1) کاربر تصویر RS هر گروه را  به هادوپ آپلود می‌کند. گره نام در هادوپ فایل تصویر را پارتیشن بندی می‌کند، و تکه‌ها را در ماشین‌های گره داده مختلف ذخیره می‌کند.

(2) تابع سازنده Map از برنامه میان افزار پوسته برای تحویل نمونه استفاده می‌کند و آن‌ها را به شیء داخل طبقه‌بند Map انتقال می‌دهد.

(3) تابع نگاشت ()map از شی طبقه بند برای به طبقه بندی یک پیکسل که از HDFS گرفته است، استفاده می‌کند، سپس نتیجه را به Reduce ارسال می کند. Reduce نتایج نگاشت را به

صورت یک فایل ادغام می‌کند و آن را در HDFS ذخیره می‌کند.

(4) برنامه میان افزار نتیجه فایل را از HDFS می‌گیرد و تصویر نتیجه را تشکیل می‌دهد.

 

مقایسه

ما آزمایش‌های مختلفی برای مقایسه سرعت محاسبات MLC تحت سه نمونه محاسبات (مستقل، MPI، MapReduce) طراحی کردیم. ما از الگوریتم یکسان، محیط نرم‌افزار و سخت‌افزار

یکسان در این آزمایش استفاده کردیم. پس از آزمایش MLC، ما از آزمایشات الگوریتم MDC برای تایید نتایج MLC استفاده نمودیم. محیط آزمایش در جدول ذکر شده است.

 

زمان اجرا برای MLC در مستقل، MPI و MapReduce برای پیچیدگی‌های محاسباتی مختلف :

زمان اجرا برای MDC در مستقل، MPI و MapReduce برای پیچیدگی‌های محاسباتی مختلف :

نتیجه‌گیری

ما از محاسبات ابری برای مقابله با مسئله پردازش سریع تصاویر RS در این مقاله استفاده کردیم. ما یک پلت فرم محاسبات ابری به نام AgrCloud بر اساس هادوپ طراحی کردیم. یک لایه پشتیبانی در AgrCloud ساخته شده است که می تواند سرویس‌هایی برای پردازش تصاویر RS فراهم کند. با وعده منابع تقریبا بی نهایت، AgrCloud می تواند سرویس پردازش تصویر RS را که نیاز به خاصیت به موقع بودن بالا دارد ارائه می‌دهد.

به منظور مطالعه تفاوت های بین محاسبات ابری و پارادایم‌های محاسبات سنتی، ما پیاده‌سازی مجدد یک الگوریتم طبقه‌بندی MLC را انجام دادیم، که بر اساس اصل (اجرای محاسبات پیکسل به پیکسل) شبیه به دیگر الگوریتم‌های پردازش تصویر RS طراحی شده است. چند آزمایش طراحی شده تا زمان اجرا  MLC در سه چارچوب محاسبات مختلف: مستقل، MPI و MapReduce مقایسه شود. علاوه بر این، آزمایشات الگوریتم MDC به منظور تائید نتیجه MLC استفاده شد. MPI و MapReduce کارایی بهتری از نظر پیچیدگی محاسباتی و اندازه داده‌های ورودی نشان دادند، به خصوص در موردی که پیچیدگی محاسباتی یا اندازه داده‌های ورودی رشد می‌کند. علاوه بر این، در می‌یابیم که MPI و MapReduce بطور مشابه عمل می‌کنند، اما MapReduce دارای یک رابط کاربری دوستانه‌تر است. بنابراین، محاسبات ابری مزایای بیشتری نسبت به نمونه‌های محاسباتی دیگر نشان می‌دهد.

 

____________________________________

منبع : https://sci-hub.tw/https://doi.org/10.1016/j.future.2013.05.002