3-1-6 ذخیره ساز پایدار………………………. 43

3-1-7 جمع آوری داده های زائد……………………….. 44

3-2 بازیافت براساس نقطه مقابله………………………. 44

3-2-1 نقطه مقابله گرفتن به صورت غیرهماهنگ……………… 45

3-2-2 نقطه مقابله گرفتن به صورت هماهنگ………………………….. 48

3-2-3 نقطه مقابله گرفتن بر اساس ارتباطات………………………… 51

3-3 بازیافت بر اساس ثبت وقایع………………………. 54

3-3-1 شرط یكپارچگی بدون پروسه های یتیم……………………….. 55

3-3-2 ثبت بدبینانه وقایع……………………….. 56

3-3-3 ثبت خوشبینانه وقایع……………………….. 59

3-3-4 ثبت علّی وقایع……………………….. 61

3-3-5 مقایسه قراردادهای بازیافت…………………………. 63

3-4 مباحث مطرح در پیاده سازی……………………….. 63

3-4-1 بررسی………………………… 63

3-4-2 پیاده سازی تکنیکهای نقطه مقابله گرفتن………………………… 64

3-4-3 مقایسة قراردادهای نقطه مقابله گرفتن………………………… 66

3-4-4 قراردادهای ارتباطی………………………… 66

3-4-5 بازیافت بر اساس روش ثبت وقایع……………………….. 67

3-4-6 ذخیره ساز پایدار……………………….67

3-4-7 دنبال كردن وابستگی………………………… 68

3-4-8 بازیافت…………………………. 69

4 کارهای انجام شده اخیر………………………. 71

4-1ی بر روش های پیشبینی اشکال……………………….. 72

4-1-1 کلاسه بندی و اشکالهای ریشه آماری……………………….. 72

4-1-2 مدل آماری زمان میان خرابی ها……………………… 73

4-1-3 جمع آوری و پیش پردازش داده های مرتبط با خرابی…………. 73

4-2 تکنیک های پیش بینی اشکال……………………….. 74

4-2-1 حدآستانه مبتنی بر آمار………………………. 74

4-2-2 آنالیز سری های زمانی………………………… 75

4-2-3 کلاسه بندی مبتنی بر قانون……………………….. 75

4-2-4 مدل های شبکه بیزی………………………… 76

4-2-5 مدل های پردازش شبه مارکوف………………………… 76

4-3 مطالعات انجام گرفته………………………. 77

5 روش پیشنهادی……………………….. 86

5-1 مدل اشکال……………………….. 86

5-1-1 متوسط زمانی تا خرابی………………………… 89

5-2 مبانی احتمال و پیشبینی……………………….. 91

5-2-1 مفاهیم اولیه………………………. 91

5-2-2 رابطه قانون بیز و احتمال درستی پیش بینی………………………… 92

5-3 رابطه الگوریتم پیش بینی و مدل اشکال……………………….. 94

5-3-1 تحلیل روابط احتمالی………………………… 94

5-4 مدل پیشنهادی……………………….. 97

5-4-1 ارائه الگوریتم……………………….. 100

5-4-2 مدل مبتنی بر هزینه………………………. 101

5-4-3 اثر پیش بینی کننده بر روی مدل های هزینه………………………. 105

5-4-4 تصمیم گیری سیستم در کارگزار ابر………………………. 106

6 نتایج آزمایشها……………………… 109

6-1 معرفی شبیه ساز CloudSim…………………………

6-1-1 اجزای ابر………………………. 109

6-1-2 اجزای اصلی هسته………………………. 111

6-1-3 سرویس های موجود و الگوریتم های آن ها……………………… 114

6-1-4 روند کار شبیه ساز………………………. 115

6-2 نحوه پیادهسازی سیستم تحمل پذیر اشکال در شبیه ساز………… 116

6-2-1 FaultInjector……………………….

6-2-2 FaultPredictor……………………….

6-2-3 FTHost……………………….

6-2-4 FTDatacenter……………………….

6-2-5 FTDatacenterBroker……………………….

6-3 نتایج آزمایشات……………………….. 124

6-3-1 بررسی اثر سربار نقطه مقابله گیری………………………… 126

6-3-2 بررسی عمل های انتخابی………………………… 127

6-3-3 خرابی های متوقف سازنده و غیر متوقف سازنده………………………. 129

7 نتیجه گیری و پیشنهادات………………………… 132

منابع……………………… 133

چکیده:

با افزایش بازار استفاده از تکنولوژی محاسبات ابری، مراکز داده عظیمی به وجود آمده­اند تا محاسبات را سریع­تر انجام دهند. یکی از دغدغه­ های اصلی در محاسبات ابری، مواجه­شدن با اشکال­ها در حین اجرا ­کردن یک برنامه موازی زمان­بر است. برای غلبه بر این قبیل مشکلات، عموما از روش­های آزمون نقطه ­مقابله ­گیری یا آرشیوکردن[2 استفاده می­شود. اما این روش­ها غالبا سربار بالایی دارند و به صورت واکنشی عمل می­کنند.

در این پایان­ نامه روشی را معرفی می­کنیم که علاوه بر بازیافت و بازگشت به عقب برای تحمل پذیری اشکال، بتواند گره­ های محاسباتی که احتمال وقوع خرابی در آن­ها بیشتر است را شناسایی نماید و به صورت پیش­کنشی عمل کرده و ماشین­های مجازی را که بر روی آن­ها قرار دارد به گره­های محاسباتی امن­تر مهاجرت دهد تا در صورت وقوع اشکال در گره مشکوک برنامه موازی بدون وقفه به کار خود ادامه دهد. علاوه بر آن، در این الگوریتم با بهره­ گیری از قانون بیز و مدل هزینه پیشنهادی، آزمون نقطه­ مقابله ­گیری زائد تا حد امکان حذف شده و زمان اجرای برنامه بهبود خواهد یافت. با استفاده ازشبیه­ سازی نشان می­دهیم که روش پیشنهادی بسته به شرایط مختلف تا 78% زمان اجرا را بهبود می­بخشد و از منابع کمتری استفاده می­کند.

فصل اول: مقدمه

1- مقدمه

جهان محاسباتی که امروزه با آن روبرو هستیم روز به روز در حال بزرگ­تر و پیچیده تر شدن است. محاسبات ابری نیز در ادامه سبک های دیگر مانند محاسبات توری با هدف پردازش حجم عظیمی از داده با استفاده از خوشه هایی از کامپیوتر هاست. طبق گراش ارائه شده ای از گوکل، در حال حاضر به لطف محاسبات توزیع شده روزانه بیش از 20 ترابایت داده خام اینترنتی مورد پردازش قرار می گیرد. تکامل و شکل گیری محاسبات ابری خواهد توانست این چنین مسائلی را به راحتی و به شکلی مناسب تر از طریق سرویس های مبتنی بر تقاضا حل و فصل نماید. از زاویه دیگر، جهان محاسباتی اطراف ما در حال حرکت به سمت الگوهای “پرداخت برای استفاده” حرکت می کند و همین الگو یکی دیگر از پایه های اصلی محاسبات ابری محسوب می شود.

محاسبات ابری که در اواخر سال 2007 پا به عرضه ظهور گذاشت هم­اکنون به دلیل توانایی اش در ارائه زیر ساخت فناوری پویا و بسیار منعطف، محیط های محاسباتی تصمین شده از نظر کیفیت و همچنین سرویس های نرم افزاری قابل پیکر­بندی به موضوع داغ بدل شده است . در گزارش رویکردی گوگل همانطور که در شکل ‏1‑1 مشاهده می نمایید، محاسبات ابری، محاسبات توری را پشت سر گذاشته است [1]. محاسبات ابری از رویکرد مجازی­سازی بهره­گیری می­نماید که این امر سبب انعطاف­پذیری بیشتر سیستم ابر می­شود. در حقیقت با استفاده از این تکنولوژی، برنامه­ها می­توانند سرویس های مختلف را به صورت مجزا و انتزاعی از گره های سرویس دهنده دریافت نمایند.

تعاریف زیادی در مورد محاسبات ابری ارائه شده است که سعی می نمایند مشخصه های اصلی محاسبات ابری را مد نظر بگیرند که سیستم ابری را ” یک مدل برای دسترسی بنابر تقاضا و راحت تحت شبکه به یک مجموعه اشتراکی از منابع محاسباتی قابل پیکربندی” تعریف می نمایند درحالی­که “این منابع با کمترین تلاش و هزینه به صورت آزاد” فراهم گردند.

محاسبات ابری از خصوصیات منحصر به فردی بهره می برد که این سبک محاسباتی را از سایر سبک ها متمایز می کند. البته برخی از این خصوصیات کما بیش در سبک های پیشین نیز وجود داشته­اند. بعضی از این خصوصیات عبارتند از:

– ارائه سرویس مبتنی بر تقاضا: در اینجا لازم نیست تا برای آن چه استفاده نمی کنید هزینه پرداخت کنید. این بدان معناست که مشتریان تنها بر اساس مقدار و کیفیت سرویسی که مصرف می نمایند، هزینه استفاده پرداخت می نمایند. در حقیقت رویکرد این تکنولوژی همانند سرویس های عمومی قابل استفاده دیگر امروزی است. برای مثال همان­طور که برای تولید برق نیاز نیست که هر خانوار دارای ژنراتور و سایر وسایل تولید الکتریسیته باشد، دریافت سرویسی مانند محاسبات یا محل ذخیره داده نیز دیگر نیازی به خصوصی بودن ندارد و می توان آن را از فراهم آوردنگان ابر[1] اجاره کرد.

– دسترسی شبکه گسترده (اینترنت): این سیستم برای تحویل و ارئه سرویس ها از بستر موجود برای اینترنت استفاده می نماید. بنابراین مشتریان سرویس ها به هیچگونه نرم افزار یا سخت افزار خاصی نیاز ندارند و با همانگری که هر روزه به گشت و گذار در وب می پردازند می توانند از سرویس های ابر بهره ببرند.

– استخر منابع: در این سیستم با حجم وسیعی از منابع روبرو هستیم. این منابع از طریق مجازی­سازی از محل فیزیکی خود مستقل شده­ اند. بنابراین به راحتی می توانند در بستر شبکه جا­به­ جا شوند. در واقع نرم افزارها، پایگاه های داد، وب سرورها و سیستم های عامل همگی به عنوان سرورهای مجازی در سیستم ابر حضور دارند.

– قابلیت اطمینان بالا: فراهم آورندگان ابر به مشتریان خود تضمین می دهند که سیستم ابر همیشه قابلیت ارائه سرویس را داشته باشد. حال آنکه در سیستم های خانگی یک اشکال در نرم افزار یا سخت افزار می تواند موجب عدم دسترسی به اطلاعات و سرویس شود.

– هزینه پایین: به صورت سنتی برای اجرای برنامه های سنگین محاسباتی یا داده ای عظیم نیاز به یک سیستم با توان بالای محاسباتی و داده­ای احساس می شده است. این سیستم هزینه سنگینی را برای شرکت و یا افراد سرویس­گیرنده فراهم می آورده است. حال با استفاده از سرویس های موجود بر روی ابر، کاربران می توانند بر روی پروژه خود تمرکز بیشتری داشته باشد و هزینه گزافی را بابت تهیه زیرساخت ها نپردازد.

– به روز بودن: هزینه های گزافی که برای برپا بودن و به روز بودن زیرساخت های سخت افزاری و نرم افزاری باید پرداخت شوند با استفاده از ابر از بین می رود. در حقیقت به روز در آوردن زیرساخت ها از وظایف فراهم­آورندگان ابر می شود که بدون آن­که کاربر نهایی از این موضوع مطلع شود انجام می پذیرد.

در سیستم­های محاسبات توزیعی به دلیل کم کردن هزینه و توان مصرفی، از اجزاء تجاری عام­منظوره موجود در بازار استفاده می­شود[3]. این اجزا بهزمان مستهلک شده و دچار خرابی می شوند تا جایی که برای همیشه غیرقابل­استفاده می­گردند. همچنین با توجه به آمار ذکر شده، تعداد پردازنده­ها به منظور بهبود کارآیی سیستم محاسباتی توزیعی رو به افزایش است. با این حال احتمال وقوع خرابی[2] در کل سیستم توزیعی با یک رابطه نمایی بالا می­رود. برای مثال سیستم کلاستری که برای یکی از قسمت های سایت گوگل استفاده می­شود، بیش از 15000 پردازنده دارد که بر اساس آمار ذکر شده در [4]، نرخ خرابی هر گره محاسباتی تقریبا 2-3% در سال است. این سیستم به طور میانگین 20 بار در هر روز به علت خرابی ناگزیر به راه اندازی مجدد[3] است. بزرگ­ترین مرکز داده جهان بیش از 51470000 هسته پردازشی دارد و در کم تر از هر 10 دقیقه با یک اشکال در سیستم مواجه می شود. درجدول 1-1 چند نمونه از تعداد اشکال های گزارش شده در مراکز داده آمده است.

برای برنامه­ های علمی-کاربردی موازی امروزی که بسیار پیچیده تر شده اند و معمولا برای روزها، هفته ­ها و یا بیشتر طراحی شده ­اند تا به اتمام برسند، برخورد با اشکال در حین اجرا برنامه موازی امری اجتناب­ ناپذیر به نظر می رسد. امروزه رویکردهای تحمل پذیر اشکال در مراکز به یکی از چالش های اصلی در محاسبات توزیعی تبدیل شده است.

آزمون نقطه مقابله­گیری­(cp)[1] و بازیافت[2] یک تکنیک معمول برای مدیریت اشکال در محاسبات توزیع شده می­باشد و مقالات ارزشمندی در مورد بازیابی بر اساس الگوریتم­های آزمون نقطه مقابله­گیری مختلف موجود می­باشد. مطالعه بر روی هزینه نقطه مقابله گرفتن به صورت گسترده کماکان در حال انجام است. بیش تر کار­ها بر روی انتخاب بازه بهینه نقطه مقابله و کم کردن سربار برای عمل نقطه مقابله انجام شده است. در واقع مهم­ترین مساله در بازیافت، برخورد با اشکال­ها بعد از وقوع آن و رویکرد بازگشت به عقب[3] است. در روش نقطه مقابله به­صورت هماهنگ دوره­ای، در ابتدای بازه های زمانی از پیش تعریف شده حالت کنونی تک­تک واحدهای محاسباتی موجود (این واحد در ابر ماشین های مجازی است) ذخیره می شود. پس از اتمام ذخیره­سازی تمام ماشین های مجازی، سیستم تا ابتدای بازه زمانی بعدی به کار خود ادامه می دهد.

زمانی­که در یکی از گره­های محاسباتی خرابی رخ داد، این خرابی کشف می­شود و تمام کارهای موازی[4] متوقف شده تا اشکال در سیستم بر طرف گردد. پس از رفع اشکال سیستم به آخرین حالت ذخیره شده ماشین های مجازی باز می­گردد و عملیات را از آن نقطه دوباره آغاز می­کند و به کار خود ادامه می دهد. در اغلب پیاده­سازی­ها، پروتکل کشف و بازیافت اشکال از دید برنامه­نویس پنهان می­باشد. این قبیل پروتکل­ها به صورت واکنشی پس از وقوع اشکال در سیستم عمل می­نماید. بنابراین در این حالت ممکن است زمان زیادی به لحاظ تعمیر سیستم و بازیابی مجدد ماشین های مجازی از دست برود که روی کارآیی ابر به­صورت مستقیم تاثیر منفی می­گذارد.

در مقابل این روش­ها، اخیرا روش­های دیگری پیشنهاد شده که مبتنی بر پیش­بینی اشکال در هر گره محاسباتی هستند. در این سیستم­ها، یک مکانیسم مدیریت اشکال تطبیقی[5] وجود دارد که سعی دارد تا به­صورت بهینه، بهترین عمل را در ابتدای هر بازه تصمیم­گیری نماید.

در دهه­های گذشته پیشرفت­هایی در زمینه پیش­بینی اشکال حاصل شده است. برای نمونه، وسایل سخت­افزاری مدرنی با خصیصه­های مختلفی همچون سنسور­های سخت­افزاری طراحی شده­اند که می­توانند افت یک ویژگی در طول زمان را (برای شناسایی خرابی­های نزدیک) نشان دهند و تعدادی روش­های یادگیری ماشینی و آماری مبتنی بر تکنیک­های احتمال برای بالابردن دقت آن­ها ارائه شده است. تکنیک­های مقاومت در برابر اشکال پیش­کنشی[6] مبتنی بر پیش­بینی به منظور دستیابی به دسترسی بالا[7]، برای کاربر­د­های بحرانی- امن اتخاذ گردیده است. اما تاکنون مطالعات خوبی بر روی ابر صورت نگرفته است.