2-5-1-3-4 ساخت ویژگی………………………………………………………………………. 21

2-5-1-3-5 نرمال سازی………………………………………………………………………….. 21

2-5-1-4 کاهش داده ها……………………………………………………………………………… 21

2-5-1-4-1 تجمیع مکعبی داده…………………………………………………………………. 23

2-5-1-4-2 انتخاب زیر مجموعه مشخصه ها……………………………………………….. 23

2-5-1-4-3 کاهش تعدد نقاط…………………………………………………………………… 24

2-5-1-5 تصویر کردن برای کاهش بعد………………………………………………………….. 24

2-6 روش های ارزیابی دسته بندی……………………………………………………………………….. 25

2-6-1 ارزیابی صحت روشهای دسته بندی………………………………………………………….. 27

2-7 تکنیک حداقل مربعات……………………………………………………………………………….. 30

2-7-1 تقریب کمترین مربعات گسسته چند جمله ای……………………………………………. 31

2-8 ماشین بردار پشتیبان……………………………………………………………………………………. 33

2-8-1مقدمه……………………………………………………………………………………………….. 33

2-8-2دلایل استفاده از SVM…………………………………………………………………………….

2-8-3 کاربردهای SVM…………………………………………………………………………………..

2-8-4 مزایا و معایب SVM……………………………………………………………………………….

2-8-5 تعاریف کلی……………………………………………………………………………………….. 36

2-8-5-1تابع تصمیم مسائل دو کلاسی……………………………………………………………. 36

2-8-5-2 تعیین تابع تصمیم(ابر صفحه جداکننده)………………………………………………. 38

2-8-5-3 بعد VC……………………………………………………………………………………… 39

2-8-5-4حداقل سازی ریسک تجربی…………………………………………………………….. 40

2-8-5-5حداقل سازی ریسک ساختاری…………………………………………………………. 42

2-8-6 ماشین بردار پشتیبان طبقه بندی کننده خطی با داده های جدا شدنی به طور خطی 44

2-8-7ماشین بردار پشتیبان طبقه بندی کننده خطی با داده های جدا نشدنی به طور خطی ( 49

2-8-8 ماشین بردار پشتیبان غیر خطی……………………………………………………………… 52

2-8-9 انواع کرنل ها……………………………………………………………………………………… 55

2-8-9-1 کرنل چند جمله ای……………………………………………………………………….. 55

2-8-9-2 کرنل های شبکه عصبی………………………………………………………………….. 55

2-8-9-3 کرنل های گوسی…………………………………………………………………………. 56

2-9 تکنیک های پیش پردازش نامتوازن…………………………………………………………………. 58

2-9-1 ماشین بردار پشتیبان و مشکل عدم توازن کلاس…………………………………………. 58

2-9-1-1 عیب مشکل بهینه سازی با ناحیه مرزی نرم………………………………………… 59

2-9-1-2 نسبت بردار پشتیبان نامتوازن……………………………………………………………. 60

2-9-2 روشهای یادگیری عدم توازن خارجی برای SVM (روشهای پیش پردازش داده) 61

2-9-2-1 روشهای نمونه برداری دوباره………………………………………………………….. 61

2-9-2-1-1زیر نمونه برداری…………………………………………………………………….. 61

2-9-2-1-2بیش نمونه برداری…………………………………………………………………… 62

2-9-2-1-3 SCM……………………………………………………………………………………

2-9-2-1-4 نمونه برداری پیشرفته……………………………………………………………… 63

2-9-2-1-5 تکنیک بیش نمونه برداری اقلیت مصنوعی……………………………………. 64

2-9-2-1-6 نزدیک ترین همسایه فشرده(CNN)……………………………………………..

2-9-2-1-7 نزدیک ترین همسایه تغییر یافته(ENN)………………………………………….

2-9-2-1-8 Tomek-Link…………………………………………………………………………

2-9-2-2 روشهای یادگیری جمعی………………………………………………………………… 68

2-9-2-2-1الگوریتم آموزشی Bagging…………………………………………………………

2-9-2-2-2 الگوریتم آموزشی Boosting………………………………………………………

2-9-3 روشهای یادگیری عدم تعادل داخلی برای ماشین بردار پشتیبان………………..71

2-9-3-1 هزینه خطای متفاوت……………………………………………………………………… 71

2-9-3-2 یادگیری یک کلاس………………………………………………………………………. 73

2-9-3-3zSVM………………………………………………………………………………………….

2-9-3-4 روشهای اصلاح کرنل……………………………………………………………………. 74

2-9-3-5 یادگیری فعال………………………………………………………………………………. 75

2-9-3-6 روش های ترکیبی………………………………………………………………………… 75

فصل سوم:روش تحقیق

3-1مقدمه……………………………………………………………………………………………………….. 77

3-2 ماشین بردار پشتیبان فازی برای یادگیری عدم توازن کلاس…………………………………… 77

3-2-1 روش SVMFuzzy………………………………………………………………………………..

3-2-2متد FSVM-CIL…………………………………………………………………………………..

3-3 ماشین بردار پشتیبان حداقل مربعات (LS-SVM)…………………………………………………

3-4 الگوریتم پیشنهادی……………………………………………………………………………………… 87

فصل چهارم: محاسبات و یافته های تحقیق

4-1 مقدمه………………………………………………………………………………………………………. 90

4-2 مجموعه داده ها………………………………………………………………………………………… 90

4-3 نتایج کارایی روش های مختلف بر روی مجموعه داده ها…………………………………….. 91

فصل پنجم:نتیجه گیری و پیشنهادات

5-1 جمع بندی و نتیجه گیری……………………………………………………………………………… 94

5-2 کارهای آتی………………………………………………………………………………………………. 96

منابع و مآخذ :………………………………………………………………………………………. 97

چکیده انگلیسی…………………………………………………………………………………………….102

چکیده:

برای دست یابی به نتایج مطلوب در داده کاوی نیاز به پیش پردازش داده ها داریم.پیش پردازش داده ها یکی از اجزای مهم در فرایند کشف دانش است.روش های بسیاری برای پیش پردازش داده وجود دارد که می­توان از آنها استفاده کرد.اما این روش ها برای داده های نامتوازن مناسب نیستند. اصطلاح “مجموعه داده نامتوازن” عموما به مجموعه داده ای گفته می شود که در آن تعداد نمونه هایی که نمایانگر یک کلاس هستند از نمونه های دیگر در کلاس های متفاوت کمتر است مشکل عدم توازن کلاس در بسیاری از برنامه های کاربردی جهان واقعی به رسمیت شناخته شده است و موضوع تحقیقات یادگیری مبتنی بر ماشین قرار گرفته است از این رو اخیراً مشكل نامتوازن بودن كلاسها مورد توجه محققان در زمینه ی داده كاوی قرار گرفته است.آنها به دنبال کشف روش هایی بودند که با اعمال بر روی داده های نامتوازن به نتایج مطلوبی دست یابند.

در این پروژه روش های گوناگون پیش پردازش داده های نامتوازن مورد بحث قرار گرفته و الگوریتم جدیدی برای بهبود نتایج طبقه بندی ارائه می­شود، به گونه ای که کارایی و دقت آن مورد توجه باشد.

فصل اول: مقدمه و کلیات تحقیق

1-1- مقدمه

کشف دانش و داده کاوی یک حوزه جدید میان رشته ای و در حال رشد است که حوزه های مختلفی همچون پایگاه داده، آمار، یادگیری ماشین و سایر زمینه های مرتبط را با هم تلفیق کرده تا اطلاعات و دانش ارزشمند نهفته در حجم بزرگی از داده ها را استخراج کند.هدف کشف دانش و داده کاوی یافتن الگوها در پایگاه داده است که در میان حجم عظیمی از داده ها مخفی هستند]1[ .کشف دانش شامل مراحل متعددی است که در این تحقیق به مرحله پیش پردازش توجه می­کنیم.