2-3-2 طبقه بندی با درختان تصمیم 15
2-3-3 طبقه بندی با روش های مبتنی بر ماشین بردار پشتیبان 15
2-3-4 فن های طبقه بندی دانش-پایه 17
2-3-5 طبقه بندی با الگوریتم های ترکیبی 18
2-4 روش های انتخاب و کاهش فضای ویژگی 21
2-5 خلاصه فصل 22
فصل 3 مفاهیم و روش ها 25
3-1 مقدمه 25
3-2 مفاهیم پایه 25
3-3 الگوریتم های یادگیری متداول 27
3-3-1 آنالیز جداسازی خطی 27
3-3-2 درخت های تصمیم 28
3-3-3 شبکه های عصبی 31
3-3-4 طبقه بندی کننده بیز ساده 33
3-3-5 روش های مبتنی بر ماشین های بردار پشتیبان و کرنل 34
3-4 روشهای دسته جمعی 39
3-5 تقویت 41
3-6 روش Bagging 42
3-6-1 دو الگوی گروهی 42
3-6-2 الگوریتم Bagging 43
3-6-3 جنگل تصادفی 47
3-6-4 انتخاب ویژگی با کمک شاخص تعیین اهمیت ویژگی RF 51
3-7 قطعه بندی تصویر 53
3-7-1 قطعه بندی به روش چند رزولوشنه 54
3-7-2 روش برآورد مقیاس مناسب برای قطعه بندی تصویر 58
3-8 برآورد دقت طبقه بندی 59
3-8-1 ماتریس ابهام 60
3-9 خلاصه 62
فصل 4 روش تحقیق و نتایج 64
4-1 مقدمه 64
4-2 داده ها و منطقه مورد مطالعه 64
4-3 روش پیشنهادی تحقیق 66
4-3-1 انتخاب باند با کمک شاخص اهمیت ویژگی RF 69
4-3-2 قطعه بندی تصویر ابرطیفی 70
4-3-3 گروه های ویژگی 71
4-3-4 طبقه بندی 72
4-4 ارزیابی 74
4-4-1 نتایج ارزیابی دقت کلی و ضریب کاپا 74
4-4-2 ارزیابی زمانی روش های طبقه بندی 79
4-4-3 نتایج طبقه بندی به تفکیک کلاس ها 80
4-4-4 ارزیابی بصری 84
4-5 جمع بندی مطالب فصل 88
فصل 5 نتیجه گیری و پیشنهادها 91
5-1 مقدمه 91
5-2 خلاصه تحقیق 91
5-3 دستاوردهای تحقیق 92
5-4 پیشنهادها 95
منابع 97
فهرست اشکال
شکل ‏1 1) روند کلی تحقیق 7
شکل ‏3 1: مرز تصمیم LDA بر روی یک مجموعه داده three-Gaussians 27

شکل ‏3 2: مثالی از درخت تصمیم 28
شکل ‏3 3: مرز تصمیم یک درخت تصمیم بر روی مجموعه داده three-Gaussians 31
شکل ‏3 4: شکل (الف) یک نرون و (ب) یک شبکه عصبی 32
شکل ‏3 5: نمایی از SVM خطی دوتایی 35
شکل ‏3 7: تفکیک غیر-خطی با استفاده از فن کرنل SVMs (Bekkari et al., 2012) 38
شکل ‏3 8: معماری یک روش دسته جمعی معمولی 39
شکل ‏3 9: معمولاً مجموعه چند طبقه بندی کننده بهتر از بهترین تک طبقه بندی کننده عمل می کند (Hansen and Salamon, 1990). 40
شکل ‏3 10: الگوریتم Bagging 44
شکل ‏3 11: مرزهای تصمیم (شکل بالا چپ) یک تک درخت، (شکل بالا راست) Bagging و (شکل پایین) درخت های تشکیل دهنده آن بر روی مجموعه داده three-Guassian 46
شکل ‏3 12: الگوریتم تولید درخت تصادفی در RF 48
شکل ‏3 13: روند کلی الگوریتم جنگل تصادفی (Guo et al., 2011) 49
شکل ‏3 14: مرزهای تصمیم بر روی مجموعه داده مصنوعی: (الف) 10 طبقه بندی کننده پایه Bagging؛ (ب) 10 طبقه بندی کننده پایه RF؛ (ج) Bagging؛ (د) RF 51
شکل ‏3 15: (راست) قطعه بندی Top-down؛ (چپ) قطعه بندی Bottom-up 54
شکل ‏3 16: مراحل ادغام دو شی تصویری یا پیکسل و تشکیل یک شی تصویری جدید با در نظر گرفتن شرط بهترین برازش دوطرفه بین جفت شی ادغام شونده 57
شکل ‏3 17: نمایی از پلات ROC-LV 59
شکل ‏4 1: نمایی از تصویر ابرطیفی با نمونه های مرجع 65
شکل ‏4 2: نمایی از داده لیدار مورد مطالعه 65
شکل ‏4 3: روند کل روش پیشنهادی 67
شکل ‏4 4: الگوریتم افزایش تعداد نمونه های آموزشی با استفاده از احتمالات محاسبه شده با RF 69
شکل ‏4 5: اهمیت نرمال شده هر یک از باندهای تصویر ابرطیفی در طبقه بندی 70
شکل ‏4 6: منحنی RMS شبکه عصبی برای 500 تکرار مرحله آموزش، (راست) برای NN و (چپ) برای PCA-NN 75
شکل ‏4 7: نمودار ضریب کاپا روش های طبقه بندی پیکسل-مبنای مختلف 77
شکل ‏4 8: نمودار دقت کلی روش های طبقه بندی پیکسل-مبنای مختلف 77
شکل ‏4 9: نمودار ضریب کاپا روش های مختلف طبقه بندی ویژگی های شی-گرا 79
شکل ‏4 10: نمودار دقت روش های مختلف طبقه بندی ویژگی های شی-گرا 79
شکل ‏4 11: نمودار زمان محاسباتی روش های مختلف طبقه بندی ویژگی های شی-گرا 80
شکل ‏4 14: نمایی از نتایج طبقه بندی ویژگی های شی-گرا پس قطعه بندی در چند مقیاس (به ترتیب از بالا به پایین) با روش NN، SVM و RF 85
شکل ‏4 15: نمایی از نتایج طبقه بندی ویژگی های شی-گرا برای قطعه بندی یک سطح با نمونه های آموزشی اولیه (به ترتیب از بالا به پایین) با روش MLC، NN، SVM و RF 86
شکل ‏4 16: نمایی از نتایج طبقه بندی ویژگی های شی-گرا برای قطعه بندی یک سطح با نمونه های آموزشی حاصل از RF (به ترتیب از بالا به پایین) با روش MLC، NN، SVM و RF 87
فهرست جداول
جدول ‏3 1: ماتریس ابهام برای 3 کلاس 60
جدول ‏4 1: اطلاعات مربوط به مجموعه داده های استفاده شده 65
جدول ‏4 2: تعداد نمونه های آموزشی و مرجع 66
جدول ‏4 3 : قطعه بندی چند مقیاسه و پارامترهای آن 71
جدول ‏4 4: فهرست ویژگی های قابل استخراج از اشیا 72
جدول ‏4 5: پارامترهای مورد نیاز برای شروع الگوریتم های طبقه بندی 73
جدول ‏4 6: جدول دقت های طبقه بندی پیکسل-مبنا 76
جدول ‏4 7: جدول دقت های طبقه بندی شی-مبنا تصویر ابرطیفی و داده لیدار 78
جدول ‏4 8: برآورد دقت طبقهبندی پیکسل-مبنای ویژگی های لیدار و تصویر ابرطیفی 81
جدول ‏4 9: برآورد دقت طبقهبندی پیکسل-مبنای 20 باند انتخاب شده از تصویر ابرطیفی 82
جدول ‏4 10: برآورد دقت طبقهبندی شی-گرا در سطح 124 با نمونه های آموزشی اولیه 83
جدول ‏4 11: برآورد دقت طبقهبندی شی-گرا در سطح 124 با نمونه های آموزشی حاصل از RF 84
فصل اول
مقدمه
فصل 1 مقدمه
1-1 پیشگفتار
در زندگی امروزی داشتن اطلاعات به روز، یک برتری بزرگ به شمار می آید که به تصمیم گیری درست و زندگی بهتر در جوامع انسانی منجر می شود. یکی از مهم تر ین اطلاعات، نقشه های به روز پوشش اراضی است که برای تصمیم گیری صحیح و مدیریت و برنامه ریزی آگاهانه برای مدیران (شهری) مورد نیاز است.
سنجش از دور یک منبع غنی برای تولید بسیاری از اطلاعات مکانی و محیطی است و یکی از بنیادی ترین اطلاعاتی که تولید می کند نقشه های پوشش اراضی است . اطلاعات پوشش اراضی برای تولید نقشه های کاربری اراضی، مطالعه تغییرات محیطی و برقراری ارتباط بین عوامل انسانی مختلف و متغیرهای فیزیکی محیط مورد استفاده قرار می گیرد. برای تولید نقشه های پوشش اراضی ابتدا بایستی این اطلاعات از تصاویر ماهواره ای و داده های دیگر استخراج شود. تفسیر بصری و الگوریتم های یادگیری ماشینی دو روش متداول برای استخراج اطلاعات از تصاویر ماهواره های و داده های سنجش از دور است، که هر یک دارای مزایا و معایبی می باشند. در برخی موارد استخراج اطلاعات از تصاویر ماهواره ای و هوایی توسط عامل انسانی نتایج مطلوب تری نسبت به روش های خودکار یا نیمه خودکار تولید می کند. اما در جوامع امروزی تولید اطلاعات توسط عامل انسانی و به روش های سنتی دیگر پاسخگوی نیازهای موجود نیست و لازم است روش های خودکار و عاری از دخالت انسان توسعه داده شود. در این راستا پیوسته الگوریتم های یادگیری جدیدتری توسعه داده می شود تا این نیاز را برطرف سازد. در زمینه استخراج اطلاعات از تصاویر سنجش از دور به روش سنتی، مسائلی که بایستی مورد توجه واقع شود عبارت اند از: 1- حجم زیاد و رشد سریع داده ها و تصاویر در سنجش از دور، 2- زمان بر بودن استخراج اطلاعات توسط انسان و از طرف دیگر 3- پیچیدگی عوارض برای تفسیر بصری و استخراج به وسیله چشم ممکن است باعث خطا گردد و در برخی موارد نیز استخراج اطلاعات به این روش غیرممکن می شود. راه حل این مسئله استفاده از الگوریتم های یادگیری ماشینی است که هدف نهایی آن ها استخراج اطلاعات بدون دخالت انسان است . مهم تر ین کاری که الگوریتم های یادگیری ماشینی در سنجش از دور انجام می دهند طبقه بندی داده ها به کلاس های اطلاعاتی است. الگوریتم های یادگیری ماشینی متداول در سنجش از دور مثل روش های طبقه بندی بیشینه شباهت (MLC )، ماشین بردار پشتیبان (SVM ) و شبکه های عصبی مصنوعی (ANN ) دارای مشکلاتی مثل 1- نیازمندی به داده های آموزشی زیاد و بدون خطا، 2- نیازمندی به تعیین بهینه و صحیح پارامترهای آغازکننده، 3- محاسبات زیاد و 4- دقت پایین در استخراج اطلاعات هستند. جنگل تصادفی (RF ) یک الگوریتم یادگیری ماشینی جدید است که با ترکیب طبقه بندی کننده های درختی نتایج رضایت بخشی را در طبقه بندی تولید می کند هم چنین استفاده از این روش می تواند برخی از مشکلات مطرح در الگوریتم های قبلی را رفع کند.
ارزش اطلاعاتی یک تصویر بیشتر از هزار کلمه است. سنجش از دور تصاویری با اطلاعات گوناگون از محیط را در اختیار ما قرار می دهد. همان طور که گفته شد می توان با طبقه بندی تصاویر به این اطلاعات دست یافت. در بیشتر موارد در طبقه بندی تصاویر از روش های پیکسل-مبنا استفاده می شود. این روش ها پیکسل های تصویر را بر اساس اطلاعات عددی آن ها طبقه بندی می کنند. اما معمولاً عوارضی که در اکثر موارد در یک تصویر به دنبال آن هستیم، تک پیکسلی نیستند بلکه به صورت مجموعه ای از پیکسل ها یا یک شی هستند. لذا در این تحقیق نیز با توجه به این که هدف طبقه بندی پوشش اراضی است و عوارض نهایی مورد نظر، تک پیکسلی نیستند، ابتدا یک قطعه بندی روی تصویر انجام می شود تا اشیا تصویری تولید شوند و سپس این اشیا با توجه به ویژگی هایی که دارند طبقه بندی می شوند تا کلاس های اطلاعاتی پوشش اراضی را ارائه دهند.
در این تحقیق طبقه بندی هم به صورت پیکسل-مبنا و هم به صورت شی-مبنا با چند روش انجام می شود و نتایج هر یک مورد بحث و بررسی قرار می گیرد، تا در نهایت روشی مناسب از میان روش های بررسی شده برای طبقه بندی پوشش اراضی شهری با استفاده از تصاویر ابرطیفی ارائه گردد. از آنجا پوشش اراضی شهری پیچیده تر و مهم تر از پوشش اراضی طبیعی است در این تحقیق یک تصویر از یک صحنه شهری با عوارض مختلف مورد بررسی قرار گرفته است تا بتوانیم ارزیابی صحیح تری را به طور عملی از روش های طبقه بندی مختلف انجام دهیم.
1-2 ضرورت ها، انگیزه ها و ویژگی های تحقیق
در تحقیقات صورت گرفته قبلی در زمینه طبقه بندی پوشش اراضی از روش ها و داده های بسیاری استفاده شده است (Lu and Weng, 2007). در اغلب این تحقیقات روش های پیشرفته و درعین حال پیچیده ای مثل شبکه های عصبی، ماشین های بردار پشتیبان، RFM و یا تلفیق این روش ها باهم و با فن های بهینه سازی و فازی سازی استفاده شده است. درک عمیق بسیاری از این روش ها و رفع مشکلات حاصل از استفاده این روش ها و یا تعیین پارامترهای این روش ها برای عموم کاربران سنجش از دور نیاز به مطالعه و صرف زمان زیادی دارد. به همین دلیل ممکن است در برخی کاربردهای سنجش از دور به درستی نتوان از این روش ها استفاده کرد.
امروزه با پیشرفت سنجنده های سنجش از دور، می توان به طور هم زمان اطلاعات طیفی و مکانی با قدرت تفکیک بالا را باهم استفاده کرد. علاوه بر این سنجنده های لیدار قادرند اطلاعات ارتفاعی دقیقی از محیط را در اختیار ما قرار دهند (Hodgson et al., 2003). تلفیق این دو نوع داده می تواند کمک بزرگی به بهبود دقت طبقه بندی و تهیه نقشه پوشش اراضی شهری بکند. تحقیقات بسیاری برای طبقه بندی و تلفیق این داده ها به منظور تولید نقشه های پوشش اراضی شده است. اغلب این تحقیقات با تکیه بر روش های پیشرفته و پیچیده توانسته اند دقت طبقه بندی تصاویر ابرطیفی و لیدار را افزایش دهند. اما سؤالی که اینجا مطرح می شود این است که آیا همیشه برای افزایش دقت طبقه بندی تصاویر ابرطیفی لازم است چنین روش های پیچیده (که اغلب دارای محاسبات بالایی نیز هستند) به کار رود، یا این که می توان با روش های ساده تری نیز به این دقت دست یافت.
یکی از روش های جدید طبقه بندی، RF است که با الگوریتم بسیاری ساده ای به کمک تلفیق چند طبقه بندی کننده پایه ساده کار می کند و تعیین پارامترهای آن بسیار ساده است (Joelsson et al., 2010). مطالعات قبلی انجام شده درباره RF قابلیت های کاربردی از این روش را معرفی کرده اند. مزایای مطرح شده این روش و سادگی آن، انگیزه اصلی استفاده از این روش جهت طبقه بندی تصاویر ابرطیفی در این تحقیق است .
برخی محققین در کارهای قبلی نشان داده اند که قطعه بندی تصویر و طبقه بندی شی-گرا می تواند دقت طبقه بندی را بالا ببرد (Kettig and Landgrebe, 1976, Geneletti and Gorte, 2003, Benz et al., 2004, Walter, 2004, Blaschke, 2010). در برخی تحقیقات نیز برای طبقه بندی تصاویر چند طیفی، طبقه بندی شی-گرا پیشنهاد شده است (Kettig and Landgrebe, 1976, Geneletti and Gorte, 2003). در مورد تصاویر ابرطیفی، با توجه به محاسبات بالای قطعه بندی و تولید ویژگی های شی گرا و تعداد بالای باندهای تصاویر ابرطیفی، سؤال دیگری که در اینجا مطرح می شود این است که قطعه بندی و تولید ویژگی های شی گرا برای بهبود طبقه بندی تصاویر ابرطیفی تا چه حد دقت کار را بالا می برد و آیا طبقه بندی شیء گرای تصاویر ابرطیفی از نظر محاسباتی و زمان طبقه بندی به صرفه است. برای پاسخ به این چنین سؤالاتی انجام یک تحقیق و مطالعه ضروری است. تحقیق برای پاسخ به مسائل مذکور ارائه می شود که مقایسه با تحقیقات قبلی دارای ویژگی های جدیدی است . این ویژگی ها عبارت اند از:
• استفاده از طبقه بندی RF به منظور طبقه بندی تصاویر ابرطیفی با تلفیق داده لیدار،
د قطعه بندی و تولید ویژگی های شی گرا از تصاویر ابرطیفی و داده لیدار و طبقه بندی آن ها با الگوریتم های RF، SVM و NN،
• افزایش نمونه های آموزشی با کمک RF به منظور افزایش دقت طبقه بندی تصاویر ابرطیفی، و
• حذف باندهای کم اهمیت تصویر ابرطیفی و طبقه بندی با استفاده از باندهای مناسب با کمک RF.
1-3 اهداف و سؤالات تحقیق
هدف اصلی این تحقیق بررسی فن های یادگیری ماشینی برای طبقه بندی کاربری اراضی شهری با استفاده از تصاویر ماهواره ای و داده کمکی مثل DSM است . اهداف اصلی این تحقیق عبارت اند از:
• بررسی عملکرد طبقه بندی کننده RF در طبقه بندی تصاویر ابرطیفی و داده لیدار در یک صحنه شهری،
• ارزیابی قابلیت RF به عنوان یک ابزار انتخاب ویژگی برای طبقه بندی پوشش اراضی شهری،
و مقایسه نتایج طبقه بندی به دست آمده از طبقه بندی کننده مبتنی بر RF با نتایج حاصل از طبقه بندی کننده های معروف.
با توجه به تحقیقات قبلی و تصویر ابرطیفی به کار رفته در این تحقیق سؤالات زیر مطرح می شود:
ث آیا RF می تواند در طبقه بندی تصاویر ابرطیفی جایگزین روش های پیچیده مثل SVM و NN شود؟
• RF ، در کاهش محاسبات طبقه بندی یا انتخاب باندهای مناسب تصاویر ابرطیفی چه نقشی می تواند داشته باشد؟
• چگونه با کمک الگوریتم RF می توان صحت طبقه بندی را افزایش داد؟
• آیا با کمک RF می توانیم نمونه های آموزشی بیشتری تولید کرد و با کمک آن دقت طبقه بندی را افزایش داد؟
• آیا قطعه بندی چندمقیاسی و تولید ویژگی های جدید و انجام طبقه بندی با کمک این ویژگی ها می تواند دقت طبقه بندی تصاویر ابرطیفی را افزایش دهد؟
1-4 روش تحقیق
روش استفاده شده در تحقیق حاضر به طور خلاصه شامل مراحل زیر است :
• قطعه بندی تصویر و تولید اشیا تصویر
• تولید ویژگی های شی-مبنا
• طبقه بندی پیکسل-مبنا و شی-مبنا
• محاسبه احتمال تعلق کلاس ها به کمک الگوریتم RF و تولید نمونه های آموزشی جدید
• تکرار طبقه بندی با نمونه های آموزشی جدید
• ارزیابی و مقایسه حالت های مختلف طبقه بندی
در این تحقیق حالت های مختلفی از ویژگی های پیکسل-مبنا از تلفیق ویژگی های بافت لیدار و باندهای تصویر ابرطیفی، باندهای انتخابی تصویر ابرطیفی، و ویژگی های شی-مبنا حاصل از قطعه بندی در یک و چند مقیاس به طور جداگانه باهم تلفیق شده و طبقه بندی شدند و در نهایت، حالت های مختلف طبقه بندی مورد ارزیابی قرار گرفت. روند کلی مراحل مذکور به طور خلاصه در شکل ‏1 1 نشان داده شده است و جزئیات آن در فصل چهار تحقیق ارائه شده است.
شکل ‏1 1) روند کلی تحقیق
1-5 معرفی اختصاری سایر فصول
در فصل بعد تعدادی از تحقیقات مرتبط در زمینه روش های مختلف طبقه بندی پوشش اراضی با استفاده از تصاویر ماهواره ای و داد های سنجش از دوری و لیدار پرداخته شده است. در بخش ‏2-2 مروری بر کارهای انجام شده شی-گرا و پیکسل-مبنا شده است. در بخش ‏2-3 مروری بر تحقیقات سنجش از دوری انجام شده با الگوریتم های پیشرفته مثل SVM، NN، روش های دانش-پایه و الگوریتم های ترکیبی مثل RF شده است. روش های انتخاب و کاهش فضای ویژگی در بخش ‏2-4 توضیح داده شده است. در انتهای فصل در بخش ‏2-5 خلاصه ای از مطالب فصل گفته شده است.
در فصل سوم، مفاهیم و روش های مورد نیاز در تحقیق توضیح داده شده است. ابتدا در بخش ‏3-2 مفاهیم پایه مورد استفاده در بازشناسی الگو توضیح داده شده است. در بخش ‏3-3 الگوریتم متداول طبقه بندی، در بخش ‏3-4 روش های ترکیبی طبقه بندی گفته شده است. در ادامه در دو بخش ‏3-5 و ‏3-6 دو الگوریتم مهم ترکیبی Boosting و Bagging توضیح داده شده است. در بخش ‏3-6-3 الگوریتم جنگل تصادفی و برخی قابلیت های آن توضیح داده شده است. در بخش ‏3-7 روش قطعه بندی تصویر و در بخش ‏3-8 معیار های ارزیابی طبقه بندی گفته شده است. در بخش ‏3-9 خلاصه ای از مطالب فصل گفته شده است.
در فصل چهارم تحقیق ابتدا داده های مورد استفاده در بخش ‏4-2 و در ادامه در بخش ‏4-3 روش پیشنهادی تحقیق و ارزیابی روش ها در بخش ‏4-4 توضیح داده شده است. در بخش ‎0 نیز خلاصه ای از مطالب فصل گفته شده است.
در نهایت در فصل پنجم، ابتدا مقدمه و خلاصه ای از تحقیق در بخش های ‏5-1 و ‏5-2 آورده شده است. در ادامه نیز با توجه به نتایج تحقیق در بخش ‏5-3 و ‏5-4 به ترتیب دستاوردها و پیشنهادها ارائه شده است.
فصل دوم
مروری بر تحقیقات پیشین
فصل 2 مروری بر تحقیقات پیشین