2-4 روش‌های انتخاب و کاهش فضای ویژگی 21
2-5 خلاصه فصل 22
فصل 3 مفاهیم و روش‌ها 25
3-1 مقدمه 25
3-2 مفاهیم پایه 25
3-3 الگوریتم‌های یادگیری متداول 27
3-3-1 آنالیز جداسازی خطی 27
3-3-2 درخت‌های تصمیم 28
3-3-3 شبکه‌های عصبی 31
3-3-4 طبقه‌بندی‌کننده بیز ساده 33
3-3-5 روش‌های مبتنی بر ماشین‌های بردار پشتیبان و کرنل 34
3-4 روشهای دسته جمعی 39
3-5 تقویت 41
3-6 روش Bagging 42
3-6-1 دو الگوی گروهی 42
3-6-2 الگوریتم Bagging 43
3-6-3 جنگل تصادفی 47
3-6-4 انتخاب ویژگی با کمک شاخص تعیین اهمیت ویژگی RF 51
3-7 قطعه‌بندی تصویر 53
3-7-1 قطعه‌بندی به روش چند رزولوشنه 54
3-7-2 روش برآورد مقیاس مناسب برای قطعه‌بندی تصویر 58
3-8 برآورد دقت طبقه‌بندی 59
3-8-1 ماتریس ابهام 60
3-9 خلاصه 62
فصل 4 روش تحقیق و نتایج 64
4-1 مقدمه 64
4-2 داده‌ها و منطقه مورد مطالعه 64
4-3 روش پیشنهادی تحقیق 66
4-3-1 انتخاب باند با کمک شاخص اهمیت ویژگی RF 69
4-3-2 قطعه‌بندی تصویر ابرطیفی 70
4-3-3 گروه‌های ویژگی 71
4-3-4 طبقه‌بندی 72
4-4 ارزیابی 74
4-4-1 نتایج ارزیابی دقت کلی و ضریب کاپا 74
4-4-2 ارزیابی زمانی روش‌های طبقه‌بندی 79
4-4-3 نتایج طبقه‌بندی به تفکیک کلاس‌ها 80
4-4-4 ارزیابی بصری 84
4-5 جمع‌بندی مطالب فصل 88
فصل 5 نتیجه‌گیری و پیشنهادها 91
5-1 مقدمه 91
5-2 خلاصه تحقیق 91
5-3 دستاوردهای تحقیق 92
5-4 پیشنهادها 95
منابع 97
فهرست اشکال
شکل ‏1 1) روند کلی تحقیق 7
شکل ‏3 1: مرز تصمیم LDA بر روی یک مجموعه داده three-Gaussians 27
شکل ‏3 2: مثالی از درخت تصمیم 28
شکل ‏3 3: مرز تصمیم یک درخت تصمیم بر روی مجموعه داده three-Gaussians 31
شکل ‏3 4: شکل (الف) یک نرون و (ب) یک شبکه عصبی 32
شکل ‏3 5: نمایی از SVM خطی دوتایی 35
شکل ‏3 7: تفکیک غیر-خطی با استفاده از فن کرنل SVMs (Bekkari et al., 2012) 38
شکل ‏3 8: معماری یک روش دسته جمعی معمولی 39
شکل ‏3 9: معمولاً مجموعه چند طبقه‌بندی‌کننده بهتر از بهترین تک طبقه‌بندی‌کننده عمل می‌کند (Hansen and Salamon, 1990). 40
شکل ‏3 10: الگوریتم Bagging 44
شکل ‏3 11: مرزهای تصمیم (شکل بالا چپ) یک تک درخت، (شکل بالا راست) Bagging و (شکل پایین) درخت‌های تشکیل‌دهنده آن بر روی مجموعه داده three-Guassian 46
شکل ‏3 12: الگوریتم تولید درخت تصادفی در RF 48
شکل ‏3 13: روند کلی الگوریتم جنگل تصادفی (Guo et al., 2011) 49
شکل ‏3 14: مرزهای تصمیم بر روی مجموعه داده مصنوعی: (الف) 10 طبقه‌بندی‌کننده پایه Bagging؛ (ب) 10 طبقه‌بندی‌کننده پایه RF؛ (ج) Bagging؛ (د) RF 51
شکل ‏3 15: (راست) قطعه‌بندی Top-down؛ (چپ) قطعه‌بندی Bottom-up 54
شکل ‏3 16: مراحل ادغام دو شی تصویری یا پیکسل و تشکیل یک شی تصویری جدید با در نظر گرفتن شرط بهترین برازش دوطرفه بین جفت شی ادغام شونده 57
شکل ‏3 17: نمایی از پلات ROC-LV 59
شکل ‏4 1: نمایی از تصویر ابرطیفی با نمونه‌های مرجع 65
شکل ‏4 2: نمایی از داده لیدار مورد مطالعه 65
شکل ‏4 3: روند کل روش پیشنهادی 67
شکل ‏4 4: الگوریتم افزایش تعداد نمونه‌های آموزشی با استفاده از احتمالات محاسبه شده با RF 69
شکل ‏4 5: اهمیت نرمال شده هر یک از باندهای تصویر ابرطیفی در طبقه‌بندی 70
شکل ‏4 6: منحنی RMS شبکه عصبی برای 500 تکرار مرحله آموزش، (راست) برای NN و (چپ) برای PCA-NN 75
شکل ‏4 7: نمودار ضریب کاپا روش‌های طبقه‌بندی پیکسل-مبنای مختلف 77
شکل ‏4 8: نمودار دقت کلی روش‌های طبقه‌بندی پیکسل-مبنای مختلف 77
شکل ‏4 9: نمودار ضریب کاپا روش‌های مختلف طبقه‌بندی ویژگی‌‌های شی-گرا 79
شکل ‏4 10: نمودار دقت روش‌های مختلف طبقه‌بندی ویژگی‌‌های شی-گرا 79
شکل ‏4 11: نمودار زمان محاسباتی روش‌های مختلف طبقه‌بندی ویژگی‌‌های شی-گرا 80
شکل ‏4 14: نمایی از نتایج طبقه‌بندی ویژگی‌های شی-گرا پس قطعه‌بندی در چند مقیاس (به ترتیب از بالا به پایین) با روش NN، SVM و RF 85
شکل ‏4 15: نمایی از نتایج طبقه‌بندی ویژگی‌های شی-گرا برای قطعه‌بندی یک سطح با نمونه‌های آموزشی اولیه (به ترتیب از بالا به پایین) با روش MLC، NN، SVM و RF 86
شکل ‏4 16: نمایی از نتایج طبقه‌بندی ویژگی‌های شی-گرا برای قطعه‌بندی یک سطح با نمونه‌های آموزشی حاصل از RF (به ترتیب از بالا به پایین) با روش MLC، NN، SVM و RF 87
فهرست جداول
جدول ‏3 1: ماتریس ابهام برای 3 کلاس 60
جدول ‏4 1: اطلاعات مربوط به مجموعه داده‌های استفاده شده 65
جدول ‏4 2: تعداد نمونه‌های آموزشی و مرجع 66
جدول ‏4 3 : قطعه‌بندی چند مقیاسه و پارامترهای آن 71
جدول ‏4 4: فهرست ویژگی‌های قابل استخراج از اشیا 72
جدول ‏4 5: پارامترهای مورد نیاز برای شروع الگوریتم‌های طبقه‌بندی 73
جدول ‏4 6: جدول دقت‌های طبقه‌بندی پیکسل-مبنا 76
جدول ‏4 7: جدول دقت‌های طبقه‌بندی شی-مبنا تصویر ابرطیفی و داده لیدار 78
جدول ‏4 8: برآورد دقت طبقهبندی پیکسل-مبنای ویژگی‌های لیدار و تصویر ابرطیفی 81
جدول ‏4 9: برآورد دقت طبقهبندی پیکسل-مبنای 20 باند انتخاب شده از تصویر ابرطیفی 82
جدول ‏4 10: برآورد دقت طبقهبندی شی-گرا در سطح 124 با نمونه‌های آموزشی اولیه 83
جدول ‏4 11: برآورد دقت طبقهبندی شی-گرا در سطح 124 با نمونه‌های آموزشی حاصل از RF 84
فصل اول
مقدمه
فصل 1 مقدمه
1-1 پیشگفتار
در زندگی امروزی داشتن اطلاعات به‌روز، یک برتری بزرگ به شمار می‌آید که به تصمیم‌گیری درست و زندگی بهتر در جوامع انسانی منجر می‌شود. یکی از مهم‌تر ین اطلاعات، نقشه‌های به‌روز پوشش اراضی است که برای تصمیم‌گیری صحیح و مدیریت و برنامه‌ریزی آگاهانه برای مدیران (شهری) مورد نیاز است.
سنجش از دور یک منبع غنی برای تولید بسیاری از اطلاعات مکانی و محیطی است و یکی از بنیادی‌ترین اطلاعاتی که تولید می‌کند نقشه‌های پوشش اراضی است . اطلاعات پوشش اراضی برای تولید نقشه‌های کاربری اراضی، مطالعه تغییرات محیطی و برقراری ارتباط بین عوامل انسانی مختلف و متغیرهای فیزیکی محیط مورد استفاده قرار می‌گیرد. برای تولید نقشه‌های پوشش اراضی ابتدا بایستی این اطلاعات از تصاویر ماهواره‌ای و داده‌های دیگر استخراج شود. تفسیر بصری و الگوریتم‌های یادگیری ماشینی دو روش متداول برای استخراج اطلاعات از تصاویر ماهواره‌های و داده‌های سنجش از دور است، که هر یک دارای مزایا و معایبی می‌باشند. در برخی موارد استخراج اطلاعات از تصاویر ماهواره‌ای و هوایی توسط عامل انسانی نتایج مطلوب‌تری نسبت به روش‌های خودکار یا نیمه ‌خودکار تولید می‌کند. اما در جوامع امروزی تولید اطلاعات توسط عامل انسانی و به روش‌های سنتی دیگر پاسخگوی نیازهای موجود نیست و لازم است روش‌های خودکار و عاری از دخالت

انسان توسعه داده شود. در این راستا پیوسته الگوریتم‌های یادگیری جدیدتری توسعه داده می‌شود تا این نیاز را برطرف سازد. در زمینه استخراج اطلاعات از تصاویر سنجش از دور به روش سنتی، مسائلی که بایستی مورد توجه واقع شود عبارت‌اند از: 1- حجم زیاد و رشد سریع داده‌ها و تصاویر در سنجش از دور، 2- زمان‌بر بودن استخراج اطلاعات توسط انسان و از طرف دیگر 3- پیچیدگی عوارض برای تفسیر بصری و استخراج به وسیله چشم ممکن است باعث خطا ‌گردد و در برخی موارد نیز استخراج اطلاعات به این روش غیرممکن می‌شود. راه‌حل این مسئله استفاده از الگوریتم‌های یادگیری ماشینی است که هدف نهایی آن‌ها استخراج اطلاعات بدون دخالت انسان است . مهم‌تر ین کاری که الگوریتم‌های یادگیری ماشینی در سنجش از دور انجام می‌دهند طبقه‌بندی داده‌ها به کلاس‌های اطلاعاتی است. الگوریتم‌های یادگیری ماشینی متداول در سنجش از دور مثل روش‌های طبقه‌بندی بیشینه شباهت (MLC )، ماشین بردار پشتیبان (SVM ) و شبکه‌های عصبی مصنوعی (ANN ) دارای مشکلاتی مثل 1- نیازمندی به داده‌های آموزشی زیاد و بدون خطا، 2- نیازمندی به تعیین بهینه و صحیح پارامترهای آغازکننده، 3- محاسبات زیاد و 4- دقت پایین در استخراج اطلاعات هستند. جنگل تصادفی (RF ) یک الگوریتم یادگیری ماشینی جدید است که با ترکیب طبقه‌بندی‌کننده‌های درختی نتایج رضایت‌بخشی را در طبقه‌بندی تولید می‌کند هم‌چنین استفاده از این روش می‌تواند برخی از مشکلات مطرح در الگوریتم‌های قبلی را رفع کند.
ارزش اطلاعاتی یک تصویر بیشتر از هزار کلمه است. سنجش از دور تصاویری با اطلاعات گوناگون از محیط را در اختیار ما قرار می‌دهد. همان ‌طور که گفته شد می‌توان با طبقه‌بندی تصاویر به این اطلاعات دست یافت. در بیشتر موارد در طبقه‌بندی تصاویر از روش‌های پیکسل-مبنا استفاده می‌شود. این روش‌ها پیکسل‌های تصویر را بر اساس اطلاعات عددی آن‌ها طبقه‌بندی می‌کنند. اما معمولاً عوارضی که در اکثر موارد در یک تصویر به دنبال آن هستیم، تک ‌پیکسلی نیستند بلکه به صورت مجموعه‌ای از پیکسل‌ها یا یک شی هستند. لذا در این تحقیق نیز با توجه به این که هدف طبقه‌بندی پوشش اراضی است و عوارض نهایی مورد نظر، تک ‌پیکسلی نیستند، ابتدا یک قطعه‌بندی روی تصویر انجام می‌شود تا اشیا تصویری تولید شوند و سپس این اشیا با توجه به ویژگی‌هایی که دارند طبقه‌بندی می‌شوند تا کلاس‌های اطلاعاتی پوشش اراضی را ارائه دهند.
در این تحقیق طبقه‌بندی هم به صورت پیکسل-مبنا و هم به صورت شی-مبنا با چند روش‌ انجام می‌شود و نتایج هر یک مورد بحث و بررسی قرار می‌گیرد، تا در نهایت روشی مناسب از میان روش‌های بررسی‌شده برای طبقه‌بندی پوشش اراضی شهری با استفاده از تصاویر ابرطیفی ارائه گردد. از آنجا پوشش اراضی شهری پیچیده‌تر و مهم‌تر از پوشش اراضی طبیعی است در این تحقیق یک تصویر از یک صحنه شهری با عوارض مختلف مورد بررسی قرار گرفته است تا بتوانیم ارزیابی صحیح‌تری را به طور عملی از روش‌های طبقه‌بندی مختلف انجام دهیم.
1-2 ضرورت‌ها، انگیزه‌ها و ویژگی‌های تحقیق
در تحقیقات صورت گرفته قبلی در زمینه طبقه‌بندی پوشش اراضی از روش‌ها و داده‌های بسیاری استفاده‌شده است (Lu and Weng, 2007). در اغلب این تحقیقات روش‌های پیشرفته و درعین‌حال پیچیده‌ای مثل شبکه‌های عصبی، ماشین‌های بردار پشتیبان، RFM و یا تلفیق این روش‌ها باهم و با فن‌های بهینه‌سازی و فازی‌سازی استفاده‌شده است. درک عمیق بسیاری از این روش‌ها و رفع مشکلات حاصل از استفاده این روش‌ها و یا تعیین پارامترهای این روش‌ها برای عموم کاربران سنجش از دور نیاز به مطالعه و صرف زمان زیادی دارد. به همین دلیل ممکن است در برخی کاربردهای سنجش از دور به درستی نتوان از این روش‌ها استفاده کرد.
امروزه با پیشرفت سنجنده‌های سنجش از دور، می‌توان به طور هم‌زمان اطلاعات طیفی و مکانی با قدرت تفکیک بالا را باهم استفاده کرد. علاوه بر این سنجنده‌های لیدار قادرند اطلاعات ارتفاعی دقیقی از محیط را در اختیار ما قرار دهند (Hodgson et al., 2003). تلفیق این دو نوع داده می‌تواند کمک بزرگی به بهبود دقت طبقه‌بندی و تهیه نقشه پوشش اراضی شهری بکند. تحقیقات بسیاری برای طبقه‌بندی و تلفیق این داده‌ها به منظور تولید نقشه‌های پوشش اراضی شده است. اغلب این تحقیقات با تکیه بر روش‌های پیشرفته و پیچیده توانسته‌اند دقت طبقه‌بندی تصاویر ابرطیفی و لیدار را افزایش دهند. اما سؤالی که اینجا مطرح می‌شود این است که آیا همیشه برای افزایش دقت طبقه‌بندی تصاویر ابرطیفی لازم است چنین روش‌های پیچیده (که اغلب دارای محاسبات بالایی نیز هستند) به کار رود، یا این که می‌توان با روش‌های ساده‌تری نیز به این دقت دست یافت.
یکی از روش‌های جدید طبقه‌بندی، RF است که با الگوریتم بسیاری ساده‌ای به کمک تلفیق چند طبقه‌بندی‌کننده پایه ساده کار می‌کند و تعیین پارامترهای آن بسیار ساده است (Joelsson et al., 2010). مطالعات قبلی انجام شده درباره RF قابلیت‌های کاربردی از این روش را معرفی کرده‌اند. مزایای مطرح شده این روش و سادگی آن، انگیزه اصلی استفاده از این روش جهت طبقه‌بندی تصاویر ابرطیفی در این تحقیق است .
برخی محققین در کارهای قبلی نشان داده‌اند که قطعه‌بندی تصویر و طبقه‌بندی شی-گرا می‌تواند دقت طبقه‌بندی را بالا ببرد (Kettig and Landgrebe, 1976, Geneletti and Gorte, 2003, Benz et al., 2004, Walter, 2004, Blaschke, 2010). در برخی تحقیقات نیز برای طبقه‌بندی تصاویر چند طیفی، طبقه‌بندی شی-گرا پیشنهاد شده است (Kettig and Landgrebe, 1976, Geneletti and Gorte, 2003). در مورد تصاویر ابرطیفی، با توجه به محاسبات بالای قطعه‌بندی و تولید ویژگی‌های شی‌گرا و تعداد بالای باندهای تصاویر ابرطیفی، سؤال دیگری که در اینجا مطرح می‌شود این است که قطعه‌بندی و تولید ویژگی‌های شی‌گرا برای بهبود طبقه‌بندی تصاویر ابرطیفی تا چه حد دقت کار را بالا می‌برد و آیا طبقه‌بندی شیء‌گرای تصاویر ابرطیفی از نظر محاسباتی و زمان طبقه‌بندی به صرفه است. برای پاسخ به این‌چنین سؤالاتی انجام یک تحقیق و مطالعه ضروری است. تحقیق برای پاسخ به مسائل مذکور ارائه می‌شود که مقایسه با تحقیقات قبلی دارای ویژگی‌های جدیدی است . این ویژگی‌ها عبارت‌اند از:
• استفاده از طبقه‌بندی RF به منظور طبقه‌بندی تصاویر ابرطیفی با تلفیق داده لیدار،
د قطعه‌بندی و تولید ویژگی‌های شی‌گرا از تصاویر ابرطیفی و داده لیدار و طبقه‌بندی آن‌ها با الگوریتم‌های RF، SVM و NN،
• افزایش نمونه‌های آموزشی با کمک RF به منظور افزایش دقت طبقه‌بندی تصاویر ابرطیفی، و
• حذف باندهای کم اهمیت تصویر ابرطیفی و طبقه‌بندی با استفاده از باندهای مناسب با کمک RF.
1-3 اهداف و سؤالات تحقیق
هدف اصلی این تحقیق بررسی فن‌های یادگیری ماشینی برای طبقه‌بندی کاربری اراضی شهری با استفاده از تصاویر ماهواره‌ای و داده کمکی مثل DSM است . اهداف اصلی این تحقیق عبارت‌اند از:
• بررسی عملکرد طبقه بندی کننده RF در طبقه‌بندی تصاویر ابرطیفی و داده لیدار در یک صحنه شهری،
• ارزیابی قابلیت RF به عنوان یک ابزار انتخاب ویژگی برای طبقه‌بندی پوشش اراضی شهری،
و مقایسه نتایج طبقه‌بندی به دست آمده از طبقه بندی کننده مبتنی بر RF با نتایج حاصل از طبقه‌بندی‌کننده‌های معروف.
با توجه به تحقیقات قبلی و تصویر ابرطیفی به‌کار‌رفته در این تحقیق سؤالات زیر مطرح می‌شود:
ث آیا RF می‌تواند در طبقه‌بندی تصاویر ابرطیفی جایگزین روش‌های پیچیده مثل SVM و NN شود؟
• RF ، در کاهش محاسبات طبقه‌بندی یا انتخاب باندهای مناسب تصاویر ابرطیفی چه نقشی می‌تواند داشته باشد؟
• چگونه با کمک الگوریتم RF می‌توان صحت طبقه‌بندی را افزایش داد؟
• آیا با کمک RF می‌توانیم نمونه‌‌های آموزشی بیشتری تولید کرد و با کمک آن دقت طبقه‌بندی را افزایش داد؟
• آیا قطعه‌بندی چندمقیاسی و تولید ویژگی‌های جدید و انجام طبقه‌بندی با کمک این ویژگی‌ها می‌تواند دقت طبقه‌بندی تصاویر ابرطیفی را افزایش دهد؟
1-4 روش تحقیق
روش استفاده‌شده در تحقیق حاضر به طور خلاصه شامل مراحل زیر است :
• قطعه‌بندی تصویر و تولید اشیا تصویر
• تولید ویژگی‌های شی-مبنا
• طبقه‌بندی پیکسل-مبنا و شی-مبنا
• محاسبه احتمال تعلق کلاس‌ها به کمک الگوریتم RF و تولید نمونه‌های آموزشی جدید
• تکرار طبقه‌بندی با نمونه‌های آموزشی جدید
• ارزیابی و مقایسه حالت‌های مختلف طبقه‌بندی
در این تحقیق حالت‌های مختلفی از ویژگی‌های پیکسل-مبنا از تلفیق ویژگی‌های بافت لیدار و باندهای تصویر ابرطیفی، باندهای انتخابی تصویر ابرطیفی، و ویژگی‌های شی-مبنا حاصل از قطعه‌بندی در یک و چند مقیاس به طور جداگانه باهم تلفیق‌شده و طبقه‌بندی شدند و در نهایت، حالت‌های مختلف طبقه‌بندی مورد ارزیابی قرار گرفت. روند کلی مراحل مذکور به طور خلاصه در شکل ‏1 1 نشان داده شده است و جزئیات آن در فصل چهار تحقیق ارائه شده است.