|
重磅干貨，第一時(shí)間送達(dá) 今天，我們將一起研究如何檢測(cè)建筑物周圍的植被表面。在這個(gè)過(guò)程中，我們將展示如何構(gòu)建合適的數(shù)據(jù)集。植被檢測(cè)是一種簡(jiǎn)單且實(shí)用的工具，來(lái)幫助我們判斷人口稠密地區(qū)的生活質(zhì)量。 我們決定以植被帶的分割為主，這意味著圖像中的像素被分為“植被”和“非植被”兩種，我們需要預(yù)測(cè)出每個(gè)像素點(diǎn)屬于哪一類。 簡(jiǎn)單的想法并不總會(huì)奏效 說(shuō)到檢測(cè)植被所在區(qū)域，我們的第一想法通常是對(duì)HSV值進(jìn)行簡(jiǎn)單的閾值處理： 選擇HSV輪和色調(diào)進(jìn)行植被檢測(cè) 例如，我們可以將色相介于40到160之間的像素視為植被（40和160這兩個(gè)值由我們的經(jīng)驗(yàn)得到），因?yàn)檫@個(gè)范圍內(nèi)包括黃綠色到藍(lán)綠色之間所有顏色。由于場(chǎng)景的亮度和圖像的飽和度也會(huì)對(duì)植被區(qū)的判斷有一定的影響，因此我們還需要考慮像素的飽和度和亮度。我們的第一個(gè)模型包含3個(gè)維度的濾波器。我們使用標(biāo)準(zhǔn)形態(tài)運(yùn)算符來(lái)平滑像素分類，以幫助我們規(guī)范空間上的檢測(cè)。 測(cè)試圖像，濾波后的色調(diào)，平滑的蒙版，圖像和檢測(cè)重疊 這是一個(gè)非常簡(jiǎn)單的方法，可以輕松處理整個(gè)區(qū)域。但是有很多原因會(huì)都導(dǎo)致這種方法的可靠下降，比如對(duì)陰影部分檢測(cè)效果不佳。除此之外使用這種算法對(duì)像素進(jìn)行歸類，綠色屋頂、水中綠色倒影都會(huì)被判斷為植被。因此這種算法肯定是行不通的！ 通過(guò)色相值進(jìn)行植被檢測(cè)的失敗案例 利用數(shù)據(jù)簡(jiǎn)化模型開發(fā) 通過(guò)飛機(jī)與衛(wèi)星拍攝的圖像，我們知道對(duì)地球成像有許多不同的模式[1]，其中之一是具有紅外信息的多光譜圖像。多光譜圖像比簡(jiǎn)單的RGB圖像具有更多的信息：紅外波段非常有用，因?yàn)樗鼈兛梢詭椭覀冇?jì)算出稱為NDVI[2]（歸一化植被指數(shù)）的值。NDVI是檢測(cè)多光譜圖像上植被的一種簡(jiǎn)單而有效的方法： NDVI的計(jì)算公式，其中NIR和R分別為近紅外和紅色光譜反射率 當(dāng)紅色光譜反射率較低且近紅外光譜反射率較高時(shí)，此值最大。因此它可以很好地表明植被的存在。NIR和R介于0和1（入射輻射的比率）之間，NDVI的值介于-1和1之間。 植被和非植被在不同光譜范圍的反射率曲線 對(duì)于綠色植被茂盛的地區(qū)，R較低，而NIR較高（植被紅色調(diào)很低，但是又可以很好地反射紅外線），因此NDVI指數(shù)將非常接近1。對(duì)于干燥或自然帶紅色的植被R值較高，但NIR足夠高以保持較高的NDVI值。 我們現(xiàn)在所面對(duì)的問(wèn)題是：我們無(wú)法獲得整個(gè)領(lǐng)土的高分辨率多光譜圖像。由于我們只能訪問(wèn)有限范圍的多光譜數(shù)據(jù)，因此我們提出了以下想法：利用此有限的數(shù)據(jù)來(lái)自動(dòng)標(biāo)記可以訪問(wèn)的航空影像，從而創(chuàng)建用于深度學(xué)習(xí)的訓(xùn)練集算法，這種算法的消耗也很低。 訓(xùn)練和推理流程 圖像，NDVI蒙版和檢測(cè)結(jié)果 我們決定使用U-Net架構(gòu)[3]系列模型來(lái)完成此任務(wù)。我們選擇U-Net架構(gòu)的主要原因是： · U-Net模型可以快速進(jìn)行訓(xùn)練和推理。而且，FastAI框架已經(jīng)有一個(gè)成功的案例，可以與它的單周期擬合功能協(xié)同工作。 · 我們的任務(wù)并沒有那么復(fù)雜。植被相當(dāng)好認(rèn)，并且我們希望簡(jiǎn)單的深度學(xué)習(xí)模型能夠成功完成此任務(wù)。 我們?cè)谟?xùn)練細(xì)節(jié)上加以改進(jìn)以提高運(yùn)行速度，使用快速收斂[4]和周期性訓(xùn)練[5]的策略可以讓我們?cè)诙虝r(shí)間內(nèi)建立模型。 我們獲得的總體準(zhǔn)確度為85％和dice得分為73％ [6]。 雖然這些數(shù)據(jù)對(duì)于我們正在開發(fā)的算法而言似乎很低，但實(shí)際上是因?yàn)槲覀兯褂玫臄?shù)據(jù)集存在一些問(wèn)題。首先，訓(xùn)練數(shù)據(jù)并不完美，并且仍有一些像素帶有錯(cuò)誤的標(biāo)簽。畢竟，這是一個(gè)我們無(wú)法控制的半自動(dòng)生成的數(shù)據(jù)集。即使是一個(gè)手工標(biāo)記的數(shù)據(jù)集，可能會(huì)出現(xiàn)一些錯(cuò)誤標(biāo)記的情況。一些植被像素點(diǎn)未正確標(biāo)記，因?yàn)樗鼈兊腘DVI太低，例如它們的代表“干草”。而且航空和衛(wèi)星圖像地圖并非同時(shí)采集。其次，也是最重要的一定，評(píng)估數(shù)據(jù)本身存在缺陷。作為我們創(chuàng)建的數(shù)據(jù)集的子集，標(biāo)簽錯(cuò)誤的像素也存在于該集合中。并且評(píng)估也是一個(gè)很棘手的問(wèn)題。 我們項(xiàng)目中另一個(gè)重要部分是檢測(cè)不同植被不同大小和形狀的包絡(luò)。這意味著對(duì)該農(nóng)作物的預(yù)測(cè)時(shí)將有非常大和非常小的圖像，因此必須將圖像調(diào)整為不同大小的正方形圖像。由于我們的圖片具有固定的分辨率，因此我們希望盡可能避免調(diào)整大小和調(diào)整其形狀。我們知道像素始終代表地面上的同一表面（0.04平方米），所有我們決定將要預(yù)測(cè)的區(qū)域轉(zhuǎn)換為地理空間圖塊。為了將區(qū)域劃分為固定大小的正方形，我們使用了Slippy Map格式[7]。 在所有圖塊上進(jìn)行預(yù)測(cè)后，我們將檢測(cè)到的多邊形融合到相連的植被表面中，結(jié)果相當(dāng)不錯(cuò)，我們精確分割了植被。 我們?cè)谝桓眻D像上進(jìn)行最終植被檢測(cè)，然后我們將這些檢測(cè)結(jié)果整合到了Digital Twin中，使其他地區(qū)植被表面關(guān)聯(lián)到它們。例如，該檢測(cè)結(jié)果也是學(xué)校綠色的重要指標(biāo)。 結(jié)論 這個(gè)項(xiàng)目的目標(biāo)會(huì)很明確，開發(fā)一個(gè)模型，該模型在輸入中獲取整個(gè)地區(qū)的一個(gè)圖像，并提供一組包含該地區(qū)上所有植被的多邊形。 為了解決此任務(wù)，我們建立了一個(gè)具有可重復(fù)結(jié)果的模型，該模型幾乎可以運(yùn)用到所有存在航空影像的任何區(qū)域。該模型建立在不同的數(shù)據(jù)源，RGB航空和多光譜衛(wèi)星圖像上，混合數(shù)據(jù)類型比看起來(lái)容易，請(qǐng)嘗試一下！ 如果本文對(duì)小伙伴有幫助，希望可以在文末來(lái)個(gè)“一鍵三連”。
交流群 |
|
|
來(lái)自： 小白學(xué)視覺 > 《待分類》
