作者 | 鄭卓 

論文地址: https://arxiv.org/pdf/2108.07002.pdf

項目頁面: https://zhuozheng.top/changestar/

代碼: https://github.com/Z-Zheng/ChangeStar

第一作者主頁：https://zhuozheng.top

該工作是武漢大學測繪遙感信息工程國家重點實驗室RSIDEA團隊在變化檢測方面的工作，已被ICCV 2021接收。

針對成對雙時相變化檢測訓練樣本標注耗時、收集困難的問題，提出了一種新穎的弱監(jiān)督學習算法STAR (Single-Temporal supervised LeARning)，其利用非成對單時相遙感影像構造偽雙時相監(jiān)督信號，以學習變化表征；同時提出了一種變化檢測新架構ChangeStar，其通過核心模塊ChangeMixin，可將任意語義分割模型轉化為變化檢測器，從而復用現有的優(yōu)秀架構，揭示了語義分割與變化檢測之間的內在聯系。

實驗表明，單時相監(jiān)督下的ChangeStar較Baseline取得顯著提升, 在Zero-Shot驗證條件下，與強監(jiān)督模型精度差距縮小到10%以內；在強監(jiān)督（雙時相監(jiān)督）的設定下，基于FarSeg的ChangeStar在LEVIR-CD數據集上實現了state-of-the-art的精度。

1

變化無處不在

我們觀察到，成對標記的位時圖像的重要性在于，變化檢測器需要成對的語義信息來定義對象變化檢測的正負樣本。這些正、負樣本通常是由兩個不同時間的像素在同一地理區(qū)域是否具有不同的語義來決定的。位時像素的語義控制著標簽分配，而位置一致性條件（兩個時相的像素應處于相同的地理位置）僅用于保證獨立同分布的訓練和推理?？梢韵胂?，如果我們松弛位置一致性條件來定義正負樣本，那么變化是無處不在的，尤其是在未配對的圖像之間。

2

方法簡介

2.1 單時相監(jiān)督學習算法STAR: Single-Temporal supervised LeARning

STAR旨在通過帶有語義像素標簽的任意圖像對學習一個可泛化的變化檢測器。為了實現這一點，我們構造了偽雙時相圖像對，松弛了傳統(tǒng)的雙時相監(jiān)督的變化檢測學習問題，如下式：

其中Xi, Xj為真實雙時相圖像對，對應的Y是其語義像素標簽，F為變化檢測器，為變化檢測器參數。將偽雙時相圖像對（Xt1, Xt1）替換為真實雙時相圖像對，并重新利用邏輯異或運算分配偽雙時相圖像對的變化標簽，從而將原學習問題松弛為下式的僅利用單時相圖像即可完成的學習問題:

偽雙時相圖像對：為了利用單時相圖像提供監(jiān)督信號，我們提出了一種偽雙時相圖像對構建技術，其通過對一個訓練批次中的圖像Xt1進行隨機排列得到偽第二時相圖像Xt1，并且保證每個偽圖像對中的圖像各不相同。通過觀察可以發(fā)現，偽雙時相圖像對的變化標簽可用兩張圖像的語義像素標簽（one-hot為二值標簽）的邏輯異或表示，這樣即可完成偽雙時相圖像對的正負樣本定義。

圖1：模型訓練與推理流程

2.2 變化檢測新架構ChangeStar = Any Segmentation Model + ChangeMixin

ChangeStar是一個簡單而統(tǒng)一的網絡，由一個深度語義分割模型和ChangeMixin模塊組成。這種設計的核心思想在于重用現代語義分割架構，因為語義分割和物體變化檢測都是密集的預測任務。為此，我們設計了ChangeMixin模塊，使任何現成的深度語義分割模型能夠檢測物體變化。ChangeMixixin模塊由若干卷積層和一個時序交換模塊組成，其輸入由分割模型計算得到的高分辨率語義特征，輸出雙向的變化檢測圖用于后續(xù)的學習與推理。我們在實驗中發(fā)現，一個收斂的模型，雙向變化檢測圖相似度極高，因此在推理階段我們選擇其中一個方向的變化檢測圖作為最終預測值。

3

主要實驗結果

這部分展示了所提出方法在不同訓練數據與測試數據下的泛化性實驗結果。對比方法采用基于深度語義分割模型的分類后比較法，作為單時相監(jiān)督的基線。實驗結果表明，所提出的方法可有效提升單時相監(jiān)督下的變化檢測性能，具有很好的泛化性能。

同時為了驗證所提出架構的有效性，我們在雙時相監(jiān)督下訓練了ChangeStar模型的各種變體。實驗結果（表4）表明ChangeStar架構對已有的分割模型具有良好的兼容性，在相同骨干網絡的情況下可取得更加優(yōu)異的性能。

為了了解單時相、雙時相監(jiān)督之間的實際差距，我們利用相同模型開展了多組對照實驗，從實驗結果中可以發(fā)現，單時相監(jiān)督作為一種弱監(jiān)督信號，與雙時相監(jiān)督這種強監(jiān)督信號相比仍有一定差距，但差距隨著骨干網絡容量的提升而減小，目前F1精度差距最小可縮小到10%以內。然而本文提出的方法僅僅是在單時相監(jiān)督上的初步探索，未來還有更大的改進空間，例如使用模型容量更大的transfomer模型作為基礎模型、更大的單時相監(jiān)督數據、更好的單時相監(jiān)督學習策略都是值得未來探索的研究話題。

更多的消融實驗與討論可見原文。

4

總結

在這項工作中，我們提出了單時相監(jiān)督學習算法（STAR），從而巧妙繞過了傳統(tǒng)的雙時相監(jiān)督學習中收集成對標記數據成本高的問題。STAR提供了一個利用任意圖像對中的物體變化作為監(jiān)督信號的新視角。為了證明STAR的有效性，我們設計了一個簡單而有效的多任務架構，稱為ChangeStar，用于聯合語義分割和變化檢測，它可以通過進一步提出的ChangeMixin模塊重新使用任何深度語義分割架構。

大量的實驗分析表明，提出的方法可以以較弱監(jiān)督信息學習一個魯棒的變化檢測器；同樣雙時相監(jiān)督條件下，超越了目前的state-of-the-art方法。我們希望STAR將作為一個堅實的基線，在未來服務于弱監(jiān)督變化檢測研究。

雷鋒網

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。