NIPS 2022細胞分割賽道第一名方案

NIPS 2022細胞分割賽道第一名方案

簡介

NIPS（NeurIPS），全稱神經信息處理係統大會(hui) (Conference and Workshop on Neural Information Processing Systems)，是一個(ge) 關(guan) 於(yu) 機器學習(xi) 和計算神經科學的國際會(hui) 議。

NIPS是機器學習(xi) 領域的頂級會(hui) 議，在中國計算機學會(hui) 的國際學術會(hui) 議排名中，NIPS為(wei) 人工智能領域的A類會(hui) 議。NIPS Competition Track是其官方舉(ju) 辦的競賽。在本屆競賽中，第四範式AutoX團隊在細胞圖像分割賽道獲得了一等獎。

賽題介紹

基於(yu) 顯微鏡圖像的單細胞分析是目前生命科學和生物學等領域的前沿和熱點問題。細胞分割是單細胞分析中關(guan) 鍵的環節一環，它的目標是從(cong) 顯微鏡圖像中分割出所有的細胞。深度學習(xi) 已廣泛用於(yu) 圖像分割，然後實際場景中，手動注釋細胞非常耗時且成本高昂，我們(men) 很難收集大量的標記數據來訓練模型。另一方麵，目前已有的數據集通常限於(yu) 一種模態，缺乏多樣性，導致訓練模型的泛化性能較差。

在此背景下，主辦方設立了本次多模態顯微鏡圖像細胞分割競賽，主辦方聯合了全球十多個(ge) 實驗室累計收集了40多個(ge) 不同生物實驗的圖像，是目前多樣性最高的數據集。同時還提供了部分未標記的數據，鼓勵參賽者利用無標記的圖像和公開的數據集來提升模型的泛化性能。

1.  數據情況

訓練集包含1000張標注好的圖像塊，以及1500多張無標注的圖像。

2. 評測指標

評測指標同時包含分割精度和分割效率。分割精度指標: F1 Score (先統計分割正確細胞的recall和precision，然後計算F1 score，每個(ge) 細胞跟對應金標準的交並比IoU超過0.5即認為(wei) 分割正確)。分割效率指標：分割單張圖像的時間（顯存不超過1500MB）。

3. 競賽官網

https://neurips22-cellseg.grand-challenge.org/

解決(jue) 方案

我們(men) 提出了一種通用半監督細胞實例分割模型VSM（Versatile Semi-supervised Model），該模型的主要框架圖如圖1所示。考慮到區別於(yu) 自然圖像，細胞圖像往往具有簡單的語義(yi) 信息和固定的結構，使得低級語義(yi) 信息——如邊緣、形狀、紋理等在細胞分割問題上十分重要，我們(men) 將任務分為(wei) 兩(liang) 個(ge) 階段，即先檢測細胞，再在通過邊界框裁剪出的圖像中分割目標。VSM主要由三部分組成：預處理模塊、檢測部分、分割部分，另外，為(wei) 了更好的利用比賽中提供的無標記數據，我們(men) 設計了一種基於(yu) 偽(wei) 標簽學習(xi) 的半監督訓練流程。我們(men) 將在之後詳述這部分。

VSM流程圖

1. 預處理

由於(yu) 輸入的圖像來自不同的模態，並處於(yu) 不同的圖像空間以及有著不同的圖像格式，我們(men) 需要首先需要通過預處理將圖像統一到相同的圖像空間，預處理包括三部分：通道對齊、強度歸一化和滑動裁剪。首先，我們(men) 進行通道對齊，以確保所有圖像具有相同數量的通道，其中灰度圖像的通道將被複製。然後，我們(men) 將每個(ge) 通道的像素值歸一化為(wei) 0到255之間。將省略前1％的像素和最後99％的像素（分別設為(wei) 0和255）。最後，我們(men) 將圖像裁剪成具有1536的窗口和1024的步幅的塊，以處理大分辨率圖像和WSI。在推理和訓練中將進行相同的預處理。

2. 檢測部分

在對比賽數據集進行初步測試後，我們(men) 發現YOLOX可以在不調整超參數的情況下提供出色的性能，此外，YOLOX是一種anchor-free模型，具有多層次檢測頭，非常適合尺寸差異極大的情況。因此，我們(men) 選擇YOLOX作為(wei) 細胞檢測部分。為(wei) 了進一步提高檢測質量，我們(men) 使用TTA（Test-Time Augmentation）來改進模型，輸入圖像將通過0、90、180和270度旋轉以及鏡像旋轉來複製，將來自八個(ge) 方向的圖像副本同時進行檢測並集成。在開發過程中，我們(men) 使用WBF（Weighted Box Fusion）來合並來自不同副本的邊界框，並在最終的比賽提交中用NMS替換它，以加速推理階段。

3. 分割部分

 U-Net可以在分割過程中整合低級特征和高級特征，在圖像具有簡單明了的語義(yi) 信息的細胞分割任務中提供出色的性能。此外，在我們(men) 的實驗中，我們(men) 發現模型推理速度的瓶頸在於(yu) 分割部分。作為(wei) 輕量級模型，U-Net在提高推理效率方麵非常有幫助。因此，我們(men) 使用U-Net作為(wei) 分割網絡的骨幹。具體(ti) 來說，我們(men) 選擇所有置信度大於(yu) 0.5的邊界框裁剪框內(nei) 的圖像，並將其調整為(wei) 64x64大小來作為(wei) 模型輸入，其中非整數坐標的邊界框將被舍入到最近的整數。完成分割後，我們(men) 將分割結果恢複到原來的尺寸，分配唯一索引並將其粘貼到總分割掩膜中。

4. 基於(yu) 偽(wei) 標簽學習(xi) 的半監督訓練策略

基於(yu) 偽(wei) 標簽學習(xi) 的半監督訓練流程如下圖所示。

基於(yu) 偽(wei) 標簽學習(xi) 的半監督訓練流程

首先，我們(men) 使用COCO預訓練初始化的模型在LIVECell數據集和Sartorius數據集上進行預訓練。這裏我們(men) 還嚐試了添加TissueNet數據集對模型進行預訓練，但是沒有觀察到額外的提升。然後，對預訓練模型在有標簽數據上進行微調，並將其視為(wei) 初步模型。我們(men) 使用它為(wei) 無標記數據生成偽(wei) 標簽，在此過程中使用TTA來提高偽(wei) 標簽質量。

然後，我們(men) 使用包括翻轉和旋轉在內(nei) 的多種數據增強來複製有標簽數據，並將其與(yu) 無標簽數據及其偽(wei) 標簽混合，其中偽(wei) 標簽被視為(wei) 硬標簽。我們(men) 將有標簽數據與(yu) 無標簽數據的比例控製在5：1。

最後，我們(men) 再次在這個(ge) 合並後的數據集上微調預訓練模型，以獲得更好的模型。