萊森光學：基于圖像光譜超分辨率的蘋果糖度檢測

來源：發布時間：2024-12-11

基于圖像光譜超分辨率的蘋果糖度檢測

蘋果風味獨特，清脆可口，深受全世界消費者的***喜愛。糖度是衡量蘋果品質的關鍵指標。高光譜成像(HSI)由于含有豐富的圖譜信息在糖度無損檢測中有著廣泛的應用前景,然而仍面臨儀器笨重昂貴、操作耗時等問題。光譜超分辨率(SSR)可通過建立映射關系從低光譜維度 RGB圖像獲得對應高光譜維度HSI圖像，在 HSI圖像的高效獲取上有著極大的優勢。

5c13401f079b28be3ec57c32300d487e

01實驗部分

HSI圖像采集系統由高光譜相機、RGB 相機、照明光源、升降臺、果托和計算機組成，如圖1所示。為避免外部雜散光線的干擾，所有設備均放置于暗箱內部(計算機除外)。

caea57115973cc21fc7767f65b24f2bb

圖1 圖像采集系統

1.1SSR 方法

基于密集連接的SSR方法

在基于卷積神經網絡光譜下采樣投影恢復高光譜圖像算法基礎之上，提出了基于密集連接的SSR方法HSCNN-D，在特征提取時利用卷積層替換了頻譜上采樣操作，由此避免了對未知光譜響應函數的依賴。在特征映射的過程中，利用路徑加寬的融合方案，使用了密集連接塊代替了殘差塊，緩解了殘差網絡增加網絡深度帶來的梯度消失的問題。***經過卷積層融合已處理的特征完成SSR。雖然該方法能夠更適當地學習映射關系，但是在圖像空間分辨率特征的應用仍然不足。

基于多尺度層級回歸網絡的SSR方法

基于多尺度層級回歸網絡的SSR方法通過并行多分支網絡提取不同尺度下的特征，然后融合相應特征得到**終特征。基于層級回歸網絡算法為層間交互的四級回歸網絡。首先利用PixelUn-Shuffle層對輸入圖像進行空間下采樣,使圖像空間分辨率降低。根據分辨率的高低分別從上至下作為層級輸入。下層低分辨率圖像依次經過卷積層、殘差密集塊和殘差全局塊提取出特征，再利用PixelShuffle層對特征圖完成上采樣，然后與上層高分辨率圖像特征拼接，再完成當層的特征提取。由于特征在底層較為緊湊，需要在上采樣前利用卷積層進行通道加權，加強映射。殘差密集塊連接方法，有助于去除噪聲和減少偽影。殘差全局塊的應用使得從輸入端跳過連接通過注意力機制來擴大感受野。雖然基于多尺度層級回歸網絡的SSR方法能夠提取不同尺度下的特征，但是會造成運算量過大的問題。

基于Transformer的SSR方法

多級光譜Transformer算法為基于Transfommer的SSR方法，將每一個光譜通道的特征圖輸人光譜多頭注意力層進行計算響應值。光譜注意塊由光譜多頭注意力層和前饋網絡組成。通過在光譜多頭注意力層和前饋網絡組成前面添加歸一化層可以緩解梯度消失的問題，加快網絡的收斂。然后，利用形網絡結構將光譜注意塊構建了一個單級光譜轉換器，由此更好地提取上下文信息。***，MST十十將由多個單級光譜轉換器級聯，從粗糙到精細逐步提高SSR質量。基于Trans-former的SSR方法具有優異的長距離依賴關系和全局信息捕捉能力。

1.2糖度回歸分析方法

有效波長光譜提取

建立蘋果糖度預測模型時，原始數據的全光譜波段數多并且波段間相關性高，將全光譜輸入模型將導致計算時間長以及預測精度較低。通過有效波長光譜的提取可以減少大量的冗余信息和噪聲，提高建模的準確性和穩定性。有效波長提取采用競爭性自適應重加權,將篩選后的有效波長光譜作為模型輸入。

回歸建模方法

偏**小二乘回歸被廣泛應用于化學計量學和光譜定量分析。該方法結合主成分分析、典型關聯分析和多元線性回歸三種方法，有效地解決多重相關性問題。利用樣本的光譜數據作為自變量以及測量參考值作為因變量完成回歸模型建立。

隨機森林是一種機器學習的統計方法，通常應用于處理高維度數據。該方法基于決策樹的集成算法，首先對原始樣本隨機選擇樣本子集，然后在不同的樣本子集上訓練每個決策樹，***對預測取平均以進行整體預測。

極限學習機是一種單隱層前饋神經網絡，具有速度快和參數調整簡單的特點。該方法可以隨機初始化輸入權重和偏移量并利用廣義逆得到相應的輸出權重。在進行回歸預測時，需設置隱層節點數，從而得到***比較好解。

02圖像處理

顏料樣本

采集圖像前，對實驗樣本張貼黑色啞光2x2方格膠紙啞光材質可以減少反光。通過人工標定確定ROI，不僅可以增加樣本量而且可以減少ROI配準。采集圖像后，首先對原始RGB圖像以及 HSI偽 RGB圖像進行閾值化處理得到一值圖像，其中偽RGB圖像為從HSI圖像中抽取三個波段(468、530 以及703 nm)進行合成的圖像。然后采用二值圖像掩膜至原始圖像確定ROI質心，***根據質心位置完成 ROI框選并完成裁剪，得到樣本圖像。為避免裁剪ROI區域內存在黑**域，保證裁剪后圖像尺寸均為64x64。圖2為ROI裁剪的過程。經過圖像處理后，共生成220個RGB-HSI圖像對作為訓練模型的輸入。

fa8e1bebf12384b4ddb7b8fb6fa2a381