BERT在CNN上也能用

？字節(jié)跳動(dòng)研究成果中選ICLR 2023 Spotlight

，近期已被人工智能頂會(huì) ICLR 2023 收錄為 Spotlight 焦點(diǎn)論文：

論文鏈接：

https://arxiv.org/pdf/2301.03580

開源代碼：

https://github.com/keyu-tian/SparK

這也是 BERT 在卷積神經(jīng)網(wǎng)絡(luò) (CNN) 上的首次成功

！?

在 BERT 預(yù)訓(xùn)練算法的背后，是簡(jiǎn)潔而深刻的設(shè)計(jì)

。 BERT 使用“完形填空”：將一句話中的若干詞語進(jìn)行隨機(jī)刪除，并讓模型學(xué)會(huì)恢復(fù)。

BERT 非常依賴于 NLP 領(lǐng)域的核心模型 —— Transformer

。

Transformer 由于生來就適合處理可變長(zhǎng)度的序列數(shù)據(jù)（例如一個(gè)英文句子）

，所以能輕松應(yīng)付 BERT 完形填空的“隨機(jī)刪除”。

視覺領(lǐng)域的 CNN 也想享受 BERT：兩個(gè)挑戰(zhàn)何在

？

回顧計(jì)算機(jī)視覺發(fā)展史

，卷積神經(jīng)網(wǎng)絡(luò)模型 (CNN) 凝練了平移等變性、多尺度結(jié)構(gòu)等等眾多經(jīng)典模型精華，可謂 CV 界的中流砥柱。但與 Transformer 大相徑庭的是，CNN 天生無法適應(yīng)經(jīng)過完形填空“挖空”的、充滿“隨機(jī)孔洞”的數(shù)據(jù)，因此乍一看無法享受到 BERT 預(yù)訓(xùn)練的紅利。

上圖 a. 展示的是 MAE (Masked Autoencoders are Scalable Visual Learners) 這項(xiàng)工作

，由于使用的是 Transformer 模型而非 CNN 模型，其可以靈活應(yīng)對(duì)經(jīng)過帶有空洞的輸入，乃與 BERT “天作之合”。

而右圖 b. 則展示了一種粗暴融合 BERT 和 CNN 模型的方式——即把全部空洞區(qū)域“涂黑”，并將這張“黑馬賽克”圖輸入到 CNN 中

，結(jié)果可想而知，會(huì)帶來嚴(yán)重的像素強(qiáng)度分布偏移問題，并導(dǎo)致很差的性能 (后文有驗(yàn)證)。這就是阻礙 BERT 在 CNN 上成功應(yīng)用的挑戰(zhàn)一。

此外，作者團(tuán)隊(duì)還指出

，源自 NLP 領(lǐng)域的 BERT 算法，天然不具備“多尺度”的特點(diǎn)，而多尺度的金字塔結(jié)構(gòu)在計(jì)算機(jī)視覺的悠久歷史中可謂“金標(biāo)準(zhǔn)”。單尺度的 BERT，和天然多尺度的 CNN 之間的沖突，則是挑戰(zhàn)二