TIPSv2——谷歌DeepMind重磅開源，Patch-Text對齊最優(yōu)表現(xiàn)全面超越SigLIP2 | CVPR 2026 Highlight 《大標(biāo)題

本文作者：陳淑瑜

2026-04-30 16:04

導(dǎo)語：論文提出 TIPSv2，通過三大技術(shù)創(chuàng)新大幅提升Patch-Text對齊質(zhì)量，在零樣本分割等密集任務(wù)上全面霸榜。

【封面圖片來源：網(wǎng)站名微信公眾號，所有者：機(jī)器之心】

一、背景

在多模態(tài)大模型飛速發(fā)展的今天，如何精準(zhǔn)地將密集的"圖像塊（Patch）"表示與對應(yīng)概念的"文本嵌入"對齊，依然是阻礙模型邁向更細(xì)粒度理解的"致命弱點(diǎn)"。研究團(tuán)隊(duì)在消融實(shí)驗(yàn)中發(fā)現(xiàn)了一個反直覺現(xiàn)象：通過塊級別蒸餾出的小參數(shù)學(xué)生模型，在零樣本分割等密集型圖文對齊任務(wù)上，性能竟然大幅反超了規(guī)模巨大的教師模型！。

論文提出 TIPSv2，通過三大技術(shù)創(chuàng)新大幅提升Patch-Text對齊質(zhì)量，在零樣本分割等密集任務(wù)上全面霸榜。該研究成果《TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment》已成功被計(jì)算機(jī)視覺頂級會議 CVPR 2026 接收。目前，模型權(quán)重（涵蓋從 86M 到 1.1B 參數(shù)），代碼以及在線體驗(yàn) Demo 已全面開源。

TIPSv2——谷歌DeepMind重磅開源，Patch-Text對齊最優(yōu)表現(xiàn)全面超越SigLIP2 | CVPR 2026 Highlight 《大標(biāo)題

二、核心方法

TIPSv2 通過三大核心技術(shù)創(chuàng)新，實(shí)現(xiàn)了Patch-Text對齊的質(zhì)的飛躍。

iBOT++——全局視角的自監(jiān)督對齊引擎：

經(jīng)典iBOT目標(biāo)函數(shù)只針對Masked Tokens計(jì)算損失。iBOT++將自監(jiān)督的Patch級別損失強(qiáng)行擴(kuò)展到所有Tokens（包括未被遮擋的可見Tokens），在不增加任何額外網(wǎng)絡(luò)參數(shù)的條件下，ADE150數(shù)據(jù)集零樣本分割mIoU從3.5飆升至17.6，實(shí)現(xiàn)+14.1的巨大飛躍。這一設(shè)計(jì)使模型在蒸餾過程中充分學(xué)習(xí)所有Patch的對齊特性。

Head-only EMA——突破顯存瓶頸的高效策略：

由于模型同時接收了強(qiáng)有力的文本監(jiān)督信號，底層視覺骨干網(wǎng)絡(luò)在訓(xùn)練初期就具備很好的穩(wěn)定性。僅對頂層投影頭執(zhí)行EMA更新，凍結(jié)視覺主干網(wǎng)絡(luò)的EMA，在完美保持性能的同時大幅降低訓(xùn)練顯存需求，使大規(guī)模訓(xùn)練成為可能。

多粒度文本描述（Multi-Granularity Captions）：

構(gòu)建極度豐富的數(shù)據(jù)標(biāo)注配方，包括傳統(tǒng)Alt-text、PaliGemma生成的密集局部字幕、Gemini Flash生成的深度描述。訓(xùn)練過程中模型在不同粒度描述之間進(jìn)行隨機(jī)交替，極大提升了模型應(yīng)對復(fù)雜密集對齊任務(wù)的魯棒性。

TIPSv2——谷歌DeepMind重磅開源，Patch-Text對齊最優(yōu)表現(xiàn)全面超越SigLIP2 | CVPR 2026 Highlight 《大標(biāo)題

三、亮點(diǎn)總結(jié)

創(chuàng)新點(diǎn)一：零樣本分割四大基準(zhǔn)全面霸榜

TIPSv2在零樣本分割四大基準(zhǔn)測試中全面超越SigLIP2，正面擊敗專門優(yōu)化此類任務(wù)的SILC和DINOv2架構(gòu)。以更通用、簡潔的架構(gòu)實(shí)現(xiàn)越級超越，證明了細(xì)粒度Patch-Text對齊對密集任務(wù)的關(guān)鍵驅(qū)動作用。

創(chuàng)新點(diǎn)二：TIPSv2-g以1.1B參數(shù)超越PE-core G/14

TIPSv2-g（1.1B參數(shù)）在5個共享評估體系中硬核擊敗業(yè)界頂尖PE-core G/14（參數(shù)量多出56%，訓(xùn)練圖文對數(shù)據(jù)是TIPSv2的47倍），證明了圖文雙模態(tài)聯(lián)合約束優(yōu)于單一純視覺預(yù)訓(xùn)練的核心結(jié)論。

創(chuàng)新點(diǎn)三：與DINOv3巔峰對決贏4項(xiàng)

TIPSv2在6項(xiàng)共享任務(wù)中以4:2擊敗參數(shù)量6倍于己、訓(xùn)練數(shù)據(jù)15倍于己的DINOv3。特征可視化顯示TIPSv2的表征具備極致的平滑性和極強(qiáng)的語義聚焦能力，物體邊界輪廓更精準(zhǔn)銳利，區(qū)域內(nèi)部展現(xiàn)更豐富的語義細(xì)節(jié)。全部模型權(quán)重與代碼已開源（Apache 2.0協(xié)議）。

──────────────────────────────────────────

上述內(nèi)容包含AI輔助生成，更詳細(xì)信息參見兩個鏈接

論文鏈接：https://gdm-tipsv2.github.io/

解讀來源：https://mp.weixin.qq.com/s/R_Yn6_DytVEEczLKg6ivTA

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。