InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling

Yanwei Liu

12 min readMar 15, 2025

1. 初步理解與定位

本文旨在透過長且豐富的上下文建模 (LRC) 來提升視訊多模態大型語言模型 (MLLM) 的效能。
核心概念： 本論文最核心的概念是「長且豐富的上下文建模 (Long and Rich Context Modeling, LRC)」。這指的是提升多模態大型語言模型 (MLLM) 在處理視訊時，對於時間維度更長、資訊內容更細緻的上下文資訊的理解和利用能力。 現有的 MLLM 在理解影片時，往往難以處理長時間的影片內容，也容易忽略影片中細微的視覺資訊，導致在複雜的視訊理解任務中表現受限。本研究旨在透過 LRC 方法，賦予 MLLM 更強大的「記憶力」 (處理長影片) 和「專注力」 (捕捉細節)，從而全面提升其視訊理解能力。

2. 研究背景與問題意識

研究背景： 多模態大型語言模型 (MLLM) 是近年來人工智慧領域的重大突破，它們能夠整合文字、圖像、視訊等多種模態的資訊，並展現出接近人類的理解和生成能力。MLLM 的應用前景廣泛，從多模態文件分析、視訊理解、智能助理，到科學探索、自動駕駛等領域，都可見其身影。然而，儘管 MLLM 取得了巨大進展，但在基礎的視覺相關任務上，例如精確地辨識影片中的物體、定位事件發生的時間、回憶影片中的細節等，其表現仍然遠遠落後於人類。這種視覺理解能力的不足，嚴重阻礙了 MLLM 在更複雜的視訊理解和推理任務中的應用。研究顯示，雖然透過擴大模型規模和使用更多視覺相關資料可以提升 MLLM 的效能，但這種「堆疊」方式並不能從根本上解決 MLLM 在視覺理解上的瓶頸，也無法明確指出 MLLM 何時能達到人類水平的視覺理解能力。
核心研究問題： 本論文並非著重於傳統的「擴大模型規模」或「增加資料量」的方法，而是將焦點放在如何提升 MLLM 對於多模態上下文的理解能力。具體來說，論文探討的核心研究問題是：「多模態上下文的長度 (length) 和細緻度 (fineness) 如何具體影響 MLLM 的以視覺為中心的能力和效能？」 這裡的「長度」指的是模型處理長時間影片的能力，例如理解影片的故事劇情或多步驟事件的連貫性；「細緻度」指的是模型捕捉細微視覺資訊的能力，例如辨識物體細節、理解空間時間關係、進行短時間的因果推理等。
研究意義與價值： 深入探討上下文長度和細緻度對 MLLM 視覺能力的影響，具有重要的學術價值和實用意義。理解這些影響機制，可以幫助研究人員更有效地設計模型架構和訓練方法，從而開發出更強大、更可靠的視訊 MLLM。此外，提升 MLLM 的視訊理解能力，將有助於拓展其在各領域的應用，例如：更智能的影片分析工具、更自然的視訊對話系統、更精確的影片監控系統等。

3. 研究方法

為了提升 MLLM 的視訊理解能力，本研究提出了 「長且豐富的上下文建模 (Long and Rich Context Modeling, LRC)」 方法，並基於此方法開發了新一代視訊 MLLM 模型 InternVideo2.5。LRC 方法的核心思想是，透過強化模型對長影片和細緻視覺資訊的處理能力，來提升其整體效能。 LRC 方法主要包含以下兩項關鍵技術：

(1)層次化 Token 壓縮 (Hierarchical Token Compression, HiCo)： HiCo 技術旨在解決 MLLM 處理長影片時的效率和資訊保留問題。它包含兩個主要階段：

(a) 時空感知壓縮 (Spatiotemporal-aware Compression)： 在視覺編碼階段，HiCo 首先採用自適應時間採樣 (Adaptive Temporal Sampling)，根據影片長度和內容特性動態調整採樣頻率。對於短影片或需要捕捉細微動作的影片，採用高頻率採樣 (例如 15 幀/秒)；對於長影片或關注事件級別理解的影片，則採用低頻率採樣 (例如 1 幀/秒)。接著，HiCo 使用 時空 Token 合併 (Spatiotemporal Token Merging) 技術，透過計算 Token 之間的語義相似度，將相似的 Token 合併，從而壓縮影片的時空冗餘資訊。研究團隊實驗證明，基於語義相似度的 Token 合併 (例如 ToMe 方法) 比傳統的基於位置的池化方法更能有效地壓縮視覺資訊，同時保留關鍵細節。

(b) 多模態 Token Dropout (Multimodal Token Dropout)： 在語言模型處理階段，HiCo 引入 Token Dropout 技術，進一步優化長距離視覺理解。Token Dropout 分為兩個階段：在模型淺層進行均勻 Token 剪枝 (Uniform Token Pruning)，降低計算開銷，同時保持結構完整性；在模型深層進行注意力導向的 Token 選擇 (Attention-guided Token Selection)，保留與任務相關的關鍵資訊。這種自適應剪枝機制不僅提升了計算效率，也透過減少不相關的視覺資訊，提升了模型效能。

HiCo 就像一個三層過濾系統：

第一層：時間維度的過濾 (自適應時間採樣) — 選擇重要的時間點 (幀)。
第二層：空間維度的過濾 (時空 Token 合併) — 合併相似的視覺元素 (Token)。
第三層：模型內部的過濾 (多模態 Token Dropout) — 篩選掉不重要的資訊 (Token)。

(2) 任務偏好最佳化 (Task Preference Optimization, TPO)： TPO 技術旨在提升 MLLM 對於細緻視覺資訊的理解能力，使其能夠執行精確的視覺分析任務，例如物件分割、時間定位等。TPO 的核心思想是，將視覺專家模型 (Vision Expert Models) 的知識遷移到 MLLM 中。具體來說，研究團隊利用視覺專家模型作為偏好模型，透過直接偏好最佳化 (Direct Preference Optimization, DPO) 演算法，將密集的視覺任務標註 (例如物件邊界框、分割遮罩等) 轉移到 MLLM 中。此外，TPO 還整合了專門的視覺感知模組 (Specialized Visual Perception Modules)，例如時間理解模組和實例分割模組，這些模組與 MLLM 協同工作，共同提升模型的視覺感知能力。

本研究的創新之處在於：

整合 HiCo 和 TPO 技術： 首次將 HiCo 和 TPO 兩種技術有效地結合，形成一個完整的 LRC 框架，共同提升 MLLM 在長影片和細緻視覺資訊處理方面的能力。
三階段漸進式訓練策略： 設計了精心的三階段漸進式訓練策略，從基礎的跨模態對齊，到細緻視覺感知訓練，再到整合的精確和長上下文訓練，逐步提升模型的效能，避免模型在學習新技能時遺忘原有能力。
高效的分散式訓練系統： 開發了基於 XTuner 的多模態序列平行系統，解決了長影片訓練的計算效率問題，使得訓練更大規模、更高效的視訊 MLLM 成為可能。

4. 主要研究結果 (發現了什麼 — 更具體的實驗數據和結果)

視訊問答基準測試 (Video Question Answering Benchmarks)： InternVideo2.5 在多個主流視訊問答基準測試中取得了近乎領先的效能，包括短影片基準測試 (MVBench, Perception Test) 和長影片基準測試 (EgoSchema, LongVideoBench, MLVU, VideoMME, LVBench)。與基線模型 InternVL2.5 相比，InternVideo2.5 在所有基準測試上均有顯著提升，尤其在短影片基準測試 MVBench 和 Perception Test 上，效能提升超過 3 個百分點。在長影片基準測試 EgoSchema 上，效能提升更是高達 12.4 個百分點。
長影片回憶任務 (Needle-In-The-Haystack, NIAH)： 在 NIAH 任務中，InternVideo2.5 展現出卓越的長影片記憶能力。實驗結果顯示，InternVideo2.5 能夠在長達 3000 幀的影片序列中準確回憶目標幀，並且可以處理超過 10000 幀的影片輸入，而不會出現記憶體不足 (Out-of-Memory, OOM) 錯誤。相比之下，基線模型 InternVL2.5 在 500 幀內就難以準確回憶目標幀，且在處理超過 1000 幀的影片時會出現 OOM 錯誤。
特定視覺任務基準測試 (Specific Vision Tasks Benchmarks)： InternVideo2.5 在物件追蹤 (Tracking)、視訊指稱分割 (Video Referring Segmentation)、時間定位 (Temporal Grounding) 等特定視覺任務基準測試中表現優異，效能超越了其他 MLLM 模型，甚至在某些任務上達到了專業視覺模型的水平。例如，在 GOT-10k 物件追蹤基準測試中，InternVideo2.5 的 Success 指標達到了 71.5%，Pnorm 指標達到了 82.1%，顯著優於其他 MLLM 模型。
消融實驗 (Ablation Studies)： 消融實驗驗證了 HiCo 和 TPO 技術的有效性和相容性。實驗結果表明，HiCo 技術在減少 Token 數量的情況下，對短影片效能影響較小，但對長影片效能有一定影響，驗證了長上下文建模的重要性。同時，結合 HiCo 和 TPO 技術，可以進一步提升 MLLM 在短影片和長影片基準測試上的效能，證明了兩種技術的相容性和互補性。

5. 研究結論與貢獻

研究結論： 本研究成功證明了 長且豐富的上下文建模 (LRC) 是提升視訊多模態大型語言模型 (MLLM) 效能的有效途徑。透過提出的 HiCo 和 TPO 技術，InternVideo2.5 模型在視訊理解、長影片處理和細緻視覺感知等方面都取得了顯著的進展，大幅提升了 MLLM 在視訊領域的應用潛力。
學術貢獻：
開創性研究： 本研究首次針對如何實現長且豐富的上下文 (LRC) 以提升 MLLM 的記憶和專注力進行了全面而深入的研究，填補了該領域的研究空白。
技術創新： 提出的 HiCo 和 TPO 技術具有創新性，有效地解決了 MLLM 在長影片處理和細緻視覺感知方面的挑戰，為視訊 MLLM 的發展提供了新的技術思路。
框架整合： 將 HiCo 和 TPO 技術整合到一個統一的 LRC 框架中，並設計了高效的三階段漸進式訓練策略，為研究人員提供了可復現、可擴展的視訊 MLLM 研究平台。
效能突破： 開發的 InternVideo2.5 模型在多個視訊理解基準測試中取得了領先效能，證明了 LRC 方法的有效性，並為後續研究樹立了新的效能標竿。
研究的意義與影響： 本研究強調了多模態上下文解析度和豐富性在提升 MLLM 能力方面的重要性，為未來視訊 MLLM 的研究指明了方向。研究成果不僅在學術上具有重要價值，也具有廣闊的應用前景。例如，基於 InternVideo2.5 模型，可以開發出更智能的影片分析工具，用於影片內容理解、事件檢測、異常行為分析等；可以構建更自然的視訊對話系統，實現更流暢、更人性化的人機互動；可以應用於影片監控領域，提升監控系統的智能性和效率。

未來研究方向： 研究團隊也指出了未來研究可以進一步探索的方向：

更高效的長上下文處理技術： 雖然 InternVideo2.5 在長影片處理方面取得了進展，但處理長影片的計算成本仍然很高。未來需要研究更高效的長上下文處理技術，例如更輕量級的模型架構、更高效的注意力機制等，以降低計算成本，提升模型的可部署性。
擴展到推理相關領域： 目前的研究主要關注視覺上下文的建模，未來可以將 LRC 方法擴展到推理相關領域，例如影片因果推理、影片情節理解等，以更全面地提升 MLLM 的視訊理解和推理能力。
更豐富的模態資訊融合： 目前的研究主要關注視覺模態，未來可以探索如何將音訊、文字等其他模態的上下文資訊更好地融入 LRC 框架，實現更豐富、更全面的多模態資訊融合，進一步提升 MLLM 的效能。

6. 重點摘要

核心問題： 現有視訊 MLLM 在處理長影片和細緻視覺資訊方面存在不足，限制了其視訊理解能力。
創新方法： 提出 長且豐富的上下文建模 (LRC) 方法，包含 層次化 Token 壓縮 (HiCo) (提升長影片處理效率) 和 任務偏好最佳化 (TPO) (提升細緻視覺感知能力) 兩項核心技術。
模型突破： 開發 InternVideo2.5 模型，在多個視訊理解基準測試中取得領先效能，視訊記憶容量擴大六倍以上，並掌握專業級視覺感知能力。
技術驗證： 消融實驗證明 HiCo 和 TPO 技術有效且相容，LRC 方法為提升視訊 MLLM 效能提供了有效途徑。
未來方向： 未來研究可關注更高效的長上下文處理、推理能力擴展、以及更豐富的多模態資訊融合。

7. 學習重點與延伸思考

學習重點：

深入理解多模態大型語言模型 (MLLM) 在視訊理解任務中面臨的長上下文處理和細緻視覺感知兩大核心挑戰。
掌握 長且豐富的上下文建模 (LRC) 的設計理念，重點理解 層次化 Token 壓縮 (HiCo) 和 任務偏好最佳化 (TPO) 的具體技術細節和優勢。
分析 InternVideo2.5 模型在各項基準測試中取得優異效能的原因，思考 LRC 方法在提升視訊 MLLM 效能方面的關鍵作用。

延伸思考問題：

實際應用啟示： InternVideo2.5 的成功是否意味著未來視訊分析、影片監控、人機互動等應用將迎來重大突破？例如，你認為 InternVideo2.5 在智能影片剪輯、自動駕駛場景理解、遠程醫療視訊診斷等方面有哪些潛在應用價值？
技術改進方向： HiCo 和 TPO 技術雖然有效，但在實際應用中可能還面臨哪些挑戰？例如，HiCo 在極端長影片下的資訊壓縮是否會導致關鍵資訊丟失？TPO 在處理更複雜、更開放的視覺任務時是否需要進一步改進？你認為未來可以從哪些方面對這兩種技術進行優化和提升？
跨模態融合的未來： 本研究主要關注視覺模態的上下文建模，你認為未來如何將音訊、文字等其他模態的上下文資訊更有效地融入到視訊 MLLM 中？例如，是否可以設計一種統一的跨模態上下文表示方法，讓模型能夠同時理解和利用來自不同模態的長程依賴關係？