这项由清华大学东谈主民大学AIM3现实室的徐博申、肖子涵等揣摸者与小米公司MiLM Plus团队和谐完成的揣摸，于224年11月发表在arXiv预印本平台，论文编号为arXiv:2511.16595v1。该揣摸次冷漠了种大约处理长的搀杂架构视觉语言模子TimeViper，象征着AI相识才气的进攻冲破。

遐想下，若是要让个东谈主看完部两小时的电影然后回复问题，这对东谈主类来说并不勤恳。但对于现存的AI系统，这却是个庞杂的挑战。大多数AI模子在处理时就像是个顾虑力有限的学生，看了几分钟就出手健忘前边的内容，别说相识长达数小时的内容了。清华大学和小米的揣摸团队意志到了这个问题的要道，因为在骨子应用中，论是安监控、涵养培训，照旧文娱内容分析，咱们平凡需要处理的都是万古间的素材。

传统的AI相识模子濒临两个主要窘境。个窘境可以比作个策画才气有限的大脑，当变万古，处理所需的策画资源会急剧加多，就像试图同期记着无独有偶个细节样让东谈主不胜重任。二个窘境则是信息冗余问题，中存在大批重叠或不进攻的画面，就像本书里有许多重叠的段落，占用了难得的"留意力"资源。

揣摸团队的管束案TimeViper选择了种奥密的搀杂架构遐想。这种遐想就像是组建了个业的分析团队，其中Mamba层谨慎快速浏览和顾虑万古间序列信息，就像个善于速读的助手，大约快速扫描大批内容并记着要道信息。而Transformer层则像是个缜密的分析师，注于入相识和分析进攻细节。这两种不同特长的"职工"协同职责，既保证了处理率，又保管了相识质料。

令东谈主印象刻的是，揣摸团队在分析这种搀杂架构时发现了个真谛的征象，他们称之为"视觉到文本信息团聚征象"。这就好比在看电影的过程中，不雅众初会被千般视觉细节引诱，但跟着剧情入，这些视觉信息会缓温暖会成对故事情节和东谈主物的相识，终酿成可以用语言抒发的贯通。在AI模子中，也发生着雷同的过程：在处理的早期阶段，模子注于视觉token的细节，但在后期阶段，这些视觉信息会缓缓汇注到文本token中，酿成可以用天然语言抒发的相识。

基于这个发现，揣摸团队遐想了TransV模块，这个模块的职责旨趣就像是个智能的信息整理助手。当发现某些视觉信息依然被充分相识并滚动为语言见地后，TransV会将这些冗余的视觉token压缩鼎新，开释出多的策画资源用于处理新的内容。这种机制使得TimeViper大约处理过1帧的内容，特出于可以分析数小时的清素材。

、搀杂架构的遐想灵敏

TimeViper的中枢立异在于其搀杂架构遐想，这种遐想奥密地纠了两种不同AI期间的势。可以把这个遐想遐想成个的藏书楼系统：Mamba层就像是藏书楼的快速检索系统，大约飞速定位和记载大批竹素的位置信息，处理速率快且占用的存储空间很小。而Transformer层则像是业的揣摸助理，天然职责较慢，但大约入分析每本书的详备内容，相识复杂的见地关连。

在具体竣事中，TimeViper选择了27个Mamba-2层、4个自留意力层和25个MLP层委果立。这种确立比例经过全心遐想，确保了率和能的佳平衡。Mamba-2层通过状况空间模子来景仰个紧凑的守密状况，这个状况就像是个不休新的"顾虑节录"，大约将历史信息压缩存储，而不会跟着序列长度的加多而线增长。

比拟之下，传统的纯Transformer架构就像是条目个东谈主同期记着中每帧的每个细节，这不仅铺张庞杂的策画资源，还会致留意力分散。TimeViper的搀杂遐想则像东谈主类不雅看的式：咱们会快速浏览举座内容，同期在要道时刻聚留意力进行入分析。

这种遐想的另个势体当今处理长序列时的策画复杂度上。传统Transformer的策画复杂度会跟着输入长度的平增长，就像处理的内容加多倍，所需的策画量却要加多四倍。而TimeViper中的Mamba层保抓线复杂度，意味着内容加多倍，策画量也只加多倍，这使得处理长成为可能。

二、视觉信息流动的新发现

揣摸团队在分析TimeViper的职责机制时，无意发现了个其进攻的征象：视觉信息在模子里面的流动受命着特定的执法。这个发现就像是揭开了AI"不雅看"时大脑想维的神秘面纱。

为了考证这个征象，揣摸团队遐想了奥密的信息阻断现实。他们诚堵截视觉信息向文本信息的传递通谈，不雅察模子能的变化。收尾发现，在处理问答任务时，若是在模子的浅层阻断视觉到指示的信息流，模子能会急剧下落。但跟着层数加，这种阻断的影响越来越小，到了层险些莫得影响。这阐发在层，指示token依然充分接管了视觉信息。

真谛的是，不同类型的任务施展出不同的信息流模式。对于需要回复对于内容问题的任务，视觉信息主要流向指示token，然后由指示token生成回复。这就像是先看电摄影识剧情，再用我方的话往复复问题。而对于需要详备形内容的任务，视觉token会获胜参与生成过程，就像是边看边进行现场阐发。

这个发现不仅具有进攻的表面好奇，也为骨子应用提供了指。它标明在模子的不同头绪，视觉token的进攻是动态变化的。在浅层，统共视觉信息都很进攻，因为模子正在确立对内容的初步相识。但在层，大部分视觉信息依然被消化接管，变成了可以用语言抒发的见地。

揣摸团队通过大批现实考证了这个征象的普遍。他们在多个不同的基准数据集上进行测试，包括多选问答、时序定位和详备形等任务，都不雅察到了相似的信息流动模式。这标明这个征象并非有时，而是搀杂架构模子处理多模态信息的内在执法。

三、TransV模块的智能压缩机制

基于对视觉信息流动执法的入相识，揣摸团队拓荒了TransV（Token Transfer with Vision）模块，这是统共这个词TimeViper系统中具立异的组件。TransV的职责旨趣可以比作个相等明智的整理，它大约识别哪些视觉信息依然被充分相识和滚动，然后将这些信息整压缩，为处理新内容腾出空间。

TransV选择了两种不同的压缩政策，就像是两种不同的整理法。在模子的浅层，它使用均匀丢弃政策，就像是在看本厚厚的画册时，每隔几页就跳过页，确保可以过进攻内容的同期减少处理职守。这种政策在浅层使用是因为此时模子还在确立对的举座相识，需要保抓相对平衡的信息采样。

在模子的层海南设备保温厂家，TransV转而使用留意力引政策，这就像是个有教养的剪辑，大约识别哪些内容信得过进攻，哪些可以概略。具体来说，它管帐算每个视觉token受到指示token的柔柔进度，那些柔柔度低的token被以为是冗余的，可以被安全地移除。这种政策在层使用是因为此时模子依然具备了判断信息进攻的才气。

TransV的中枢期间是门控交叉留意力机制。这个机制就像是个精密的信息过滤器，它不是肤浅地丢弃视觉信息，而是将有的信息索要出来，和会到指示token中。统共这个词过程分为两个设施：先通过交叉留意力策画索要要道的视觉特征，然后通过可学习的门控参数决定和会的进度。门控参数的启动值设为，这确保了在历练初期不会龙套模子的原有能。

这种遐想的奥密之处在于它是渐进式的。在TimeViper中，TransV被部署在7层（使用均匀政策，丢弃率5）和39层（使用留意力引政策，丢弃率9）。这种分阶段的压缩就像是渐渐打理房间，先作念初步整理，再进行精细清算，既保证了率，又避了进攻信息的丢失。

现实收尾示，通过TransV的智能压缩，TimeViper大约处理过1帧的输入，这特出于大约分析长达数小时的清内容。进攻的是，这种压缩并莫得著毁伤模子的相识才气，在多个基准测试中，能下落都约束在很小的界限内。

四、特地的能施展与骨子应用

TimeViper在多个相识任务上都展现了令东谈主印象刻的能。在VideoMME这个概述问答基准上，TimeViper达到了58.8的平均准确率，过了Video-XL等门遐想的模子。这个收货尤其令东谈主诧异，铝皮保温因为TimeViper并莫得对视觉编码器进行微调，依靠其搀杂架构的势达到了竞争能。

在详备形任务上，TimeViper相同施展出。它大约生成详备、准确的形，准确率达到39.7，过了门针对此类任务遐想的AuroraCap模子。这标明TimeViper不仅大约相识内容，还大约用天然阐明的语言将相识滚动为翰墨抒发。

特出值得柔柔的是TimeViper在时序定位任务上的施展。在Charades数据集上，它达到了4.5的mIoU得分，著过了门的时序定位模子VTimeLLM-13B的34.6分。这个收尾特出令东谈主诧异，因为TimeViper只使用了肤浅的SigLIP位置编码，主要依靠Mamba层的隐式时序建模才气，就大约准确地在长中定位特定事件的发生期间。

从策画率的角度来看，TimeViper的势加明。在处理32个输入token（大要特出于2帧）并生成1个输出token的任务中，TimeViper比基于Transformer的Qwen2.5模子快4.1。这种率普及主要来自于Mamba层的线策画复杂度和低的缓存资本。当处理万古，这种率势会加隆起。

揣摸团队还进行了详备的消融现实，考证了各个组件的孝敬。收尾示，搀杂架构自己就能带来著的能普及，而TransV模块逾越扩张了模子的处理才气，使其大约处理长的序列。即使在激进的压缩汲引下（保留9的视觉token），模子的能下落也很有限，这证明了TransV遐想的有。

在骨子应用场景中，TimeViper展现出了渊博的应用远景。对于监控系统，它大约分析长达数小时的监控摄像，自动识别荒谬事件并生成详备论说。在涵养域，它可以处理好意思满的课程摄像，索要要道学问点并回复学生问题。在文娱行业，它大约分析长篇影视作品，生成内容节录或进行情节分析。

五、期间细节与历练政策

TimeViper的历练过程选择了全心遐想的两阶段政策，这种政策就像是培养个业分析师的好意思满课程。阶段是基础对都阶段，就像是让模子学会"看图话语"的基本妙技。揣摸团队使用了3万质料的图像-文本对进行历练，这些数据来自CC12M和PixelProse数据集。在这个阶段，TransV模块被禁用，让模子注于学习视觉和语言之间的基本对应关连。

二阶段是视觉指示调阶段，这就像是让模子从基础学习转向业历练。这个阶段使用了约48万多模态指示数据，其中包括18万指示数据（主要开于LLaVA-Video数据集）、28万单图像指示数据（来自LLaVA-OneVision），以及千般卑鄙任务特定的数据集。这种丰富千般的历练数据确保了模子大约处理千般不同类型的相识任务。

在数据处理面，TimeViper选择了统的输入时局：系统教导token、token和指示token按措施罗列。这种遐想就像是给模子提供了个法度化的职责过程，论面对什么样的任务，都能以至的式处理。历练和评估过程中，都按照每秒1帧的频率采样，历练时过256帧的会被均匀采样到256帧，而评估时多使用前256帧。

每个输入帧的处理过程也经过了化。原始帧被养息到384×384永诀率，然后由ViT编码器处理成768个视觉token。接下来，投影器纠ToMe（Token Merging）期间将每帧压缩到16个token，这种压缩大大减少了后续处理的策画职守，同期保留了要道的视觉信息。

TransV模块的部署政策经过了缜密的遐想和现实考证。在7层使用5的均匀丢弃率，在39层使用9的留意力引丢弃率，这种确立在率和能之间找到了佳平衡点。揣摸团队还竣事了数据包期间来撑抓由TransV致的可变序列长度历练，这种期间大约有诓骗策画资源，加快历练过程。

化器确立也经过了全心养息。举座模子使用1e-5的学习率、AdamW化器、.1的权重衰减、.3的预热率和余弦退火调治器。对于TransV模块，揣摸团队选择了的5e-5学习率，这确保了新增模块大约快速稳当并施展作用。

六、入的模子分析与留意力可视化

为了好地相识TimeViper的职责机制，揣摸团队进行了入的留意力举止分析。这种分析就像是给AI作念"大脑扫描"，不雅察它在处理时的想维模式。收尾揭示了搀杂架构中不同头绪的特举止特征。

在Mamba层的留意力模式分析中，揣摸团队发现了令东谈主诧异的千般。不同的Mamba层施展出了门化的留意力模式：有些层施展出寥落，只柔柔少数要道token；有些层示局部，主要柔柔把握的token；还有些层施展出全局，对统共历史信息给以平衡柔柔。这千般种化的模式标明Mamba层在搀杂架构中酿成了单干，不同头绪谨慎拿获不同类型的时序依赖关连。

比拟之下，Transformer层的留意力模式加规整和可瞻望。揣摸团队不雅察到了明的"留意力汇注"征象，即大部分留意力权重聚在序列出手的几个token上。这种征象在Transformer模子中很常见，被称为"留意力汇注"，它匡助模子保抓长序列处理的稳当。

真谛的发现是TimeViper对视觉信息的抓续柔柔才气。通过策画不同类型token在各层接管到的平均留意力权重，揣摸团队发现TimeViper比纯Transformer模子大约在的头绪保抓对视觉信息的柔柔。这种特对于相识任务至关进攻，因为视觉信息时时需要与语言信息进行度和会才能产生准确的相识。

在定量分析中，揣摸团队还比较了TimeViper与法度Transformer模子在处理换取任务时的留意力散布互异。收尾示，在处理指示型任务时，TimeViper大约好地保抓视觉-文本之间的信息流动，而在处理生成型任务时，它大约让视觉信息获胜地参与输诞生成过程。

这些分析收尾不仅考证了揣摸团队对于视觉信息流动的表面假定，也为改日的模子考订提供了进攻指。通过相识不同头绪的特化，揣摸者可以有针对地遐想和化搀杂架构，逾越普及模子在长相识任务上的能。

七、局限与改日发展向

尽管TimeViper获取了著的后果，揣摸团队也西宾地指出了现时法的局限。先，天然TimeViper在期间上大约处理过1帧的输入，但现时的历练数据主要聚在较短的片断上。这就像是历练个马拉松选手，但主要的历练都在短距离跑谈上进行，骨子的长距离施展还需要逾越考证。

其次，由于历练资源的限定，TimeViper并莫得对视觉编码器进行微调。这种遐想聘用天然裁减了策画资本，但也可能限定了模子的终能上限。揣摸团队指出，若是有满盈的策画资源对统共这个词模子进行端到端历练，能还有逾越普及的空间。

在数据限制面，TimeViper使用的历练数据（约78万样本）比拟些大限制模子仍然有限。揣摸团队提到，同期的Nanov2-VL模子使用了467万历练样本，达到了的能施展。这标明数据限制仍然是影响模子能的进攻身分，改日的职责需要在数据集结和处理面参预多资源。

从期间发展的角度来看，TimeViper开启了搀杂架构在相识域的新篇章。揣摸团队指出，这项职责仅仅个出手，还有许多值得探索的向。比如，如何逾越化Mamba层和Transformer层的组比例，如何遐想加智能的信息压缩政策，如何扩张到多模态的信息处理等等。

改日的揣摸还可能探索加动态的压缩政策。现时的TransV模块使用固定的压缩率和头绪，但联想情况下，压缩政接应该笔据内容的复杂进度和任务需求进行为态养息。些肤浅重叠的内容可能需要激进的压缩，而复杂多变的内容则需要保留多细节。

另个有远景的向是将TimeViper的期间扩张到及时相识应用中。现时的模子主要针对离线分析，但许多骨子应用场景需要及时处理才气。这将需要在模子架构和算法化面进行逾越的立异。

说到底，TimeViper代表了AI相识期间发展的个进攻里程碑。它不仅展示了搀杂架构在处理长序列任务上的势，进攻的是，它为咱们相识AI模子里面的信息处理机制提供了新的视角。这种对模子"内心宇宙"的入知悉，对于拓荒加智能、的AI系统具有进攻好奇。

对于平方用户而言，TimeViper期间的熟识将带来加方便和智能的处理体验。改日，咱们可能会看到大约自动整理和节录庭摄像的应用，大约及时期析监控的安系统，以及大约相识和互动的涵养助手。这些应用将让AI信得过成为咱们数字活命中不能或缺的智能伙伴。

揣摸团队的这项职责不仅在期间层面具有进攻价值，在法论上也为AI揣摸社区提供了成心的启示。通过入分析模子里面的信息流动机制，再基于这些发现遐想相应的化政策，这种"相识然后考订"的揣摸范式值得多揣摸者模仿和发展。

对于有兴味入了解期间细节的读者，可以通过论文编号arXiv:2511.16595v1在arXiv平台上查询好意思满的揣摸论文。揣摸团队也在口头网站xuboshen.github.io/TimeViper/上提供了多的展示材料和期间商议。

Q&A

Q1：TimeViper比拟传统相识模子有什么势？

A：TimeViper选择了搀杂Mamba-Transformer架构，纠了两种期间的势。Mamba层大约以线复杂度快速处理长序列，而Transformer层提供度相识才气。这使得TimeViper在处理32k输入token时比Qwen2.5快4.1，同期大约处理过1帧的长，特出于数小时的内容。

Q2：TransV模块是如何职责的？

A：TransV是TimeViper的中枢立异，它基于"视觉信息会缓缓汇注到文本token"的发现遐想。该模块选择两种政策：在浅层使用均匀丢弃（丢弃率5），在层使用留意力引丢弃（丢弃率9）。通过门控交叉留意力机制，TransV不是肤浅删除视觉信息，而是将有信息鼎新到指示token中，既减少了策画职守又保留了要道信息。

Q3：TimeViper在骨子应用中施展如何？

A：TimeViper在多个基准测试中施展出，在VideoMME上达到58.8的准确率，在详备形任务上达到39.7分，在Charades时序定位任务上达到4.5的mIoU，均过了多个门遐想的模子。这意味着它可以应用于监控分析、涵养内容处理、影视分析等多个域，为用户提供智能的长相识作事。