LV-XAttn：长视频和多图输入的分布式交叉注意力

这份资料解决的问题

大量视觉token可能比文本侧查询长得多。LV-XAttn利用这种长度不对称，保留较大的键值块并交换较小的查询块，降低分布式交叉注意力通信。适用于理解长视频、多图模型的系统瓶颈；只有模型具有相应交叉注意力结构才有迁移基础，不能把它当成任意VLM的通用开关。

原始研究资料

原文题名：LV-XAttn: Distributed Cross-Attention for Long Visual Inputs in Multimodal Large Language Models。

作者：Tzu-Tao Chang、Shivaram Venkataraman。

原始发表入口：LV-XAttn: Distributed Cross-Attention for Long Visual Inputs in Multimodal Large Language Models。本页上方提供完整、未经删改的原始PDF，可在线阅读或直接下载。中文文字是独立导读，不冒充全文译文；实验设置、算法公式、消融结果和附录以完整PDF为准。

引用与许可

原始文献及本文引用请保留作者、题名、原发表机构与原文地址。原文采用CC BY 4.0许可，本地副本保留原有署名和出版信息。