香港科技大学研究新突破：一个"翻译官"同时读懂视频和声音

这项由香港科技大学研究团队主导的香港新突成果以预印本形式于2026年6月29日发布，论文编号为 arXiv:2606.30811v1，科技归属于计算机视觉领域。大学懂视读者可通过该编号在arXiv平台获取完整技术文档。研究

你是破个频和否曾有过这样的体验：观看无声视频时感到缺失，或聆听音频时脑海中自动浮现画面？翻译人类大脑天生具备视听联觉能力，例如看到拍手动作时，官同会同步感知碰撞声与动作，时读声音二者在大脑中构成统一认知单元，香港新突而非独立信息流。科技

然而，大学懂视在AI生成“有声视频”时，研究传统架构面临核心瓶颈——“表示差距”（Representation Gap）。破个频和现有系统通常部署两个独立的翻译“翻译官”（分词器），分别处理图像和声音。官同由于两者语言体系不通，常导致声画错位：枪声先于开枪动作、音乐节拍与舞步脱节、口型与语音不符。这一长期阻碍多模态生成质量的核心难题，被香港科技大学团队通过全新架构彻底重构。

团队提出了一种颠覆性思路：摒弃双分支独立处理，转而培养一个精通视听的“双语翻译官”，将视频与音频统一编码至同一语言系统。基于此，团队推出了 AVTok（Audio-Video Tokenizer），这是该领域首个系统性挑战表示差距的统一音视频分词器。

一、 破局：为何现有“双流水线”注定声画分离？

要理解AVTok的价值，需先审视主流AI视频生成的底层逻辑。现有方案多采用双分支架构，如同工厂内两条独立流水线：一条处理视频，一条处理音频。各自使用预训练分词器将媒体内容压缩为数字代码，再由生成模块分别重建。

核心缺陷在于“语言不通”：
两套分词器从未在统一语境下学习。如同英语母语者与中文母语者，思维逻辑与表达习惯截然不同，导致“音频语言”与“视频语言”间存在天然鸿沟。即便后续生成模型试图对齐，也难以跨越这道语义断层。

可视化证据：
研究团队利用t-SNE降维技术，将视频与音频编码后的特征投影至二维平面。结果显示，两类特征点如两群互不相干的人，各自聚集且中间存在巨大空白，极少交叠。这证实了现有系统生活在两个隔离的世界中。相比之下，AVTok的结果显示，同一语义类别（如“狗叫”与“狗的视频”）的特征点开始紧密聚集、交融，这种融合正是实现精准音画对应的基础。

二、 核心创新：构建统一的“视听词典”

统一表示的首要挑战是解决视频与音频在数据维度上的先天差异：

1. 视频（三维）：包含宽、高、时间维度，传统分词器倾向于保留空间结构的三维代码块。
2. 音频（一维/二维）：本质为随时间变化的声波（一维序列），或转换为梅尔频谱图（二维图像）。

突破点：一维离散化
借鉴视觉领域最新进展（如LARP等工作），研究证实视频亦可被压缩为一维离散代码序列。这种表示方式与自回归模型（Autoregressive，擅长逐序生成）高度契合。既然音频编码器本就是一维的，而视频现在也能是一维的，两者在格式上便实现了打通。

AVTok团队选定一维离散潜在表示作为统一格式，建立起涵盖视听内容的统一“词典”。

三、 架构设计：双流变压器与共享大脑

AVTok的编解码器基于Transformer架构，其设计灵感源自CAV-MAE系列工作，但进行了根本性改造。

比喻理解：
将AVTok想象为一个服务于中英双语读者的图书馆。图书馆主体（书架、管理系统）是共用的，但每种语言拥有专属的分类索引（模态专属组件）。

具体实现：
1. 双流前向传播（Dual-Stream）：视频补丁与音频梅尔频谱图补丁分别进入编码器，走独立的前向路径。
2. 参数共享与隔离：
* 共享部分：绝大部分Transformer参数（自注意力层、前馈网络等）完全共享，促进模态间隐性对话。
* 专属部分：每个模态拥有独立的归一化层参数和可学习查询向量，保护各自独特特征不被淹没。

输出结构：
* 视频流输出 1024个整体性离散代码（Holistic Tokens）。
* 音频流输出 128个整体性离散代码。
* 合计 1152个代码，全部共用一个统一代码本（Codebook）。

解码重建：
* 视频流通过1024个查询向量重建帧。
* 音频流通过120个查询向量重建梅尔频谱图，再经由预训练声码器（如HiFi-GAN）还原为波形。

对比实验：
团队测试了“单流版本”（直接拼接补丁），发现其音频重建质量显著低于双流版本，证实了模态专属组件对于保留独立特征的必要性。

四、 训练策略：VFAL分层训练法

视频与音频的信息密度差异巨大（视频像素信息远超音频频谱），若同时训练，模型会偏向视频，导致音频学习被压制。为此，团队设计了 VFAL（Video-First-Audio-Later）三阶段策略：

1. 第一阶段（75 Epochs）：视频优先
2. 音频专属组件休眠。
3. 模型专注学习视频的一维代码压缩与重建，建立稳固的离散潜在空间。
4. 第二阶段（35 Epochs）：音频接入
5. 冻结视频流与共享参数。
6. 仅更新音频专属查询向量与归一化层。
7. 利用已学会图像处理的共享编码器优势，加速音频频谱学习（类比钢琴手学电子琴）。
8. 第三阶段（10 Epochs）：联合微调
9. 对双流解码器进行联合微调，优化音视频重建的最终质量。

此策略确保每个模态在合适阶段获得充分“注意力”，避免相互干扰。

五、 语义对齐：引入“特级教练”

仅靠参数共享的隐性融合不足以挖掘深层语义对应。团队引入预训练基础模型 CAV-MAE Sync作为外部监督信号（“特级教练”）。

• 机制：强制AVTok提取的特征与CAV-MAE Sync提取的对应特征保持一致。
• 损失函数：引入表示对齐损失 $L_{rep}$，最大化特征相似度。
• 效果：基础模型在推断阶段被丢弃，不增加计算负担。消融实验显示，移除该损失后，音频重建rFAD指标从5.93恶化至8.48，证明其对提升语义对齐至关重要。

六、 自回归先验：赋予代码“顺序逻辑”

统一编码后的1152个代码若无顺序，自回归生成模型将无法工作。团队引入轻量级先验模型 MP（基于GPT-2）：

• 目标：通过“下一个代码预测”（NTP）任务，引导编码器生成具有有序结构的代码序列。
• 双向支持：同时训练 $x_v || x_a$（视频前音频后）和 $x_a || x_v$（音频前视频后）两种顺序，支持双向生成任务。
• 权衡：消融实验发现，移除先验模型虽能提升重建精度（rFVD 10.63, rFAD 3.47），但严重损害下游生成任务质量。这表明先验模型牺牲了少量重建精度，换取了对生成任务更友好的代码结构。

七、 部署优化：训练后“隐身”

CAV-MAE Sync基础模型与自回归先验模型MP仅在训练阶段引导优化。最终部署的AVTok仅包含编解码器与代码本，保持轻量高效，无额外推理开销。

八、 下游应用：一套代码，三种任务

AVTok的1152个统一代码可直接接入自回归生成模型，支持三类任务：

1. 音频到视频（A2V）：输入128个音频代码，预测1024个视频代码，生成对应画面。
2. 视频到音频（V2A）：输入1024个视频代码，预测128个音频代码，生成对应音效/语音。
3. 类条件联合生成（cJAVG）：输入类别标签（如[CLS]“狗叫”），同时生成视听代码，实现从零创造。

所有任务共用同一套分词器（208.4M参数）与生成模型（~632M参数），无需为不同任务单独训练，体现统一表示的高效性。

九、 性能实测：超越单模态对手

在VGGSound（20万条）和TAVGBench（170万条）数据集上的实验显示：

1. 重建质量：
* 视频：相比单模态最强对手LARP，AVTok的PSNR从24.53提升至25.62，rFVD从14.24降至12.80，LPIPS从0.137降至0.126。音频信息的辅助提供了额外语义约束，反而提升了视频重建质量。
* 音频：rFAD为5.93，优于WavTokenizer（6.82）和UniCodec（6.73），略逊于专用模型SpectralCodec（5.56），但在统一模型中表现卓越。

2. 生成任务：
* A2V：gFVD为150.26，远优于TempoTokens（786.61）；IB-Score提升至0.143；参数量仅为对比方法的1/3。
* V2A：gFAD为49.47，位居第二（仅次于MMAudio的17.09），但参数量不足MMAudio一半，且生成耗时（1.395秒）与MMAudio（1.304秒）持平。
* cJAVG：gFVD 138.80，gFAD 56.58，大幅超越JavisDiT和Ovi；生成耗时仅12.755秒，而Ovi需87.282秒，JavisDiT需32.240秒。

3. 计算效率：
AVTok生成管线TFLOPs仅为1.82-3.48，而JavisDiT需2600，Ovi需14990，效率差距达数百至数千倍。

十、 局限与展望

团队坦诚指出当前局限：
1. 数据规模：训练数据有限（64万条），场景多集中于动物、乐器等，复杂场景生成仍有瑕疵。
2. 分辨率限制：受Transformer位置编码限制，目前仅支持128×128视频与~4秒音频，工业级应用需更高规格。
3. 时间同步：依赖隐性参数共享，缺乏显式同步建模，对口型、精准节拍匹配等高精度任务仍有提升空间。
4. 训练复杂度：VFAL策略需多阶段调参，未来需探索单阶段端到端方案以降低门槛。

总结

AVTok的核心贡献在于让AI像人类一样，将视听视为整体而非孤立信息。通过双流共享编解码器、模态专属查询向量、三阶段分层训练及语义对齐监督，团队成功弥合了表示差距。

对于用户而言，这意味着更低成本、更高语义一致性的有声视频生成体验。对于研究者而言，AVTok证明了统一多模态离散表示结合精心设计的分流架构，是挑战大参数双分支方案的有效替代路径。

完整技术细节、损失函数权重及可视化样本，请查阅 arXiv:2606.30811v1。研究团队承诺公开代码、模型检查点及数据集。

Q&A

Q1：AVTok与普通视频生成AI的本质区别是什么？
A：普通AI使用两套独立系统处理视听，导致“语言不通”和声画不匹配。AVTok使用共用编解码器，将视听压缩至同一组数字代码，使两者在统一“语言环境”中学习，从而实现天然的语义对齐。

Q2：AVTok的1152个代码是如何分配的？
A：视频编码为1024个离散代码，音频编码为128个离散代码。视频代码数量更多，反映了其更高的信息密度。所有代码均来自同一个共享代码本。

Q3：为何采用“先视频后音频”（VFAL）的训练策略？
A：视频信息密度远高于音频，同步训练会导致模型注意力偏向视频，压制音频学习。先训练视频流稳固共享参数，再冻结并训练音频专属组件，如同“先打地基后装修”，确保两种模态均获得充分训练。

很赞哦!（88）