多模态 Agent 感知融合的统一框架

设有多模态随机变量集合 {X₁, X₂, ..., Xₙ}，其中 Xᵢ 表示第 i 个模态

1. 联合熵（Joint Entropy）:
   H(X₁, X₂, ..., Xₙ) = -Σ p(x₁, x₂, ..., xₙ) log p(x₁, x₂, ..., xₙ)
   
   含义：多模态系统的总不确定性

2. 条件熵（Conditional Entropy）:
   H(Xᵢ | Xⱼ) = -Σ p(xᵢ, xⱼ) log p(xᵢ | xⱼ)
   
   含义：已知模态 Xⱼ 后，Xᵢ 的剩余不确定性

3. 互信息（Mutual Information）:
   I(Xᵢ; Xⱼ) = H(Xᵢ) - H(Xᵢ | Xⱼ)
             = H(Xᵢ) + H(Xⱼ) - H(Xᵢ, Xⱼ)
   
   含义：模态 Xᵢ 和 Xⱼ 共享的信息量
   
   性质：
     • I(Xᵢ; Xⱼ) ≥ 0（非负性）
     • I(Xᵢ; Xⱼ) = I(Xⱼ; Xᵢ)（对称性）
     • I(Xᵢ; Xⱼ) = 0 当且仅当 Xᵢ 和 Xⱼ 独立

4. 条件互信息（Conditional Mutual Information）:
   I(Xᵢ; Xⱼ | Y) = H(Xᵢ | Y) - H(Xᵢ | Xⱼ, Y)
   
   含义：在给定 Y 的条件下，Xᵢ 和 Xⱼ 的互信息

5. 多变量互信息（Multivariate Mutual Information）:
   I(X₁; X₂; ...; Xₙ) = Σ H(Xᵢ) - H(X₁, X₂, ..., Xₙ)
   
   含义：所有模态共享的信息量（可能为负）

关键洞察：
  • 互信息大 → 模态间冗余度高
  • 互信息小 → 模态间互补性强
  • 最优融合：平衡冗余与互补
                        

问题设定：
  • 隐藏状态：Z（待估计的真实状态）
  • 多模态观测：X = {X₁, X₂, ..., Xₙ}
  • 目标：计算后验概率 P(Z | X₁, X₂, ..., Xₙ)

贝叶斯公式：
  P(Z | X) = P(X | Z) · P(Z) / P(X)
  
  其中：
    P(Z): 先验概率（融合前的信念）
    P(X | Z): 似然函数（多模态观测的联合概率）
    P(Z | X): 后验概率（融合后的信念）
    P(X): 证据（归一化常数）

条件独立假设（朴素贝叶斯）:
  假设给定 Z 时，各模态观测条件独立：
  P(X₁, X₂, ..., Xₙ | Z) = ∏ᵢ P(Xᵢ | Z)
  
  则后验概率为：
  P(Z | X) ∝ P(Z) · ∏ᵢ P(Xᵢ | Z)
  
  对数形式（便于计算）:
  log P(Z | X) = log P(Z) + Σᵢ log P(Xᵢ | Z) + const

加权贝叶斯融合（处理模态可靠性差异）:
  P(Z | X) ∝ P(Z) · ∏ᵢ [P(Xᵢ | Z)]^wᵢ
  
  其中 wᵢ 是模态 i 的权重，反映其可靠性
  
  权重确定方法：
    • 基于方差：wᵢ ∝ 1/σᵢ²（方差越小权重越大）
    • 基于置信度：wᵢ = confidenceᵢ
    • 自适应学习：通过训练学习权重

示例：多模态目标识别
  模态：视觉 Xᵥ, 雷达 Xᵣ, 红外 Xᵢ
  假设：P(目标|视觉)=0.8, P(目标|雷达)=0.7, P(目标|红外)=0.6
  先验：P(目标)=0.3
  
  融合后：
  P(目标 | Xᵥ, Xᵣ, Xᵢ) ∝ 0.3 × 0.8 × 0.7 × 0.6 = 0.1008
  归一化后得到最终概率
                        

系统模型：
  状态方程：xₜ = F·xₜ₋₁ + B·uₜ + wₜ
  观测方程：zₜ = H·xₜ + vₜ
  
  其中：
    xₜ: 状态向量
    F: 状态转移矩阵
    uₜ: 控制输入
    wₜ ~ N(0, Q): 过程噪声
    zₜ: 观测向量
    H: 观测矩阵
    vₜ ~ N(0, R): 观测噪声

卡尔曼滤波两步：

1. 预测步（时间更新）:
   状态预测：x̂ₜ|ₜ₋₁ = F·x̂ₜ₋₁|ₜ₋₁ + B·uₜ
   协方差预测：Pₜ|ₜ₋₁ = F·Pₜ₋₁|ₜ₋₁·Fᵀ + Q

2. 更新步（测量更新）:
   卡尔曼增益：Kₜ = Pₜ|ₜ₋₁·Hᵀ·(H·Pₜ|ₜ₋₁·Hᵀ + R)⁻¹
   状态更新：x̂ₜ|ₜ = x̂ₜ|ₜ₋₁ + Kₜ·(zₜ - H·x̂ₜ|ₜ₋₁)
   协方差更新：Pₜ|ₜ = (I - Kₜ·H)·Pₜ|ₜ₋₁

多传感器融合策略：

方法 1：顺序更新（Sequential Update）
  对每个传感器依次进行更新：
  for each sensor i:
    Kₜⁱ = P·Hᵢᵀ·(Hᵢ·P·Hᵢᵀ + Rᵢ)⁻¹
    x̂ = x̂ + Kₜⁱ·(zᵢ - Hᵢ·x̂)
    P = (I - Kₜⁱ·Hᵢ)·P
  
  优点：实现简单
  缺点：更新顺序影响结果

方法 2：批量更新（Batch Update）
  将所有传感器观测堆叠：
  z = [z₁; z₂; ...; zₙ]
  H = [H₁; H₂; ...; Hₙ]
  R = block_diag(R₁, R₂, ..., Rₙ)
  
  然后执行标准卡尔曼更新
  
  优点：数学最优
  缺点：计算复杂度高

方法 3：信息滤波（Information Filter）
  使用信息矩阵 Y = P⁻¹ 和信息向量 y = Y·x̂
  
  信息形式融合：
  Yₜ|ₜ = Yₜ|ₜ₋₁ + Σᵢ Hᵢᵀ·Rᵢ⁻¹·Hᵢ
  yₜ|ₜ = yₜ|ₜ₋₁ + Σᵢ Hᵢᵀ·Rᵢ⁻¹·zᵢ
  
  优点：融合操作简单（直接相加）
  缺点：需要矩阵求逆

扩展卡尔曼滤波（EKF）处理非线性：
  线性化：Fₜ = ∂f/∂x|ₓ̂, Hₜ = ∂h/∂x|ₓ̂
  然后应用标准卡尔曼滤波
                        

1. 缩放点积注意力（Scaled Dot-Product Attention）:
   
   Attention(Q, K, V) = softmax(QKᵀ/√dₖ) · V
   
   其中：
     Q: 查询矩阵（Query）
     K: 键矩阵（Key）
     V: 值矩阵（Value）
     dₖ: 键的维度
     √dₖ: 缩放因子，防止梯度消失

2. 多头注意力（Multi-Head Attention）:
   
   MultiHead(Q, K, V) = Concat(head₁, ..., headₕ)·Wᴼ
   
   headᵢ = Attention(Q·Wᵢᵠ, K·Wᵢᴷ, V·Wᵢⱽ)
   
   其中：
     Wᵢᵠ, Wᵢᴷ, Wᵢⱽ: 第 i 个头的投影矩阵
     Wᴼ: 输出投影矩阵
     h: 头数量（通常 8 或 16）
   
   优势：
     • 并行关注不同子空间的信息
     • 增强模型表达能力

3. 自注意力（Self-Attention）:
   
   输入来自同一模态：Q = K = V = X·W
   
   应用：模态内特征增强
   示例：Vision Transformer 中的图像块自注意力

4. 交叉注意力（Cross-Attention）:
   
   查询来自模态 A，键值来自模态 B：
   Q = X_A·W_Q, K = X_B·W_K, V = X_B·W_V
   
   Attention_A←B = softmax(Q·Kᵀ/√d) · V
   
   应用：跨模态信息融合
   示例：语言查询视觉特征（视觉问答）

注意力权重可视化：
  • 显示模型关注哪些区域/时刻
  • 提供可解释性
  • 诊断融合效果
                        

架构组件：

1. 模态编码器:
   视觉编码器：Vision Encoder (ViT/CNN)
     输入：图像 I
     输出：视觉特征序列 V = [v₁, v₂, ..., vₙ]
   
   语言编码器：Text Encoder (BERT/Transformer)
     输入：文本 T
     输出：语言特征序列 L = [l₁, l₂, ..., lₘ]

2. 模态投影:
   将不同模态投影到统一维度 d_model:
   V' = V·W_v, L' = L·W_t
   
   添加位置编码：
   V'' = V' + P_v, L'' = L' + P_t

3. 多模态编码器层:
   
   每层包含：
   a) 模态内自注意力:
      V_out = SelfAttention(V'')
      L_out = SelfAttention(L'')
   
   b) 跨模态交叉注意力:
      V_attend_L = CrossAttention(Q=V_out, K=L_out, V=L_out)
      L_attend_V = CrossAttention(Q=L_out, K=V_out, V=V_out)
   
   c) 前馈网络:
      FFN(x) = GELU(x·W₁ + b₁)·W₂ + b₂
   
   d) 层归一化与残差连接:
      LayerNorm(x + SubLayer(x))

4. 融合策略:
   
   策略 1：早期融合（Early Fusion）
     在输入层拼接：[CLS_V, V, SEP, CLS_T, T]
     然后输入多模态 Transformer
   
   策略 2：晚期融合（Late Fusion）
     分别编码后，在顶层融合
     融合方式：拼接、相加、注意力池化
   
   策略 3：混合融合（Hybrid Fusion）
     多层交叉注意力，逐步融合
     示例：ViLBERT, LXMERT

典型架构对比：

  ViLBERT (2019):
    • 双流架构：视觉流 + 语言流
    • 层间交叉注意力
    • 应用：VQA, 视觉语言推理
  
  LXMERT (2019):
    • 三部分组成：视觉编码器、语言编码器、交叉编码器
    • 多层交叉注意力
    • 应用：视觉问答，指代表达理解
  
  UNITER (2020):
    • 单流架构：早期融合
    • 统一 Transformer 处理
    • 应用：多模态预训练
                        

LLaVA = CLIP ViT + MLP 投影 + LLaMA

组件：

1. 视觉编码器：CLIP ViT-L/14
   输入：图像（336×336）
   输出：视觉特征 V ∈ ℝ^(576×1024)

2. 投影层：2 层 MLP
   V' = MLP(V) ∈ ℝ^(576×4096)
   将视觉特征投影到语言模型空间

3. 语言模型：LLaMA (7B/13B/33B)
   输入：[图像特征 V', 文本指令 T]
   输出：文本响应

训练策略：

阶段 1：特征对齐预训练
  数据：595K 图文对（LAION-CC-SBU）
  目标：训练投影层，冻结 ViT 和 LLM
  损失：语言建模损失

阶段 2：视觉指令微调
  数据：158K 指令跟随数据（LLaVA-Instruct）
  目标：微调投影层 + LLM
  任务：视觉问答、对话、推理

关键创新：
  • 简单有效的架构设计
  • 高质量指令微调数据
  • 开源生态，社区驱动

变体：
  • LLaVA-1.5：改进投影，更高分辨率
  • LLaVA-NeXT：支持多图像、视频
  • LLaVA-Plus：工具使用能力