多模态能力与边界：图文、语音与文档理解
理性认识视觉、语音、文档多模态能力，知道它们擅长什么、哪里不可靠、产品上如何兜底
- 理解多模态模型如何把图像/音频统一到表示空间
- 区分 OCR、视觉理解、图像生成的能力与局限
- 理解 ASR/TTS 与语音交互链路
- 掌握多模态场景的兜底与人工校验设计
多模态不是“万能眼睛和耳朵”
多模态模型能处理图像、音频、视频、文档这类非文本信息，体验提升很明显。但产品出问题，常是因为高估它的能力——把“能描述图片”错当成“能精确识别所有内容”。清楚它的能力边界，是做靠谱多模态产品的前提。
1.1 多模态是怎么实现的（直觉理解）
图像会被切成小块（patch）并编码成向量序列，音频会被切成帧/子词单元，再通过与文本对齐的方式，映射到与语言模型相近的表示空间，从而让同一个模型能“看图/听声说话”。这意味着多模态理解依然建立在 Token 化与注意力之上，同样受上下文长度、分辨率和概率本性的约束。
图像被采样/切分的粒度，直接决定了能看清多小的文字和细节。极小字号、密集表格、长截图里的角落信息，很容易因为下采样丢失。票据金额、证件号这类关键业务，不能只靠模型“看一眼”，得配合专门的 OCR 和规则校验。
1.2 三类容易混淆的能力
把三者混用是常见错误：让视觉理解模型去做高精度票据录入，或期待生成模型稳定产出正确文字。正确做法是各取所长、组合使用，并在关键信息处加确定性校验。
要从一张发票里准确提取金额用来报销，最稳的方案是什么？
1.3 语音链路：ASR、TTS 与全双工交互
语音交互一般分三段：ASR（自动语音识别，语音转文字）→ 大模型理解与生成 → TTS（文字转语音）。每段都有自己的错误率和延迟，端到端体验由最弱的那一环决定。
ASR 挑战：口音、噪声、专有名词、同音词、打断与重叠语音；可通过热词表、领域语言模型优化。TTS 挑战：自然度、情感、流式合成延迟；常见做法是分句合成、边生成边播。全双工：允许边听边说、随时打断，需要端点检测（判断用户是否说完）和回声消除，工程复杂度显著高于“按住说话”。
语音助手对延迟极敏感，用户说完到听到回应通常希望在 1 秒级。实际做的时候，会用流式 ASR、流式 LLM、首句优先 TTS 并行管线来压延迟，等待间隙插语气词或者状态反馈，别让用户觉得“没反应”。
1.4 文档与版面理解
PDF、扫描件、表格、公式、手写体是多模态的硬骨头。难点不只是认字，还有阅读顺序、跨页表格、合并单元格、图文对应。生产方案常把“版面分析 + OCR + 结构化抽取 + 模型理解”分层组合：先用确定性方法还原结构，再让模型在结构化文本上做理解，而不是直接把复杂版面整页丢给模型。
1.5 多模态产品的兜底原则
关键信息双保险：模型结果 + OCR/规则交叉验证；置信度可视化：让用户能快速核对识别结果并一键修正；失败可回退：识别不清时引导重拍、上传更清晰图或转人工；明确能力边界：不在产品宣传中承诺“100% 识别准确”。
多模态特有风险
对抗与误导：画面里的恶意文字、提示可能诱导模型（多模态版提示注入）；隐私：图像音频带人脸、声纹、位置这类敏感信息，得最小化采集，还要做脱敏；合规：有些行业对生物特征、证件采集有明确的法规要求。
下列对多模态能力的预期，最符合实际的是？
资深工程师加餐
底层原理 · 大厂视角 · 工程经验，点卡片展开
四大件：规划（任务分解、ReAct 思考-行动循环）、记忆（短期上下文 + 长期向量记忆）、工具（函数调用 / MCP 协议）、执行与自我校验。工程上真正难的不是让它「更聪明」，而是让它可中断、可回滚、全程可观测、每一步可验证、失败后能恢复——可靠性来自机制而非玄学。