SAM Audio— Meta开源的音频分割模型

SAM Audio是什么

sam audio 是由 meta 开源的一款面向音频分割的多模态模型，能够借助文本、视觉线索及时间区间等多种提示方式，从混叠复杂的音频信号中精准提取目标声源。其核心架构为 perception encoder audiovisual（pe-av），该模块继承自 meta 公开的 perception encoder 框架，具备跨模态对齐能力，可同步建模视频帧与音频时序特征，实现细粒度的时间定位与语义感知，从而支撑高保真音频分离。用户仅需输入自然语言指令（如“钢琴声”）、在视频画面中点击发声主体，或划定声音活跃的时间段，即可完成交互式音频提取。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

SAM Audio 的主要功能

• 多模态驱动的音频分离：支持文本描述、视频对象点选、时间范围标注等多种提示形式，灵活应对复杂混合音频中的目标声源提取任务。
• 全类型音频适配能力：兼容语音、器乐、环境音效等多样化音频内容，满足教育、娱乐、科研等多领域需求。
• 无参考式质量评估体系：内嵌 SAM Audio Judge 评测模块，无需原始干净音轨作为基准，直接从听感维度量化分离效果。
• 真实场景导向的评测基准：推出 SAM Audio-Bench——业界首个基于真实录音构建的音频分离评测集，涵盖多类声学场景与提示模态，并原生支持无参考评估协议。
• 低延迟高效推理性能：推理速度优于实时处理标准，实时因子稳定在约 0.7，适用于长时音频批量处理与在线服务部署。
• 面向包容性技术的拓展探索：正联合听力健康机构推进落地实践，例如集成至智能助听设备，提升听障用户在嘈杂环境下的语音可懂度，推动音频人工智能的社会普惠价值。

SAM Audio 的技术原理

• 视听协同感知编码器（PE-AV）：以 Meta 开源的 Perception Encoder 为基础进行定制化扩展，可逐帧解析视频视觉特征，并与音频隐空间表征动态对齐，生成兼具时空精度与语义深度的联合表征，为后续分离提供强约束引导。
• 流匹配扩散 Transformer 架构：采用生成式建模范式，将混合音频与多模态提示统一映射至共享潜在空间，通过迭代去噪过程同步生成目标音轨与残余背景音轨，天然兼容文本、图像、时间戳等异构提示输入。
• 大规模混合音频预训练策略：融合高质量真实采集数据与可控合成数据进行联合训练，覆盖人声对话、交响乐片段、城市环境噪声等多种典型声学事件，并引入物理启发式混音建模方法，显著增强模型在真实噪声条件下的鲁棒性与泛化表现。
• 感知驱动的无参考评测模型：SAM Audio Judge 基于人类听觉感知建模，从清晰度、分离度、失真度等维度构建客观评分函数，摆脱对理想参考音频的依赖，更贴近实际听感反馈。
• 真实世界音频分离基准平台：SAM Audio-Bench 不仅包含多样化的真实录音样本，还系统定义了多种提示类型（单模态/跨模态/组合式）与评估协议，成为验证模型实用性能的关键基础设施。

SAM Audio 的项目地址

• 项目官网：https://www./link/d0f1a9b2f77a08666d7e113e418643d0
• Github 仓库：https://www./link/dc1cbc41907e34848f23d60c29130410

SAM Audio 的应用场景

• 专业级音频净化：自动识别并剔除播客、会议录音中的突发干扰声（如宠物吠叫、键盘敲击、空调噪音），显著提升语音清晰度与后期制作效率。
• 音乐创作与再编辑：支持从完整曲目中独立提取主唱、鼓组、贝斯等轨道，便于 Remix、翻唱伴奏制作或音色分析，赋能数字音乐工作流。
• 辅助听力技术升级：正与助听器厂商开展联合研发，将 SAM Audio 的实时声源聚焦能力嵌入边缘硬件，实现在多人交谈或公共场所中动态增强目标说话人语音。
• 智能视频音频解耦：在剪辑过程中，通过点击视频中正在演奏的乐器手部区域，即可一键提取对应乐器音轨，大幅简化音画同步与声音重设计流程。
• 声学研究与生态监测：为生物声学、城市噪声图谱绘制、野生动物叫声识别等科研任务提供可解释、可复现的音频切分工具，助力非结构化声音数据的价值挖掘。