01 / VOICE PIPELINE

语音链路

端到端流式:说话即出字,模型边生成边合成,首字延迟控制在 800ms 内。全链路可私有化部署,信众语音不出寺。

拾音手机 / 电话 / 客堂终端WebRTC · 16k
VAD 断句静音检测 · 打断恢复Silero VAD
流式 ASR边说边出字 · 方言适配Whisper / Paraformer
意图 + 槽位灯型/法事/日期/对象/金额Qwen3-4B LoRA
知识与工具法务知识库 · 下单 · 支付RAG + Function Call
克隆 TTS法师音色 · 流式合成CosyVoice2
回传手机播放 · 手办亮灯 · 灯阵MQTT / SSE
关键取舍:意图识别不走云端大模型。把 70B 的判别能力蒸馏到 4B,本地单卡可跑,单次推理 120ms,且信众原声不出内网。
02 / DISTILLATION

三步把「会聊天」变成「会办事」

STAGE 1

造数据

用大模型批量生成 2 万条法务对话,覆盖 9 类意图、方言口语、答非所问与情绪表达。

  • 寺内真实问答 800 条作种子
  • 大模型扩写 + 人工校核 10%
  • 负样本:闲聊、投诉、敏感话题
STAGE 2

蒸馏 + 微调

教师模型打标,学生模型学「意图 + 槽位 + 该不该转人工」,不学文采。

  • 基座 Qwen3-4B-Instruct
  • LoRA r=16,单卡 4090 约 6 小时
  • 产出:4bit 量化 2.3GB,可离线
STAGE 3

对齐寺庙

每个寺有自己的课诵表、灯位价目、知客流程。用配置而非改模型。

  • YAML 配置:价目 / 时段 / 话术
  • 知识库增量更新,不重训
  • 人工接管数据回流,月更一次
03 / VOICE CLONE

声音克隆:两条路线

CosyVoice2 · 零样本

推荐起步

法师录 10–30 秒清读,即可复刻音色。当天可听效果,适合先给寺庙看 Demo。

语料需求10–30 秒
训练耗时0(推理时克隆)
相似度0.86–0.91
韵律自然度中上
风险长句偶有漂移

GPT-SoVITS · 微调

正式交付

录 30–60 分钟,微调后音色与语气更贴,适合长期上线与电话外呼。

语料需求30–60 分钟
训练耗时单卡 2–4 小时
相似度0.92–0.96
韵律自然度高
风险需授权与内容审核
建议路径:先用零样本跑通业务与演示,签约后再录 40 分钟做微调。工程脚本与 API 已放在 ml/ 目录,含数据切分、降噪、训练、服务化与 Docker 编排。
04 / DEPLOYMENT

部署形态

寺内私有化(推荐)

一台工作站放在寺里,语音与数据不出门。断网仍可完成识别、应答与下单。

算力RTX 4090 / 32G 内存 / 2T SSD
承载并发 8–12 路语音
硬件成本约 ¥25,000 一次性
月成本电费约 ¥120
数据全程不出内网

云端托管

多寺共用一套模型,按寺院隔离数据。适合连锁/片区统一运营。

算力云 GPU(A10 / L20)
承载并发 30–60 路
一次性约 ¥0(按量)
月成本约 ¥2,000–3,500
数据加密传输 · 可签不训练

人力替代测算

按二线城市口径
项目人工值守AI 主持说明
人力1 人 × ¥5,500/月0AI 处理 82% 常规问答
夜间与法会日需加班或无人接7×24 在线法会日咨询量约为平日 3.4 倍
年成本¥66,000约 ¥1,440(电费)不含一次性硬件
回收周期约 5 个月按私有化方案 ¥25,000 计
05 / COMPLIANCE

四条红线

事项做法
声音授权法师本人签署《音色使用授权书》,限定用途、期限;终止后可一键下线音色
宗教内容回答限定在寺务、仪轨常识、场所服务;教义争议、神通感应、吉凶预测一律转人工
信众隐私语音默认不留存,仅保留转写文本 30 天;敏感信息(病况、家庭)脱敏存储
支付合规功德金走寺庙对公账户/持牌通道,AI 不代收、不诱导;单笔超 ¥1,000 转人工确认
AI 主持的定位是「侍者」不是「师父」:不登坛、不授皈依、不作宗教判断。所有涉及教义的决定权,仍在人。