Clef-omni:原生音视频决策模型
Clef-omni(@cf/cloudflare/clef-omni)在 Workers AI 上把文字、JSON、图片、音频和视频一次送进同一套 noul / choice / score 问题,返回每个答案的概率。骨干是 30B MoE(约 3B 激活),输入价 $0.15/M,托管上下文 64,000。
独立站点,与 Cloudflare 无隶属或背书关系。数字核对于 2026-10-11。
在试用里跑 Omni → 可上传音视频或点示例,免费 3 次。
什么时候用 Omni
- 证据在录音或视频里:客服质检、安装验收、短视频违规、会议片段意图、设备异响评分。
- 不想先做 ASR / 抽帧再喂第二个模型。
- 需要比 Clef 更低的单价,同时保留多模态。
大批量纯文字或静图?继续用 Clef-Flash(本站 sorter 默认)。难例或超大文本上下文?用 Clef。选型表见 三模型对比。
能力与限制(官方)
| 项 | 说明 |
|---|---|
| 音频 | 最多 4 段;单段 ≤8 MiB、≤300 秒 |
| 视频 | 最多 2 段;单段 ≤16 MiB、≤60 秒;约 2 fps 采样 |
| 合计 | 音视频解码合计 ≤16 MiB |
| 计费 | 媒体→输入 token;不收 output。音频约 780 tok/分钟;480p 约 8600 帧 token/分钟(有声再加约 780) |
| 延迟(官方 blog) | 文本 ~130ms;图 ~150ms;21 秒有声视频 ~1.5s(非本站实测) |
成本换算示例见 定价页。
多模态配方(可复制)
配方 1:客服通话质检
一段通话录音 + 文字摘要,一次判断是否违规承诺、是否解决、情绪是否升级。
{
"model": "clef-omni",
"state": "Agent promised a refund 'today' without checking policy. Customer still angry at end.",
"audio": ["data:audio/mpeg;base64,<clip>"],
"questions": {
"policy_ok": { "type": "noul", "instructions": "Did the agent avoid promising outcomes not allowed by policy?" },
"resolved": { "type": "noul", "instructions": "Was the customer's issue resolved in this call?" },
"escalation": { "type": "score", "instructions": "How escalated is the customer's emotion by the end?", "criteria": ["Calm", "Mild", "Angry", "Abusive"] }
}
}
示意请求。也可以跳过 curl:在 试用页加载示例,直接在浏览器里跑 Omni。
配方 2:安装视频验收
照片 + 运行音频 + 风扇短视频,一次验收标签是否可见、声音是否正常、风扇是否在转。
curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni \
-H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"model": "clef-omni",
"state": "Review the installation: a photo of the unit, an audio clip of it running, and a short video of the fan.",
"images": ["data:image/png;base64,<base64-png>"],
"audio": ["data:audio/mpeg;base64,<base64-mp3>"],
"videos": ["data:video/mp4;base64,<base64-mp4>"],
"questions": {
"label_visible": { "type": "noul", "instructions": "Is the model and serial number label visible in the photo?" },
"sounds_normal": { "type": "noul", "instructions": "Does the unit sound smooth, without rattling or grinding?" },
"fan_running": { "type": "noul", "instructions": "Is the fan running in the video?" }
}
}'
下一步
- 在试用里跑 Omni(上传音视频或点示例)
- 中文 API 教程(含 audio / videos 字段)
- 价格计算器
- Clef / Flash / Omni 对比
常见问题
这是 Cloudflare 官方文档吗?
不是。clefdecide.com 是独立站点,数字以 Workers AI 文档与官方博客为准,并标注核对日期。
本站能直接试 Omni 吗?
可以。打开 在线试用,选 Clef-omni,上传短音频/视频(或点示例),免费 3 次。图片分类 Sorter 仍默认 Flash。生产量级请用你自己的 Cloudflare 账号。
Omni 比 Clef 还便宜?
是的:Omni $0.15/M,Clef $0.24/M,Flash $0.038/M(托管上下文 Flash 现为 24k)。