语音、听写与记忆
聆听智能体、与它们交谈,并查看它们记住了什么。
语音回复
在应用设置中选择语音引擎、选择声音,然后在回复上使用扬声器控件。自动朗读可以在新回复到达时朗读它们。共有四种引擎可用:
- ElevenLabs — 云端声音,需要 API 密钥。
- Fish Audio — 来自 Fish Audio 库的云端声音,需要它自己的 API 密钥。
- 内置 Mac 声音 — macOS 上已安装的声音,无需密钥。
- Chatterbox(本地) — 一个开源、MIT 许可的引擎,通过你配置的 OpenAI 兼容服务器访问。服务器在你自己的机器上时不会发起云端调用;地址也可以指向你选择的任何 HTTP(S) 服务器。
在合成之前,harness 会将代码密集的 Markdown 改写为适合朗读的文本。密钥保留在 harness 上,永远不会到达渲染器。
Fish Audio
- 在 Fish Audio API Keys 中创建一个密钥。
- 在智能体配置文件中,选择 Fish Audio,粘贴密钥并保存。
- 从你的 Fish Audio 账户返回的声音中选择一个,然后在启用语音回复前使用 Try 试听。
Fish Audio 和 ElevenLabs 的密钥分开存储,因此切换引擎不会替换另一家提供商的凭据。选择器会将热门公共声音与你的 Fish Audio 账户拥有的声音合并显示。仅在你拥有相应权限时才使用某个声音。
Chatterbox(本地)
MengBot 通过任何在 POST /v1/audio/speech 后面运行 Chatterbox 的 OpenAI 兼容服务器来说话——例如安装了 Chatterbox 模型的 LocalAI,或围绕 pip install chatterbox-tts 的小型包装服务。
- 在本地启动你的 Chatterbox 服务器并记下其地址,例如
http://127.0.0.1:4123。 - 在应用设置中,选择 Chatterbox(本地) 作为语音引擎,粘贴服务器地址,并设置你的服务器期望的模型 id(默认为
chatterbox-turbo)。 - 选择一个声音。声音 id 来自服务器的
/v1/models列表(如果有的话),或来自/v1/audio/voices(如果没有的话);否则 Default 条目会使用服务器的内置声音。
没有 API 密钥。MengBot 将文本发送到配置的服务器地址,因此只有当该服务器在本地时,合成才会留在你的机器上。按智能体覆盖声音与其他引擎的工作方式相同,服务器失效或无法访问时会报告为明确的错误,而不是挂起。
语音消息
智能体可以发送语音消息:一条它自己编写的简短口述消息,使用配置的语音引擎合成,并在回合结束时附加到其回复中。同一段文本会成为该消息的可见字幕和转录文本,因此对话无需播放任何内容即可保持可读——并且可搜索。消息限制为 1000 个字符,合成时会再次强制执行同样的限制。
发布到共享房间的消息工作方式相同:智能体录制消息,然后将其附加到房间帖子中,房间成员可以在其中内联播放。
语音消息可以按智能体关闭。该开关位于智能体配置文件中的语音设置旁边;关闭时,即使配置了声音,也不会向智能体提供语音消息工具。
音频本身是你计算机上附件目录中的 mp3 文件,具有生成的名称和仅所有者权限。它与图像和文档一样计入相同的 512 MiB 附件配额。
通话模式
在 macOS 上,通话模式将原生设备端语音识别与配置的声音相结合。它有意采用半双工:机器人说话时麦克风暂停,以防止应用转录自己的音频。
通话期间可以朗读工具进度和审批请求,这样长时间运行的工作听起来不会断连。
轮流或实时
在桌面上,通话按钮会启动你上次选择的通话类型;旁边的箭头用于选择 轮流 或 实时 并启动该通话。
- 轮流 是上述通话:设备端聆听、机器人自己的声音、一次一方说话。它需要此计算机上的 macOS 应用。
- 实时 通过 OpenAI GPT-Live 运行对话。你可以随时插话和打断。它可在桌面、iPhone 和 Android 上使用。
实时通话会保持聊天打开:编辑器上方的通话栏显示通话时间和语音所说内容的字幕,并带有设置齿轮、静音 和 挂断。在桌面上,Cmd+Shift+M 静音或取消静音,Cmd+Shift+H 挂断(Windows 和 Linux 上为 Ctrl+Shift+M 和 Ctrl+Shift+H)。
语音以机器人的身份、用第一人称说话,但工作由机器人完成:每个请求都作为普通消息发送给它,标记为“via call”,使用机器人自己的引擎、工具、记忆和审批,语音会朗读答案。语音自己的话语仅作为字幕出现,不会被保存。机器人工作时,语音每 30 秒会收到一条安静的状态说明,这样它可以说明机器人仍在忙碌,而不是猜测;如果回合结束时没有答案,它会说结果在聊天中。
当已连接的通话结束时,聊天会保留一条记录:一个小行,包含通话时长以及机器人为你口述的请求做了什么、按名称列出的步骤及其提出的权限请求(例如运行命令),以及每个请求是如何决定的。记录显示为“Call with”加上机器人的名称。开启生成的线程标题后(在 ~/.mengbot/config.json 中设置 "features": { "llmThreadTitles": true }),已经看到这些请求的机器人自己的引擎会根据你在通话中询问的内容给它一个短标题;通话不会向 OpenAI 发送更多内容。你口述的请求和机器人的回答像以前一样保留在聊天中。记录不包含语音:语音自己的话语仍然不会被保存。从未连接的通话不会留下记录,尚不认识该记录的手机应用会将其显示为一行短文本,例如“Call with Ada · 1:42”。
权限请求(例如运行命令)可以通过清晰的口头“是”或“否”来回答,由 MengBot 决定,而不是由语音模型决定;卡片也会留在屏幕上,在通话中决定的卡片会在那里和决策日志中标记为“by voice”。在实时通话中,语音说话时麦克风保持打开,因此单独的“okay”、“sure”或“fine”不算作“是”,语音自己说话时听到的词会被排除;请说“yes”或“no”。机器人对自身的更改(例如新技能或例程)无需卡片即可应用,并可在屏幕上撤销;更改另一个机器人或团队的提案(例如团队设置)仅在屏幕上决定,当机器人等待你连接应用或输入凭据时,语音会告诉你在聊天中操作(绝不要大声说出凭据)。
通话期间输入的消息由机器人回答,语音会朗读该答案一次。关闭 朗读对输入消息的回复(在齿轮下)后,你在通话期间输入的消息以及机器人对它们的回答不会发送给 OpenAI,但有两个例外。语音仍然会听到机器人在处理输入消息时对你的要求:审批或问题(你可以在通话中回答这些)、提案,以及连接应用或输入凭据的请求。而同时涵盖你大声说出的内容的答案会被朗读出来:一起在队列中等待的行会得到一个答案。
实时通话在无人说话且机器人不工作 5 分钟后挂断(齿轮可更改分钟数)。如果音频在 20 秒内未连接,通话会断开;在手机上,当你切换到其他应用或锁定手机时通话结束。当发起通话的手机取消配对,或发起通话的登录被登出或撤销时,通话也会立即结束。实时通话期间不会播放语音消息。
实时通话对所有人免费,可从桌面应用、网页浏览器或手机使用;无需任何套餐。它们使用你自己的 OpenAI API 密钥,来自具有 GPT-Live 访问权限的项目:设置 → API 密钥 中的 OpenAI 密钥,或从通话设置中为实时通话单独设置的密钥,两者都保存时后者优先。没有密钥时,实时 按钮会显示“实时通话使用你自己的 OpenAI 密钥。在设置 → API 密钥中添加。”并提供 打开 API 密钥;手机显示相同消息,因为密钥是在你的计算机上添加的。密钥保留在你保存它的位置,在此计算机或我的云端;手机永远不会收到它。OpenAI 按每分钟约 $0.05 对实时音频计费;机器人自身的工作照常计费。实时通话可在任何带麦克风的桌面版本中使用(无需设备端听写),并且一次只能用于一个机器人。房间通话始终轮流进行。
通过 Azure OpenAI 进行实时通话。 如果你的组织在 Azure 上运行 OpenAI 模型,实时通话可以使用你自己的 Azure OpenAI 或 Microsoft Foundry 资源上的 GPT-Live 部署,而不是 OpenAI。在该资源上部署 gpt-live-1,然后在通话设置中(或未设置通话时 实时 按钮显示的提示中)选择 Azure OpenAI 作为 服务,粘贴资源终结点(例如 https://my-resource.openai.azure.com)和部署名称(留空表示 gpt-live-1),并添加该资源的密钥。Azure 会将该通话计费到该资源。OpenAI API 密钥永远不会用于 Azure。保存的实时密钥只会发送到保存它时对应的服务,在 Azure 上则只会发送到该终结点的主机:更改 服务 或终结点的主机会要求重新输入密钥,即使你改回去也是如此。通话只会发往 *.openai.azure.com、*.services.ai.azure.com、*.cognitiveservices.azure.com、*.openai.azure.us、*.openai.azure.cn 或 *.azure-api.net(API 管理)上的 https 地址;任何其他地址都会被拒绝,重定向也会被拒绝。在服务器上,你可以使用 OMB_LIVE_PROVIDER=azure、OMB_AZURE_OPENAI_LIVE_ENDPOINT、OMB_AZURE_OPENAI_LIVE_DEPLOYMENT 和 OMB_OPENAI_LIVE_KEY(资源密钥)进行相同设置;在那里一起设置时,密钥属于该终结点。使用 Azure 时,下面所有发往 OpenAI 的内容都会改为发往你的 Azure 资源。
谁可以通过 Azure 发起通话。 只有管理员,或单人使用的服务器的所有者。Azure 不接受将调用方应用限制为仅挂断的设置,因此在 Azure 通话中,该应用与语音的连接范围更广,可能会携带机器人的指令。其他所有人,例如团队云端上的用户或共享公司工作区中非管理员的人,会看到“此处的实时通话通过 Azure OpenAI 进行,因此只有管理员或此服务器的所有者才能发起。如果你需要通话,请询问管理员。”不会发起任何通话,也绝不会改为通过 OpenAI 进行。
实时通话向 OpenAI 发送什么。 实时通话会将你的语音发送给 OpenAI,以及聊天的最近消息、机器人的回答及其请求的任何审批的详细信息。OpenAI 密钥保留在你保存它的位置:在你的计算机上,或在“我的云端”。桌面会在你选择实时和设置它的位置说明这一点;手机会在首次实时通话前说明一次,并提供 开始通话 和 取消。具体来说:通话开始时聊天的最后八条文本消息(这样“and the other one?”才有意义)、机器人在通话聊天中给出的每个回答(仅当 朗读对输入消息的回复 开启时,或当它同时回答了你说的内容时,才会回答输入消息)、权限卡片询问的内容(例如它想要运行的命令)、问题选项和提案标题、卡片等待的应用或凭据名称、机器人步骤的名称(绝不是它们的参数),以及机器人的名称、标题和描述。
听写
编辑器麦克风在 macOS 桌面版本中使用 Apple 的本地语音识别。Linux 和 Windows 听写目前尚未提供。
记忆
每个机器人都可以保留纯文本记忆,你可以检查、更正或删除。记忆不是隐藏的远程配置文件;它与本地 MengBot 数据一起存放。