开口说话、装上“眼睛”，多模态ChatGPT来了。


(资料图片仅供参考)

周一，OpenAI在官网宣布，将在未来两周内面向Plus和企业用户推出ChatGPT的语音和图像功能，上述功能允许用户进行语音对话或向ChatGPT展示图片。

语音功能方面，ChatGPT可以用语音来回答问题和命令，与苹果的Siri等C端个人助理形成直接竞争。此外，ChatGPT将有五种不同的语音供用户选择，同时支持语音音频生成文本、将播客语音翻译成其他语言等功能。

图像功能方面，用户提交图片并询问相关问题，ChatGPT可以根据图片回答或给出建议。据悉，语音功能将在iOS和Android平台推出，图像功能将登陆所有平台。

开口说话、5种不同语音

OpenAI升级了用户与ChatGPT的交互方式，用户不仅可以通过在文本框中输入句子，还可以通过大声说话来提示聊天机器人。

这一功能并不陌生，类似于与谷歌助手交谈，只是OpenAI希望，由于底层技术的改进，答案会更好。目前，大多数虚拟助手都在依靠大模型进行重建，OpenAI 只是走在了前面。

OpenAI 于今年 5 月发布了 ChatGPT 应用程序，并已经提供了语音转文本功能。增加语音回复功能可以让用户感觉在进行更人性化的对话。该公司希望这项新功能能鼓励用户随时随地使用其移动应用，并与谷歌的 Assistant、苹果的 Siri或 亚马逊的 Alexa 等个人助理产品形成直接的竞争。

OpenAI正在推出一种新的文本转语音模型，并称它可以“通过文本和几秒钟的语音样本生成类似人类的音频”，用户可以从五个选项中选择 ChatGPT 的声音，但 OpenAI 似乎认为该模型的潜力远不止于此。例如，OpenAI 正在与 Spotify 合作，将播客翻译成其他语言，同时保持播客的声音。合成语音有很多有趣的用途，OpenAI 可能会成为这一行业的重要组成部分。

装上“眼睛”、看懂图片

该公司还表示，付费用户和企业用户将可以使用图片功能，图片搜索有点像谷歌 Lens，只需拍下感兴趣的照片，ChatGPT 就会找出问题所在，并做出相应的回应。

例如，用户可以上传一张粉色太阳镜的图片，并要求聊天机器人推荐与之搭配的服装，或者提交一张数学问题的图片，并请求帮助解决。

分析指出，自从 2022 年初推出 ChatGPT 以来，OpenAI 一直在努力为其机器人增加更多功能和能力，同时避免造成新的问题出现。通过这次更新，该公司试图在这条界线上寻找平衡点，通过有意识地限制其新模型能做什么来实现这一目标。

但是这种方法并不是长久之计，随着越来越多的人使用语音控制和图像搜索，以及 ChatGPT 逐渐成为一个真正的多模态、实用的虚拟助手，要保持安全和合理的边界会变得越来越困难。

ChatGPT要成为“超级助理”

这次升级无疑令ChatGPT距离“超级助理”更进了一步，同时与下游软件的竞争也更加激烈。

此前文章指出，OpenAI首席执行官Sam Altman私下告诉开发者，公司希望将ChatGPT打造成“超级智能个人工作助理”，使其可以根据个人及工作需求执行多种任务，如按照用户的风格起草邮件或文件，提供相关业务的最新信息。

分析指出，微软和OpenAI均能向需要构建AI能力的 B 端客户提供技术服务，两者之间存在着直接的业务冲突；而从长期来看，如果OpenAI加速布局面向个人及企业的软件，ChatGPT未来很有可能将重塑C端应用生态，或许两者的“关系破裂”是早晚的事情。

关键词：