一、该问题的重现步骤是什么？
1. AI大模型使用流程编排的话提供外部接口的话， 如何使用语音输入对话还有就是图片识别问答
2.
3.
二、你期待的结果是什么？实际看到的又是什么？
三、你正在使用的是什么产品，什么版本？在什么操作系统上？
四、请提供详细的错误堆栈信息，这很重要。
五、若有更多详细信息，请在下面提供。
图片识别现在已经有了，但是需要大模型支持视觉功能，这样把图片发给他，大模型会自动识别然后回答，这个和流程关系不大，已经是模型自带的功能了，配置大模型的时候，把这个视觉支持加上 
但是语音识别现在还不支持，如果要做的话，大概思路就是把你的音频输入给语音大模型，他自己识别后自动润色返回文字，再把润色后的文字调用流程节点的接口。
1、这个是在哪呢，例如我上传图片 然后问答图片里面的内容是什么 这是需要大模型开启视觉支持吗，图片如何进行上传至大模型呢 2、TTS我看了网页端是前端使用的SpeechRecognition组件 但是我对外提供api呢 这个支持语音输入吗
关于图片的 我这边配置了，需要大模型支持视觉 但是对外提供api的话 语音输入呢
语音输入目前是纯前端的网页插件，要走API的话得有tts的模型支持，这个后续会开发，现在还没有
我们现在要实现的话 就是需要调用ASR 将语音转为文字，然后调用大模型呗
是的，在流程编排正式开始之前，写一段逻辑解析语音然后转文字，再把文字传入流程开始节点
扫一扫访问 Blade技术社区 移动端
加载中...
苏公网安备 32041102000998号