AI Ability

AI相关能力

语音识别成文字能力

语音识别能力是一个单例模块

/** ---------------------初始化-------------------------- */
// 初始化
const wsUrl: string = 'xxx'
const metaData = {
  userId: 'xxx',
  appId: 'xxx',
}
AISpeechStreamRecognizer.Instance.init(wsUrl, metaData)

/** --------------------开启/关闭-------------------------- */
//开始识别
AISpeechStreamRecognizer.Instance.startRecognizer(audioTrack)

/** --------------获取实时文字------------ */
AISpeechStreamRecognizer.Instance.eventEmitter?.on('receiveRealTimeRes', (result: string) => {
  //取到result
})

/** ---------------停止识别结并获取------------ */
//取到result
const result = await AISpeechStreamRecognizer.Instance.stopRecognizer()

文字播放

智能文字播放能力，可以通过配置来设置音色和空间音频等信息

/** ---------------------初始化-------------------------- */
// 初始化
const aiTtsTextReader = new AITtsTextReader({
  wsUrl: 'xxx',
  ttsConfigJson: JSON.stringify(configJson),
  metaInfo: { userId: worldInstance.getPlayer().userId, appId: worldInstance._options.appId },
  aiName: 'npc_inc', //该字端一般是来自ttsConfigJson的一个key
})

/** --------------------播报-------------------------- */
await aiTtsTextReader.say('一段要播报的文字')

/** -------------- 暂停/恢复播报 配合使用------------ */
//暂停
aiTtsTextReader.pause()
//恢复播报
aiTtsTextReader.resume()
//设置音量
aiTtsTextReader.setVolume(volume: number) 

/** ---------------停止播报------------ */
//取到result
aiTtsTextReader.stop()

智能回复能力

import { AIChat } from '@xverse/core'
const params = {
  app: 'XXXX',
  userId: world.getPlayer().userId,
  npcId: 'aIChatNpcId',
}
const aiChat = new AIChat(params)
const res = await AIReplyRef.current.getUtter('self_intro')