标签: 语音助理

近年来，全球语音助理市场的使用率与市场规模大幅增加。2022年，全球语音助理市场估值约为46.627 亿美元，预计到2031年将超过385.395亿美元，2023-2031年，预测这段期间内的复合年增长率为 26.45%。 Source：Voice Assistant Market Trends, Growth, Forecast 2031 (astuteanalytica.com) 在智能家庭生态圈逐渐扩大的趋势下，有支持语音助理功能的智能电视成为不可或缺的灵魂角色。消费者可以透过语音助理与电视互动、操控各项电视功能，或者透过Matter智能家庭通讯协议，来控制各类智能家居产品等等。 听不懂指令的语音助理… 跟它说话越说越火大? 然而百佳泰语音助理顾问团队依据多年检测经验，发现到智能电视的语音助理要能够顺利执行，有着各式各样挑战，例如： 语音识别能力 语音助理运行稳定度/ 回答正确率 语音数据传输能力 语音操作接口管理 产品的无线抗干扰能力 麦克风硬件设计 环境噪音的抗噪能力 针对上述的潜在风险，我们简单设计了以下使用情境来验证可能存在的风险： 拿起电视蓝牙遥控器，对着遥控器上的麦克风下达语音指令「Play music on YouTube」，接着电视自行YouTube，开始播放音乐 我们对此操作情境进行多次重复性的验证后，发现语音识别的效能会受到上述提及的因素影响，尤其在「语音识别稳定度」、「语音数据传输稳定度」、「环境噪音」…等等特别明显。再进一步分析，发现问题皆属于「机率性问题」，很难仅凭借一、二次测试就发现问题。 想象一下，当消费者兴高采烈地购买了一台智能电视回家，结果消费者下达了10次的语音指令，结果有1~2次电视反馈 『Sorry, please try again』！相信这样不佳的使用者体验，一定会造成客诉抱怨留负评，影响产品品牌市场的评价与商誉。 为了解决机率性难题，百佳泰顾问团队开发出『智慧家庭关键场景验证解决方案』，仿真语音助理在各式产品应用情境下的效能。 当语音效能碰上机率性，谁胜出? 佳泰实际验证过非常多的USB Type-C 线缆，透过长期的经验与实验数据，发现串扰项目有问题的线缆，因此串扰这个高频特性的验证是一个不可或缺的项目之一。 下表为实测案例，使用5种不同的语音指令各执行200次，以验证该电视语音助理的效能。从测试结果分析出： ”Spider-man 2”有一次failed ”Collateral beauty”一共有11次 其中有10次是电视语音助理辨识不正确, 辨识成“The closest one” 某客户依据百佳泰顾问团队提供的Log纪录文件，更新电视软件，解决苦恼已久的机率性客诉问题 智慧家庭关键场景验证测试解决方案，提供一致性的测试环境及条件，可针对不同情境仿真、拟定产品开发的策略方针，执行数千次以上的验证。除此之外，一旦发现FAIL问题，透过自动 纪录 测试过程的照片及影片，搭配产出的测试纪录报告，大幅提高RD人员在后续问题剖析与Debug的效率，节省时间成本。

随着人工智能和物联网不断进步，现今在家中或是工作时使用智能语音设备，已经成为不少现代人的生活日常，只要对着设备简单说一声：「嗨，Alexa帮我计时」 或是 「嗨，小爱同学帮我拨放音乐」 透过这些简单的指令就可以帮你完成动作。市面上的手机、汽车车机以及智能音箱等已成为大众所熟悉应用智能语音的设备。 另一方面，在零售、银行、互联设备、智能家居、医疗保健和汽车行业的应用日益扩大下，对于语音启用系统、语音虚拟助理系统和语音设备的需求不断增长，因此语音识别的能力跟正确性更是厂商需要特别重视的市场应用风险。 还记得小米语音助理「小爱同学」的初次发表会吗？在这场演示中，创办人雷军问「三个木叫什么」，小爱回答「木三分」，于是雷军不死心再问了一次，小爱回答「你是电、你是光、你是唯一的神话～」现场来宾哄堂大笑，雷军满脸尴尬，由此可见一个无法正确辨识跟执行的智能语音设备还不如没有这项功能。 针对这些问题，百佳泰跟市场上多家语音识别系统的原厂合作密切，亦执行过大量的测试案例，我们归纳出在日常生活中语音系统造成使用者的主要困扰： 对于用户的指令没有响应，或等待太久才响应 智能语音助理连线经常断线，或连线不稳定 智能语音助理答非所问 明明没说关键词，智能语音助理却异常被唤醒。 而造成上述问题跟以下因素息息相关： Speaker voice profile(gender, age, language, tone, speed) Distance & angle from speaker to microphone Background noise Voice commands context Auto correction & tolerance conversational ability 针对上述应用风险，需要一个专业的验证能够具备模拟使用者情境的能力，来协助厂商改善上述相关问题。 【1】Stability Test 语音助理的使用皆是需要长时间待命，此项目就是用以验证产品的稳定度，确认使用语音助理长时间之后，是否会导致系统崩溃。 【2】Wake Word Detection Delay Test 为了能够达到语音系统实时的反应，测试唤醒语音以及命令句之间所需要的时间长短，以避免消费者在使用上遇到等待响应的时间。 【3】Wake-Word False Alarm Test 正常使用者在对话时，不会特意去避开使用唤醒词，此测试是以播放非唤醒句，用以验证产品不会被错误的唤醒句唤醒。 【4】Wake-Word False Rejection Test 使用正确的唤醒词，来确认是否会错误的拒绝了使用者的唤醒使用。 【5】Response Accuracy Test 验证产品唤醒的正确率，且对命令句的解析即辨识，透过播放预录的测试语音，来记录产品是否能每次被正确唤醒以及正确的回复问题。

Allion Labs / Franck Chen 在 上一篇 文章中，我们大致介绍了目前主要的语音助理应用、未来发展趋势、潜在风险以及百佳泰的测试能量。本篇将分享评测结果与分析。 如同上篇所提到的测试规划如下： 语音助理响应速度与稳定度测试 语音助理执行率与正确率测试 – 简单情境 语音助理执行率与正确率测试 – 普通情境 语音助理响应速度与稳定度测试 测试情境 – 在电视主画面(Home Screen)下，按下 。 – 电视显示语音助理接口。 测试项目 从 “按下 ” 到 “电视显示完整语音助理接口” 之时间。反复执行操作，总计执行300次。 量测结果 结果分析 平均响应速度： ⇨ 表现最佳为 Amazon TV – Alexa ， 是唯一低于反应灵敏建议值(1,000 ms)以内的组别，整体反应含UI呈现都相当灵敏与直觉。 ⇨ 表现最差为 LG TV – AI ThinQ ， 许多数据已贴近或大于1,500 ms，达到足以令人察觉到有点延迟的临界值，其整体流畅度有待提升。 相同语音助理在不同电视操作系统之比较： 以Alexa为例，在Samsung TV上平均1,234 ms的表现远不及于在Amazon TV上平均446ms的表现，因此可以推断整体响应速度主要还是受到该电视效能与设计上的影响， 并非同一个语音助理系统在不同系统上的表现都会一样 ， 消费者在选购时应特别留意。 语音助理执行率与正确率测试 – 简单情境 测试情境 – 在电视主画面(Home Screen)下，按下 唤醒语音助理。 – 语音输入“Go to YouTube”后等待10秒 – 按下 key回到电视主画面Home Screen。 测试项目 – 语音助理是否能正确唤醒。 – YouTube是否能透过语音助理正确开启。 量测结果 (300 次 ) 在使用百佳泰开发的 ACSTS 测试套件 执行测试下轻松得到测试结果，若是透过一般人工检测难以发现此潜在问题，更遑论取得关键log进行分析与改善。 结果分析 表现总评 ⇨ 表现最佳为 Samsung TV-Bixby/Alexa 。 每一个组别的语音助理执行率与正确率皆有达到要求95%以上，其中又以Samsung TV-Bixby/Alexa表现最佳，没有出现任何错误。 ⇨ 表现最差为 Amazon TV-Alexa ， 总计出现了最多错误(6次)，并且有连续4次发生“语音助理没有唤醒”的严重问题，绝对会让消费者有不好的使用体验。 相同语音助理在不同电视操作系统之比较 ⇨以Alexa为例，在Samsung TV上的表现优于在Amazon TV上的表现，同样呼应 之结果， 并非同一个语音助理在不同电视系统上的表现都会一样 。 ⇨可能影响的因素包含各家遥控器的收音能力、语音数据传输能力、电视系统/UI设计、抗干扰能力….等等因素而造成语音助理整体表现上的落差。 厂商在开发时不能只依赖语音助理本身的能力，而是要搭配使用者实际的情境应用做全方位的模拟测试。 问题摘要 Sony TV-Google Assistant 数次出现辨识到语音指令”go to YouTube”，但是下一刻却又无所适从的窘况。 Amazon TV-Alexa 出现几次语音助理启动后，却执行错误的问题。 仅执行上面简单的情境验证便产生了一些问题和差异化，以下透过复杂一点的使用者情境进一步实测，其结果会是如何呢? 语音助理执行率与正确率测试 – 普通情境 测试情境 – 将电视 关机后等待 5 分钟 – 将电视 开机后等待 30 秒 – 按下 按键，语音输入“Open Netflix”后等待10秒 – 按下 按键，语音输入“Go to YouTube”后等待30秒 → Go to 测试项目 – : 语音助理能正常唤醒、Netflix能透过语音助理正确开启…1stAccuracy – : 语音助理能正常唤醒、YouTube能透过语音助理正确开启…2ndAccuracy 量测结果 (100 次 ) 结果分析 表现总评 ⇨ 表现最佳为 Amazon TV – Alexa 、 Sony TV – Google Assistant 。 两者表现不分轩轾，开机后第一个语音执行正确率都有达到标准，而第二个语音执行甚至没有任何错误发生。 ⇨ 表现最差为 LG TV – AI ThinQ 、 Samsung TV – Bixby LG – AI ThinQ 第一个语音指令执行正确率仅有76%，第二个语音指令执行正确率虽有提升至82%，但距离标准95%仍有一大段距离。主要问题除了”语音助理没有唤醒”外，也发生多次”可进行语音识别，但执行结果错误”的问题： Samsung TV – Bixby 第一个语音指令执正确率只有 1% ，主要原因是即使在电视 开机后等待 30 秒 ，唤醒语音助理时仍然都显示为 loading 中的相关讯息而无法使用(左下图)，导致第一个语音指令几乎全都失败。有时候即使已显示“Go on, I’m ready”的信息接口(右下图)，但实际上没有辨识功能。 第二个语音指令执行正确率有大幅提升至 91% ，但因为发生了多次语音助理在有唤起的状态下(左下图)，却发生无法辨识或无法执行的问题(右下图)，让整体执行正确率仅剩91%低于需求的95%以上。 测试总结与目前排名 目前的排名由 Amazon TV-Alexa 取得领先，而 LG- AI ThinQ 则是处于落后局面。 进阶测试与分析 由于LG-AI 、SAMSUNG Bixby这三台在普通情境出现严重问题，基于实验精神，我们进一步将这三台做进阶测试以利分析原因。我们将 当中的” 将电视开机后等待30秒”延长至40秒及60秒进行验证。 结果分析 LG – AI ThinQ 将开机后等待时间延长至40秒、60秒后，无论是第一或第二个语音指令，整体正确率并无明显提升仍低于要求的95%。显示电视关机/开机后整体处理程序影响到了语音助理的功能性。 Samsung TV – Bixby 将开机后等待时间延长至 40 秒 后 ⇨第一个语音指令：语音助理loading时间过久的问题大幅减少，然而伴随而来的问题是语音助理无法识别语音， 造成整体正确率仍是 0% 。 ⇨第二个语音指令：语音助理无法辨识的问题大幅减少，但整体89%的正确率仍低于要求标准(95%)。 将开机后等待时间延长至 60 秒 后 ⇨第一个语音指令：语音助理loading时间过久的问题仅剩1次，然而伴随而来的是语音助理无法识别语音， 造成整体正确率仍是 0% 。 ⇨第二个语音指令：语音助理无法辨识的问题仅剩2次，整体正确率提升至97%合乎标准(95%)。 Samsung TV – Alexa 将开机后等待时间延长至60秒的情境验证在Samsung-Alexa ⇨第一个语音指令：发生了语音助理无法唤醒或是可进行语音识别，但执行结果错误的问题，造成 整体正确率同样是 0% 。 ⇨第二个语音指令：没有发生任何问题， 语音指令执行正确率大幅提升至 100% 由上述验证几乎可以得到一个结果即是，该Samsung TV无论是使用Bixby或是Alexa在关/开机后的第一次的语音助理功能皆有问题，对比Amazon TV-Alexa的实测结果，再次证明 并非同一个语音助理在不同电视系统上的表现都会一样 ，无论您是语音助理系统厂商或是电视制造商在开发阶段或是消费者在选购上都应特别留意此部分 。 还在为产品负评烦恼吗 ? 从以上简单的实验案例可以了解到，若要 执行精确量测 以及提早在产品上市前拦截 机率性严重问题 ，除了需要善用 自动化工具 外， 情境设计 也是至关重要的一环，两者缺一不可。

开口即遥控? 智能电视应用新型态 智能电视的兴起改变了人们使用电视的方式，其配备的语音助理为用户提供更方便、更智能的电视观看体验。用户可以透过语音与电视互动，例如说「打开Netflix」、「调高音量」、「播放音乐」等等，依照电视机种以及国家地区支持度的不同甚至可以请语音助理协助「比价、购物」、「操控智能家电」、「查询目前电视画面中演员的服装信息」等各式需求。 由于搭载语音助理的智能电视比一般纯语音装置更具备可视化界面的优势，因此Juniper Research预测未来几年内成长幅度最快的语音类别装置将会是智能电视(121.3%) ，其次是智能音箱(41.3%)，再来是穿戴装置(40.2%)。 *注1：使用数量最多的平台依然是智能手机 图片来源：https://www.iphoneincanada.ca/carriers/telus/telus-google-assistant-optik-tv/ 目前主流平面电视系统内建的语音助理主要有『Amazon–Alexa』、『Google–Google Assistant』、『Samsung–Bixby』和『LG–AI ThinQ』…等。(Apple TV Box–Siri因产品别不同暂不在此一同讨论)。为了能让使用者更方便的运用各家语音助理与其生态系统，现在的智能电视也多有支持非原生语音助理的安装，大幅提升消费者在使用上的弹性与便利度。 * 需搭配外部装置进行设定 然而智能电视语音助理的运行也存在一些挑战，除了本身语音识别上的能力以外，还须加上电视正在执行的多样程序，例如：观看电视节目、网络影音串流的播放…等等。因此容易受到电视本身的系统程序管理、语音数据传输能力 、抗干扰能力、麦克风设计或是不同语音助理系统与电视系统间的兼容性问题等因素，可能会严重影响使用者体验。 *注2：现行的智能电视语音控制主要有两种方式，一种是透过遥控器上的语音按钮启动并透过蓝牙传输数据给电视，另一种是免持遥控器便能直接对电视唤醒语音助理的方式又称作Far-field voice control。 使用后真的满意吗? 使用者评价现况调查 拥有30年电视验证经验的百佳泰特别针对主流智能电视语音助理进行用户反馈调查，特别统整常见的抱怨评论。主要问题分布如下： 从上述问题类型来看，终端用户对于电视语音助理的需求不外乎： 稳定、听得懂、回答正确 反应灵敏与互动流畅 我们进一步将上述需求转为量化数据并综合分析: 1.语音助理运行的稳定性和回答正确率 ：以目前语音助理的技术发展以及终端使用者的期望来看，百佳泰建议整体执行正确率应达到95%-97%以上才能满足其需求。 Reference:https://www.gadgets360.com/internet/news/google-voice-recognition-accuracy-machine-learning-mary-meeker-internet-trends-170 2. 反应速度 ：若要让用户在透过 按键唤醒语音助理时能感到灵敏流畅的话，参考”人类感知能力”相关报告，百佳泰建议反应时间应在1秒内，最慢则是建议不超过1.5秒。 Reference: https://medium.com/@slhenty/ui-response-times-acec744f3157 https://www.nngroup.com/articles/response-times-3-important-limits/ 实测方向说明 本次找了各大厂商在2021生产与贩卖的智能电视搭配主流语音助理进行评测比较。 测试手法 由于语音相关测试的难处在于，若透过一般人工方式难以有效率地进行多次数且精准的测量，也难以确保测试条件的一致性，例如: 腔调、音量、角度、距离…等等，更无法提供当下的测试记录以重新检视和分析测试过程中发现的各种问题。 本次实测是运用百佳泰开发的ACSTS测试套件执行测试，此套件可跨平台模拟各种问答情境且并反复进行数百次、上千次的功能验证以及反应时间量测，并将问题透过影片、照片作纪录和回放。 测试环境 使用专业的聆听室，能有效减少不必要的干扰以执行专业的测试和分析。 环境参数与架设 1. 无线环境: 开放式 2. 语音语言: 英语 3. 电视网络: 有线网络 4. 相对位置: 如下图 测试情境 除了专业的测试工具以及环境外，另一个至关重要的是测试情境的设计。 测试规划如下： 语音助理响应速度与稳定度测试 语音助理执行率与正确率测试 – 简单情境 语音助理执行率与正确率测试 – 普通情境

智能语音助理的发展结合了 AI 的语音识别及影像识别、无线技术、语言数据库的建立等不同功能，在车联网的应用上，语音助理的执行准确度与行车安全有着高度关联。百佳泰车用语音助理测试验证可透过 AI 智慧平台营造各种变因项目：如接受距离、接收角度、噪声干扰、声音特质、环境与气候， AI 平台自动记录数据找出不同情境的变因，全面找出行车过程使用语音助理所面临的潜在风险。 70% 以上的成年人会将车用语音助理的因素 视为购车决策的依据 根据美国指标性网站 Voicebot.ai 于 2020 年 1 月的报告指出 有 7 成 3 以上的成年人希望购买的新车需要有车用语音助理的功能 而且车主的购买意愿会随着车用科技的变革而随之提升 ( 像是车用语音助理的强化 ) 根据百佳泰过往与汽车业主合作的案例，车用语音助理前五大的场景应用，分别为「接听拨打电话」 、「语音查询车用导航与控制」、「收发信息」、「音乐播放」以及「收听广播」，显示车用语音助理在驾驶过程中，已成为俨如副驾驶重要的功能性角色。 车用语音助理运作流程 车用语音助理流程主要可分为三大步骤，分别是唤醒词、信号处理与判读，最后是对话管理 唤醒词 在车主发出语音指令之前，还需要一个唤醒词的程序 大部分车厂是先从方向盘按钮的方式来做唤醒，少部分车厂则是也支持语音唤醒词 信号处理与判读 1. 信号处理：信号处理过可供识别的声音，并排除环境存在的各种音源 2. 语音识别：系统识别出有意义的词汇 3. 语言理解运算：系统判读并进行语言的理解运算 对话管理 对话管理主要会有两条处理流程 一条线是语音反馈的处理，另一条线则是相对应的功能执行以及屏幕显示 例如与查询天气时，通常车机屏幕上也会有相对应的天气信息显示 又或者语音控制开启车窗时，除了语音反馈告知车主之外，也会有实际车窗开启的动作发生 驾驶的过程反复操作指令 恐会造成严重的交通事故 百佳泰结合了过往测试与实例经验，整合出车用语音助理在使用上，最常发生的指令问题分别是 1. 语音识别无法正确识别语音 2. 无法唤醒、误唤醒 3. 错误解释命令、响应内容错误 4. 功能性问题 5. 声音质量太差 6. 响应太慢延迟卡顿 我们可从以上 6 点问题，可整合出三大原因分别是 听不清楚 一般来说在车内空间的语音控制已构成一个声学场景，同时会有很多声音信号充斥 除了车主发出的语音控制指令之外，还混和其他人声或是音乐广播的人声 甚至混响 ( 也就是声音信号在车内的反射 ) 与躁声干扰 ( 例如车子引擎声、轮胎声，都会成为干扰的躁声 ) 而车主发出语音指令时，声音的来源以及拾音的距离角度也会成为听不清楚的原因之一 听不懂 语音助理本身听不懂词汇主要是因为车机会有预先指定的指令集 但如果车主讲了指定句式以外的语音指令 那就需要依靠车机本身的 AI 运算来进行大量的运算与判读 举一个简单例子 ( 连续对话语意理解 ) · 题目：今天出门需要带伞吗 ? · 明天呢 ? · 明天天气怎么样 ? 做不好 车机语音处理的区块，不只是语音的回馈而已 往往还需要与其他部分作连动，同时也有跨场景的使用问题 例如在车上控制家里的智能家电，因此这部分会有很多的功能性或是兼容性问题发生 只要是在汽车行驶的过程中，若语音助理无法实时做出反应上的回馈，车主恐需要分心花更多的心神去排除障碍，无论是对于品牌的商誉或是驾驶的安全均造成极大的威胁！ 车用语音助理 AI 测试方案 车用语音助理的 AI 测试方案要求在于： 复杂场景的条件模拟： · 考虑不同的噪声条件，录制实际车辆的噪声：搭配语音指令，可测量在各环境下系统可正确语音识别的信号强度是多少。 · 语音数据库的打造： 12,000 种以上的语音命令包含不同条件 : 性别 / 年龄 / 语言 / 指令 / 方言，甚至可进行语音数据的客制化 百佳泰透过 AI 自动化连续测试与监控结果，来确保质量的一致性，导入 AI 元素如下 · 透过 AI 来识别车机的语音回馈是否正确，并可大量学疑累积语言，提升侦错率 · 透过 AI 来识别车机屏幕的影像显示是否正确，判断标准一致性，准确度高