原创 你的验证够人性化吗? 用情境场域验证克服智能音箱的使用问题! ... ... ...

智能音箱随着近几年语音助理的蓬勃发展下，销售量每年都呈爆炸性的成长。不仅在欧美地区，在亚洲地区同样炙手可热。

通常每款智能音箱在上市前，其所支持的数字助理都会经过性能验证，以确保产品正常运作，并符合用戶预期。然而，即便产品经过基本身份验证，现实生活中还是会遇到大大小小的使用问题，例如无法唤醒，或语音识别不正确等状况。究竟是什么原因造成这些问题？以下我们将分成几个层面来探讨。

智能音箱的四大性能指针

首先我们来了解一下支持亚马逊Alexa语音助理的智能音箱，所需要通过的验证项目。百佳泰目前已经有提供厂商进行AmazonAlexa Built-in的相关性能验证，其四种性能指针如下：

-FRR (Wake-Word False Rejection Rate) 验证唤醒的正确率

透过播放预录的测试语音，来记录受测产品是否每次都能被正确唤醒。

-RAR (Response Accuracy Rate)验证回复的正确率

透过播放预录的测试语音，来记录受测产品是否能每次正确的回复问题，或是执行指令动作。

-WWDD (Wake Word Detection Delay) 响应时间

为了能达到更实时的反应，避免用户等待的不良体验，这项验证受测产品，在收到唤醒语音跟后续的命令之间，所需要的时间长短。

-FAR (Wake-Word False Alarm Rate) 唤醒词测试

通常智能音箱接上电源后，就会保持全天候待命的状态。但是一般用户对话时，不会特意去避开使用唤醒词，或是难免说了与唤醒词发音相近的词语。这项测试将在长时间的对话进行中，受测产品不会一直被误唤醒。

图1: 百佳泰提供之AmazonAlexa认证测试报告

花钱买罪受？听不懂人话的智能音箱

一般来说，智能音箱在通过了上述的性能指针验证后，可以说是已经具备了一定程度的语音识别能力，同时也具备了可上市的条件。

不过！现实往往没想象中美好，

难道通过验证就保证万无一失了吗？其实问题还是层出不穷…

消费者花了大钱，原本迫不及待想跟语音助理对话互动，却发现问题一堆，实在非常扫兴。用戶买回家经过简单的设定，把智能音箱连上网络完成登入，正准备开始使用时，却发现语音助理怎么怪怪的，无法唤醒？不然就是问了几个简单问题却答非所问！又或者是发生以下状况:

•  没叫它时，自己却突然被唤醒

•  回应缓慢

• 网络联机不稳定

• 声音质量不佳

基本性能验证是不够的！智能音箱需要更生活化的验证测试

先前提到的性能指针验证，基本上是以固定数量的测试语音，透过不同的发音距离及发音源角度，外加几种噪音干扰，来验证智能音箱的性能表现。

对厂商而言时间就是金钱，只有缩短产品研发及验证时间，才能越早开始获利。然而，若验证时程被限缩又无法针对问题进行精准的测试，恐怕厂商在产品上市后，还是会收到消费者客诉，甚至面临退货等情况。

为了帮助厂商在上市前，用最有效率、精准的验证测试发现产品的潜在风险，百佳泰以使用者的角度出发，针对音响特性提出详尽的测试项目：

• 语音种类及数量

•  语音的口音及腔调

• 更多的距离变换

• 更多的环境噪音

• 贴近不同家居装潢材料的表现(玻璃、布窗帘、百页窗、书本、电视…)

• 受测产品摆设的位置(靠墙、靠窗、电视柜、茶几、书桌、床头柜…)

图2: 语音识别的测试环境

智能音箱实测分享-原来摆放位置是门学问!

百佳泰专业团队以Amazon Echo作为DUT，分别在不同的阻碍条件下进行测试：

智能语音可能使用情境

阻碍条件：无阻碍、柜子旁、窗帘旁、书本旁

发音距离：1公尺、3公尺

测试语音：英语、男声、女声，共480句

环境噪音：DUT音响正在播放音乐(DeviceMusic Playback)、其他装置正在播放音乐(External Music)、噪音(Noise)、无噪音(Silence)

智能语音在不同情境下的回应正确率

图3: 模拟家居环境的测试结果

从实测结果可发现，在无家具阻隔的情况下，即使环境中有噪音干扰，智能语音的辨识度还是能够达到100%。但若是稍微改变摆放位置，例如被窗帘、书或柜子挡住，正确率都无法达到百分之一百，也会因为不同的噪音干扰也有不同表现力。

在一般的产品性能验证中，为了量化测试的结果，通常会以最理想的摆放位置进行语音识别的验证。但这并不符合真实的使用情境，因为消费者买回家后，可能会把音响放在任何地方，产品表现力必定会受到环境因素影响。然而这些潜在风险，却无法透过性能指针验证及早发现，进而埋下日后消费者客诉的种子。