你的驗證手法夠人性化嗎? 用情境場域驗證克服智慧喇叭的使用問題!

Allion Labs / Jason Wu

智慧喇叭隨著近幾年語音助理的蓬勃發展下,銷售量每年都呈爆炸性的成長。不僅在歐美地區,在亞洲地區同樣炙手可熱。

通常每款智慧喇叭在上市前,其所支援的數位助理都會經過性能驗證,以確保產品正常運作,並符合使用者預期。然而即便產品經過基本驗證,現實生活中還是會遇到大大小小的使用問題,例如無法喚醒,或語音辨識不正確等狀況。究竟是什麼原因造成這些問題?以下我們將分成幾個層面來探討。

智慧喇叭的四大性能指標

首先我們來了解一下支援亞馬遜 Alexa 語音助理的智慧喇叭,所需要通過的驗證項目。百佳泰目前已經有提供廠商進行 Amazon Alexa Built-in 的相關性能驗證,其四種性能指標如下:

  •  FRR (Wake-Word False Rejection Rate) 驗證喚醒的正確率,
    透過播放預錄的測試語音,來記錄受測產品是否每次都能被正確喚醒。
  • RAR (Response Accuracy Rate)驗證回覆的正確率
    透過播放預錄的測試語音,來記錄受測產品是否能每次正確的回覆問題,或是執行指令動作。
  • WWDD (Wake Word Detection Delay) 回應時間
    為了能達到更即時的反應,避免使用者等待的不良體驗,這項驗證受測產品,在收到喚醒語音跟後續的命令之間,所需要的時間長短。
  • FAR (Wake-Word False Alarm Rate) 喚醒詞測試
    通常智慧喇叭接上電源後,就會保持全天候待命的狀態。但是一般使用者對話時,不會特意去避開使用喚醒詞,或是難免說了與喚醒詞發音相近的詞語。這項測試將在長時間的對話進行中,受測產品不會一直被誤喚醒。

圖1: 百佳泰提供之 Amazon Alexa 認證測試報告

花錢買罪受?為什麼智慧喇叭聽不懂我說的話.. 

一般來說,智慧喇叭在通過了上述的性能指標驗證後,可說是已經具備了一定程度的語音辨識品質,同時也具備了可上市的條件。

不過!現實往往沒想像中美好,
難道通過驗證就保證萬無一失了嗎?其實問題還是層出不窮…

消費者花了大錢,原本迫不及待想跟語音助理對話互動,卻發現問題一堆,實在非常掃興。使用者買回家經過簡單的設定,把智慧喇叭連上網路完成登入,正準備開始使用時,卻發現語音助理怎麼怪怪的,無法喚醒?不然就是問了幾個簡單問題卻答非所問!又或者是發生以下狀況:

  • 沒叫它時,自己卻醒來了
  • 回應緩慢
  • 網路連線不穩定
  • 聲音品質不佳

基本性能驗證是不夠的!智慧喇叭需要更生活化的驗證測試

先前提到的性能指標驗證,基本上是以固定數量的測試語音,透過不同的發音距離及發音源角度,外加幾種噪音干擾,來驗證智慧喇叭的性能表現。

對廠商而言時間就是金錢,只有縮短產品研發及驗證時間,才能越早開始獲利。然而,若驗證時程被限縮又無法針對問題進行精準的測試,恐怕廠商在產品上市後,還是會收到消費者客訴,甚至面臨退貨等情況。

為了幫助廠商在上市前,用最有效率、精準的驗證測試發現產品的潛藏風險,百佳泰以使用者的角度出發,針對音響特性提出詳盡的測試項目:

  • 語音種類及數量
  • 語音的口音及腔調
  • 更多的距離變換
  • 更多的環境噪音
  • 貼近不同家居裝潢材料的表現(玻璃、布窗簾、百頁窗、書本、電視…)
  • 受測產品擺設的位置(靠牆、靠窗、電視櫃、茶几、書桌、床頭櫃…)
圖2: 語音辨識的測試環境

更多驗證內容請參考Audio 聲學驗證實驗室

智慧喇叭實測分享-原來擺放位置是門學問!

百佳泰專業團隊以 Amazon Echo 作為 DUT,分別在不同的阻礙條件下進行測試:

智慧語音可能使用情境
阻礙條件:無阻礙、櫃子旁、窗簾旁、書本旁
發音距離:1公尺、3公尺
測試語音:英語、男聲、女聲,共480句
環境噪音:DUT音響正在撥放音樂(Device Music Playback)、其他裝置正在撥放音樂(External Music)、噪音(Noise)、無噪音(Silence)

智慧語音在不同情境下的回應正確率

圖3: 模擬家居環境的測試結果

從實測結果可發現,在無家具阻隔的情況下,即使環境中有噪音干擾,智慧語音的辨識度還是能夠達到100%。但若是稍微改變擺放位置,例如被窗簾、書或櫃子擋住,正確率都無法達到百分之一百,也會因為不同的噪音干擾也有不同表現力。

在一般的產品性能驗證中,為了量化測試的結果,通常會以最理想的擺放位置進行語音辨識的驗證。但這並不符合真實的使用情境,因為消費者買回家後,可能會把音響放在任何地方,產品表現力必定會受到環境因素影響。然而這些潛在風險,卻無法透過性能指標驗證及早發現,進而埋下日後消費者客訴的種子。

百佳泰除了協助客戶取得語音助理的認證之外,同時也提供客製化的情境測試,能夠模擬多種家居佈置條件及場景,用來驗證智慧喇叭擺放位置的影響,進而協助廠商了解消費者在使用時,可能會面臨的潛在問題,並有機會及早改善並免上市後接到客訴之窘境。若有需要任何諮詢相關測試的需求,還請聯繫百佳泰。