對(duì)于大部分海量視頻平臺(tái)和需要持續(xù)交付視頻服務(wù)的平臺(tái)而言，采取視頻自動(dòng)化測(cè)試是唯一可行的選擇。在WebRTCon 2018期間，英特爾Intel? Collaboration Suite for WebRTC （面向WebRTC 的英特爾? 協(xié)同通信開發(fā)套件）客戶端測(cè)試架構(gòu)負(fù)責(zé)人張琰彬接受了LiveVideoStack的采訪，詳細(xì)闡述了視頻視頻質(zhì)量自動(dòng)化測(cè)試的難點(diǎn)及應(yīng)對(duì)方案。

LiveVideoStack：琰彬你好，音視頻服務(wù)交付涉及很多環(huán)節(jié)，從音視頻采集、處理、傳輸、服務(wù)器處理，再通過網(wǎng)絡(luò)分發(fā)出去并在客戶端上顯示，這么長的鏈條如何自動(dòng)化的分析和定位問題呢？難點(diǎn)分別有哪些？

張琰彬：我們要自動(dòng)化首先要保證的就是測(cè)試結(jié)果的可重復(fù)性，從第一個(gè)點(diǎn)音視頻采集來說，我們采取了固定視頻代替隨機(jī)視頻的方式來確保視頻的固定，這個(gè)中間又出現(xiàn)了第二個(gè)問題就是怎么定位視頻幀，我們需要定位發(fā)送和接收視頻幀才能計(jì)算出精確的延時(shí)。此外，比如說現(xiàn)在通常用到的有參考評(píng)估相關(guān)視頻質(zhì)量標(biāo)準(zhǔn)PSNR、SSIM、VMAF都依賴發(fā)送接收視頻序列定位等問題。

問題中說的處理傳輸和服務(wù)器處理，分發(fā)到客戶端這個(gè)幾個(gè)點(diǎn)，這其實(shí)是一個(gè)完整的音視頻傳輸通道的實(shí)現(xiàn)，我們做評(píng)估系統(tǒng)的話一定是建立在現(xiàn)有的音視頻傳輸通道上的，所以我們?nèi)绾谓F(xiàn)有傳輸通道的兼容模塊，如何兼容現(xiàn)有傳輸通道但是又不能影響現(xiàn)有通道的性能是我們第三個(gè)要考慮的問題。

第四個(gè)問題是網(wǎng)絡(luò)模擬，因?yàn)槲覀兺ǔＵf的各種視頻問題，可能出現(xiàn)問題的有幾個(gè)地方，一是發(fā)送方的處理，視頻采集和有損編碼，二是服務(wù)器處理模塊，特別是視頻會(huì)議模式，服務(wù)器可能會(huì)對(duì)視頻做編解碼、轉(zhuǎn)碼、混流等。三是發(fā)送接收方中間的網(wǎng)絡(luò)狀態(tài)，我們需要建立一個(gè)精確的網(wǎng)絡(luò)模擬模型，包括各種網(wǎng)絡(luò)參數(shù)，比如丟包和各種丟包方式，比如說隨機(jī)丟包，固定丟包，突發(fā)丟包等等。除此之外還有延時(shí)、抖動(dòng)等都有各種精細(xì)分類，再就是如何精確的復(fù)現(xiàn)客戶實(shí)際網(wǎng)絡(luò)，比如不同時(shí)段的4G網(wǎng)絡(luò)狀態(tài)。

上述這些問題解決之后，我們還需要解決的難點(diǎn)和重點(diǎn)就是視頻自動(dòng)評(píng)估，評(píng)估標(biāo)準(zhǔn)和評(píng)估方法的選擇，我們需要選擇哪些評(píng)估方法，有視頻幀相關(guān)的，有參考評(píng)估，無參考評(píng)估，還有描述當(dāng)前場(chǎng)景的網(wǎng)絡(luò)因子，比如說端對(duì)端延時(shí)、實(shí)際傳輸帶寬、視頻抖動(dòng)等，以便于提供足夠多的場(chǎng)景復(fù)現(xiàn)和結(jié)果量化數(shù)據(jù)。

LiveVideoStack：視頻質(zhì)量評(píng)估分主觀測(cè)試和客觀測(cè)試，實(shí)現(xiàn)持續(xù)的自動(dòng)化測(cè)試恐怕只能采用客觀測(cè)試的方法吧？

張琰彬：是的，要做全自動(dòng)化，就意味著任何數(shù)據(jù)必須具備可重復(fù)性、量化的特點(diǎn)，這里我們可以先講解一下主觀測(cè)試和客觀測(cè)試。關(guān)于視頻質(zhì)量評(píng)估本身，業(yè)界通常將評(píng)估方法分為兩種類別，一個(gè)叫做主觀評(píng)估，一種叫做客觀評(píng)估。

主觀評(píng)估，顧名思義就是人參與的人工評(píng)估，視頻主觀質(zhì)量評(píng)價(jià)就是選擇一批非專家類型的受測(cè)者，讓他們參加一些培訓(xùn)，至少是閱讀一些評(píng)估規(guī)范和標(biāo)準(zhǔn)比如說ITU-R BT.500 等，然后在一個(gè)特定的受控環(huán)境中，連續(xù)觀看一系列的測(cè)試序列大約10至30分鐘，然后采用不同方法讓他們對(duì)視頻序列的質(zhì)量進(jìn)行評(píng)分，最后求得平均意見分(Mean Opinion Score，MOS)，并對(duì)所得數(shù)據(jù)進(jìn)行分析。測(cè)試環(huán)境中的受控因素包括：觀看距離、觀測(cè)環(huán)境、測(cè)試序列的選擇、序列的顯示時(shí)間間隔等。

客觀評(píng)估通過一些評(píng)估標(biāo)準(zhǔn)來量化視頻質(zhì)量，主要也分為兩類，一類是有參考評(píng)估，另一類是無參考評(píng)估。有參考評(píng)估就是依賴原始視頻和待評(píng)測(cè)視頻進(jìn)行對(duì)比，目前比較熟知的就是PSNR、SSIM、VIF、VMAF、PEVQ 等。無參考評(píng)估，在判斷視頻質(zhì)量時(shí)不需要來自原始參考視頻的任何信息，通過對(duì)失真視頻空域和頻域的處理分析來提取失真視頻的特征，或者基于視頻像素的質(zhì)量模型等來得到視頻質(zhì)量。這種評(píng)估標(biāo)準(zhǔn)適合與線上無原始參考視頻序列的無線和IP視頻業(yè)務(wù)，或者輸入和輸出差異化的模型，比如說視頻增強(qiáng)，視頻合并等場(chǎng)景。

整體來看 客觀和主觀視頻評(píng)估各有優(yōu)缺點(diǎn)。對(duì)于主觀評(píng)估，雖然可以直觀反應(yīng)人對(duì)視頻的觀感，但是需要專業(yè)培訓(xùn)的人員進(jìn)行評(píng)估；而且隨機(jī)選取人員會(huì)導(dǎo)致主觀差異；時(shí)間和人力成本高；重復(fù)性低；數(shù)據(jù)缺乏參考性，很難做到精確計(jì)算延時(shí)，幀抖動(dòng)等。對(duì)于客觀評(píng)估來說，可以數(shù)據(jù)量化，參考性高，可重復(fù)操作，可以精確計(jì)算時(shí)延，抖動(dòng)測(cè)試，并進(jìn)行自動(dòng)化集成和監(jiān)控等。所以說如果要做全自動(dòng)化測(cè)試，必須采取客觀評(píng)估。

LiveVideoStack：測(cè)試平臺(tái)如何獲得客戶端的視頻客觀質(zhì)量數(shù)據(jù)的？

張琰彬：是這樣的， 如果聽了演講的同學(xué)應(yīng)該就很清楚，我會(huì)介紹我們的自動(dòng)化測(cè)試框架架構(gòu)，這就是我們說的與原有視頻通道兼容模塊的任務(wù)，我們單舉一個(gè)有參考視頻質(zhì)量評(píng)估信息來說，在發(fā)送的客戶端我們需要保存發(fā)送幀視頻信息，比如說每一幀定位信息，幀本身視頻信息，發(fā)送時(shí)間戳信息等。在接收方，我們同樣需要保存接收視頻幀信息，每一幀的定位信息以便于發(fā)送和接收幀定位，幀本身視頻信息，接收時(shí)間戳信息等。除此之外，我們要存儲(chǔ)的還有網(wǎng)絡(luò)因子，WebRTC 狀態(tài)因子等，配合視頻信息來計(jì)算視頻幀抖動(dòng)、幀率、端對(duì)端延時(shí)等。這些信息并不是保存在客戶端本身的，而是通過額外的信令通道實(shí)時(shí)傳輸?shù)轿覀冑|(zhì)量服務(wù)器端進(jìn)行數(shù)據(jù)存儲(chǔ)，這樣在不影響本身視頻通道性能的同時(shí)，也便于分析模塊計(jì)算各種對(duì)比性能參數(shù)信息。

LiveVideoStack：在保證服務(wù)的可用性、用戶觀看體驗(yàn)的同時(shí)，是否能夠通過測(cè)試服務(wù)來優(yōu)化服務(wù)成本？比如在維持可用性和用戶主觀體驗(yàn)的同時(shí)，通過使用P2P CDN，優(yōu)化的編碼策略或新的Codec來降低成本？

張琰彬：測(cè)試服務(wù)核心的就是為了產(chǎn)品服務(wù)，無論你是在做實(shí)時(shí)視頻通信的這樣一個(gè)產(chǎn)品還是SDK 的提供方，我們常常會(huì)遇到各種視頻問題，對(duì)于測(cè)試來說，我們要思考怎么來發(fā)現(xiàn)這些問題，如何重現(xiàn)這些問題，如何自動(dòng)來復(fù)現(xiàn)，如何量化這些問題。那么對(duì)于整個(gè)團(tuán)隊(duì)，包括研發(fā)和設(shè)計(jì)來說，拿到這些問題就可以思考出現(xiàn)這些問題怎么辦，怎么來優(yōu)化我們的產(chǎn)品，因?yàn)樵趯?shí)際產(chǎn)品實(shí)際中，在有限的資源比如帶寬條件下，我們是應(yīng)該現(xiàn)考慮清晰度還是先考慮流暢度，不同的場(chǎng)景，不同的公司產(chǎn)品策略都可能給出不同的解決辦法，但是核心的一點(diǎn)就是我們需要這樣一個(gè)自動(dòng)視頻評(píng)估體系，有足夠多的場(chǎng)景復(fù)現(xiàn)和結(jié)果量化數(shù)據(jù)，才能給出合理的設(shè)計(jì)標(biāo)準(zhǔn)。

比如使用我們的自動(dòng)化測(cè)試框架，我們?cè)?jīng)評(píng)估過不同的Codec 之間，各種傳輸帶寬帶來的最終視頻質(zhì)量性能對(duì)比，各種編碼在消耗多少帶寬的時(shí)候他們的視頻質(zhì)量是均衡的，產(chǎn)品設(shè)計(jì)就可以針對(duì)不同的Codec 設(shè)置不同的標(biāo)準(zhǔn)帶寬。對(duì)于產(chǎn)品新增加的Codec, 在最后上線之前，我們也會(huì)做對(duì)比測(cè)試，對(duì)比現(xiàn)有的Codec 策略，各種參數(shù)是否有新的性能突破，帶寬優(yōu)化等等。我們還可以幫助產(chǎn)品找到精確的最大或者最小閾值，比如說720p 的視頻在提供最少帶寬的時(shí)候就能夠達(dá)到足夠好的視頻體驗(yàn)，那么就可以幫用戶節(jié)省沒有必要的增大帶寬的設(shè)置。