原创 影音同步如何影响产品体验？Webcam与视讯软件的AV-Sync实测

声音与影像的同步，即为AV-Sync，是影响多媒体体验的重要的因素。随着人们生活及工作型态改变，我们不再需要面对面才能对话，也不必聚集于实体现场才能进行演讲，拜网络的普及和移动通讯的便利，在任何地方都能以各种形式来进行不同目的的声音或影像传递。

除了硬件及网络设备外，因应各种用途及活动，已开发出许多应用软件以满足不同族群的需求，下面列举们最常被使用的视讯软件：

• 实时通讯(Instant Messaging, IM)–Skype, Line, Facebook Messenger, WhatsApp, WeChat, Telegram…
• 在线会议(Meeting & Conference)–Google Meet, Microsoft Teams, Zoom…
• 游戏聊天(Gaming Chat)–Discord, EPIC Game store, Mumble, Guilded, Steam Chat…
• 在线直播(Live Streaming)–YouTube Live, Facebook Live, Instagram Live, Twitch…

根据百佳泰丰富经验及相关收集结果，用户在影音设备与视讯软件的不同应用中，可能会遇到使用困难或影响体验的状况，可见以下几点：

1. 实时通讯过程中影音不同步

2. 通讯过程很顺利，但播放录像文件时会有影像或声音延迟

3. 直播中有影没声或是有声无影

4. 通讯中影像破图

5. 开会中出现断断续续的爆音

这些问题会因为音频、视频和屏幕是否共享，以及网络、软硬件及连接的方式，而产生差异。以声音与影像的同步为例，不同的视讯软件会根据音频及视频接收时间，而做出影音不处理、声音延迟处理、影片丢帧处理等等的影音处理方式，下面我们会以实际案例来说明。

用一个内建麦克风的USB webcam以不同的视讯软件及不同的计算机来实验，在视讯的过程中音频及视频的同步状态如何。透过LatencyKit来量测音频及视频的延迟时间。

VIDEO AND AUDIO LATENCY MEASUREMENT SYSTEM

Host的音频及视频经过网络传递到Client端，再分析Client端的音频及影频延迟，就可以计算出AV-Sync了。

我们可以看到测试的AV-Sync结果如下，数据为正值代表声音先出来，反之负值为影像先出来。量测的AV-Sync值介于73ms ~ -100ms，表现普通。

光的速度比声音还快，日常生活中人们已经习惯先看到影像再听到声音，加上每种产品的定位不同，能够接受的标准便因人而异。我们可从各协会与不同应用所定订的标准，来思考产品的定位。

因此，我们可利用上述的标准制作出影音同步感知表，透过结果的分布分析，能更快速的了解产品的取向及定位，例如若落点全数在好或非常好的范围，则测试结果Pass，并能定义表现为优秀。

透过上图感知表，我们可以轻松的将感受及体验可视化，从中发现已有不少数据落于-60ms至-100ms属表现普通的区间，虽不是大问题，但长久使用下对于使用者体验来说便有可能造成减分。外接一个USB麦克风、多接几个USB Hub、使用不同的软件及操作系统，上述情况都可能是造成影音不同步的要素。