原创 Video Streaming探讨(2)

http://www.jollen.org/EmbeddedLinux/Linux_Video_Streaming.html

繼上一篇介紹過 Video Streaming 的影像標準與網路通訊協定後，本期將要實際介紹目前常見的 Video Streaming 產品，並且由基本構成開始講解。本期首先介紹 video4linux 的設計方式。

繼上一篇介紹過 Video Streaming 的影像標準與網路通訊協定後，本期將要實際介紹目前常見的 Video Streaming 產品，並且由基本構成開始講解。本期首先介紹 video4linux 的設計方式。

Video Streaming 產品介紹

目前在網路上流行的 Video Streaming 產品相當多，這些利用 Video Streaming 技術設計的軟體在網路多媒體的應用已經有相當長的一段時間了。

底下先來介紹幾套常用的 Video Streaming 軟體。

Read Video

Real Video 是 Real Networks 公司的產品，Real Video 主要支援了 video-on-demand*1 的功能。Real Video 可以讓我們經由網站來播放串流影像 (streaming video)。

由於我們的最終目的是實作出一個可以做 video streaming 的軟體，所以在這裡我們將以 Real Video 做為標竿，並以 Linux 為基礎來設計 video streaming 的軟體。

mod_mp3

mod_mp3 是 Open Source 的 streaming 軟體。mod_mp3 並不是 Video Streaming 的軟體，但同樣是利用 streaming 的技術所設計的 apache module。

mod_mp3 可以利用 apache 來架設 streaming server，主要的功能是將 MP3 放進 cache 裡，再利用撥放程式就可以經由網路享受 MP3 streaming 的服務。

mod_mp3 的架設相當簡單，將 mod_mp3 以 DSO 方式安裝後，只要在 httpd.conf 裡加上 VirtualHost 的設定即可：

Listen 7000
<VirtualHost www.jollen.org:7000>
ServerName www.jollen.org
MP3Engine On
MP3CastName "jollen box"
MP3Genre "Much, nutty"
MP3 /home/nfs/private/mp3
MP3Random On
Timeout 600
ErrorLog /var/log/mp3_stream.log
</VirtualHost>

其中的設定項目說明如下：

• 
  
• MP3 - MP3 路徑或檔名
  
• MP3Engine - 啟動或關閉 MP3 streaming server
  
• MP3CastName - server name
  
• MP3Genre - Genre that will be sent to the client
  
• MP3Playlist - 如果 MP3 Player 支援 Playlist，可以設定這個項目
  
• MP3Cache - cache 目錄

VIC

VIC 也是屬於 Open Source 的軟體。VIC 全名為video conferencing，故名其義，VIC 是一種視訊會議的軟體。VIC 是由加州柏克來大學的 Network Research Group 所發展。

VIC 是相當棒非常適合用來研究 Video Streaming 的 Open Source 軟體，主要是因為 VIC 幾乎包含了 Video Streaming 相關的技術。

VIC 值得我們研究的原因是因為 VIC 支援了底下所列的功能：

• 
  
• IPv6
  
• 使用 video4linux 的捕像捕捉功能
  
• H261、H263 與 H263+ codec
  
• Software JPEG 與 BVC 編碼
  
• Raw YUV packetiser/codec
  
• RTIP/RTP 通訊協定
  
• the IP Multicast Backbone (MBone)
  
• 支援 video4linux 的 mmap

這些特色幾乎已經包括 Video Streaming 所應具備的技術了，基於這些特點，VIC 的原始程式碼相當吸引人，因此有意研究 Video Streaming 的 programmer 應該好好閱讀一下 VIC 的原始程式碼。

VideoLAN

VideoLAN 是一個可以做 MPEG 與 DVD 擴播 (broadcast) 播放的軟體，VideoLAN 分成二個部份，一個是 VLAN server，另一個則是 vlc 用戶端播放程式。

VLAN server 將 DVD 與 MPEG 影像利用 broadcast 方式擴播到區域網路上，使用者端再利用 vlc 接收封包並播放。這樣做的好處是可以減少重覆的 I/O 動作，VLAN server 將影像擴播出去後，區域網路上的用戶端再利用 vlc 接收封包並播放。

VideoLAN 支援 X11、SDL、Linux framebuffer、GGI、BeOS API、MacOS X API 播放方式，並且支援 DVD 與 AC3 (杜比音效)。

video4linux 實作

看過幾套現成的 Video Streaming 後，還是要回到本文的主題 -- Linux 如何設計 Video Streaming 的應用程式。上一期所介紹的 Video Streaming 基本觀念是進入 Video Streaming 領域相當重要而且基本的知識，像是 PASL/NTSC、RTP...等等。

RealNetworks 公司的產品裡，要建置網站的即時 (live) 影像是相當容易的。只要利用 RealNetworks 公司的產品配合影像捕捉卡 (Video Capture Card) 與 CCD 就可以達到。

從這裡可以看出，如果我們想要實作一套這樣的小系統，第一個所要面臨的問題就是如何在 Linux 下軀動影像捕捉卡，再來就是如何設計影像捕捉的程式。

在影像捕捉卡方面，Linux kernel 2.2 版本的支援已經相當完備了，很多影像捕捉卡在 Linux kernel 2.2 上都可以順利軀動並且正常工作。

而在程式設計方面，我們則是先利用 Linux kernel 所提供的 video4linux APIs 來設計程式。這一期的目的在於利用 video4linux 來實作一個供應用程式使用的程式庫 (library)。

影像捕捉卡

先來檢視一下 Osprey 100 這張影像捕捉卡。Osprey 100 是 Real Networks 公司所推薦配合他們產品的一張影像捕捉卡，配合 Osprey 100 與 RealNetworks 的產品我們可以利用 broadcast 或 on-demand 做到實況轉播 (live) 的功能。

Osprey 100 在硬體功能上可以支援到每秒 30 個畫面 (fps -- frame per second)，並且支援 NTSC 與 PAL 輸入。

不過在實作上，筆者並不使用 Osprey 100。筆者使用的影像捕捉卡是 ，這張卡算是比較「俗」一點的卡，但是也有好處，因為在 Linux 上很容易安裝。

在繼續往下發展我們的系統前，必須先安裝好影像捕捉卡與軀動程式，這部份不在這篇文章的範圍，所以請您參考相關的文章來安裝軀動程式。

以筆者這張卡為例，使用的是 Brooktree Corporation 的卡，所以只要安裝 bttv 模組即可，同時，bttv 模組在 Linux kernel 2.2.17 下也會用到 i2c-old 與 videodev 兩個模組，所以也要一併安裝。在命令列下，安裝這三個模組的命令為：

linux# insmod i2c-old
linux# insmod videodev
linux# insmod bttv

當然要確定 Linux kernel 有編譯這三個模組的支援，然後再把這三個模組加到 /etc/modules.conf (Red Hat 7.0) 裡。

不同版本的 kernel 所要安裝的模組不一定相同！還請注意，例如 i2c 相關模組就是如此。

video4linux 使用的設備檔

Linux 下與 video4linux 相關的設備檔與其用途：

video4linux 除了提供 programmer 與影像捕捉有關的 API 外，也支援其它像是收音機裝置。

接下來介紹 video4linux 設計方式，所使用的 Linux kernel 版本為 2.2.16。這篇文章將簡單介紹實作 video4linux 的方法，所以請準備好 Linux kernel 原始碼下的 Documentation/v4l/API.html 文件並了解 What's video4linux。

_v4l_struct -- 定義資料結構

首先，先定義會用到的資料結構如下：

#ifndef _V4L_H_
#define _V4L_H_

實作 video4linux 時，必須 include 底下二個檔案：

#include <sys/types.h>
#include <linux/videodev.h>

接下來是 PAL、CIF、NTSC 規格的畫面大小定義：

#define PAL_WIDTH 768
#define PAL_HEIGHT 576
#define CIF_WIDTH 352
#define CIF_HEIGHT 288
#define NTSC_WIDTH 640
#define NTSC_HEIGHT 480

接下來我們的重點是 _v4l_struct structure，這個 structure 包含了在 API.html 提到，將會使用到的 data structure，底下將完整地定義 _v4l_struct，但在實作時並不會全部用到。

_v4l_struct 定義如下：

struct _v4l_struct
{
int fd;
struct video_capability capability;
struct video_buffer buffer;
struct video_window window;
struct video_channel channel[8];
struct video_picture picture;
struct video_tuner tuner;
struct video_audio audio[8];
struct video_mmap mmap;
struct video_mbuf mbuf;
unsigned char *map;
};

為了設計方便，我們再做底下的定義：

typedef struct _v4l_struct v4l_device;

以後宣告 struct _v4l_struct 時，將一律使用 v4l_device。

實作函數宣告

底下宣告將要實作的 functions，我們採取 top-down 的實作方式，也就是先將所有會用到的函數事先規劃，並宣告在原始碼裡。當然，本文並不會介紹底下所有的函數，但重要的函數則會做說明。

實際做設計時，有些函數可能會在後期才會被設計出來。我們所要實作的函數與函數宣告如下：

extern int v4l_open(char *, v4l_device *);
extern int v4l_close(v4l_device *);
extern int v4l_get_capability(v4l_device *);
extern int v4l_set_norm(v4l_device *, int);
extern int v4l_get_channels(v4l_device *);
extern int v4l_get_audios(v4l_device *);
extern int v4l_get_picture(v4l_device *);
extern int v4l_grab_init(v4l_device *, int, int);
extern int v4l_grab_frame(v4l_device *, int);
extern int v4l_grab_sync(v4l_device *);
extern int v4l_mmap_init(v4l_device *);
extern int v4l_get_mbuf(v4l_device *);
extern int v4l_get_picture(v4l_device *);
extern int v4l_grab_picture(v4l_device *, unsigned int);
extern int v4l_set_buffer(v4l_device *);
extern int v4l_get_buffer(v4l_device *);
extern int v4l_switch_channel(v4l_device *, int);

v4l_open() -- 開啟 device file

首先，v4l_open() 是我們第一個應該要撰寫的函數。v4l_open() 用來開啟影像來源的設備檔。

依據 v4l_open() 的宣告，在應用程式裡，我們會這樣呼叫 v4l_open()：

v4l_device vd;

if (v4l_open("/dev/video0", &vd)) {
return -1;
}

在應用程式裡，我們宣告了一個 vd 變數 (v4l_device 型態)，再呼叫 v4l_open() 將設備檔開啟。

如果可以開啟 "/dev/video0" 則將取回的資訊放到 vd 裡，vd 是 v4l_device 也就是之前宣告的 _v4l_struct。

接下來，讓我們來看看 v4l_open() 要如何實作：

#define DEFAULT_DEVICE "/dev/video0"

int v4l_open(char *dev, v4l_device *vd)
{
if (!dev)
dev = DEFAULT_DEVICE;

if ((vd->fd = open(dev, O_RDWR)) < 0) {
perror("v4l_open:");
return -1;
}

if (v4l_get_capability(vd))
return -1;

if (v4l_get_picture(vd))
return -1;

return 0;
}

為了設計出完整的 video4linux 程式庫，一開始我們就定義了 DEFAULT_DEVICE，當應用程式輸入的 dev 設備檔參數不存在時，就使用預設的設備檔名稱。程式片段如下：

if (!dev)
dev = DEFAULT_DEVICE;

與一般 Linux Programming 一樣，我們使用 open() 將 device file 打開：

if ((vd->fd = open(dev, O_RDWR)) < 0) {
perror("v4l_open:");
return -1;
}

如果您不熟悉 Linux 下 open() 的使用方法，請參考 Linux programming 相關資料。熟悉 UNIX programming 的讀者一定知道，open() 也與 STREAMS 的觀念相關，這部份在後面會再另外做介紹。

將設備檔開啟後，把傳回來的 file description 放到 vd->fd 裡。

成功開啟設備檔後，根據 API.html 的說法，我們要先取得設備的資訊與影像視窗的資訊，所以這裡再實作 v4l_get_capability() 與 v4l_get_picture() 來完成這二件工作。

v4l_get_capability() 會利用 ioctl() 取得設備檔的相關資訊，並且將取得的資訊放到 struct video_capability 結構裡。同理，v4l_get_picture() 也會呼叫 ioctl() ，並將影像視窗資訊放到 struct video_picture 結構。

v4l_get_capability() 函數程式碼如下：

int v4l_get_capability(v4l_device *vd)
{
if (ioctl(vd->fd, VIDIOCGCAP, &(vd->capability)) < 0) {
perror("v4l_get_capability:");
return -1;
}
return 0;
}

在這裡，其實只有底下這一行才是 v4l_get_capability 的主力：

ioctl(vd->fd, VIDIOCGCAP, &(vd->capability));

其它部份都是屬於錯誤處理的程式碼，在本文，筆者都將函數寫的完整一點，即包含了錯誤檢查，因為我們想要實作一個 v4l 的 library。

vd->fd 是由 v4l_open 傳回來的 file descriptor，而傳遞 VIDIOCGCAP 給 ioctl() 則會傳回設備相關資訊，在這裡則是存放於 vd->capability。

v4l_get_ picture() -- picture 的初始化

取得設備資訊後，我們還要再取得影像資訊，所謂的影像資訊指的是輸入到影像捕捉卡的影像格式。

在 _v4l_struct 結構裡，我們宣告 channel 如下：

struct video_picture picture;

初始化 picture 的意思就是要取得輸入到影像捕捉卡的影像資訊，我們設計 v4l_get_ picture() 函數來完成這件工作。

v4l_get_ picture () 完整程式碼如下：

int v4l_get_picture(v4l_device *vd)
{
if (ioctl(vd->fd, VIDIOCGPICT, &(vd->picture)) < 0) {
perror("v4l_get_picture:");
return -1;
}
return 0;
}

傳遞VIDIOCGPICT 給 ioctl() 則會傳回影像的屬性 (image properties)，這裡則是將影像屬性存放於 vd-> picture。

v4l_get_channels() -- channel 的初始化

接下來，我們還要再做 channel 的初始化工作。還記得在 _v4l_struct 結構裡，我們宣告 channel 如下：

struct video_channel channel[8];

channel 是一個 8 個元素的陣列，一般絕大部份都會宣告 4 個元素，因為大部份的影像捕捉卡都只有 4 個 channel。幾乎沒有影像捕捉卡有 8 個 channel的。

初始化 channel 的意思就是要取得「每個」 channel 的資訊，我們設計 v4l_get_channels() 函數來完成這件工作。

v4l_get_channels() 完整程式碼如下：

int v4l_get_channels(v4l_device *vd)
{
int i;

for (i = 0; i < vd->capability.channels; i++) {
vd->channel.channel = i;

if (ioctl(vd->fd, VIDIOCGCHAN, &(vd->channel)) < 0) {
perror("v4l_get_channel:");
return -1;
}
}
return 0;
}