傳統的ip電話是將語音信號轉變成數字信號，進行打包和壓縮，在數據網上進行傳輸。但近年來，人們已經不滿足于只能聽到語音，還希望能見到對方的圖像。本系統就是針對人們的這一需求，在intel的pxa255平臺上利用qt/embedded圖形開發工具設計的一個ip視頻電話系統。

1 硬件系統結構

整個系統主要是在intel pxa255評估平臺sitsang板上實現的。pxa255是基于intel的xscale架構的嵌入式處理器，該平臺配備了大量的硬件資源。整個系統的硬件結構如圖1所示。

2 軟件系統結構

系統中采用的是基于qt/embedded 2.3.10版本的嵌入式圖形庫。該圖形庫是基于linux系統的frame buffer機制的，并使用基于該圖形庫的qtopia 2.2.1 pda版本的窗口環境管理系統。qt/embedded是一個完整的自包含gui和基于linux的嵌入式平臺開發工具，是qt的嵌入式開發版本。

音頻和視頻信號的采集、壓縮、播放和傳輸都是建立在該圖形界面和嵌入式linux內核以上的，所以，在交叉編譯移植嵌入式linux內核時，要正確配置對usb、video4linux、攝像頭和音頻設備的支持以及對frame buffer機制的支持。交叉編譯嵌入式qt時，要配置使其支持多線程、jpeg算法庫、音頻設備以及qvfb（基于x11的虛擬frame buffer機制）。本文主要討論ip視頻電話系統的設計實現，故嵌入式linux內核和嵌入式qt的配置編譯過程不再詳述。整個系統的軟件結構如圖2所示。

3 系統的具體設計

本ip視頻電話系統主要由音頻采集/播放模塊、視頻采集/播放模塊和網絡傳輸模塊組成。音頻和視頻模塊采樣本地數據，壓縮處理后交給網絡傳輸模塊，由其發送到另一對話端，并從網絡傳輸模塊接收對方的音頻和視頻數據處理后進行播放。

3.1 網絡傳輸模塊設計

系統啟動后，本地服務器端即對5000端口進行監聽。若有ip電話連接進來，則接受連接，為其分配套接字資源，并根據通話類型，生成相應的音頻、視頻類實例來處理相應的音頻、視頻數據。系統可以實現視頻通話，也可以只進行語音通話，即實現傳統ip電話的功能，因為音頻、視頻數據格式不同，需要分別做不同的處理，故采用兩個不同的套接字來進行處理，網絡傳輸模塊服務器端的基本流程如圖3所示。

本地網絡服務器端用從qserversocket類繼承的子類ipphoneserver實現。qt/embedded類庫已經對網絡操作進行了很好的封裝，所以系統只利用qt的信號和槽機制，給ipphoneserver類增加一個新的信號－－voidnewconnect（int）。信號所帶的參數為套接字號，并重載了qserversocket的虛子函數成員void newconnect（intsocket）。一旦發現有新的連接，它將把服務器端給新連接指定的接收套接字號（int socket）通過信號newconnect（int）發送出來，以便主程序設置對應的數據處理套接字。

在系統主程序中啟動服務器，并將服務器實例的newconnect（int）信號連接到主程序的newconnect（int）槽函數上。一旦來了新的連接，server的newconnect（int）被發出，則由主程序的newconnect（int）槽函數接收套接字號并判斷是音頻還是視頻連接后，將其指定給相應的音頻或視頻數據傳輸套接字，啟動服務器的代碼如下：

server＝new ipphoneserver（（tport－＞text（））.toushort（））；connect（server，signal（newconnect（int）），slot（new－connect（int）））；

具體與音頻/視頻模塊相關連進行數據傳輸的套接字從qsocket類繼承來的子類ippdatasock實現，它增加了一個新的qdatastream類指針成員變量ds來進行數據的傳輸處理，在ippdatasock的構造函數中被實例化。

為音頻和視頻進行數據傳輸的套接字實例分別為adatasock和vdatasock。若從已方發起連接，先通過qt的信號和槽機制設定相應的套接字連接、關閉和其他處理槽函數，再使用connecttohost（）函數連接到遠端服務器即可。音頻套接字實例化代碼如下：

adatasock＝new ippdatasock（this）； connect（adatasock，signal（connected（）），slot（tconnected（）））； connect（adatasock，signal（connectionclosed（）），slot（tclosed（）））； connect（adatasock，signal（readyread（）），ipaudio，slot（canplay（）））； connect（adatasock，signal（error（int）），slot（terror（int）））； adatasock－＞connecttohost（tserver－＞text（），（tport－＞text（））.toushort（））；

3.2 音頻采集/播放模塊設計

音頻采集/播放模塊主要是實現ip電話的音頻處理，由自定義類ipaudio來實現，因為系統要同時發送本地音頻數據給對話端并接收來自對話端的音頻數據在本地播放，而只有一個音頻編解碼設備，所以音頻設備必須以全雙工方式工作，音頻采集/播放模塊的主要工作流程如圖4所示。

系統采用的是linux操作系統，其下的音頻編程遵循oss（open sound system）音頻接口標準，oss是unix/linux平臺上統一的音頻接口，只要音頻處理應用程序按照oss的api來編寫，它就可以提供源代碼級的可移植性。

linux下的設備全部使用設備文件來管理，本系統使用的數字音頻設備為/dev/dsp。可以播放或錄制數字化的聲音，讀這個設備就相當于錄音，寫這個設備就相當于放音，它使用8位（無符號）線性編碼，其主要指標參數有：采樣速率（電話為8kbps）、聲道數目（單聲道、立體聲）和采樣分辨率（8位、16位）。

在進行音頻的采集和播放之前，必須先打開該音頻設備并適當設置一些工作參數，這些都在ip audio類的構造函數中實現，其中的一些參數和操作都被定義在"soundcard.h"頭文件中。

首先，要打開音頻設備。因為系統在通話時要同時進行錄音和放音，所以使用讀寫模式，相關代碼片斷如下：

int audio_fd；
if（（audio_fd＝open（"/dev/dsp"，o_rdwr））＜0） …//錯誤處理
打開設備后，為了正常地工作，設置一些相應的工作參數。

1）先設置為全雙工工作模式，并檢查是否設置成功，代碼如下：



設置好各個參數后，就可以進行視頻的采集和播放了，采集及錄音使用oss提供的read（）函數，播放則使用對應的write（）函數，直接對音頻設備/dev/dsp進行操作，由于進行ip電話通話時，要進行不間斷錄音和放音，但音頻設備的輸入/輸出緩沖區的大小是有限的，必須不斷循環使用，因此采用qt/embedded的信號和槽機制來實現，系統采集完一次數據并發送出去后，給ipaudio類自身發送一個canrecord（）信號，而采集函數本身是一個槽，接收到canplay（）信號后又開始下一次采集。這樣循環不斷，代碼片斷如下：


public slots； void record（）{ int len； if（ioctl（audio_fd，sound_pcm_sync，0）＝＝－1） //同步 … //錯誤處理 if（len＝read（audio_fd，buf，1024））！＝1024） //錄音 printf（"read wrong number of bytes ％dn"，len）； else{ （＊（adatasock－＞ds））＜＜buf； //發送采集的音頻數據給對話端 emit canrecord（）；//發送可錄音信號 } }
當系統接收到對話端發送過來的音頻數據時，音頻接收套接字adatasock發送一個readyread（）數據已準備好的信號給ipaudio類的槽函數play（）來播放這段音頻。套接字adatasock初始化時的語句
connect（adatasock，signal（readyread（）），ipaudio，slot（play（）））；

即實現這個功能，播放時為了避免要播放的數據太多而導致設備被阻塞，還須先檢測音頻設備的輸出緩沖區是否有足夠的空間，以使系統能夠正常工作。代碼如下：


這樣，系統就可以實現無阻塞的音頻采集和播放，一個傳統的ip語音電話就實現了，系統退出時，用close（）函數關閉音頻設備即可。

3.3 視頻采集/播放模塊設計

視頻采集和播放模塊實現了通過攝像頭采集本端影像視頻傳輸給對話方并接收對方的視頻數據還原成影像顯示在本端屏幕上的功能，也是本ip電話系統的先進之處，程序中用多的一些video4linux支持的專用視頻數據結構如下：

1）video_capability，包含攝像頭的基本信息，如設備名稱、支持的最大最小分辨率、信號源信息等，分別對應著結構體中成員變量name[32]、maxwidth、maxheight、minwidth、minheight、channels（信號源個數）、type等；

2）video_picture，包含設備采集圖像的各種屬性，如brightness（亮度）、hue（色調）、contrast（對比度）、whiteness（色度）、depth（深度）等；

3）video_mmap，用于內存映射；

4）video_mbuf，利用mmap進行映射的幀信息，實際上是輸入到攝像頭存儲器緩沖中的幀信息，包括size（幀的大小）、frames（最大支持的幀數）、offsets（每幀相對基址的偏移）；

5）video_window，包括設備采集窗口的各種參數。

視頻采集/播放模塊的基本工作流程如圖5所示。

這樣攝像頭設備所采集的內容就映射到了內存緩沖區pixbuf中，該映射內容區可讀可寫并可與其他進程共享。將系統設置為單幀采集模式，當1幀數據采集完畢時，通過vdatasock套接字將視頻數據傳送給對方，然后發一個cansample（）信號給自身再開始下一幀數據的采集，如下：


在采集視頻數據的同時，還要顯示對方傳輸過來的視頻數據，當對方的數據被接收到時，系統利用vdatasock的readyread（）信號告訴ipvideo將其顯示出來。ipvideo使用qt/embedded的qimage和qpainter類來實現圖像數據的顯示，先初始化，為了使圖像重畫時不閃爍，設置wrepaintnoerase重畫不擦除標志，如下：

p＝new qpainter（）； image＝new qimage（（uchar＊）buff，w，h，32，0，0，（qimage：：endian）0）； setwflags（getwflags（）|qt：：wrepaintnoerase）；

重載ipvideo的paintevent（）函數，加載buff中接收過來的視頻數據，并在屏幕上畫出來，代碼如下：

void paintevent（qpaintevent＊）{ image－＞loadfromdata（（uchar＊）buff，framesize）； p－＞begin（this）； p－＞drawimage（0，0，＊image）； p－＞end（）； }

在ipvideo中增加一個槽函數show（），專門接收vdatasock的readyread（）信號，一旦接收到了，就通過vdatasock的ds將視頻數據流導入buff緩沖區中，并調用updata（）函數，該函數將激活paint事件，調用paintevent（）函數進行視頻的更新重畫。這樣，隨著不停地接收到對方的圖像數據，就實現了遠端視頻的播放，雙方就能進行語音和視頻同步的ip通話了。

4 小結

本系統主要是針對嵌入式手持設備，可與pc或同類型的手持機進行ip視頻電話通信，擴展了傳統ip電話的功能，彌補了沒有圖像的缺點，并且體積小、攜帶方便、全圖形界面，操作簡單，采用無線上網，只要網絡支持，可以隨時隨地使用，另外還可以做終端監控之用，可以固定也可以移動監控，廣泛地應用于工廠、銀行及小區等眾多場合，具有比較廣闊的市場和應用前景。