国产成人欧美日韩综合-久久久久无码国产精品不卡-h双腿涨灌捆绑play慎入-啊灬用力灬啊灬啊灬啊灬a片男男-性疼痛tube小坳交hd-国产精品免费大片-日本亚洲成高清一区二区三区-草莓视频在线观看污污-浴室激情hd-欧美午夜理伦三级在线观看激情伦理-91蝌蚪在线,国产黄色大片在线观看一区二区,午夜精品久久久内射近拍高清,特级做a爱片久久久久久

具體實施：由于手術間需要視頻交流、視頻錄制 。考慮到節約系統成本、實現資源利用最大化、在后端需要部署錄播服務器。錄播服務器可以將手術室中的所有視頻畫面分別錄制存儲下來。
3.1.3信號接收
主要負責從網絡接受前端錄播服務器發送的視頻流解碼后輸出給各中顯示設備。為了滿足用戶不同的收看需求我們將為用戶提供的顯示方式有，PC、平板電腦、智能手機等。播放設備可以直接連接液晶電視、大屏投屏、投影儀等顯示設備。通過遙控器、鼠標、屏幕面板即可操控。非常適合會議室、示教室等使用。
PC、平板電腦、智能手機客戶端無需安裝任何插件即可通過網絡或者  無線wifi用瀏覽器接受手術視頻直播、點播、只要客戶端能使用Inter網絡訪問遠程手術服務器就可以接收手術直播、點播。

具體實施：在示教室或者需要看直播的術室配置播放器，與現場的設備連接上，音頻和音響系統對接并連接上服務器，確保網絡通暢。在整個觀看過程中全景攝像機、術野攝像機、各種腔鏡、C臂機、CT機、監護儀等設備的畫面和數據畫面統一展示也可局部放大進行單獨遠看。
3.1.4遠程控制
操作人員通過發出命令短消息，手術室值守的模塊接收到命令后發送給主機(單片機)，主機通過對命令的處理，把命令通過紅外傳輸到相應的分機(單片機)上，分機對命令處理后，啟動相應設備，完成操作人員給出的命令并向主機回復應答，主機收到應答后，通過模塊發出回復短消息，報告用戶完成命令。若在規定的時間內(這里定時60s)主機沒有接收到分機的回復信息，即把該操作認為無效，回復操作無效短消息給操作端，要求操作人員重新發出命令。若收到的短信息有誤，主機便立刻回復該操作無效，請求操作人員重新發出命令。

3.2主功能概述

3.2.1視頻采集
網絡攝影機是視頻采集的主要設備，其主要部件CCD和CMOS，隨著技術的發展，CMOS傳感器的性能正在得到快速的提升，CMOS傳感響應速度要比CCD傳感器的速度要快很多。因此更適合更適應高清監控的大數量特點，因此本系統中的網絡攝像機采用CMOS傳感器來采集工作，多視頻流編碼器的芯片是用來處理視頻數據的核心部件，多視頻流處理的核心是由專門的編碼解碼功能的DSP和ASIC組成。
 
3.2.2音頻采集
話筒是網絡攝像機采集音頻的主要設備，音頻服務器的芯片是用來處理音頻數據的核心部件，音頻服務器核心是由專門的編碼解碼功能的DSP和ASIC組成。
 
3.2.3視頻編碼
由視頻采集模塊采集到視頻數據被傳送到編碼模塊對其進行壓縮編碼。常用的兩種編碼方式為H.264編碼方式和MPEG-4編碼方式。H.264采用幀間和幀內預測的混合編碼方式，但是多了一個環內濾波功能，提高了圖像質量。在本系統中，視頻部分將采用H.264的編碼方式。
 
3.2.4音頻編碼
由音頻采集模塊所采集到的音頻數據被傳送到音頻壓縮編碼模塊，MP3作為目前最為普及的音頻壓縮格式，其應用場合十分廣泛，能夠廣泛應用到語音通訊、語音錄制等環境中，故本系統音頻部分將使用MP3編碼方式。
 
3.2.5多視頻流模塊
多視頻流系統將采用雙視頻流編碼以及雙雙視頻流的網絡傳輸，其將采集到的視頻數據通過兩路編碼器通過兩路進行編碼。一路是質量較低采用實時傳輸協議的實時流，另一路是質量較高不采用實時傳輸協議的高質量流。
雙視頻流編碼以及雙視頻流的網絡傳輸的另一種應用是將采集到的視 頻數據通過兩路編碼器進行兩路編碼一路是質量較低的視頻流，另一路是質量較高的視頻流，在傳輸時，系統會根據具體的網絡帶寬有選擇的發送視頻流，當網絡環境好時發送高質量視頻流，當網絡環境差時發送質量低的視頻流。
 
3.2.6雙向語音通訊模塊
本系統具備了雙向語音通訊功能，其采用多線程技術使得攝像機兩端能用過語音設備進行實時的語音交流、通訊。
 
3.2.7網絡功能
網絡模塊描述了音頻視頻數據通過網絡傳輸功能，將編碼壓縮后的音頻視頻數據經過打包，添加頭文件后進行網絡傳輸，采用實時傳輸協議RTP協議對打包的數據進行實時的網絡傳輸以實現實時觀察，實時通訊等功能。
3.2.8存儲功能
采用非實時傳輸的方式將雙路視頻流編碼中的高質量視頻流通過網絡傳輸到客戶端，并在客戶端設備中分配存儲空間創建視頻文件，將接受的視頻流保存到客戶端新建的視頻文件中。
3.2.9媒體流加密
   SRTP（Secure Real-time Transport Protocol，安全RTP協議）通過對RTP/RTCP報文的有效負載進行加密，實現對RTP/RTCP報文的加密、認證以及報文重傳保護。

3.3傳輸技術

本系統需要完成音頻采集編碼；視頻采集，多視頻流編碼，遠程控制等功能；而為了實現視頻信號良好的實時傳輸，以及語音雙向通訊功能，我們要用到 實時傳輸協議，RTP協議，實時傳輸控制協議，RTCP協議以及實時流媒體協議，RTSP協議。在本系統對音頻數據處理過程中，我們必須了解其中的視頻編碼技術，同時為了實現網絡實時通訊功能，雙向視頻語音通訊技術也是本系統核心技術之一。
3.3.1影響實時傳輸因素
      在網絡電話，視頻會議等應用領域，為了滿足應用的需要和使用著的需求，我們要保證視頻數據的流暢性和雙向語音通訊的服務質量，而影響視頻流暢性以及語音通訊質量的因素主要來源與網絡層的延時，抖動等，下面詳細介紹網絡層影響傳輸的幾個因素。

• 處理延時：在網絡中轉發幀的設備會造成延時，在網絡中，處理延時會造成一定的影響，這種影響在分組網絡環境中尤為重要，數字信號處理器每10ms產生一個語音樣本，兩個語音樣本被放在一個包中，每個包的延時是20ms。

• 隊列延時：分組還有其他原因的延時，其中的兩個是將分組移動到輸出隊列的所必須時間和序列化延時。當一個包因為輸出接口阻塞而停止在隊列中而造成的延時，稱為隊列延時，其實在某段時間內發送的包超過了接口的處理能力，在進行雙向語音視頻通訊中，由于要同時處理和發送音視頻數據，因此會產生隊列延時。
• 抖動：是指包到達時間不規律，是分組網絡的一個問題，在分組語音環境下，發送者希望語音包以穩定的間隔到達，但是這些包在網絡上傳輸時可能不會以同樣的時間間隔到達接受站點，分組期望和實際達到的偏差就是抖動。

   由于實時傳輸協議RTP協議提供具有實時特征的，端到端的數據傳輸業務，并且在RTP報頭中包含裝在數據的標識符，序列號，時間戳等信息，因此為了解決以上影響實時傳輸的問題，尤其是雙向語音通訊的抖動問題，本系統采用實時傳輸協議RTP協議以及和RTP協議配套使用的實時傳輸控制協議RTCP協議來進行視頻流以及語音數據的實時傳輸，用以保證視頻流的流暢以及語音通信的順利進行。
前向糾錯簡稱FEC，英文全稱Forward Error Correction，是通過提前采取措施來對抗網絡損傷。丟包重傳主要針對丟包的情況下，有針對性地對丟失的數據包進行高效率的重傳。準確來說，它們的直接目的不是為了降低延遲，而是為了對抗網絡損傷。在不可預測的網絡環境中，能很好地處理網絡抖動帶來的負面影響，間接也會降低了延遲，同時保證了穩定性和流暢性。
3.3.2實時流媒體協議RTSP
      實時流媒體協議RTSP是TCP/IP協議中的一個應用層協議。該協議定義了應用程序如何有效的通過IP網絡傳送多媒體數據。RTSP協議是類似于HTTP協議的流程協議，他們都是用純文本來發送信息，而且RTSP協議的語法也類似HTTP語法協議，和HTTP協議相比較RTSP協議所不同的地方是，RTSP協議是由狀態的協議，而HTTP是無狀態的協議。RTSP協議的默認端口為554，默認承載協議是TCP。RTSP協議中只是定義了對流媒體的控制，并未提供對實時音視頻數據流的傳輸功能，因為他需要和實時傳輸協議RTP，實時傳輸控制協議RTCP配合使用，完成音頻數據的網絡傳輸。
    RTSP特性：

• 流控分離：從控制邏輯上來說RTSP和FTP相似，控制流和數據流是完全分開的。
• 可拓展性：因為RTSP協議是基于文本的協議所以其具有較強的可拓展性。
• 安全：RTSP使用安全機制。

3.4編碼技術

     在本系統中，壓縮編碼是非常重要的一個環節，以352*288像素的視頻為例，采用4：2：0的格式，單幀畫面數量為1.2Mbit，采用4：4：4的格式，單幀畫面數據量為2.4Mbit，對于25幀/s的碼流，即使采用4：2：0的格式，碼流可以達到30Mbps，這是網絡環境根本無法支撐的，因此視頻壓縮是必須的，并且我們可以根據不同的環境、不同的場合對食品質量的不同要求來采用不同的編碼標準以便合理的利用寬帶和保證視頻傳輸的實時性。
3.4.1多視頻流編碼
  目前對視頻交流監控系統主要由兩方面的要求：一是實時性的的需求，以便觀察實時場景，用以及時交流。另一個是高質量的需求，以便在后期進行細致研究。在網絡和寬帶的限制之下很難滿足上述兩個方面的需求，因此我們系統同使用多視頻流編碼來解決這個問題。
  多視頻流編碼是對統一視頻源進行雙路編碼產生實時的視頻流以及高質量的視頻流，其中實時流視頻用作實時觀察，對傳輸的實時性要求較高，而對圖像的質量要求相對要低一些，實時流視頻要求在編碼之后立即傳輸到客戶端；而高質量的視頻流用作后期的調查，對圖像的質量要求較高，而對傳輸的實時性要求低一些，只需在特殊的事件發生之后的一段時間內傳送給主機端即可。
   另一種多視頻流編碼的應用實在編碼模塊采用雙路編碼，編碼產生雙路視頻流，一路是質量較好的視頻流，另一路是質量較差的視頻流，再根據網絡環境，在網絡環境好的時候實時的傳輸質量好的視頻流，在網絡環境較差的時候實時傳輸質量較差的視頻流，合理有效的利用寬帶。
3.4.2雙向語音通訊
本系統考慮在某些場合和一些特定的環境中，僅僅采集實時的視頻流和音頻流是不夠的，在這些場合中，我們還需要系統在兩端能夠相互狗溝通、交流，比如通過攝像機觀察手術時，專家可以觀察到手術的動向，聽到醫生的交流，但是有話要說需要溝通指導的時候，就需要觀察者發出聲音能夠讓手術室內的醫生聽到等等。在很多場合我們也需要雙方都可以聽見聲音。這就需要雙向語音通訊技術了。
雙向語音通訊技術就是作為主機的一端同時作為客戶，作為客戶的一端同時作為主機端，兩端通過多線程技術在發送信號的同時監聽對方傳輸過來的信號，用以做到兩端實時通訊交流。如圖所示。雙向語音通信的核心是多線程技術的應用，利用多線程技術，在主機和客戶機兩端分別建立監視和呼叫線程，在兩端連接成功之后又利用多線程主機和客戶機兩端分別建立發送語音數據流程和接收語音數據流程。

3.5軟件設計

3.5.1軟件結構

1. 操作系統：采用Linux操作系統，具備開源、高效、內核可裁剪、可移植、網絡適應性強等優點。
2. DSP庫：平臺中具備音頻采集函數庫以及H.264、MPEG-4、MPEG-2、MJPEG和VC1/WMV9編碼解碼庫，為系統開發提供便利。
3. 驅動和應用：本系統平臺為上層軟件操作底層硬件提供    統一接口，主要提供以太網控制器，音頻輸入、輸出設備等，其應用層同時支持使用者根據需要自行開發編寫應用程序，用為多視頻流語音雙向通信系統提供多解決方案。

   多視頻流語音雙向通訊遠程手術系統采用了標準的多線程技術，一共有9個獨立的線程。

• 主線程/控制線程：主線程完成初始化工作、創建其他線程，并為其他線程傳遞命令行相應的參數，最后轉化為控制參數。
• 保護線程：保護所有線程進行通訊。
• 儀器數據采集線程：采集手術設備（C臂、CT設備、監護儀、各腔鏡、超聲成像等）數據用以及時展示。
• 視頻采集線程：采集攝像頭捕獲的數據，傳輸給視頻編碼線程。
• 音頻采集線程：采集語音輸入設備獲取的數據，傳輸給音頻編碼線程。
• 視頻編碼線程：對視頻采集線程捕獲的視頻數據進行H.264視頻流的雙路編碼處理。
• 音頻編碼線程：接收來自服務器語音接受設備傳輸來的語音信號，傳輸給音頻解碼線程，音頻解碼線程經過修改系統中的Audio等參數，對語音信號進行編碼處理。
• 網絡發送線程：將編碼后的壓縮數據通過網絡協議發送。
• 雙向語音通信線程：分為單向語音通信線程和多線程雙路單向語音通訊線程。

①　單向語音通信線程：音頻輸入經過音頻編碼后的數據打包后通過網  絡發送線程輸出：其操作采用Linux下的Socket網絡連接，首先利用Socket網絡編程中的所提供的函數對音頻輸入端和接收端進行網絡連接，利用修改后的Live555庫函數對音頻信號進行基于RTP以及UDP的網絡傳輸。
②　多線程技術：由于要實現雙向語音通信功能，因此要在單向通信的線程基礎上進行拓展，由于單向語音通信只是發送語音，為了實現雙向語音通信，還要在接收端搭建語音采集設備并建立語音編碼線程并將語音數據打包通過網絡發送線程輸出，而在源發送端建立語音解碼線程，將接受到的來源于網絡的語音數據經過解碼傳送到揚聲器進行播放。又由于雙向語音通信的語音接受和語音發送是實時的。因此利用多線程技術在兩端建立兩個Socket網絡連接，做到雙方同時發送和接收實時語音數據。
 

視頻采集線程與編碼線程之間的數據交互通過管道FIFO實現。采用一對阻塞調用函數fifi_get()、fifo_put()將采集端的緩存數據輸出到編碼端，編碼端返回緩存到采集端。視頻編碼過中使用內存儲空間是由CMCE模塊分配的連續存儲單元，同時還采用了DMA對數據進行操作，采用連續的存儲空間和DMA操作視頻數據可大大縮短對數據的讀寫時間，提高了編碼效率，增強了 實時性能。視頻采集線程完成的視頻采集及處理主要是DM365視頻處理子系統中視頻處理前端實現，其主要操作如下：

1. 創建一個視頻捕捉實例。
2. 獲取/釋放緩存。
3. 采集視頻。
4. 關閉視頻采集，關閉視頻輸入設備。

  DM365處理器中的視頻編解碼是通過調用編解碼引擎（Codec Engine）來實現。利用編解碼引擎（Codec Engine），可以實現基于達芬奇平臺的視頻編解碼，通過這種機制，ARM端的程序就可以通過Codec Engine提供的VISA（Video,Image,Speech,Audio）API接口調用，在DSP端執行編解碼算法。視頻編碼線程執行流程為：

1. 打開編碼引擎。
2. 配置編碼參數。
3. 創建H.264視頻編碼器。
4. 編碼一幀H.264視頻數據。

 
3.5.3多視頻流設計

1. 多視頻流結構一

    實時流：實時流對視頻傳輸的實時性要求高；相對地實時流對視頻的圖像質量要求相對較低。實時流必須在編碼后立即傳輸至客戶端。
    高質流：高質流視頻對于圖像質量要求較高；相對的，高質流對視頻傳輸的實時性要求較低，只需在事件發生之后一段時間內傳輸完畢即可。
    該雙流傳輸方法的系統結構如圖所示，包括視頻發送端，網絡信道和視頻接收端。
    發送端包括：實時流編碼器，高質流編碼器，實時傳輸模塊，非實時傳輸模塊。實時流編碼器和高質流編碼器用于將采集到的視頻數據通過編碼變為實時流視頻碼流和高質量視頻碼流；實時傳輸模塊用于實時流視頻流的封裝傳輸。非實時傳輸模塊用于高質流視頻碼流的封裝傳輸。
    接收端包括：實時流編碼器，存儲模塊；接收到的實時流碼流經由實時流解碼器解碼，最終子終端設備所提供的網絡播放器上實時播放，供操作人員實時觀察；存儲模塊則是在操作人員的終端設備申請一塊空間，建立H.264存儲文件，將接收到的高質量視頻流保存在操作人員所建立的H.264文件中以便于后期觀察。如圖：