视频模块技术及相关应用

1.JMF与RTP

Java媒体框架（JMF）是一个应用程序接口，是Java在多媒体领域的一个扩展应用，它为管理音频、视频等时基媒体数据的获取、处理和传输提供了一套统一的体系结构和消息协议。JMF支持大多数标准的媒体类型，为多媒体开发者提供了一个强大的、跨平台、可开发、升级性强的软件工具。

JMF主要包括两个部分：JMF API和JMF RTP API。前者的主要功能是捕捉、处理、存储和播放媒体；后者的主要功能是在网络上对媒体流进行实时传输和接收。

实时传输协议（RTP）是网络上针对多媒体数据流的一种传输协议，为实时数据（如音频、视频等）提供端到端的服务。RTP通常运行在UDP之上，UDP是面向无连接的传输层协议，避免了TCP协议的重传机制、拥塞控制机制和报文头大小等在网络音视频等多媒体数据传输上的缺陷。RTP能以有效的反馈和最小的开销使传输效率最佳化，特别适合传输网络上的实时音视频等多媒体数据。

JMF提供了对实时传输协议RTP的支持。由YMF框架和RTP协议结合形成JMF。RTP结构如图3-11所示，基于JMF的RTP多媒体传输示意图如图3-12所示。

图3-11　JMF-RTP结构

(www.xing528.com)

图3-12　JMF-RTP传输示意图

2.视觉信号的传输

图像服务器端主要是独立运行的Java应用程序，负责完成客户端连接请求的监听、视频图像的捕获、媒体流格式的转换及发送。

在服务器端采用ServerSocket类创建一个固定端口的“监听”套接字，用来监听客户端的连接，若建立新的连接，则返回此客户端的IP地址等信息。

JMF提供了访问系统的媒体捕获设备，如从麦克风捕获音频、从摄像头捕获视频，并对所捕获的媒体流进行各种处理的功能。对视频图像进行捕获后，要传输RTP流，必须使用处理器产生RTP编码的输出数据（data output），然后创建一个会话管理器（session manager）或者数据汇集点（data sink）来控制传输。处理器的输入为当前捕获的实时数据，也可以是存储的媒体文件。

3.视觉信号的接收

客户端实时媒体数据的接收和播放是由运行在客户端浏览器中的JavaApplet程序实现的。这部分Applet程序的主要功能是首先建立与服务器Socket套接字的连接，以便于服务器获得客户端IP地址等信息，然后将从服务器发送来的媒体数据进行接收和播放。