序言
公司现在在做汽车终端的平台,需要了解交通部808,1078的终端协议. 尤其是1078是关于音视频的协议.故此开始入坑java的音视频解决方案.本系列文章涉及一个完整的音视频服务搭建.
Java音视频中间库
这个肯定是站在巨人的肩上.我们会使用JAVACV来处理所有的视频,音频信息.
音视频基础知识
1、图像像素格式与图片封装格式
图像像素格式（简称像素格式），一般指的是没有经过编码的按照原始像素排列的数据。举个栗子，一个完整图像的像素排列一般是这样的（以4*4像素的rgb像素格式为例）：
rgbrgbrgbrgb
rgbrgbrgbrgb
rgbrgbrgbrgb
rgbrgbrgbrgb当然我们存储的时候一般使用一维数组来存这些数据，所以排列顺序就变成这样：rgbrgbrgbrgb.......以此类推。
图片封装格式指的我们日常见到的png，jpg，bmp，gif等等图片格式，其中bmp是无损格式，里面的数据格式就是图片头信息加上rgb排列的像素数据，png/jpg这些都是有损压缩格式，但是压缩比还是很高的，为什么要压缩下面会讲到。(压缩就是编码cuiyaonan2000@163.com)
2、图像与视频帧
图像像素数据指的是yuv、rgb，rbga，bgr，gbra等图像像素格式，经过编码后才是视频帧。比如我们常见的h264编码，编码其实就是对图像像素数据的压缩，（以rgb为例，假如当前图像像素尺寸为1920*1080，，每种颜色用一个字节表示，也就是说每个像素点有红绿蓝三色共3字节，图像有1920*1080个像素点，也就是说这张图像大小为1920*1080*3字节，显然数据太大了），可以这样理解，h264编码本质上就是一种图像数据压缩算法。(一个像素为啥占用3个字节,因为红绿蓝三原色=.=cuiyaonan2000@163.com)
视频帧中常常提到的I帧，B帧和P帧指的是什么？i帧也叫关键帧，实际上就是一张完整的静态图像，而B帧和P帧只是用来记录画面的运动矢量等非图像数据，B/P帧都需要依赖i帧才能够正确解码出完整图像（有损的图像画面）。在实际应用中各种视频源中很少使用B帧，原因是虽然使用大量B帧可以提高压缩率，但也会消耗更多的硬件性能，所以大多数情况下的视频源都以i帧（关键帧）和大量P帧为主。
另外在直播应用中i帧间隔会很低，这样能够更快的显示首帧画面（B/P帧需要i帧才能够解码），但是这样也增加了传输的数据量，因为一个i帧通常会很大。
补充:由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉停留。这也就是为什么电影胶片是一格一格拍摄出来，然后快速播放的。
一般来说，现在监控的摄像头是25帧。这个当然是工作需要了。实际上，用摄像头录制播放视频时，只要帧率达到15，人眼就感觉是连续的。这个有什么用呢？相比25，15帧可以节省大量的编码、解码、刷屏工作。至于10-12，勉强连续，只能说某些特殊场合下的选择了。
帧数简单地说，帧数就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps（Frames Per Second）表示。每一帧都是静止的图象，快速连续地显示帧便形成了运动的假象。高的帧率可以得到更流畅、更逼真的动画。每秒钟帧数 (fps) 愈多，所显示的动作就会愈流畅。一般来说30fps是可以接受的，所以要避免动作不流畅的最低fps是30。除了30fps外，有些计算机视频格式，例如AVI，每秒只能提供15帧。我们之所以能够利用摄像头来看到连续不断的影像，是因为影像传感器不断摄取画面并传输到屏幕上来，当传输速度达到一定的水平时，人眼就无法辨别画面之间的时间间隙，所以大家可以看到连续动态的画面。
3、编码与封装
编码上面已经讲了，是一种压缩算法；那么封装格式又是什么呢，封装格式就是我们日常见到的视频文件了，比如mp4，avi，mkv，flv等等等，按照每种封装格式的规范把视频帧和音频按照一定顺序存起来就成我们日常看到的视频文件了，这些封装格式一般都会包含一些头/尾标识和一些视频描述信息，这样播放器读取视频文件的时候就知道该怎么播放这些视频文件了（可以把封装格式理解成收纳箱，上面贴着小纸条说明里面放了哪些东西）。压缩图片格式也可以参考视频编码格式，原理都一样，都是对图像数据做有损/无损压缩。
4、转封装与转码
什么是转封装？为什么转封装比转码消耗更少？为什么转封装无法改动视频尺寸？
先举个栗子：假设视频格式(mp4,flv,avi等)是盒子，里面的视频编码数据(h264,hevc)是苹果，我们把这个苹果从盒子里取出来放到另一个盒子里，盒子是变了，苹果是没有变动的，因此视频相关的尺寸数据是没有改动的，这个就是转封装的概念。有了上面这个例子，我们可以把“转码”理解为：把这个盒子里的苹果(hevc)拿出来削皮切块后再加工成樱桃(h264)后再装到另一个盒子里，多了一步对苹果(hevc)转换为樱桃(h264)的操作，自然比直接把苹果拿到另一个盒子（转封装）要消耗更多机器性能
5、音/视频源
音/视频源可以是视频文件、音频文件，流媒体源，设备等等。
比如我们要看电脑或手机摄像头视频，就得采集设备的图像数据（从源设备采集到的是像素数据，一般是bgr或者rgb像素数据）如果是某些厂商的商用摄像机，可能会支持rtsp/rtmp协议，要采集声音呢，就得采集录音/话筒设备里面的数据（一般是pcm采样数据）。
6、流媒体协议
rtsp协议栈，rtmp协议栈，hls，http-flv（理论上讲这个flv不能算是流媒体协议，它只是个无限大的flv文件）等等。
例如rtmp，对编码后的音视频帧，要对其进行封装成flv进行传输。(说到底这些协议原理上依然是建立在tcp/udp基础上的应用层传输协议。cuiyaonan2000@163.com.) 部标的1078协议要求终端设备的推流协议是参考的rtp协议.后面我们写代码去处理它.
7、流媒体服务
流媒体服务就是接受rtsp,rtmp的推流服务器,并且能接收拉流.后面我们会搭建一个rtmp的流服务器.
8、音频声道
音响中的几声道指的是音响有几个输出线路，常见的有2.0、2.1、及5.1声道
1、2.0声道指的是音响只有左右两个声道输出声音。
2、2.1指的是音响有左右声道和低音三个声道输出。
3、5.1则指的是音响有左右声道加左右环绕再加一个中置和一个低音输出。
声道(Sound Channel) 是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。
声卡所支持的声道数是衡量声卡档次的重要指标之一，从单声道到最新的环绕立体声.