sockets - 实时流(套接字)-如何同步音频和视频？

1-哪个视频流更好？ TCP或UDP套接字，为什么？

2-在直播流媒体时，音频和视频分别来自服务器，那么如何确保显示的视频和在设备上播放的音频同步？

最佳答案

不久前，我写了一个语音聊天应用程序，但TCP毫无疑问，如果您要寻找近乎实时的数据流，UDP多播确实是唯一的选择。不过，通过UDP流式传输有两个主要问题:

丢弃的数据包。就音频而言，这是一个非常简单的修复。通常，丢弃的数据包不会产生可听见的差异(这些数据包分别进行解压缩)。但是，在处理视频时，尤其是在视频经过压缩(通常是压缩)的情况下，至少要想出一个合适的传输协议(protocol)来确保网络的健壮性是一项艰巨的任务，尤其是当您从头开始时。视频帧分为各种数据包。弄清楚这些数据包丢失时该怎么办很难。

音频和视频之间的同步。这是一个非常棘手的问题，我建议您阅读诸如RTSP(实时流协议(protocol))之类的协议(protocol)。这不是一件容易的事，但是这里有一些介绍性信息:http://www.cs.columbia.edu/~hgs/rtsp/-有时是通过发送单独的同步数据包(某些协议(protocol)通过TCP发送这些数据包)来完成的，该数据包告诉播放器声音应如何与视频匹配。