腾讯视频云终端技能总监，2008 年结业参加腾讯，一向从事客户端研制相关作业，先后参加过 PC QQ、手机QQ、QQ物联 等产品项目，现在在腾讯视频云团队担任音视频终端处理计划的优化和落地作业，协助客户在可控的研制成本投入之下，取得业界一流的音视频处理计划，现在咱们的产品线包含：互动直播、点播、短视频、实时视频通话，图画处理，AI 、
微信小程序开发等等。
为便利咱们消化，请参阅本篇文章的思想导图：
音视频小程序诞生在2017年4月一辆从深圳开往广州的C7172列车上……
常青带着小程序音视频的计划乘坐动车前往微信工作群
一次偶尔的协作
腾讯云与微信团队协作抵达
2016年微信开端发动小程序内测之前，腾讯内部的各个团队就现已开端接到音讯。咱们每个人都能预感到小程序将会对移动运用场景发作很大的改动。但在其时，我也是刚参加腾讯视频云团队不久，关于这样的信息更多的是关注，而并无太多详尽的考虑。
2017年伊始，跟着许多客户的咨询，我以及我地点的腾讯视频云团队都开端意识到这儿的需求特别的旺盛。但因为精力有限，以“小团队大成果”著称的微信工程师团队很难有精力掩盖一切的运用场景，在音视频这儿，小程序仅提供了一些根底的收集和播映才干，比方咱们最为熟知的
而就在此刻，腾讯视频云的 SDK 产品在经过了一年多的打磨优化之后，现已像是二战初期的零式战机，随时预备“砍瓜切菜”。这儿和协作时机尽管不定，但咱们团队仍然坐上了从深圳总部开往广州 T.I.T 的班车。
经过屡次的沟通，以及 jianx 的尽力协助下，这个协作尽管偶尔且充满了各种不确定，但终究抵达。
技能的应战
从0到1 困难重重
在音视频运用场景下，两个团队能够抵达协作天然是个好工作。可是微信的商场位置也决议了这是一个不容儿戏的战场，所以咱们所面临的应战也反常严峻：
接口有必要简略易用，最好一两个标签就能处理问题。
满意多种运用场景，既要支撑直播又要能够支撑实时视频通话。
功用有必要可扩展，开发者能够依据自身的需求构建出各种个性化运用场景。
可维护性好，开发者能够自助排查一些技能问题，而不需求自身是个音视频专家。
安装包体积增量满意小，不然微信的安装包体积控住不住。
除了高标准的要求以外，时刻也是一个十分晦气的要素。整个项目留给咱们能够证明自身才干的时刻只需两周，在短短两周的时刻里，咱们需求在一个 G2C 项目落地且成功经过产品演示和计划验收。
化繁为简
面临这些应战，我想到了苏联卡拉什尼科夫所规划的名枪 AK-47 。
说 AK-47 是世界上最成功的单兵兵器一点也不为过，这把枪全世界总共出产了约一亿支。它具有不俗的杀伤力和极为优秀的牢靠性。从不卡壳，不易损坏，不管是沙漠仍是雨林，都能安稳地倾注火力，并且操作还十分简略。
之所以这么成功，源于其所遵循的简略实用的规划理念：回转式闭锁保证了安全性，杜绝了随机事端的可能性；结构简略易拆开，因而要出产它并不需求特别精细的加工技能，也不需求投资巨大的出产设备，乃至一个一般小作坊就能开工出产。
没错，化繁为简，追求简略牢靠，这就是咱们需求抵达的方针。
霸占技能难关
抵达这些并不简略，咱们团队一步一步的霸占技能难关
1. 上行和下行
首要，咱们要对腾讯视频云现有的音视频系统进行拆解和抽象，也就是把整个系统打散成一个个积木，其间最重要的两块就是：音视频上行（push）和音视频下行（play）。
音视频上行（PUSH）
就是把自己手机上的声响和画面实时的上传到云端。咱们将这部分才干用视频云 SDK 进行完成，并封装成一个叫做 的标签。
音视频上行
SDK 内部完成机制如上图所示：首要，咱们要对摄像头的画面进行捕获，对麦克风的声响进行收集。可是，原生收集和捕获的画面和声响是需求进行预处理的，直接收集的画面可能有许多噪点，所以咱们要进行图画降噪；比方， 原生收集的人像里，皮肤可能并不符合人们的预期，所以咱们需求进行磨皮和美颜；直接收集的声响可能也有许多的环境噪音，所以咱们需求进行远景和后景音的分离然后进行底噪按捺。
经过预处理之后的画面和声响比较于原始收集的一般会有较大改进，因为一切的预处理都是以“巴结”人类的视听体会为意图，所以这一看似不起眼的部分会招引许多公司在其上做不少的技能投入。举个身边的比方，以 LCD 平板电视为例，SONY 的 LCD 产品线都没有自家的液晶面板（以台湾和大陆液晶面板为主），却能在整体效果上一向抢先其它公司，其背后的秘密就是在图画处理（根据图画数据库做超分辨率显现）和背光技能（一切动物的眼睛都是对亮度最为敏感）上的不间断的堆集和投入。
画面和声响都经过“点缀”之后，就能够送给编码器进行编码紧缩了。编码器的作业是将一张张的画面和一段段的声响紧缩成 0101001… 的二进制数据，而紧缩后的体积要远小于紧缩前。最终要做的作业就是将编码后的数据经过网络模块发送出去。在在线直播场景中，一般选用的网络协议都是根据TCP的，而在实时通话场景中，所选用的网络协议则是 UDP 为主。
音视频下行（PLAY）
也叫播映，就是从云端把编码后的音视频数据实时下载下来并实时的播映，这样一来，您就能看到长途的画面，听到长途的声响。相同的，咱们将这部分才干用视频云 SDK 进行完成，并封装成一个叫做 的标签。
音视频下行
SDK 内部完成机制如上图所示：来自云端的数据会直接送给网络模块，但网络不是完美的，总会有时快时慢的动摇，乃至会有可能发作堵塞和闪断。假如效劳器来一段数据， SDK 就播一段数据，那么网络略微一动摇，画面和声响就会表现出卡顿。咱们选用颤动缓冲（VideoJitterBuffer）技能处理这个问题，就像是为网络过来的数据预备一个小的蓄水池，音视频数据先在这儿暂存一小会儿再送去播映，这样就能够在网络不安稳时有必定的“应急”数据能够运用。
数据经过缓冲今后，就能够送给解码器进行解码，解码就是把紧缩后的音视频数据还原成图画和声响，然后进行烘托和播映。咱们选用了 openGL 进行画面的烘托，运用 iOS 和 Android 的系统接口来播映声响。
2. 信号扩展器
有了这两个简略的标签，咱们就能够进行开始的组合，构建出第一个最简略的运用场景：在线直播。
信号扩展器
在线直播是一个十分经典的单向音视频场景，您只需求简略的将两个标签组合在一起即可， 担任将本地画面和声响实时上传到腾讯云， 则担任从云端实时拉取音视频流。
假如是简略的一路上行 + 一路下行，那么咱们随意建立一个中转效劳器就能够处理问题了，但这样只能在很小的规模内完成高质量的直播效劳，真实要做到高并发和流通无卡顿，就需求一个强壮的视频云。
视频云在这儿的效果就像一个信号扩展器，它担任将来自 的一路音视频进行扩展，分散到全国各地，让每一个 都能在离自己比较近的云效劳器上拉取到实时且流通的音视频流。因为原理简略、安稳牢靠且支撑几百万一起在线的高并发观看，所以从在线教育到体育赛事，从游戏直播到花椒映客，都是根据这种技能完成的。
但在线直播计划只能运用于处理单向音视频问题，因为它有个显着的问题，就是延时一般都是在 2秒 – 5秒左右，这是运用 标签合作腾讯云视频云能够抵达的效果。假如是
3. 把推迟下降
在安防监控的场景里，家用 IP 摄像头一般都带有云台旋转的功用，也就是摄像头的指向会跟从长途的遥控进行滚动，假如画面延时比较大，那么观看端按下操控按钮到看到画面运动所需求等待的时刻就会比较长，这样用户体会就会特别欠好。
推迟做到最低
再比方 2017 十分盛行的在线夹娃娃场景，假如长途玩家视频画面的延时十分高，那么长途操控娃娃机就变得不太可能，没有谁能真实抓到娃娃。
已然要抵达这么低的要求，一般的在线直播技能就不再适用了，咱们需求新引进两个新的科技点：延时操控 和 UDP加快。
延时操控
网络不是完美的，网络是动摇的。在有动摇的网络下，效劳器上的音视频数据并不是稳稳的来到您的手机上，而是忽快忽慢。慢的时分您可能会看到卡顿，快的时分就会发作堆积，而堆积的结果就是延时的添加。所以，咱们需求选用推迟操控技能，它的原理很简略，当网络慢的时分就播的慢一点，当网络快的时分就播得快一点，这样就起到必定的缓冲效果。当然，真实完成时就会发现，声响是个很不听话的“孩子”，要处理好声响的效果是一个十分高难度的技能活。
UDP加快
已然网络不那么完美，总是时快时慢，那咱们是不是能够改进一下呢？在经典的单向音视频计划中，一般选用的都是 TCP 协议，因为它简略牢靠且兼容性极好。可是 TCP 的拥塞操控特别重视公正，天然就有时快时慢的坏毛病，所以咱们需求用 UDP 协议替代之，比较于规划方针定位于牢靠传输的 TCP 协议，UDP 能够做得更稳且更快。
咱们将 延时操控和 UDP 加快技能参加到 标签里，能够将端到端的延时操控在 500ms 左右。这关于操作延时要求比较苛刻的场景，就能够满意需求了。
4. 单向变双向
有了单向低延时技能，那么双向视频通话天然也就比较简略了，只需求通话的两边 A 和 B 各自拉通一路低延时链路就能够了。
比方在车险定损的场景里，遇险的车主经过小程序呼叫稳妥公司，这个时分稳妥公司内部的定损客服只需经过一路低延时的链路就能够看到车子的出险状况。可是只是这样还不行，视频内容跟图片相同，都简略被完成假造和作假。所以定损员就需求有一路视频相同抵达车主那里，这样两路音视频一起连通，就构成了一个典型的视频通话场景。因为车主和定损员能够经过视频进行沟通，因而造假骗保的风险就被极大地下降了。
单向变双向
尽管这样说是没错，但完成上可不是那么简略的。恰恰相反，它十分困难，因为咱们还需求引进额定的许多科技点：
噪声消除
噪声按捺的意图是将用户所在环境里的布景噪音去除去，好的噪声按捺是回音消除的条件，不然声学模块无法从收集的声响辨别出哪些是回声，哪些是应该被保存的声响。
回音按捺
在双向视频通话中，用户自己手机的麦克风会把喇叭里播映的声响再次记录下来，假如不将其抹除去，这些声响会被反送给对端的用户，然后构成回声。
Qos 流控
网络不可能一向都很完美，尤其是我国大陆地区的上行网速一向都有方针限制。Qos流控的效果就是猜测用户当时的上行网速，并估算出一个恰当的数值反馈给编码器，这样一来，编码器要送出的音视频数据就不会超越当时网络的传输才干，然后削减卡顿的发作。
丢包康复
再好的网络也不免会有丢包的状况，尤其是 WiFi 和 4G 等无线网络，因为传输介质自身就不是能够独享的，所以一旦遭到搅扰，或许高速运动都会发作许多的丢包，这时就需求引进一些丢包康复技能，将失掉的数据尽量补救回来。
以上四个科技点，咱们也参加到了 和 标签中，并给他们赋予了一个新的形式 RTC（ Real Time Chatting 的 首字母缩写，有点 Chenglish 的滋味），这才真实把实时音视频通话搞定。
你看，要保持功用到位，又不能跳出标签这种简略易用的规划风格，这不简略吧。实际上这儿的四个科技点实在是太难了，需求许多年的技能堆集和沉积，以至于咱们也不是现用现做的。正所谓站在伟人的膀子上才干看得更远，这儿的技能才干是由腾讯音视频实验室的“天籁”引擎所完成的。
5. 双向变多人
已然双人视频通话现已搞定了，是不是多人也就照葫芦画瓢就能够了？您看，咱们只需求将 A 和 B 之间的 url 置换，变成 A、B、C 乃至更多人之间的 url 置换，不就能够了吗？
思路仍然正确，可是真实要将功用做到好用且老练，仅依托简略的 url 交换是十分粗糙的，咱们需求持续引进额定的两个科技点：
双向变多人
房间办理
以上图所示的 A B C 之间的多人视频场景为例，要让每一个人都很清楚其它人的状况（比方播映url，以及当时是否有上行等等），这个工作可是十分困难的，搞欠好就简略呈现各方信息不对齐。关于更杂乱一点的状况，比方当有第四个人 D 进来的时分，或许第五个人 E 进来又出去的时分，这种信息同步简直就是一场噩梦。
最好的方法就是把参会人的状况和信息都收拢在效劳器端，结构一个 **房间** 的概念，这样就能够保证参会人都能从效劳端取得相同的信息，而不需求各自去维护。
告诉系统
当有新的参加者进入房间，或许有人脱离时，就需求对房间里的人进行信息播送，这就需求一个不错的 IM 系统担任收发音讯。比方当 D 进入时，就能够向房间内的其它成员播送这个 “I’m coming” 的事情，这样 A B C 就能够在自己的 UI 上展示 D 的视频画面了。
参加房间办理和 告诉系统今后，咱们就能够将 和 和微信小程序的 websocket 等根底才干组合在一起，构建各种功用强壮、逻辑杂乱的小程序运用。
一路走来，咱们能够看到咱们在小程序音视频的技能系统上所做的种种尽力能够用如下的技能图谱勾勒出来：
小程序音视频的技能系统图
首要是化繁为简，将一切的音视频处理计划拆解成两个根底行为：上行和下行，并经过两个标签 和 的简略组合，完成最基本的在线直播功用。
之后是经过加快线路和延时操控，将一路音视频的时延缩短到 500ms 以内；
再之后，咱们经过引进噪声按捺和回声消除等声学处理模块，让一路变两路成为了可能，这也就构成一个最简略的视频通话才干。
最终，咱们又经过参加房间效劳和状况同步告诉，将双路音视频变成了多路音视频，然后将运用规模进一步扩展。
图中的 UI 截图使咱们腾讯视频云小程序Demo的界面截图，咱们经过在微信小程序里查找“腾讯视频云”就能够体会上述根底功用了
