广州热线

引子:在线教育,是目前关注度最高的教育领域之一,也引领着教育创新的风向。在好未来,有这么一群技术人,他们和老师、学生们打成一片,用投身教育的赤诚之心和解决技术难题的死磕精神,让教育与科技碰撞出绚烂的火花。

在线教育之被认为有能力改变传统教育方式,让优质教育资源覆盖更广泛的人群,其中直播技术的突破可谓至关重要。

但少有人知的是,直播技术本身场景差异较大,比如会议直播、游戏直播、娱乐直播等都有着不同的技术指标要求。而其中对直播技术指标要求最为苛刻的领域之一,正是在线教育。

如何打磨出强大且专业的直播技术,学而思网校与好未来直播中台的产研团队下了一番硬功夫。

底层技术:极致追求低延时与低卡顿

在线教育的直播有两个最为重要的技术指标——低延时与低卡顿。低延时才能保障师生和学生之间的远程课堂互动如面授般直接,低卡顿才能保障学生求知的思绪不被频繁打断。然而这两个指标却是相互矛盾的,延时越低,预缓存空间越小,也就越容易造成卡顿现象。

对于娱乐类直播,延时一般在5秒左右,给降低卡顿预留了充足的空间。学而思网校的技术人“玩直播”多年,对RTMP实时消息传输协议这类成熟的直播技术研究得很彻底,成功将延时控制在2秒以内。但在某些教育场景中,仅在RTMP领域做到顶尖还不够。为了更好地满足教育场景的实时直播互动需求,自研RTC实时音视频通信直播技术势在必行。

好未来自2018年起就走上了RTC技术自研之路,经过学而思网校和好未来直播中台产研团队的共同打磨,TalRTC应运而生。该技术针对线上教育场景做了众多专项技术优化及场景适配,将延迟直接降低到了毫秒级。一般情况下,如此低的延时和并行的上万流量,出现卡顿是在所难免的。但学而思网校直播课堂研发团队的目标是“绝不让任何一个学生的上课体验受到影响”。

网校课堂研发团队通过动态追播、动态调度、媒体编码的技术优化等维度,对直播进行了精益求精的改进。在这个过程中,网校课堂研发团队对于音视频媒体的理解直接体现在了数据上,以720P高清视频为例,在直播业内平均大小为1到2Mbps时,网校针对教育场景进行了优化,仅需400kbps就能达到同样的效果。更低的存储空间和流量占比,无疑对解决卡顿和延时都起到了立竿见影的效果。

值得一提的是,在压缩的过程中,学而思网校的用户体验不减分毫。凭借对不同教育场景和学生需求的深刻理解,学而思网校的音视频优化不仅压缩得小,而且压缩得“聪明”。通过种种技术巧思,学而思网校成功做到了在保证画面高品质的同时,实现更高的流畅度。

近期,为了更加极致的直播体验,学而思网校正式上线了优网系统,将视频的延迟与卡顿消解于无形。在优网系统下,课件部分不再依靠视频信号传输,而是将课件的具体内容预存于学生端中,通过传输信令信号实现课件与老师端的同步响应。这就相当于之前还要发送视频,现在改为直接发文字了,这是肉眼可见的速度提升,有力保障了学生在极端弱网环境下的上课体验。

能力升级:攻坚实时回放

回放,是在线教育使用率极高的功能之一,无论对于学生复习知识点,还是对于老师检查自己的授课内容,都非常关键。而目前行业平均水平仍需要下课后5分钟甚至半小时以上方可生成回放。

回放生成慢会导致什么问题呢?比如最常见的例子,学生知识点如果有遗漏,往往希望能立刻重新去再听一次。如果等半个小时,很大可能就已经把这个未掌握的知识点忘记了。

好未来的技术人开始思考,阻碍技术实现的本质是什么。其实当老师授课结束,点击结束按钮,理论上视频已经生成在服务器上了。是哪个环节拖累了进度呢?

技术老师把视频流从上课、结束到生成回看的所有时间点全部精确到毫秒地统计了出来,最后发现影响回放生成效率的卡点。通过向底层渗透,发现有一种技术,可以做到像智能电视点播节目一样回调,甚至无需等到下课,上课期间就可以开始回看。

有了方向,立即实验。回看时间从1分钟,进化到30秒,最后进化到实时。这一进步不仅帮助学生更快地掌握知识,而且改变了网校老师的反馈机制,即以前如果课件出现了问题,需要通过拉群反馈、课后回看,而现在可以实时检查,老师在下一次课上,便可对教学动作做出相应调整。

用一位技术老师的话说,一个技术的突破,所带来的各个环节的效率提升是指数级的叠加。

实时回放技术

视觉体验:半身直播的四次升级

当观看学而思网校老师的半身直播,人们会对画面里的人与课件的完美融合感到惊奇。人在课件中,课件又可随人而动。那么,这种效果是怎么实现的呢?

其实这背后就是绿幕技术的支持。2018年,学而思网校开始首次尝试让老师“站”在课件里上课,通过增强在线课堂的情境感,带给学生更加直观、有趣的学习体验,降低知识理解门槛。但要想实现好这个想法可不容易,这背后经历了四次迭代。

一开始,技术人尝试了最直接的绿幕抠图技术。这一技术常出现在拍电影的影棚里,由老师站在绿幕前讲课,通过后期技术将绿幕替换成课件,然而这把主讲老师们难住了。学而思网校的主讲老师纷纷练出一身当演员的特殊技能,老师得想象背后的课件是什么画面,没有所见即所得的感觉,这也直接影响了老师的授课效果。

于是,根据成像法则的偏振技术又加入了进来。所谓偏振,就是利用老师衣服的漫反射和黑板光的直光反射差异,挡住直光,只留漫反射的光。这样一来,便只有老师的图像被拍了下来。但是,正因为直光被滤掉了,这就会导致呈现给学生端的光线偏暗,因此这个方案依然不是最优解。

第三步,学而思网校开始尝试绿膜技术。所谓绿膜技术就是将老师身后的景物盖上一层绿膜,以便抠图。这显然比绿幕要更加直观,但这个技术会让老师看到的画面颜色出现重大偏差,老师只能去猜到底课件上的图案是什么颜色,因此这一技术还得再突破。

不到半年,第四步技术方案问世了。学而思网校联手好未来AI研究院实现了AI课件抠图技术。老师的身后背景可在无绿幕的环境下直接替换成数字课件,而且不同于常见的静态背景算法逻辑,老师身后要被AI“抠掉”的背景其实是数字黑板中展示的动态课件,这个处理难度又上了个台阶。在持续优化的过程中,老师头上戴的饰物、教具都可以识别出来,并与背景分割妥当,被老师一起带入课堂。与此同时,通过AI技术还可以一键美颜,或添加新的数字化教具,大大丰富了老师在直播间里的可能性,给教学质量带来了质的飞跃。

AI课件抠图技术

当然,这四次升级的变化过程是“润物细无声”、无缝衔接的。技术老师表示,技术的升级就是体验的升级,学生看不到背后的技术如何变强,但会直观感受到产品的体验越来越好。

极限考验:快响应和高并发

2020年,在疫情的影响下,在线教育骤然迎来全民网课的时代。接踵而至的,也是一项对直播技术的巨大考验——从未有过且难以估量的高并发流量。而作为好未来免费直播课的主要输出平台,学而思网校的压力随之而来。

根据预估,免费直播课开课后,学而思网校的同时在线人数将面对平时10倍甚至于20倍的流量冲击。不仅于此,课堂不同于一般的直播,要求低延迟、不卡顿,而且除了观看、留言,老师和学生还有大量课中互动。此时,系统的运算能力需求并非简单叠加,而是指数级上涨。

为此,网校课堂研发团队组织起一支“护堤队”,保护系统稳定性。扩容目标从最初的满足100万人同时在线,最终定为满足300万人同时在线,只为全力保障好“停课不停学”。

同时,另一个刻不容缓的问题摆在了面前——如何在学而思网校APP之外,准时无误地同步直播公益课内容?

彼时,学而思网校的全天免费直播课已经免费开放给了央视频、学习强国、新华社客户端、腾讯、爱奇艺、抖音、B站等众多主流内容平台。这也意味着网校课堂研发团队必须在极短的时间内建立起面向各渠道的导播平台。

面对这个“紧急任务”,学而思网校课堂研发团队通宵作战,快速搭建导播平台。若在平常,搭建这样一个平台,至少需要两个月,但是这次时间根本不允许。

在最初的一周,整个网校课堂研发团队都必须和时间赛跑。第二天老师的课程安排在头一天傍晚才能发来,最晚时甚至会在凌晨四点发来,而早上八点就要准时开启直播。技术老师回忆:“我们一开始只能每天早上6点起来,手动校对课表时间,一毫秒都不能差,上课期间还必须在所有内容平台间挨个巡查,否则就会导致黑屏事故。”

一周后,自研的导播平台初步成型,不再需要技术老师“人肉操作”,可以如同电视节目换台一样轻松控制。这在当时的在线教育行业里,也是独一份。连续的0事故稳定直播,也让合作方给出了高度评价:“学而思网校的技术,是我们见过最稳的之一。”

导播平台界面

疫情之后,这个“战时”导播平台经过历次技术迭代,不仅承担了包括“强国课堂”“将军爷爷讲故事”等一系列大型思政和科学素养公开课直播,更启发了学而思网校后续的创新产品设计。

乘着直播技术的翅膀,这群热爱技术、更热爱教育的好未来人,正将知识的火炬举得更高,也将照耀远方更多求知的面庞。