作業(yè)幫副總裁羅亮：在直播課背后有怎樣的底層支撐？

　　多知網(wǎng)4月21日消息，在騰訊教育主辦的第二屆MEET教育科技創(chuàng)新峰會(huì)上，作業(yè)幫副總裁羅亮發(fā)表了題為《數(shù)字化助力教育普惠》的演講，在演講中，羅亮拆解了作業(yè)幫各個(gè)業(yè)務(wù)的技術(shù)攻堅(jiān)，也提到了對(duì)未來(lái)技術(shù)的展望。

　　在拍照搜題領(lǐng)域，羅亮提到，經(jīng)過(guò)6年自主研發(fā)，我們建立一套完整的流水線，其中包含了30多種神經(jīng)網(wǎng)絡(luò)，每一次拍照經(jīng)過(guò)260次的推算，200毫秒之內(nèi)找到題目解析。每分鐘響應(yīng)超過(guò)上百萬(wàn)的搜題。

　　在直播課方面，2020年作業(yè)幫春季免費(fèi)直播課，總的人次超過(guò)3300萬(wàn)，公益課名家講堂學(xué)生超過(guò)2300萬(wàn)人次，推出了高考解析直播課，觀看超過(guò)了2100萬(wàn)人次。

　　在羅亮的講解中，在直播課背后技術(shù)支撐包括：音視頻網(wǎng)絡(luò)分包問(wèn)題;通過(guò)AI技術(shù)幫助實(shí)時(shí)分析學(xué)生上課狀態(tài);通過(guò)視覺(jué)AI技術(shù)進(jìn)行專注力監(jiān)測(cè)等。

　　在課堂中，為提高學(xué)生的參與度，作業(yè)幫通過(guò)AI技術(shù)做了很多交互體驗(yàn)，如手勢(shì)識(shí)別的功能，再如語(yǔ)音彈幕增加交互形式。

　　根據(jù)羅亮介紹，針對(duì)輔導(dǎo)老師的工作效率問(wèn)題，作業(yè)幫也做了相關(guān)的系統(tǒng)。

　　對(duì)于未來(lái)，在羅亮看來(lái)，無(wú)論是AI、大數(shù)據(jù)、5G、AR、VR技術(shù)的應(yīng)用，這些技術(shù)目前改變了行業(yè)和產(chǎn)品，還有一些技術(shù)需要更多的嘗試和創(chuàng)新，我相信整個(gè)社會(huì)的進(jìn)步和行業(yè)的進(jìn)步，一定是基于技術(shù)上的突破，讓過(guò)去不敢想的事情真正落地下來(lái)。　　

　　(作業(yè)幫副總裁羅亮)

　　以下為羅亮演講實(shí)錄（經(jīng)多知網(wǎng)編輯整理）：

　　各位領(lǐng)導(dǎo)、各位嘉賓，大家下午好!

　　我是來(lái)自作業(yè)幫的羅亮，我負(fù)責(zé)研發(fā)體系，我現(xiàn)在給大家分享的內(nèi)容是“科技助力在線教育普惠”。

　　當(dāng)前，整個(gè)中國(guó)有1.97億的中小學(xué)生，其中70%在三線及以外城鄉(xiāng)地區(qū)，而正是這個(gè)大多數(shù)群體才更需要好的老師、好的內(nèi)容、好的環(huán)境，滿足教育上的需求。

　　如果作業(yè)不會(huì)做，有問(wèn)題不會(huì)，唯一渠道就是找同學(xué)、找老師，在三四線城市可能有些題目同學(xué)也不會(huì)，家長(zhǎng)也不會(huì)，求助無(wú)人，作業(yè)幫就是解決學(xué)生在這種學(xué)習(xí)環(huán)境下求助無(wú)人的狀況。

　　到今天為止，作業(yè)幫累計(jì)激活設(shè)備超8億，每月用戶1.7億。今天我將主要分享作業(yè)幫的產(chǎn)品，以及背后的技術(shù)。

　　工具產(chǎn)品讓學(xué)生隨時(shí)隨地有“AI老師”

　　作業(yè)幫第一大技術(shù)是作業(yè)幫APP拍照搜題，讓學(xué)生隨時(shí)隨地有AI老師的產(chǎn)品，目前來(lái)說(shuō)作業(yè)幫作為教育工具類的產(chǎn)品，是唯一進(jìn)入全網(wǎng)TOP30的教育類APP，每月活躍用戶數(shù)過(guò)億，積累了超過(guò)3億的題庫(kù)。

　　做這樣一個(gè)產(chǎn)品，其實(shí)解決的是用戶的需求場(chǎng)景，有問(wèn)題不會(huì)，通過(guò)拍照給你答案，并且告訴你這個(gè)題怎么解析，以及解析完根據(jù)知識(shí)點(diǎn)薄弱情況，掌握學(xué)、練、鞏固的過(guò)程。

　　作業(yè)幫從2015年第一個(gè)1.0產(chǎn)品以來(lái)，我們一直持續(xù)做一件事情，拍照搜題，本質(zhì)上是由文字識(shí)別、題目解析、版式分析、題目搜索、題目理解，發(fā)展由若干個(gè)系統(tǒng)，解決學(xué)生各樣問(wèn)題的體系。

　　在這個(gè)過(guò)程中，我們遇到非常多的技術(shù)挑戰(zhàn)，特別在文字識(shí)別是我們第一道攔路虎。經(jīng)過(guò)六年的技術(shù)創(chuàng)新和數(shù)據(jù)積累，作業(yè)幫拍搜業(yè)務(wù)目前已經(jīng)是一個(gè)結(jié)合了神經(jīng)網(wǎng)絡(luò)，集群化的識(shí)別引擎。其中包含了30多種神經(jīng)網(wǎng)絡(luò)，每一次拍照經(jīng)過(guò)260次的推算，200毫秒之內(nèi)找到題目解析。每分鐘響應(yīng)超過(guò)上百萬(wàn)的搜題。

　　這是學(xué)生拍上來(lái)的真實(shí)的圖片，可以看到圖片是傾斜的，內(nèi)容是不完整的。在這個(gè)過(guò)程中，通過(guò)解決用戶的問(wèn)題，讓AI變得越來(lái)越好，解決越來(lái)越多的問(wèn)題。

　　到2020年疫情的時(shí)候，用戶的場(chǎng)景出現(xiàn)了一些新的變化，因?yàn)樵诩疑暇W(wǎng)課，用戶拍照的照片發(fā)生了變化，有很多用戶拍的題是拍的電腦題目，這個(gè)時(shí)候?qū)ξ覀兊奶魬?zhàn)又來(lái)了：屏幕的反光很嚴(yán)重，并且會(huì)有頻閃、摩爾紋等問(wèn)題，這樣又提高了識(shí)別難度，要進(jìn)行大量的優(yōu)化，使文字清晰地識(shí)別出來(lái)。

　　到今天為止，產(chǎn)品體驗(yàn)和技術(shù)手段在不斷進(jìn)步，過(guò)去是拍一張圖片，今天是拍整張?jiān)嚲韼湍惆阉蓄}搜索出來(lái)，搜集每一道題的解析，不再有不會(huì)做的難題。

　　直播課兩大法寶：自建系統(tǒng)和AI

　　作業(yè)幫第二塊產(chǎn)品是直播課，過(guò)去通過(guò)互聯(lián)網(wǎng)、通過(guò)在線教育打通的是空間的限制，把優(yōu)質(zhì)的老師資源、內(nèi)容分發(fā)到三線及以外的城鄉(xiāng)中，去年社會(huì)教育發(fā)生重大變化，作業(yè)幫做了一個(gè)春季免費(fèi)直播課，總的課次超過(guò)3300萬(wàn)，也推出了公益課名家講堂，學(xué)生超過(guò)2300萬(wàn)人次，推出了高考解析直播課，觀看超過(guò)了2100萬(wàn)人次。

　　疫情把在線教育推上了風(fēng)口浪尖，上好每一堂課背后有大量的人力、物力支持，沒(méi)有任何的準(zhǔn)備，我們就硬著頭發(fā)上，在春季免費(fèi)直播課的戰(zhàn)績(jī)當(dāng)中我們扛住了壓力，沒(méi)有出現(xiàn)過(guò)宕機(jī)等重大的事故。

　　其實(shí)直播課技術(shù)在我看來(lái)有兩大技術(shù)的底層支撐，一個(gè)是技術(shù)本身，解決的是音視頻網(wǎng)絡(luò)分包問(wèn)題，作業(yè)幫通過(guò)自研一套ZRTC的技術(shù)解決直播課音視頻的傳輸，作業(yè)幫在全國(guó)有超過(guò)11個(gè)分部，學(xué)生分布在天南海北，通過(guò)雙師班，小組內(nèi)進(jìn)行交流，并且跟主講老師分布在全國(guó)不同的地方，一個(gè)學(xué)生在新疆，一個(gè)學(xué)生在北京，老師可能在合肥，其實(shí)這樣三個(gè)節(jié)點(diǎn)的通信發(fā)生了全國(guó)的在線會(huì)議，這個(gè)對(duì)我們來(lái)說(shuō)是很大的挑戰(zhàn)，我們用了一年的時(shí)間，跟騰訊云建立了一張分布到全國(guó)，并且保證時(shí)延穩(wěn)定的音視頻分發(fā)網(wǎng)絡(luò)，建立場(chǎng)景、服務(wù)如此龐大復(fù)雜的直播課體系，中間有非常多的技術(shù)挑戰(zhàn)。

　　作業(yè)幫本身從原來(lái)單一的體系，變成多元的體系，背后有非常多的技術(shù)挑戰(zhàn)和應(yīng)對(duì)過(guò)程。

　　除了音視頻直播技術(shù)，還需要提供AI技術(shù)，來(lái)賦能主講老師、輔導(dǎo)老師、學(xué)生本身，幫老師實(shí)時(shí)感知和分析學(xué)生關(guān)注狀態(tài)和上課狀態(tài)，通過(guò)面部表情對(duì)學(xué)生上課情況進(jìn)行分析。在上課過(guò)程中有大量的輔導(dǎo)老師，一個(gè)名師同時(shí)面對(duì)200個(gè)學(xué)生，觀察自己小組的學(xué)生，聽(tīng)課狀態(tài)是不是認(rèn)真，是否在電腦面前有互動(dòng)參與，我們通過(guò)AI技術(shù)幫助輔導(dǎo)老師提醒學(xué)生專注情況，就算一個(gè)老師一堂課有數(shù)百個(gè)學(xué)生，也可以幫助他們更好督促學(xué)生上課，或者學(xué)生有不懂的地方記錄下來(lái)，幫助他課后解決問(wèn)題。

　　通過(guò)視覺(jué)AI技術(shù)，專注力監(jiān)測(cè)，我們可以提醒他的家長(zhǎng)需要認(rèn)真聽(tīng)課。另外他們也很擔(dān)心在線直播課，坐在屏幕面前視力會(huì)不會(huì)受影響，通過(guò)對(duì)學(xué)生眼睛、面部跟電腦距離的測(cè)算，我們能做到及時(shí)提示學(xué)生不要離屏幕太近。

　　在直播課堂當(dāng)中，我們通過(guò)AI技術(shù)做了很多交互體驗(yàn)，自己做了手持識(shí)別的功能，面向低年級(jí)，其實(shí)我們發(fā)現(xiàn)在課堂上面通過(guò)視覺(jué)技術(shù)用手勢(shì)進(jìn)行交互，參與度有非常大的提高。大量視覺(jué)技術(shù)的應(yīng)用對(duì)算力是非常大的挑戰(zhàn)，我們現(xiàn)在是云端整合方案，很多計(jì)算是放在用戶終端上進(jìn)行邊緣計(jì)算，還有放在中心服務(wù)器進(jìn)行計(jì)算。低年級(jí)小朋友非常喜愛(ài)，參與感非常強(qiáng)，整個(gè)教學(xué)效果也得到了提升。

　　語(yǔ)音技術(shù)應(yīng)用中，老師發(fā)一個(gè)題，同學(xué)們參與互動(dòng)，語(yǔ)音彈幕增加交互形式，在英語(yǔ)學(xué)科，需要用戶反饋的課程是非常有用的。這樣的交互也可以讓老師迅速通過(guò)語(yǔ)音識(shí)別技術(shù)，把這些反饋匯總到老師，老師根據(jù)時(shí)時(shí)匯總知道講授情況如何，需要把哪些知識(shí)點(diǎn)再講一遍，為了模擬教學(xué)場(chǎng)景，一個(gè)小組多個(gè)學(xué)生的集體發(fā)言，在這個(gè)過(guò)程當(dāng)中遇到背景噪聲、聲音回傳帶來(lái)的影響問(wèn)題、干擾問(wèn)題，通過(guò)AI技術(shù)把這樣的場(chǎng)景變得可行。

　　除了在課堂當(dāng)中教學(xué)環(huán)節(jié)通過(guò)技術(shù)賦能，對(duì)于教研來(lái)說(shuō)，我們也做了很多改善，為幫助教研老師篩選出來(lái)更符合教學(xué)的題目，我們?yōu)槔蠋熖峁┝艘徽最}庫(kù)產(chǎn)品，也幫助老師在整個(gè)試卷配套材料當(dāng)中起到一定作用。

　　目前來(lái)看在線直播課輔導(dǎo)老師的服務(wù)，在我們看來(lái)是教學(xué)過(guò)程中最重要的，學(xué)生大量的需求是在課堂之外課后作業(yè)、疑難問(wèn)題的解答，輔導(dǎo)老師角色所需要的，除了課堂情況匯總，另外也要把各種學(xué)生上課交互數(shù)據(jù)給輔導(dǎo)老師進(jìn)行分析，讓輔導(dǎo)老師根據(jù)學(xué)生的情況、個(gè)體的特征跟家長(zhǎng)或者跟學(xué)生進(jìn)行溝通，有針對(duì)性提高這個(gè)學(xué)生的學(xué)習(xí)效果。

　　持續(xù)探索教育場(chǎng)景的技術(shù)升級(jí)

　　除了進(jìn)行自身的技術(shù)建設(shè)外，在技術(shù)方面有幾項(xiàng)是跟騰訊云合作的，體量最大的服務(wù)就是拍搜業(yè)務(wù)，大家也知道當(dāng)前的AI技術(shù)是依賴于大量的算力和數(shù)據(jù)來(lái)構(gòu)成的，要提升效果加服務(wù)，就要把模型做的更復(fù)雜一些。但是這個(gè)過(guò)程中考慮的問(wèn)題非常多，機(jī)器規(guī)模增加帶來(lái)架構(gòu)的復(fù)雜、時(shí)延的增加以及運(yùn)維的困難，對(duì)我們來(lái)說(shuō)都是最大的挑戰(zhàn)。

　　自2019年合作開(kāi)始，通過(guò)業(yè)務(wù)服務(wù)、GPU等的云原生改造，實(shí)現(xiàn)了實(shí)時(shí)彈性、可觀測(cè)、韌性、自動(dòng)化、可持續(xù)等特性，極大的提升了整體運(yùn)維效率和服務(wù)穩(wěn)定性。

　　而在直播課方面，作業(yè)幫的老師分布在11個(gè)分部校區(qū)，而學(xué)生分布在全國(guó)各地，如何讓天南海北的老師和學(xué)生開(kāi)展線上的實(shí)時(shí)教學(xué)互動(dòng)，這涉及音視頻的編解碼、傳輸、網(wǎng)絡(luò)路由、終端適配等一系列技術(shù)點(diǎn)。我們和騰訊云一直在進(jìn)行共同研究，針對(duì)在線教育公司的場(chǎng)景，建立一個(gè)行業(yè)技術(shù)解決方案。

　　此外，在大數(shù)據(jù)方面，我們每個(gè)月增量在5、6PB，這個(gè)數(shù)據(jù)已經(jīng)是幸福的負(fù)擔(dān)，要解決計(jì)算的成本，還有解決時(shí)效性，對(duì)我們來(lái)說(shuō)是越來(lái)越大的技術(shù)挑戰(zhàn)，這塊跟騰訊云深度進(jìn)行合作，無(wú)論是說(shuō)EMR或者是COS集群，當(dāng)中技術(shù)挑戰(zhàn)都是很大的，在過(guò)去一年跟騰訊云一起深入研討，深入合作，然后把這個(gè)解決方案真正應(yīng)用到生產(chǎn)體系當(dāng)中。

　　最后一點(diǎn)講一下未來(lái)的展望，大家關(guān)注到這一點(diǎn)，無(wú)論是AI、大數(shù)據(jù)、5G、AR、VR技術(shù)的應(yīng)用，這些技術(shù)目前改變了行業(yè)和產(chǎn)品，還有一些技術(shù)需要更多的嘗試和創(chuàng)新，我相信整個(gè)社會(huì)的進(jìn)步和行業(yè)的進(jìn)步，一定是基于技術(shù)上的突破以后，讓過(guò)去不敢想的事情真正落地下來(lái)。在這個(gè)過(guò)程當(dāng)中技術(shù)在環(huán)境里面真正起到關(guān)鍵作用，因為最終的教育理念是因材施教，技術(shù)在這一點(diǎn)起到?jīng)Q定性的作用。

　　做到因材施教，想起來(lái)很簡(jiǎn)單，做起來(lái)實(shí)在是很難，如何量化一個(gè)學(xué)生的學(xué)習(xí)效果，怎么找出中間的關(guān)鍵效果，如何提供有針對(duì)性的教學(xué)方法，這個(gè)是值得我們深入研究，不光技術(shù)要提高，教學(xué)、教研、服務(wù)都要設(shè)計(jì)和研究事情。

　　隨著在行業(yè)不斷發(fā)展，以及技術(shù)不斷進(jìn)步，我相信這一天會(huì)來(lái)的，在不遠(yuǎn)的未來(lái)，有很多教研的產(chǎn)品和形式，真正幫助我們把在線教育做的更大更好。

　　這是我今天的分享，謝謝大家!