淘寶直播的生成

許知遠，最頑固的“知識分子”，終于走進直播間。

刺猬公社的一篇文章如此開頭：許知遠的前面站著很多人，比如約翰·斯圖亞特·密爾、伯蘭特·羅素、埃德蒙·威爾遜、沃爾特·李普曼、讓·保爾·薩特等等。不過這次，許知遠前面矗立著一部手機。2020年后，許知遠的頭銜，或許要加上一個“人氣主播”。手機里的一場直播，一個人對著十幾萬人表演，貨幣數(shù)字不斷在互聯(lián)網(wǎng)空間里膨脹，幾十萬元、幾百萬元，甚至幾千萬元。太瘋狂了，是不？普羅大眾驚嘆于薇婭、李佳琦等人氣主播的魔力，可有誰知道，如今已成現(xiàn)象級的淘寶直播在5年前只是一個“可以試試”的項目。谷歌定義了搜索，蘋果定義了智能手機，淘寶直播重新定義了電商。無一例外，變革和創(chuàng)新的背后都充滿技術(shù)的張力。在商業(yè)進化和社會浪潮的輪番推送下，淘寶直播一次次走進技術(shù)的“無人區(qū)”。造基建、建集群，降延時……一次次艱難而孤獨的拓荒，造就了一個“新物種”，并且不可逆地走進新時代。

o1云棲小鎮(zhèn)的空氣被曬出土壤和芳草的味道。2015年，阿里云5k豐碑立成，（5K，阿里云“飛天”集群正式運營服務(wù)器規(guī)模達到5000臺），算力開始像水、電和煤氣一樣的存在，普惠人類。實時視頻通訊成為可能。淘寶產(chǎn)品經(jīng)理岱妍動起了一個念頭，想試著把直播搬上淘寶。她當時負責淘寶達人業(yè)務(wù)，覺得以圖文形式進行商品銷售太過低效，而直播讓這一切都變得簡單。淘系高級無線開發(fā)專家管裕鴻也覺得可以試試。他拉上羅中柱和其他三位同事，成為了最早的技術(shù)團隊。

羅中柱（左）與管裕鴻（右）

但除了阿里云ECS服務(wù)器（無需硬件設(shè)施，可根據(jù)需要隨時釋放和增加算力）之外，其他直播所需的基礎(chǔ)設(shè)施都很弱。“條件真的太簡陋了”摸排后，管裕鴻驚呆了。端上推流和播放器SDK都不成熟，互動的消息通道也是剛剛完工，CDN上分發(fā)鏈路的節(jié)點也不多，導(dǎo)致的結(jié)果是延遲長達30s，卡頓、黑屏，無法秒開，還有各種千奇百怪的異常。愿意入駐的達人只有個位數(shù)，觀看人數(shù)寥寥無幾，直播間最積極的評論都來自開發(fā)工程師——“看得到我的評論嗎？”“試試看寶貝功能”“再播一會兒”……問題太多，管裕鴻甚至想，實在不行就算了。

o2磕磕絆絆地走到2015年底，第一版淘寶直播上線，它被安排在手機淘寶尾部，在一堆五光十色的欄目中毫不起眼。功能頗為單一，用戶只能看直播、點贊、評論和打開寶貝口袋，卡頓和長延時依然嚴峻。

早期的淘寶直播

“常常半夜起來解bug。”淘系無線開放專家羅中柱說，當時安卓和iOS端口各自只有一人維護。沒有多少人看好這個項目，甚至連他們自己都不是很有信心。羅中柱找到群聊團隊商討用戶容量時，對方不假思索，“你不用考慮那么多，肯定不到一萬人”。他想想也是，當時入駐的主播只有二三十人，觀看人數(shù)徘徊在幾百。容量做到一萬，綽綽有余了沒承想一天晚上，一個美妝達人的直播間人數(shù)突然暴漲。8000，12000……技術(shù)團隊開始興奮，忙不迭地將觀看人數(shù)截圖到群里，最終這個數(shù)字停留在兩萬，破了紀錄。但大家緊接著就開始慌了——系統(tǒng)根本承載不了2萬人同時看直播。新用戶涌入房間的消息一跳出來，直播就開始卡頓，最后畫面直接就不動了。團隊連夜擴容、補救、解bug，直到畫面恢復(fù)，才松了口氣。這場意外終于讓淘寶直播被看見，也徹底暴露了自身的基建短板。地基不穩(wěn)，何談高樓？

o32016年開始，淘寶直播技術(shù)團隊聯(lián)手阿里云自造地基。直播鏈路分為三部分——

上行：錄制-編碼-推流節(jié)點-網(wǎng)絡(luò)傳輸阿里云中心：轉(zhuǎn)碼，安全服務(wù)，審核，錄制存儲等下行：CDN分發(fā)-播放器（解碼播放）

要造地基，從上到下，缺一不可。首先是推流，作為直播的第一公里，視頻編碼封裝后經(jīng)過推流節(jié)點進入網(wǎng)絡(luò)。推流點若太少，天南地北的視頻都要經(jīng)過同個站點，卡頓自然不可避免。阿里云遂在各個要塞進行部署，連成一張屬于自己的網(wǎng)絡(luò)，名為阿里巴巴RTC集群，今已遍布六大洲。然后是CDN分發(fā)網(wǎng)絡(luò)，被稱為直播的最后一公里，視頻流經(jīng)過CDN推送到用戶端的播放器，跟推流類似，節(jié)點越多，分發(fā)越快。2016年雙11前夕，阿里云建設(shè)了大規(guī)模的CDN節(jié)點。

阿里云在全球擁有2800+節(jié)點，覆蓋70多個國家和地區(qū)。

如果說興建節(jié)點靠的是底氣與魄力，那為了降低蘋果端的延時而自行研發(fā)播放器，靠的更多是勇氣。因為適用于蘋果端播放器的HLS視頻傳輸協(xié)議會帶來15-30s的延時，工程師們決定借助一個通用的開源庫，定制自己的播放器。把開源變?yōu)樽约旱纳逃?，這就像把一個野生兇猛的藏獒馴養(yǎng)成溫順的寵物，要考慮諸多的細節(jié)：移動端怎么樣做裁剪，架構(gòu)怎樣設(shè)計，iOS包大小的控制……每個部分都要精心部署，否則一不小心就要會被這只藏獒反咬一口。歷時3個月，自研播放器問世。當技術(shù)團隊正大刀闊斧地造地基時，淘寶直播在業(yè)務(wù)上卻陷入泥沼。

o4繼O2O領(lǐng)域的“千團大戰(zhàn)”之后，互聯(lián)網(wǎng)史上另一場血戰(zhàn)拉開序幕。2016年初，“千播大戰(zhàn)”硝煙彌漫，虎牙、YY、陌陌……400多家平臺紛紛發(fā)力秀場直播。“打賞”、“火箭”、“游艇”……各式秀場詞匯沖破圈層、狂轟亂炸，大平臺的頭部主播一場秀動輒千萬觀眾，某游戲平臺的主播甚至能吸引了上億流量。眼看他人宴賓客，星光閃耀，說不羨慕肯定是假的。淘寶直播肯定要做，但怎么做？往左是大熱的秀場，往右是冷清的電商，沒人敢下定論。兩條路都走的結(jié)果則是需求滿天飛，焦頭爛額。開發(fā)急了，每個月幾十項新需求，這邊還沒完善，那邊又來新的，于是和產(chǎn)品吵：“你們需求太多了，做的都是啥！？”測試也瘋了，新需求落地要測試，bug頻出，還要求日日清，就跟開發(fā)吵：“你bug太多了，寫的都是啥？！”但秀場直播卻在一片混沌中冒出頭來。大主播入駐，打賞收入一天高達幾十萬。羅中柱為了提升打賞體驗，還特意找淘寶特效團隊做了3D的高跟鞋和海景房。可不到一個月，秀場直播就被叫停了。“你們別做歪了。”時任阿里巴巴CEO張勇在一次會上提醒。所謂的歪，包含了太多考慮，就像潘多拉的魔盒，一旦打開，覆水難收。得知消息的羅中柱頗感委屈，核心代碼是他一行行敲下的，勢頭正好卻戛然而止，但他也明白，“逍遙子（張勇）想通過直播繼續(xù)實現(xiàn)‘天下沒有難做的生意’。”不過，那個時候沒有人相信直播是可以做生意，岱研說。4月，她寫PPT向時任淘寶副總裁蔣凡匯報，一下子站在主播視角，還原主播心理，一會兒角色轉(zhuǎn)變，又變成了用戶。蔣凡聽完后打趣說：“你們拿到天使輪了”。淘寶直播，最終往右走。

o5美國詩人羅伯特·弗羅斯特說：“林子里有兩條路，我——選擇了行人稀少的那一條，它改變了我的一生。”許多許多年以后，淘寶直播技術(shù)團隊將輕輕嘆息，敘述這一切。右邊那條路真不好走。和秀場和游戲主播相比，阿里巴巴的這個產(chǎn)品顯得另類且佛系，主打帶貨的知識型主播，也沒有打賞。這里的直播沒有過度美顏功能，因為主角是商品，為了讓粉絲“所見即所得”，顏色、質(zhì)地力求真實，不能扭曲。鏡頭拍攝視角也往丑的方向扭，不采用俯拍壓縮臉型，而是大多采用仰角，犧牲顏值，讓商品好看。究其根本，產(chǎn)品功能設(shè)計上是要為電商服務(wù)。

技術(shù)團隊把寶貝編號，在用戶點擊查看寶貝時，小窗口會跟隨，直到進入下一個頁面。發(fā)放優(yōu)惠券的功能也在此時出現(xiàn)。羅中柱回憶，那時主播講解時身上都會寫上號碼，加上個人魅力，能起到很好的溝通作用。淘寶直播在這場無人的道路上越走越遠，雖然冷清，但那時日均5萬場的直播中，其中4萬場都是懂商品和吆喝的賣家。“人家說謝謝哥哥送我大火箭，我們說寶寶們，趕緊下單。”當時場景，岱研記憶尤深。一名東北主播結(jié)束一場四百多人觀看的直播以后，表現(xiàn)得興奮不已，在他眼里，四百多人放在線下門店，已經(jīng)是人山人海，“全是買東西的，不是瞎湊熱鬧。”拼的是專業(yè)，不是顏值。平臺算法參數(shù)導(dǎo)致的結(jié)果是人在鏡頭前，還不如鏡子好看。“重心還是在電商基礎(chǔ)，直播是產(chǎn)業(yè)升級。” 淘寶內(nèi)容電商事業(yè)部總經(jīng)理玄德說。

o6淘寶直播真正出圈還是因為杭州本土一家電商公司借助網(wǎng)紅直播帶貨迅速崛起。2016年，淘寶直播地基還未完善，管裕鴻和運營同事來到現(xiàn)場維護保障。他擔心推流不穩(wěn)定，準備了3個各種型號的手機，一個不成功就換另一個。晚上8點，網(wǎng)紅現(xiàn)身直播，帶粉絲參觀打板房、倉庫、面料室。鏡頭前，她每發(fā)出一個鏈接，就有41萬人在點贊、評論、購買；鏡頭后，管裕鴻監(jiān)控著后臺的各項數(shù)據(jù)，保證直播沒有卡頓。直播歷時2小時，除了上下樓網(wǎng)絡(luò)有些抖動外，一切都很順利，最終成交接近2000萬。這個數(shù)據(jù)在當時刷新了紀錄，以至于在阿里投資者大會上，來自其他國家的投資人都不敢置信，請求翻譯反復(fù)確認。不過管裕鴻并不意外，網(wǎng)紅本身就有極強的號召力，而直播進一步放大了她的個人魅力。但淘寶直播的價值，絕不僅是服務(wù)網(wǎng)紅，而是讓千千萬萬的賣家擁有屬于自己的粉絲和平臺。主播要和觀眾互動，讓直播本身成為有趣的內(nèi)容，用戶才能停留，成為粉絲。從7月份開始，互動率成為了技術(shù)團隊的核心指標。淘系高級測試開放專家馬俊一直擔任著直播業(yè)務(wù)的測試保障，他印象很深刻，工位邊上的看板上寫著7、8、9月互動目標，從20%到25%，再到十月份飆升至30%，這意味著，直播間每3個觀眾，就要有一個要跟主播互動。

馬俊

“太高了，不敢看”。每次經(jīng)過看板，技術(shù)團隊壓力陡增。沒有前人經(jīng)驗可參考，沒有數(shù)據(jù)可佐證，因為他們自己就是前人。抽獎、紅包、連麥pk，沖榜……各種新互動陸續(xù)出爐。“你也不知道什么好，只能一個個試”馬俊說。到了2016年的雙11，淘系資深無線開發(fā)專家，直播技術(shù)負責人陳舉鋒和馬俊因為一個功能上線與否大吵了一頓。業(yè)務(wù)迭代太快，為了確保新需求上線沒有大問題，馬俊會提出一些規(guī)則，但研發(fā)側(cè)的陳舉鋒不愿意被束縛，一心想有技術(shù)突破。他覺得新功能上線會助推業(yè)務(wù)，那些擔心沒有必要，落下狠話“大不了我來扛！”“你一個人能扛？出了事我也得進來扛！”馬俊簡直要把桌子掀翻，一旦影響系統(tǒng)穩(wěn)定，誰能扛得了。最后陳舉鋒妥協(xié)了，淘寶直播還太年輕，需要穩(wěn)扎穩(wěn)打。這也讓馬俊意識到，必須要有一套系統(tǒng)的保障體系，來滿足業(yè)務(wù)的飛速成長。

o7不同于娛樂性直播，電商直播除了要保證觀看體驗外，還要保證互動和下單的流暢。整條鏈路很長，不同節(jié)點之間架構(gòu)也不一樣，有的用C++，有的用Java，客戶端有安卓和iOS兩套系統(tǒng)，此外還有PC端，不同端口的環(huán)節(jié)也完全不同。這意味著，直播一旦出現(xiàn)異常，測試團隊很難及時鎖定修復(fù)，例如直播出現(xiàn)黑屏，原因可能在主播本身、CDN傳輸節(jié)點，服務(wù)器和客戶端抑或是網(wǎng)絡(luò)。隨著直播用戶的爆發(fā)，靠傳統(tǒng)方式進行質(zhì)量監(jiān)控顯得越發(fā)吃力。馬俊萌生一個大膽的想法——通過數(shù)據(jù)分析做全鏈路排查。這又是一條沒有人走過的路。每一天線上直播，鏈路上的每個節(jié)點都會上報幾億條數(shù)據(jù)。同樣是分析卡頓，把每一個環(huán)節(jié)的數(shù)據(jù)拿來作相互的關(guān)聯(lián)度和因果分析，加上本身經(jīng)驗和算法規(guī)則，就能快速鎖定問題所在。但這對于測試團隊而言是全新的領(lǐng)域，“一開始完全是懵的，大家完全不知道怎么做。”馬俊讓組里兩位成員從零開始攻堅。

“這么多的客戶端，一天幾億條數(shù)據(jù)存在哪里？”“怎么分析？”“今天和明天的數(shù)據(jù)怎么理出來？”“最終怎么生成報表？”

攻堅小隊的冰心是名孕婦，為了早點啃下數(shù)據(jù)分析，幾乎廢寢忘食，天天加班到12點。馬俊慌得不行，到九點就趕人回家，但她嘴上答應(yīng)，身子還是牢牢釘在椅子上。冰心堅持到了生產(chǎn)的最后兩天。半年時間，記不清到底繞了多少彎路，方案推翻又重做了幾次，大家才終于拿出一個靠譜的方案。如今測試團隊已形成工具建設(shè)、鏈路排查、數(shù)據(jù)分析、媒體質(zhì)量四大保障方案，宛如定海神針，保障了直播的穩(wěn)定。但直播帶來的延時問題卻一直盤亙在大家的心頭。

o8關(guān)鍵時刻，阿里云又頂上去了，誰讓他們是阿里巴巴的技術(shù)底座呢。2018年中，陳舉鋒和阿里云相關(guān)團隊組成一支20人攻堅部隊，準備攻克這個由來已久的行業(yè)難題——直播延時。

陳舉鋒

當時淘寶直播延遲停留在5-7秒。這已是最短的延時。甚至業(yè)內(nèi)都已經(jīng)默認，視頻直播就是會有7秒左右的延遲。但這既滿足不了對實時要求極高的連麥需求，也讓用戶體驗卡在了瓶頸。為了把延時降低到2s內(nèi)，陳舉鋒孤注一擲，決定做自己的推流協(xié)議。沒有先例，誰也不確定這個對業(yè)務(wù)是否有幫助，甚至有人質(zhì)疑，這是阿里在炫技?？商詫氈辈プ源虺闪⒁詠恚褪窃谫|(zhì)疑中前進。陳舉鋒和團隊選擇一個開源框架WebRTC進行改造。但其原本是為一對一通話場景所設(shè)計，能力限制較多，比如不支持AAC音頻編碼等。開發(fā)團隊拓寬了WebRTC的能力，同時將其從原本的一對一，做到了百萬級的大規(guī)模直播分發(fā)。這就像改造一輛老爺車，不僅提高了作為車本身的性能，還接入了機翼，讓其能上天入地。

o9想法很美好，現(xiàn)實很骨感。新協(xié)議ARTP的表現(xiàn)卻讓眾人大跌眼鏡。雖然延時達到驚人的1.2秒，卻讓其他指標惡化、卡頓率和傳統(tǒng)協(xié)議相比高了80%。“完全不能用，你得重做。”馬俊將慘烈的測試結(jié)果告訴陳舉鋒。這位癡迷技術(shù)的工程師聽后一言不發(fā)，沉默半晌后回頭繼續(xù)扎進了研發(fā)。其實問題不在新協(xié)議。原本直播能做到秒開和不卡頓，是因為各個上鏈路（如邊緣節(jié)點和播放器）的緩沖能極大地改善公網(wǎng)傳輸不穩(wěn)定所帶來的問題，而新協(xié)議把時延降低至1秒左右，意味著再也無法靠單純地加大緩沖來對抗弱網(wǎng)的抖動。既要時延低，又要能應(yīng)對弱網(wǎng)的表現(xiàn)，還要能支持大規(guī)模的分發(fā)機制，這在技術(shù)上實在難以平衡，就像按下葫蘆浮起瓢。當務(wù)之急，只能依賴流控算法。當視頻被切割成無數(shù)個小包傳輸時，網(wǎng)絡(luò)時好時壞，有丟包的可能性。流控算法則決定著什么時候發(fā)快一點，什么時候發(fā)慢一點，甚至什么時候要丟包，以保證畫質(zhì)、流暢、實時性三者的平衡。傳統(tǒng)的流控算法已經(jīng)很難滿足陳舉鋒團隊的要求，于是團隊又開始優(yōu)化算法。質(zhì)疑的聲音從未停過，“延時低能帶來什么？”“有必要投入這么大人力物力嗎？”陳舉鋒自己都有些迷茫，讓大家跟著自己忙活了大半年，到頭來卻沒有結(jié)果，值得嗎？“你要堅持下來。”阿里淘系技術(shù)研究員長恭拍拍陳舉鋒的肩膀，“業(yè)界沒有人提過不代表這件事就是不合理的。”但問題從來不給人喘息的時間，優(yōu)化流控策略后，整個邊緣節(jié)點所需的算力一下子上升了70%。于是團隊又開始裁剪算法，優(yōu)化編碼、解碼……終于建成一個，既低延時、又能應(yīng)對弱網(wǎng)抖動，還能把整個算力降到最低的鏈路。超低延時經(jīng)過多輪的驗證，確定對成交轉(zhuǎn)化率有提升，這意味著數(shù)億的成交增長。陳舉鋒不敢相信，他請業(yè)務(wù)團隊再進行反轉(zhuǎn)性驗證。經(jīng)過五個輪次，三個月的AB驗證，這個結(jié)論依然不變。知道結(jié)果的那一刻，研發(fā)團隊先是沉默，而后爆發(fā)出歡呼，所有的投入與堅持終于得到了回報。

10是騾子是馬得拉出來遛遛。對于阿里技術(shù)人而言，雙11就是最驚心動魄的練武場。2019年雙11，淘寶直播迎來高光時刻。那天，主播們竭盡所能地推介琳瑯滿目的商品。當晚十點，流量洪峰就以肉眼可見的速度飆升。數(shù)億人涌入直播間，推流節(jié)點以最快的速度將視頻流推進網(wǎng)絡(luò)。它們在居民樓邊，在道路旁，在曠野中，在荒漠里，在雪山之巔，甚至在海外。經(jīng)過一連串指令解析后，視頻到達阿里云中心，完成一系列轉(zhuǎn)碼、審核、錄制存儲后，經(jīng)過幾萬公里的傳輸?shù)竭_CDN分發(fā)網(wǎng)絡(luò)和邊緣節(jié)點，在播放器中解碼播出。在不到2秒的時間內(nèi)，直播鏈路在云上完成。一切盡在掌握中。

阿里巴巴核心系統(tǒng)100%上云，抗住了全球最高流量洪峰。淘寶直播引導(dǎo)了200億的交易，接近雙11總額的10%。李佳琦和薇婭橫空出世。淘寶直播肇始的直播帶貨模式一時蔚為大觀，乃至浩浩蕩蕩，不可阻擋。許知遠到底是走進了薇婭的直播間，吆喝叫賣日歷。那之前，他精心打磨的《梁啟超傳》剛剛出版。“如果梁啟超生活在現(xiàn)代生活，他會是一個非常重要的新媒體的締造者，新浪潮的締造者，他也會使用微博或者推特，也會關(guān)心世界的圖景，也會批評和改造那些他不滿意的現(xiàn)象。”許知遠想象。連梁啟超都沒準“下場”直播，許知遠的心理會多一點安慰吧。

11全民直播時代，豐富了現(xiàn)代文明的底色。迎頭趕上去！2020疫情爆發(fā)，開學頻頻推遲，釘釘開通線上課堂，在線服務(wù)5000萬學生。鮮為人知的是，釘釘?shù)膶崟r通信技術(shù)，背后就有淘寶直播團隊的輸出和支撐。管裕鴻還記得，2016年淘寶直播幫農(nóng)戶帶貨。他透過直播間看到漁民在海邊打魚，雞在撒著歡奔騰，這種新奇而真實讓他覺得激動。無論是一呼百應(yīng)的大V達人，還是粉絲寥寥的素人小白，只要有一部手機，進入直播間，他們就是平等的。他們中有中國最大的公約數(shù)，也有小眾的奇數(shù)?？v使那時，電商直播這片土地還是荒煙蔓草，但管裕鴻和羅中柱隱約覺得，這就是未來。因為相信，所以堅持。他們走進了無人區(qū)，用一行行代碼，敲下了未來。