0
| 本文作者： 余快 | 2022-04-02 14:17 |
自他走后，明明是愚人節(jié)的4月1日總帶著點傷感。
任何一個想他的時候，榮迷們都會打開收藏夾中某部電影，或者打開他的某場演唱會。
而昨天，我的朋友圈被張國榮2000年《熱·情》演唱會超清修復(fù)版視頻刷屏了。
迫不及待地點開，撲面而來的清晰度和真實感讓人眼前一亮。要知道，從前觀看的視頻都是損傷畫質(zhì)，堪稱時代的眼淚，榮迷們雖甘之如飴，但如果有高清畫質(zhì)，當真是求之不得。
《熱·情》演唱會上，張先生浪漫而放肆，帶著撲面而來的炙熱，暖化了初春的夜晚，也暖化了人心。
把視頻分享給我的朋友后，不禁好奇，這具體是怎么實現(xiàn)的？是否未來哥哥乃至所有我們喜歡的老電影、老作品都有可能通過數(shù)字技術(shù)重新呈現(xiàn)？
今天，我們找到背后的技術(shù)修復(fù)師，騰訊云多媒體實驗室的總監(jiān)李松南和專家研究員夏珍，跟他們聊了聊《熱·情》修復(fù)的相關(guān)技術(shù)。
他們介紹，這項技術(shù)是“超清沉浸感修復(fù)引擎”，是面向老片修復(fù)專門推出的技術(shù)解決方案，它沉淀了騰訊云多媒體實驗室多年的通信和處理研發(fā)經(jīng)驗，主要包含四大模塊：智能分析、畫質(zhì)修復(fù)、畫質(zhì)增強和智能編碼。
其實，我們每次看修復(fù)視頻感到舒適，不僅在于清晰度提升，更在于畫質(zhì)提升。
老片中的灰塵、污垢、霉斑、掉色、圖像抖動、劃痕、閃爍、噪聲、變色、模糊等各種問題對是最直觀影響影片質(zhì)量的問題。
首先，實驗室利用智能分析模塊對視頻進行全方位、多維度分析，包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題，評估視頻的運動、紋理復(fù)雜度，分析噪聲、壓縮失真程度等，這些數(shù)據(jù)都將成為畫質(zhì)修復(fù)和增強的基礎(chǔ)。
其次進入修復(fù)階段。
實驗室在演唱會修復(fù)上使用了眾多他們獨創(chuàng)的算法。譬如劃痕算法，夏珍坦言，他至今還沒在公開服務(wù)中遇到過。
數(shù)據(jù)對深度學(xué)習(xí)算法來講是非常重要的。
假設(shè)需要修復(fù)老電影中的劃痕和雪花。粗略推算，需要幾萬甚至幾十萬的訓(xùn)練對。
然而，目前缺少這樣龐大的劃痕公開數(shù)據(jù)庫，算法難以調(diào)優(yōu)，建立數(shù)據(jù)庫的成本也很昂貴。
為此，實驗室為去劃痕項目設(shè)計了針對性的多維度數(shù)據(jù)生成和增廣方案。包括模仿劃痕數(shù)據(jù)、從真實數(shù)據(jù)上提取、劃痕的裁切及合并、隨機尺寸、隨機模糊程度、局部及全局隨機亮度調(diào)整、隨機透明度調(diào)整等。
當然，也得益于騰訊此前擁有強大的數(shù)據(jù)儲備，騰訊多年來以算法為翼探索各個場景，在音視頻領(lǐng)域，依靠騰訊視頻等渠道，已經(jīng)積累了海量優(yōu)質(zhì)數(shù)據(jù)，算法可用性相比業(yè)界大為提升。
除了去劃痕算法以外，整體修復(fù)過程中他們還用到了很多其他的修復(fù)算法，包括視頻降噪、去壓縮失真等。
經(jīng)過嘗試多種算法后，整體效果得到了明顯提升，如下圖更能直觀感受修復(fù)的效果。
如果你此前看過網(wǎng)絡(luò)上流傳的《熱情》原版視頻，再看昨天上線的版本，不夸張地說，會有震撼、驚艷之感。
這也許是修復(fù)技術(shù)師想呈現(xiàn)的沉浸感。
沉浸感一般更多用于3D、VR360、自由視角等相關(guān)工作。夏珍表示，不管是提高分辨率，還是提高幀率，在2D基礎(chǔ)上提高用戶體驗感受一直是他們的目標之一，而這對于他們，在技術(shù)上也是可實現(xiàn)的。
真實感來自畫質(zhì)增強，包括分辨率增強、細節(jié)增強、色彩增強、幀率提升等，畫質(zhì)增強包括將畫質(zhì)拉到2022年的水平，讓畫面更接近現(xiàn)在觀眾喜歡的4K等高清畫質(zhì)。
不知道你們發(fā)現(xiàn)沒有，張國榮的人臉特別真實，臉上的皺紋、胡渣甚至毛發(fā)都清晰可見。
這是因為他們在人臉修復(fù)上使用了“超分辨率”，通過多幀技術(shù)使用了基于GAN的超分網(wǎng)絡(luò)，生成的細節(jié)更加豐富和更加穩(wěn)定，在放大視頻分辨率同時，細節(jié)清晰度也提升，所以整體感官上提升層次大。
夏珍介紹，自研的人臉修復(fù)模型，加上人臉檢測、人臉修復(fù)和融合模塊，將圖像修復(fù)遷移到視頻過程中加入幀間穩(wěn)定性處理，解決人臉檢測穩(wěn)定性，優(yōu)化多角度人臉效果，解決視頻中動態(tài)人臉遇到的復(fù)雜場景問題。
再看色彩、畫面。
畫質(zhì)增強有個更好理解的定義：藝術(shù)修復(fù)。
演唱會現(xiàn)場環(huán)境復(fù)雜，燈光轉(zhuǎn)換頻繁，色彩多、變化快，同時舞臺煙霧會讓整個畫面對比度和色彩飽和度不一。
對于修復(fù)效果，實驗室團隊原本有能力讓畫面清晰度更高、細節(jié)更豐富、飽和度更均衡。
但考慮到演唱會上的舞臺煙霧、現(xiàn)場顏色等都是張國榮藝術(shù)表達的重要形式。
而且，無論是影片還是演唱會，那個年代的香港整體畫面呈現(xiàn)都獨具特色，比如打光較為朦朧，太過超清，追求接近現(xiàn)代畫面反而會失去藝術(shù)真實性和香港藝術(shù)獨特的味道。
實驗室團隊基于對《熱情》藝術(shù)性的理解與尊重，也基于對香港影視唱片黃金時代的致敬，“修舊如舊”成為多媒體實驗室在修復(fù)老影片時的一個目標追求，他們希望最大程度還原張國榮的藝術(shù)表達，保留老片原汁原味。
他們通過視頻增強算法，對畫面進行多維度畫質(zhì)提升，在空間和時間上提升視頻的分辨率和幀率，在空域上提升細節(jié)清晰度、色彩豐富度，在尊重歷史和原版的基礎(chǔ)上，保證畫質(zhì)的提升，人臉和畫面都如此。
截取一幀張國榮在舞臺中央的靜態(tài)畫面，放大后仿佛可以透過畫面感受到22年前的現(xiàn)場舞臺。
昨天的演唱會，通過直播形式呈現(xiàn)，且直播效果流暢、畫面高清。
還有一項技術(shù)不得不提：視頻編解碼。這絕對是一項被低估的技術(shù)。
什么是視頻編解碼技術(shù)？
視頻是由一張張圖片連接起來形成的動態(tài)圖像序列，若直接將每張圖片的每一個像素點數(shù)據(jù)都加以存儲，視頻碼流所占用的帶寬將不可估量。
尤其在超高清視頻時代，幀率逐漸從30fps向60fps、120fps甚至240fps進發(fā)。高度密集的數(shù)據(jù)給帶寬和存儲帶來巨大挑戰(zhàn)。
此外，隨著硬件設(shè)備更好、帶寬更高，用戶開始對視頻分辨率的要求更高，對視頻質(zhì)量要求沒有止境。
視頻編解碼技術(shù)的作用，將圖像進行壓縮和數(shù)字編碼，以用于傳輸。本質(zhì)上，就是用盡可能小的帶寬傳送高質(zhì)量的視音頻數(shù)據(jù)。
現(xiàn)在我們知道，在不改變視頻主觀質(zhì)量的前提下，把超高清視頻搬上視頻號直播平臺，并保證畫質(zhì)效果流暢、高質(zhì)，是一項超級工程，也極為考驗視頻壓縮的功力。
騰訊云多媒體實驗室的視頻編解碼技術(shù)，在輸出相同質(zhì)量視頻的情況下，碼率可以降低一半，大大降低了帶寬存儲。
這其中是得益于智能編碼模塊，通過自適應(yīng)編碼在減少輸出文件大小、視頻傳輸成本的同時，保證視頻的主觀質(zhì)量不受影響，實現(xiàn)最佳的畫面效果。
在此之前，在修復(fù)歷史影像作品甚至殘損影像上，騰訊云多媒體實驗室也經(jīng)驗豐富，他們深度參與了包括《康熙王朝》、《天下人家》等多部經(jīng)典影視劇高清修復(fù)工作，以及上海1949年新中國成立相關(guān)影像的修復(fù)。
據(jù)悉，一部90分鐘的老影，約有12—14萬幀畫面需要逐幀修復(fù)，一般需要十多人的修復(fù)團隊，平均每一個人需負責一萬多幀，工作量十分巨大。
對比之下，這場演唱會近2個小時，場景眾多，現(xiàn)場環(huán)境多變，細節(jié)不夠豐富，場景切換快，燈光環(huán)境復(fù)雜，顏色豐富，但實驗室從拿到母帶到最終修復(fù)上線，僅用了3周時間。
這是由于騰訊云多媒體實驗室的修復(fù)已路徑初成，多項修復(fù)模塊實現(xiàn)了不同程度的自動化。
查了下實驗室的背景，難怪。
它是多媒體通信和處理研發(fā)團隊，持續(xù)專注于多媒體數(shù)據(jù)傳輸與壓縮、智慧融合媒體、互動沉浸式媒體領(lǐng)域的技術(shù)研究與產(chǎn)品化，參與國際國內(nèi)行業(yè)標準制定，包含多媒體數(shù)據(jù)壓縮，多媒體傳輸、系統(tǒng)與5G，以及多媒體AI等。
自2018年參與最新一代編解碼標準制定以來，實驗室已有超過500項提案被多個國際標準采納，數(shù)量全球領(lǐng)先。
騰訊杰出科學(xué)家、騰訊云多媒體實驗室總經(jīng)理劉杉博士也是全球音視頻領(lǐng)域的頂尖技術(shù)帶頭人。
劉杉博士是國際著名多媒體專家，騰訊首位女性杰出科學(xué)家，IEEE Fellow, APSIPA杰出工業(yè)領(lǐng)袖，2020年入選福布斯中國科技女性50人，擁有500+已授權(quán)專利，發(fā)表100+學(xué)術(shù)論文和一部專著，本科畢業(yè)于清華大學(xué)電子工程系，碩士和博士畢業(yè)于美國南加州大學(xué)，研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統(tǒng)和智能化應(yīng)用。深耕多媒體數(shù)據(jù)壓縮、傳輸協(xié)議和系統(tǒng)、無線網(wǎng)絡(luò)、IoT等行業(yè)標準領(lǐng)域，曾多次擔任國際標準專家組主席和聯(lián)席主席，現(xiàn)任IEEE數(shù)據(jù)壓縮標準委員會副主席。
自2017年加入騰訊以來，劉杉博士帶領(lǐng)團隊研發(fā)和交付多項多媒體核心技術(shù)，并深度參與了國際國內(nèi)行業(yè)標準制定工作。
正是這樣一個團隊，讓這個被塵封21余年的“時代符號”的經(jīng)典之作被首度解鎖，為曾見過和沒見過張國榮的觀眾帶來了一場前衛(wèi)、華麗、優(yōu)雅的視聽盛宴。
《哈利·波特與魔法石》經(jīng)修復(fù)后登陸國內(nèi)院線，首日票房便突破3200萬元，向市場再次展現(xiàn)了經(jīng)典影片的票房號召力。
《尋秦記》、《士兵突擊》、《亮劍》等一批經(jīng)典電視劇在經(jīng)過畫質(zhì)修復(fù)提升后，都活躍在視頻平臺的各大榜單前列。
經(jīng)典作品自帶持久生命力。智能修復(fù)技術(shù)讓老舊視頻煥然一新，給觀眾帶來更好體驗。
夏珍表示，全球范圍內(nèi)有非常多的諸如演唱會、電視劇、電影、紀錄片等經(jīng)典影像。騰訊云多媒體實驗室目前已形成了較為完整的智能老片修復(fù)技術(shù)矩陣，未來希望通過超清沉浸感修復(fù)引擎，幫助更多的時代經(jīng)典高質(zhì)、高效地重現(xiàn)于觀眾面前。
回想起昨天的直播畫面，舞臺上，一束孤單的燈光折下來，張先生寂寞而堅決的表情幾乎是烙在每個愛他的人心上。
感謝技術(shù)，讓我們再一次相遇。寄寓未來，有更多經(jīng)典重現(xiàn)。雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
