全鏈路革新：火山引擎視頻云引領AI新視界
視頻，作為人們日常內容消費的主要形式之一，在過去幾十年來經歷了翻天覆地的變化。
從早期低分辨率、有限色彩的視覺表現，到如今不僅在畫質上實現飛躍，而是提供全方位、更真實、流暢的視覺感受。這一切的背后，離不開視頻云技術 的強大支撐。如今，其應用范圍已經超越了傳統的娛樂領域，遠程協作、在線教育、電商帶貨等極大地提升了日常生活的便捷性;而 AR/VR 等新興技術的興起，則提供了更加身臨其境的體驗。視頻云技術正在重塑我們與數字世界的連接方式。
隨著 AI 時代的來臨，視頻云也迎來了新機遇。 2024 年，被譽為 AI 應用落地的元年，大模型正以前所未有的速度走入千行百業，重塑人們的日常生活。IDC 觀察到“大模型”、“生成式人工智能”與視頻云產品融合實現了超預期進展，這一趨勢預示著視頻云的全面升級正當時。視頻云通過引入 AI 技術，其應用范圍是否會進一步擴大?如何為用戶帶來更加豐富多元的多媒體體驗?這些問題背后，蘊含著無限的可能性和廣闊的前景。
作為這場技術革命的見證者和推動者，火山引擎視頻云聯合英特爾中國共同推出《云上新視界》第二季，以 “未來視界 盡在掌握” 為主題推出三期節目，內容涵蓋電商大促、VR 文旅、賽事直播等前沿話題，深入探討了 AI 時代下視頻云技術的革新與應用，展現了火山引擎視頻云在音視頻全鏈路中的創新實踐，以及 AIGC 技術如何賦能音視頻領域的新發展。
從 2024 年 6 月 27 日正式上線到現在，在火山引擎開發者社區、字節跳動技術團隊公眾號、字節跳動視頻云技術團隊公眾號、InfoQ 等內容平臺收獲無數好評。在本文中，將為您重點介紹三個應用場景，一起來了解最前沿的視頻云技術如何重塑用戶體驗吧!
1 全鏈路賦能，AIGC 重塑抖音電商大促季
電商作為人們日常消費的一環，含有大量內容素材，從文字描述、產品圖像到展示視頻，及信息流廣告等等，無一不考驗商家對內容素材的生產能力。特別是在大促期間，內容需求會急劇增加。
AIGC 技術能顯著增強電商場景，包括自動生成文案、圖片和音視頻素材，優化商品描述和推薦搜索機制，提供虛擬購物體驗，以及提升用戶交互體驗。這些應用能覆蓋電商內容生產的多個環節，從商品展示到營銷素材，再到用戶交互和虛擬體驗，幾乎滿足電商場景下素材生成的全部需求。
但針對內容生成的多樣性需求，如根據不同商品特性(如服裝、電子產品)提供多樣化視覺效果，要求模型能夠針對具體應用場景進行微調或訓練。同時，為滿足用戶對快速響應的需求，需在成本、效率和質量之間尋找平衡點，可能通過選用高性能硬件或優化軟件部署來實現。此外，硬件選擇也是一個關鍵點，需根據業務場景和成本效益選擇合適的 CPU、GPU 或 AI 加速器方案。
為了解決這些需求難點，火山引擎視頻云在多方面進行了技術突破 。 例如優化生成素材質量，研發先進模型以提升內容多樣性和創造性，確保多媒體內容高分辨率和真實感;根據商品和場景產出個性化內容，避免同質化;使用多樣化數據訓練模型，增強多模態生成能力和交互性;優化算力使用和算法效率，降低成本;實施數據加密、脫敏、訪問控制等措施保護隱私。
英特爾的底層技術方案 則在提供硬件資源的前提下，通過軟硬件的優化方案來加速模型的訓練和推理，為 AIGC 解決方案提供了可行性。首先，為確保為云上用戶 AIGC 方案的易用性，應滿足性能要求的同時最小化成本，并通過一鍵式部署簡化使用體驗。此外，AIGC 方案強調可擴展性和動態擴縮容能力，以適應流量變化，保證服務質量的同時避免資源浪費，尤其是在選擇計算資源時，CPU 在計算粒度、內存和彈性方面表現出優勢，有助于優化成本。
這些技術的已經為抖音電商大促場景 帶來了多重增益。首先，商家可以快速生成海量創意內容，滿足高頻營銷需求;其次，AIGC 增強了商品的視覺吸引力，例如抖音超市自營商品氛圍圖已實現 100% 托管，整體點擊率提升了超過 3 個百分點;此外，AIGC 通過提取核心賣點和提供精準的個性化推薦，有效提升了轉化率和銷售額;在大促期間，AIGC 驅動的智能客服能夠 7x24 小時不間斷地提供咨詢和反饋服務，提高了服務效率。
可以看出，從商品描述、到商品圖片、視頻、3D 展示到提取廣告素材，AIGC 技術持續貼合更多使用場景的服務。在未來，電商的內容生產會趨向鏈路化、全自動化，并且能在短時間內生成海量的高質量內容。或許只需要一個指令，它就能全自動進行內容生產。
2 超大空間、多人并發，揭秘云 VR 大空間技術
不僅是線上電商，視頻云技術也正在為線下場景帶來新契機，其中云 VR 大空間 已成為文旅行業炙手可熱的新概念。
相較于傳統的 VR 文旅，云 VR 大空間通過提供高度沉浸感和真實感的空間，讓用戶可以在虛擬環境中自由漫步并實現一些交互，尤其當這種技術與傳統文化相結合時，使得整個場景具有 3A 級或電影級別的沖擊力。
在技術上，云 VR 大空間解放了場景開發的算力限制;整個迭代更新過程也實現了加速，開發周期從原本的一年半縮短至 3 到 6 個月;還極大地減少運維的復雜度，使得行業參與者能夠更加快速的投產。
但目前來看，云 VR 大空間依舊面臨不少技術挑戰，包括高質量內容的缺乏、高成本、場地要求高且規模不足、技術門檻高等問題。同時，云 VR 的渲染模型和資源瓶頸也是需要解決的問題。
火山引擎的“1+3+1”綜合解決方案框架便是整合內容開發、端網云及運營平臺，為 VR 內容提供全面技術支持。 “1”涵蓋 VR 內容開發，如動作捕捉、大空間定位與三維重建;“3”涉及 VR 設備端(音視頻解碼、手勢識別等)、網絡傳輸(穩定低延時、高碼率)和云端技術(虛擬化、串流、渲染編解碼);最后一個“1”指運營平臺，支持業務運營、多人互動等功能。
在底層技術上，英特爾銳炫™ A770 顯卡通過創新實踐支持云 VR 大空間應用。其亮點包括對 DXR Ultimate 游戲和 GAR 超采樣技術的支持，以及 200 TOPS 的 AI 加速。在《何以華夏》項目中，英特爾銳炫™ A770 顯卡提供了 560GB/s 高帶寬內存，并通過多卡方案降低了運營成本。不斷優化的驅動程序解決了兼容性和性能問題，已有 100 多個游戲支持 XES。此外，彈性編碼方案 降低了編碼和網絡延遲，提升了用戶體驗。未來，單卡多實例 SRV、邊緣渲染、AIGC 和大語言模型問答將成為云 VR 發展的關鍵方向。
在對于云 VR 大空間的嘗試中，火山引擎與英特爾走在前列。 在 2023 年，字節跳動旗下 XR 品牌 PICO 與全球英特爾達成正式對外發布雙方共創文化 IP「何以華夏」，其中火山引擎提供技術支持，通過先進的 VR 技術方案，讓整個行業看到了 VR 與文化 IP 深度結合的可能性。2024 年春節期間，全球首例云 VR 大空間應用——龍游神州，在地壇廟會正式上線。這個云 VR 大空間項目實現了 150 平米峰值并發突破 21 路，并且實現了高幀率、低延遲、高清碼率的整體目標，獲得了用戶和各方的廣泛認可。目前在北京、上海、成都等城市，火山引擎所參與的《重返三星堆》《貞觀之歌》等項目正在陸續上線中。
云 VR 大空間所帶來的想象力是巨大的，未來有望進一步拓展到教育、醫療、娛樂、企業培訓等多個行業。特別是在文娛領域，KTV 和電影院等公共場所可能會成為重要的應用場景。云 VR 進入家庭，也可以讓用戶在家也能享受到豐富多彩的 VR 體驗。
3 高畫質、低延遲、超穩定，視頻云如何應對賽事爆發年
在國際上，場景進化同樣也對視頻云技術提出了更高要求。2024 年全球賽事的爆發，歐洲杯、美洲杯、巴黎奧運會等賽事引發觀賽熱潮，在賽事直播領域 ，裸眼 3D、VR 互動、AI 互動等新玩法將觀賽體驗再度升級，這也為賽事直播帶來了新的技術挑戰。
第一，面對龐大的觀眾群體和高流量，確保服務的穩定與可靠是首要任務。第二，要做到直播的實時和流暢，低延遲性是實頂級的觀看體驗的核心。第三是高性能，只有盡可能發揮硬件的性能，才能夠在控制成本的同時，提供超高清且沉浸式的用戶體驗。
火山引擎的 RTM 超低延時直播技術解決方案 ，通過 UDP 協議優化方案解決 TCP 協議自身的局限性;在體驗優化方面，節點優選、用戶網絡分級等方面完成一百多項升級，實現直播端到端的延遲能夠小于一秒;在直播卡頓、秒開成功率等關鍵指標上超越傳統直播。針對高并發場景，兼容了對樹狀和網狀動態組網的分發架構，能夠更高效的處理復雜的容量及線路問題。該技術已在卡塔爾世界杯、杭州亞運會以及巴黎奧運會等多場全球賽事中得到應用，證明了其在提供低延遲、高畫質和流暢觀播體驗方面的能力。
在保證低延時及強傳輸之外，觀眾對觀看效果的追求也越來越高，VR 觀賽成為提升觀眾觀看體驗的新趨勢。以 2024 年巴黎奧運會為例，抖音通過火山引擎提供全程直播，引入個性化形象選擇和空間音頻效果，實現沉浸式觀賽體驗。這也帶來了更高的技術挑戰，沉浸式觀賽需要每秒需要傳輸大量幀數，對傳輸層構成了巨大壓力，容易因網絡擁塞導致卡頓、延遲甚至無法播放的問題。英特爾所提供的 OVC 360 度視頻庫、SVT 可擴展視頻庫以及 Open WebRTC Toolkit 等工具，可以幫助用戶快速高效的開發應用。
在平臺直播效果之外，視頻和 AI 的結合也越來越緊密;以及在直播編碼器 BVC、智能廣告等智能化傳播場景也有新突破。在未來，直播技術將在交互性、沉浸式體驗和智能化三個方向上進一步創新，包括更低延遲的直播、自由視角視頻技術和基于 AI 的直播內容生成與推薦。火山引擎聯手英特爾將會根據市場需求和技術趨勢持續推出新功能和服務，以提升直播效果和用戶體驗。
跟隨《云上新視界》第二季 的深入探討，可以看出視頻云技術在電商大促、云 VR 大空間以及全球賽事直播等多個領域的創新應用，也看到了視頻云所帶來的無限可能。從 AIGC 賦能抖音電商大促季的內容生成革命，到云 VR 大空間為文旅行業帶來的沉浸式體驗升級，再到 RTM 超低延時直播技術保障全球賽事的流暢觀看，每一項進展都是對視頻云行業的巨大飛躍。
