[FEE-421] WebCodecs、MSE 與 EME — 瀏覽器媒體管線
INFO
在「設好 video.src 然後祈禱」與「自己造一個播放器」之間,有三套 API 劃分了整個空間。Media Source Extensions(MSE)讓 JavaScript 逐段餵資料給 <video> 元素:這是 hls.js、dash.js 與 Shaka Player 背後的機制。Encrypted Media Extensions(EME)在同一個元素上加入授權交換,讓它能透過 Content Decryption Module 播放 DRM 保護內容。WebCodecs 則潛到兩者之下,逐影格暴露瀏覽器的硬體編解碼器,服務編輯器、轉檔器與低延遲串流。MSE 與 EME 已是多年的 Baseline(所有主要引擎皆支援)。WebCodecs 於 2021 年在 Chrome 推出,之後陸續落地 Firefox 與 Safari,但尚未達到 Baseline,編解碼器覆蓋度仍因瀏覽器而異。在 iPhone 上,傳統 MSE 從未推出;由 Safari 主導的 ManagedMediaSource 是唯一入口,而且附帶條件。本文描繪三層之間的接縫、每一層的程式碼,以及相容性斷崖。
背景
<video> 元素讓播放變得宣告式,卻也是鐵板一塊:一個 URL、瀏覽器控制的緩衝、無法中途切換畫質、無法保護內容。Flash 與 Silverlight 填補這個缺口,直到 MSE(2016 年 W3C Recommendation)把自適應串流搬進 JavaScript、EME(2017 年 W3C Recommendation,2019 年起 Baseline)標準化了 DRM 交握,這些決策直接源自當年最大的幾家串流服務與 2010 年代中期的外掛淘汰潮。仍然封閉的是編解碼器本身:想碰解碼後的像素,就得把影片畫到 canvas 上再付出代價;想編碼,就得載一份 WebAssembly 版 FFmpeg,用 CPU 燒掉裝置媒體晶片本可免費完成的工作。WebCodecs(2021 年,W3C Working Draft)以一層刻意薄的抽象打開了最後這個盒子。
視覺對比
範例
MSE 把一條自行構築的時間軸交給 <video> 元素。最先絆倒初次實作者的三條規則:append 是非同步的、必須靠 updateend 序列化;容器必須是 fragmented MP4(fMP4/CMAF,一種適合串流的打包方式,把漸進式 MP4 檔尾的 moov 索引 atom 換成逐段中繼資料)或 WebM;而在 iPhone 上,ManagedMediaSource 要先處理遠端播放才會開始串流:
const video = document.querySelector("video");
const MediaSourceCtor = self.ManagedMediaSource ?? self.MediaSource; // iPhone:只有 MMS
// MMS 前提:停用遠端播放(或提供 AirPlay <source> 替代來源),
// 否則 Safari 不會開始串流。
video.disableRemotePlayback = true;
const ms = new MediaSourceCtor();
video.src = URL.createObjectURL(ms);
ms.addEventListener("sourceopen", async () => {
const mime = 'video/mp4; codecs="avc1.64001f, mp4a.40.2"';
if (!MediaSourceCtor.isTypeSupported(mime)) throw new Error("unsupported");
const sb = ms.addSourceBuffer(mime);
const segments = ["/seg/init.mp4", "/seg/1.m4s", "/seg/2.m4s"];
const queue = [];
let fetched = 0;
const pump = () => {
if (sb.updating) return;
if (queue.length) sb.appendBuffer(queue.shift());
else if (fetched === segments.length) ms.endOfStream(); // 有限的示範素材
};
sb.addEventListener("updateend", pump);
for (const url of segments) {
queue.push(await (await fetch(url)).arrayBuffer());
fetched++;
pump(); // 序列化:在 updating 期間 appendBuffer 會拋出 InvalidStateError
}
});EME 把金鑰掛上同一個元素。流程的形狀在各 keysystem 之間共享,參數則不然:keysystem 字串、initDataTypes、robustness 值與憑證處理各有差異。FairPlay 差最多:initData 以 "sinf"/"skd" 而非 "cenc"(Common Encryption,通用加密格式)送達,且授權前必須先呼叫 setServerCertificate():
const access = await navigator.requestMediaKeySystemAccess("com.widevine.alpha", [{
initDataTypes: ["cenc"],
videoCapabilities: [{ contentType: 'video/mp4; codecs="avc1.64001f"',
robustness: "SW_SECURE_CRYPTO" }], // 依 keysystem 而異的等級階梯
}]);
const mediaKeys = await access.createMediaKeys();
await video.setMediaKeys(mediaKeys);
// "encrypted" 會逐串流觸發(音訊與視訊的 initData 都會到);
// 真實播放器會先對 initData 去重再開工作階段。
video.addEventListener("encrypted", async ({ initDataType, initData }) => {
const session = mediaKeys.createSession();
session.addEventListener("message", async ({ message }) => {
const license = await fetch("/license", { method: "POST", body: message });
await session.update(await license.arrayBuffer()); // CDM 安裝金鑰
});
await session.generateRequest(initDataType, initData);
});WebCodecs 完全跳過元素。解碼器就是一條帶兩個回呼的佇列;餵它解封裝後的 EncodedVideoChunk,再把它吐出的 VideoFrame 畫出來。每一個影格都要 close:影格包的是 GPU/解碼器記憶體,垃圾回收救不了你:
const decoder = new VideoDecoder({
output: (frame) => {
ctx.drawImage(frame, 0, 0, canvas.width, canvas.height);
frame.close(); // 不是可選項:影格池耗盡時解碼器會停擺
},
error: (e) => console.error(e),
});
const config = { codec: "avc1.64001f", codedWidth: 1920, codedHeight: 1080 };
const { supported } = await VideoDecoder.isConfigSupported(config);
if (!supported) throw new Error("pick another codec");
decoder.configure(config);
// 解封裝是你的工作(例如 mp4box.js)。處理真實檔案時,
// 請觀測 decoder.decodeQueueSize,不要一次全塞進去。
for (const sample of demuxedSamples) {
decoder.decode(new EncodedVideoChunk({
type: sample.isKeyframe ? "key" : "delta",
timestamp: sample.timestampMicros,
data: sample.bytes,
}));
}
await decoder.flush(); // 最後一次性排空——不是逐影格
decoder.close();編碼是它的鏡像:VideoFrame 進(來自 canvas、相機軌道或解碼器輸出)、EncodedVideoChunk 出,以 encodeQueueSize 作為背壓訊號。
最佳實踐
- **必須(MUST)**在消費完的當下對每個
VideoFrame/AudioData呼叫frame.close()。這些物件持有 JS heap 之外的硬體記憶體;洩漏它們會在 GC 察覺任何異狀之前就讓解碼器停擺。 - **必須(MUST)**使用完整指定的編解碼器字串(
"avc1.64001f"、"vp09.00.40.08"、"av01.0.04M.08"),並在 configure 前檢查isConfigSupported()/isTypeSupported();支援度真的因瀏覽器、OS 與硬體而異。 - **必須(MUST)**把
appendBuffer()序列化在updateend之後;sb.updating為 true 時 append 會拋出InvalidStateError。 - **必須(MUST)**餵給 MSE fragmented 容器(fMP4/CMAF 或 WebM),init segment 先行;漸進式 MP4 要在打包階段重新分段。
- **必須(MUST)**用
ManagedMediaSource(以一般MediaSource為後備)觸及 iPhone,並滿足它的啟用契約:設定video.disableRemotePlayback = true或提供 AirPlay<source>替代來源,並優先在其streaming屬性表示 UA 想要資料時 append。傳統 MSE 在 iPhone Safari 從未可用;隨 iOS 17.1 推出的 MMS 是那裡唯一的入口。 - **應該(SHOULD)**把媒體管線放進 Worker:WebCodecs 在 dedicated worker 完整可用,MSE-in-Workers(把
MediaSource.handle傳給元素的srcObject)能讓 append 遠離繁忙的主執行緒。 - **應該(SHOULD)**在
appendBuffer()拋出QuotaExceededError時用sourceBuffer.remove()移除已播放範圍;緩衝配額在裝置之間差異極大,使用ManagedMediaSource時還要監聽bufferedchange逐出事件。 - **應該(SHOULD)**以
encodeQueueSize/decodeQueueSize(與dequeue事件)觀測背壓,而不是把整個檔案一次塞進編解碼器。 - **應該(SHOULD)**只請求業務實際需要的最低 EME robustness 等級;更高等級(硬體保護路徑)會縮小裝置覆蓋,還可能觸發額外的權限 UX。
- **可以(MAY)**用同一家族的
ImageDecoder逐格讀取動態 AVIF/GIF/WebP,取代<img>的各種花招。
設計思維
三層,一個取捨:控制權對上元素免費贈送的一切。<video> 元素給你緩衝、解碼、音畫同步、旋轉中繼資料、子母畫面、遠端播放與電源管理。MSE 保留所有這些,只交出傳輸這道接縫:你決定位元組,元素仍負責播放。WebCodecs 交出編解碼器接縫,其他什麼都沒有。它不解封裝、不封裝、不同步、不渲染;規範的範圍刻意是「codecs, not containers」,這正是每個真實 WebCodecs 應用都要搭配 JS/WASM 解封裝器與自行實作的播放時鐘的原因。選擇 WebCodecs 意味著重新實作元素;回報是元素永遠不會給你的影格層級存取。
**EME 的形狀既是架構,也是政治協議。**瀏覽器只標準化交握(requestMediaKeySystemAccess、不透明的 message 二進位塊、update());實際解密住在瀏覽器沙箱化的專有 CDM(Widevine、PlayReady、FairPlay)裡。這是同一份播放器程式碼靠替換設定就能跨 keysystem 運作的原因,也是除錯到 CDM 邊界就停止的原因。這場妥協是真實而有代價的:EME 是在正式異議之下推進到 Recommendation 的,EFF 更於 2017 年為此退出 W3C。
**ManagedMediaSource 反轉了 MSE 的記憶體契約。**傳統 MSE 讓應用程式規劃緩衝區,但 UA 仍可能在你自己的 append 過程中逐出既有資料,而且只以拋出 QuotaExceededError 來表達記憶體壓力。MMS 更進一步:UA 完全擁有緩衝區、隨時可以逐出,並透過 bufferedchange 告訴你動了什麼。Apple 說明過 iPhone 從未推出傳統 MSE 的理由是耗電;頁面控制的緩衝會讓網路天線一直忙碌,而 MMS 把 UA 主導的逐出與對天線友善的批次載入,定為入場的代價。
深入探討
WebCodecs 的處理模型是每個編解碼器實例一條控制訊息佇列。configure()、encode()/decode()、flush() 附加訊息;reset() 同步清空佇列(丟棄進行中的工作),close() 則是終局版。輸出用回呼而非 promise 傳遞:60 fps 下逐影格一個 promise 是可量測的開銷。熱路徑上唯一的 promise flush(),設計上是每條串流或每次 seek await 一次;flush 之後解碼器需要新的關鍵影格,所以逐影格 flush 會把 delta 串流變成錯誤來源。解碼器本來就必須先吃到關鍵影格:seek 之後,這意味著在解封裝器裡找到前一個 sync sample、往前解碼、丟棄目標時間戳之前的影格。VideoFrame 帶著微秒單位的 timestamp/duration 與 VideoColorSpace;編碼後的 chunk 通常比它來源的影格小 10-100 倍,這也是洩漏影格代價的合理心智模型。
API 之間的接縫是一級公民。VideoFrame 接受 CanvasImageSource,自己也是 CanvasImageSource,所以 canvas、ImageBitmap 與 WebGL/WebGPU 貼圖雙向流動。相機軌道經 MediaStreamTrackProcessor(一條 VideoFrame 的 ReadableStream)接上 WebCodecs,影格再經 MediaStreamTrackGenerator/VideoTrackGenerator 變回軌道,這條 Chromium 主導的「breakout box」路徑在各引擎間仍不平整。編碼後的 chunk 可以走 WebTransport datagram 或 WebRTC 資料通道做自訂低延遲串流,填補 MSE(秒級延遲、容易)與完整 WebRTC(次秒級,但自帶一整套傳輸與拓撲決策)之間的利基。
EME 的工作階段機制不只有快樂路徑。MediaKeySession.keyStatuses 把金鑰 ID 映射到狀態("usable"、"expired"、"output-restricted";最後一個是 HDCP 失敗浮現的方式,HDCP 即受保護內容要求的顯示連結加密,典型症狀是外接螢幕上的黑畫面)。播放因缺鑰而停住時元素會觸發 waitingforkey,工作階段類型分為 "temporary" 與 "persistent-license"(在 CDM 與授權政策都允許時支援離線播放)。Robustness 字串因 keysystem 而異(Widevine 的階梯從 SW_SECURE_CRYPTO 到 HW_SECURE_ALL);伺服器普遍把 1080p 以上鎖在硬體等級之後,這就是同一條串流在不同裝置上封頂解析度不同的原因。
管線選型對照
| 需求 | 選用 | 為什麼不是其他 |
|---|---|---|
| 播放單一檔案、預設控制列 | <video src> | 其他一切都是沒有回報的額外程式碼 |
| 自適應位元率 VOD/直播(DASH/HLS) | MSE(經 hls.js/dash.js/Shaka) | WebCodecs 得重新實作元素;src 無法切換版本 |
| 同上,還要觸及 iPhone | 原生 HLS(src=*.m3u8)或 ManagedMediaSource | 傳統 MSE 在 iPhone 上不存在 |
| 受保護內容 | MSE 之上疊 EME | 沒有其他被認可的解密路徑 |
| 影片編輯器、轉檔器、逐影格處理 | WebCodecs(+ WASM 解封裝/封裝器、Worker) | 元素不暴露影格;純 wasm 編解碼浪費硬體晶片 |
| 次秒級直播、大量觀眾 | WebCodecs over WebTransport | MSE 緩衝太多;WebRTC 拓撲未必適合扇出 |
| 視訊會議 | [WebRTC(FEE-419)](/zh-tw/Browser APIs and Web Platform/webrtc) | 其他方案都缺 NAT 穿透與壅塞控制 |
| 通話中的相機特效 | MediaStreamTrackProcessor + WebCodecs/canvas | 元素管線永遠不暴露軌道的影格 |
支援現況一句話:MSE 與 EME 是 Baseline、無處不在(帶著 iPhone 的但書);WebCodecs 是 Chromium 94+、Firefox 130+(僅桌面)、Safari 16.4 起支援視訊、Safari 26 補齊音訊。能力完備,但不是 Baseline,所以要按編解碼器做特性偵測,不是按 API。
延伸閱讀
- [WebRTC — 點對點媒體與資料通道](/zh-tw/Browser APIs and Web Platform/webrtc)
- [WebTransport](/zh-tw/Browser APIs and Web Platform/411)
- [Web Audio API — 瀏覽器的音訊圖](/zh-tw/Browser APIs and Web Platform/web-audio-api)
- [Web Workers & Concurrency](/zh-tw/Browser APIs and Web Platform/405)
- [Transferable Objects](/zh-tw/Browser APIs and Web Platform/417)
參考資料
- MDN contributors, "WebCodecs API," MDN Web Docs (2026). https://developer.mozilla.org/en-US/docs/Web/API/WebCodecs_API
- MDN contributors, "Media Source Extensions API," MDN Web Docs (2026). https://developer.mozilla.org/en-US/docs/Web/API/Media_Source_Extensions_API
- MDN contributors, "Encrypted Media Extensions API," MDN Web Docs (2026). https://developer.mozilla.org/en-US/docs/Web/API/Encrypted_Media_Extensions_API
- W3C, "WebCodecs," W3C Working Draft (2026). https://www.w3.org/TR/webcodecs/
- W3C, "Media Source Extensions," W3C (maintained). https://www.w3.org/TR/media-source-2/
- WebKit team, "Managed Media Source," WebKit Blog (2023). https://webkit.org/blog/14735/managed-media-source/
- Eugene Zemtsov, François Beaufort, "Video processing with WebCodecs," Chrome for Developers (2020, updated). https://developer.chrome.com/docs/web-platform/best-practices/webcodecs
- caniuse.com, "ManagedMediaSource API," Can I use (2026). https://caniuse.com/mdn-api_managedmediasource
- EFF, "An open letter to the W3C Director, CEO, team and membership," Electronic Frontier Foundation (2017). https://www.eff.org/deeplinks/2017/09/open-letter-w3c-director-ceo-team-and-membership
變更紀錄
- 2024-2025 — WebCodecs 完成擴散:Firefox 130 於桌面推出(2024)、Safari 26 補齊音訊編解碼器(2025);仍未達 Baseline,編解碼器覆蓋度仍有差異。
- 2023 — Safari 16.4 推出視訊 WebCodecs(3 月);
ManagedMediaSource隨 Safari 17 推出(10 月),並經 iOS 17.1 抵達 iPhone,成為那裡第一個 MSE 家族 API。 - 2021 — WebCodecs 在 Chrome 94 推出。
- 2017 / 2016 — EME 與 MSE 發布為 W3C Recommendation;EME 自 2019 年起 Baseline。