クロマ・サブサンプリング
クロマ・サブサンプリングとは、輝度よりも色の変化に対する低いヒトの視覚系の視力を利用して、ルーマ情報よりもクロマ情報の解像度を低くして画像をエンコードする手法である[1]。
この手法はアナログとディジタル両方のビデオエンコーディング手法で使用されており、JPEGの符号化でも使用されている。
根拠 編集
多くの場合、ディジタル信号はファイルサイズを縮小し、送信時間を節約するために圧縮される。ヒトの視覚系は色よりも明るさの変化にはるかに敏感であるため、ビデオシステムは色差成分CbおよびCrよりも輝度成分（通常はY'で表される）により多くの帯域幅を割り当てることによって最適化できる。例えば、圧縮画像では4:2:2 Y'CbCr手法は、サブサンプリングされていない4:4:4 R'G'B'の3分の2の帯域しか必要としない。この帯域の減少は、画像の鑑賞者によって知覚されるような視覚的な差異をほとんどもたらさない。
サブサンプリングの仕組み 編集
通常の観察距離では、より低いレート、つまりより低い解像度で色のディテイルをサンプリングすることによって認識可能な損失が発生することはない。ビデオシステムでは、色差成分を使用することで実現できる。信号は輝度（Y'）成分と2つの色差成分（クロマ）に分けられる。さまざまなフィルターを使用して、解像度を下げたクロマ値を得ることができる[2]。
ルーマ（Y'）は、算出に「ガンマ補正」が介在することで輝度（Y）と異なるため、プライム記号をつけて区別する。ガンマ補正された信号には、明るいレベルよりも暗いレベルに多くのレベルが割り当てられることによってヒトの視覚の対数感度をエミュレートするという利点がある。この結果、元画像の三刺激値信号であるR'G'B'入力で広く使用されている。sRGB、テレビのRec. 601、Rec. 709およびRec. 2020などがこのような色空間の例であり、この概念はRec. 2020の「光学伝達関数」で一般化されている[2][3][4]。
サンプリングシステムと比率 編集
通常、サブサンプリング手法は、幅が J ピクセルで高さが2ピクセルの概念的な領域のルーマとクロマのサンプル数を、3つの要素の比率 J:a:b（例えば 4:2:2）か、アルファチャンネルがある場合は4つの要素の比率（例えば 4:2:2:4）として表される。 各要素は（並び順で）：
- J：水平サンプリング基準（概念的な領域の幅）。通常は4．
- a：Jピクセルの最初の行のクロマサンプル（Cr、Cb）の数。
- b：Jピクセルの最初の行と次の行のクロマサンプル（Cr、Cb）の変化量。bはaと等しいかゼロでなければならないことに注意（まれな例外として4:4:1や4:2:1のような不規則な場合を除く）
- アルファ：最初の桁に対する水平係数。アルファ係数が存在しない場合は省略可能で、存在する場合はJと等しくなる。
この表記はすべての組み合わせで有効ではなく、例えば4:1:0（YUV9、領域の高さが2ピクセルではなく4ピクセルなので、各成分8ビットの場合は、各ピクセル9ビットが記録される）、4:2:1などの例外がある。
| 4:1:1 | 4:2:0 | 4:2:2 | 4:4:4 | 4:4:0 | ||||||||||||||||||||||||||
| Y'CrCb | ||||||||||||||||||||||||||||||
| = | = | = | = | = | ||||||||||||||||||||||||||
| Y' | ||||||||||||||||||||||||||||||
| + | + | + | + | + | ||||||||||||||||||||||||||
| 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | ||||||
| (Cr, Cb) | 1 | a = 1 | 1 | 2 | a = 2 | 1 | 2 | a = 2 | 1 | 2 | 3 | 4 | a = 4 | 1 | 2 | 3 | 4 | a = 4 | ||||||||||||
| 1 | b = 1 | b = 0 | 1 | 2 | b = 2 | 1 | 2 | 3 | 4 | b = 4 | b = 0 | |||||||||||||||||||
| 水平解像度¼、 垂直解像度全画素 |
水平解像度½、 垂直解像度½ |
水平解像度½、 垂直解像度全画素 |
水平解像度全画素、 垂直解像度全画素 |
水平解像度全画素、 垂直解像度½ | ||||||||||||||||||||||||||
上記のマッピング例は理論上のものであり、説明用のものである。 また、この図ではエイリアシング回避のために適用する必要があるクロマ・フィルターが示されていないことに注意が必要である。
4:4:4（ないし4:4:4:4）に対する必要な帯域幅の比率を計算するには、すべての係数を合計して12（アルファがある場合は16）で除算すればよい。
サンプリングとサブサンプリングの種類 編集
4:4:4 編集
Y'CrCbの3成分それぞれは同じサンプルレートで、クロマ・サブサンプリングは行われない。この方式はハイエンドのフィルムスキャナーや、映画のポスト・プロダクションで使用されることがある。
「4:4:4」という表記は、暗黙的にクロマ・サブサンプリングが行われないR'G'B'色空間を示している場合があることに注意が必要である。HDCAM-SRなどの形式では、デュアルリンクHD-SDI経由で4:4:4 R'G'B'を録画できる。
4:2:2 編集
2つのクロマ成分はルーマの半分のサンプルレートでサンプリングされ、水平の色解像度は半分になる。この方式では非圧縮ビデオ信号の帯域幅の3分の1を削減できる。
多くのハイエンドディジタル・ビデオ形式およびインターフェイスがこの方式を採用している：
- AVC-Intra 100
- Digital BETACAM
- BETACAM-SX
- DVCPRO50 および DVCPRO HD
- Digital-S
- CCIR 601 / シリアルデジタルインタフェース / D1-VTR
- ProRes (HQ, 422, LT, and Proxy)
- XDCAM HD422
- Canon MXF HD422
4:2:1 編集
このサンプリングモードはJ:a:b表記では表現できない。「4:2:1」は以前の表記方式から廃止された用語であり、ごく少数のソフトウェアないしハードウェアコーデックがこの方式を採用している。Cbの水平解像度はCrの半分である（Yの4分の1の水平解像度）。
4:1:1 編集
4:1:1クロマ・サブサンプリングでは、水平の色解像度は4分の1であり、クロマ・サブサンプリングなしの場合と比べて帯域幅は半分になる。当初、DV形式の4:1:1クロマ・サブサンプリングは放送品質とはみなされず、ローエンドの民生用途のみが受け入れられていた[5][6]。しかしながら、DVを基にした形式（一部は4:1:1クロマ・サブサンプリングを使用）は、ENGや送出サーバーで業務用途で使用された。DVは長編映画や、デジタル式映画撮影でもときどき使用された。
NTSC方式では、ルーマは13.5MHzでサンプリングされ場合には、CrとCb信号がそれぞれ3.375MHzでサンプリングされることを意味し、このナイキスト帯域幅は1.6875MHzとなるが、従来の「ハイエンド放送用アナログ」NTSCエンコーダーはI/Qチャンネル用に1.5MHzおよび0.5MHzのナイキスト帯域幅を有していた。ただし、ほとんどの機器、特に安価なテレビ受像機や、VHS/BetaMaxといった家庭用VTRではクロマチャンネルの帯域幅はCr、Cbともに（あるいはI/Qで）0.5MHzしかない。したがって、DVシステムは「フル」のディジタル信号のクロマ帯域幅の4分の1しかないにもかかわらず、NTSCの最良のコンポジットアナログ仕様と比較すると、実際には優れたクロマ帯域幅を有している。
4:1:1クロマ・サブサンプリングを使用する形式は以下の通り：
4:2:0 編集
4:2:0では、水平のサンプリングは4:1:1の2倍だが、この方式ではCbおよびCrチャンネルは1ラインおきに交代でしかサンプリングされず、垂直解像度は半分になる。データレートは4:1:1と同等である。この方式はNTSCの半分の垂直色解像度しか有していないPALの色エンコーディングシステムに適している。また、SECAMの色エンコーディングシステムと同様に4:2:0はラインごとに1つの色チャンネルしか保存および伝送されないことから非常によく適合している（もう一方のチャンネルは前のラインから復元される。しかし、実際にはSECAMのアナログビデオ信号を出力する機器はほとんど製造されていない。一般に、SECAM地域ではPAL対応のディスプレイを使用するか、トランスコーダーでPAL信号をSECAMに変換して表示する必要がある。
4:2:0クロマ構成のさまざまなバリエーションを以下に示す：
- H.262 MPEG-2などのすべてのISO/IECのMPEGおよびITU-T VCEGのH.26xビデオ符号化規格（ただし、MPEG-4 Part 2とH.264/MPEG-4 AVCは4:4:4などのより高品質のサンプリング方式が使用できる）の実装。
- DVD-VideoおよびBlu-ray Disc[7][8]。
- PAL PALおよびDVCAM
- HDV
- AVCHDおよびAVC-Intra 50
- Apple Intermediate Codec
- 最も一般的なJPEG/JFIFおよびMotion JPEGの実装
- VC-1
CbとCrは水平および垂直に半分にサブサンプリングされる。
4:2:0方式には水平および垂直方向の位置が異なる3つのバリエーションがある[9]。
- MPEG-2、MPEG-4およびAVCでは、CbとCrは水平方向には同じ位置に配置される。垂直方向には互い違いに配置される。
- JPEG/JFIF、H.261およびMPEG-1では、CbとCrは一画素おきのルーマサンプルの中間に、とびとびに配置される。
- 4:2:0 DVでは、水平は同じ位置に配置され、垂直方向には1ラインおきに同じ位置に配置される。これは、BT.2020およびRec. 2100のコンテンツ（特にBlu-ray）のHEVCで使用されている。これはtop-leftとも呼ばれている。
PALに対応した多くのディジタルビデオ形式では、4:1:1を使用するDVCPRO25を除けば4:2:0クロマ・サブサンプリングを使用している。4:1:1と4:2:2のどちらも、クロマ・サブサンプリングを行わない場合に比べて半分の帯域幅となる。
インターレース素材では、4:2:0クロマ・サブサンプリングはプログレッシブ素材と同じ方法で実装された場合に動きアーティファクトを生ずることがある。複数の画素に対して、ルーマサンプルはそれぞれ異なる時間間隔から得られるが、クロマサンプルは同じ時間間隔で得られる。この違いが動きアーティファクトを生じることがある。MPEG-2規格は、両方のフィールド同時ではなく、それぞれのフィールドに対して4:2:0を適用するという異なるインターレースサンプリング方式を許容している。これによって動きアーティファクトは解消するが、垂直のクロマ解像度が半分になり、画像に櫛状のアーティファクトが発生する可能性がある。
元画像。この画像では1つのフィールドを表示している。移動するテキストにはモーション・ブラーが適用されている。
動きのあるインターレース素材への4:2:0プログレッシブサンプリングの適用。クロマが移動するテキストの前後にあることに注意。この画像では1つのフィールドを表示している。
動きのあるインターレース素材への4:2:0インターレースの適用。この画像では1つのフィールドを表示している。
しかしながら、4:2:0インターレース方式では、クロマサンプルが2x2ではなく、幅2サンプル、高さ4サンプルの領域を効果的に表すため、クロマの垂直解像度は約半分になる。同様に、両フィールドの空間変位（動き）は、櫛のようなクロマアーティファクトの出現をもたらす可能性がある。
オリジナルの静止画。
静止画への4:2:0プログレッシブサンプリングの適用。両方のフィールドが表示されている。
静止画への4:2:0インターレースサンプリングの適用。両方のフィールドが表示されている。
インターレース素材をプログレッシブ化する際には、クロマを垂直方向にぼかすことによって、4:2:0インターレースサンプリングに起因する櫛状のクロマアーティファクトを除去することができる[10]。
4:1:0 編集
この比率は可能であり、いくつかのコーデックがサポートしているが、広く使用されているわけではない。 この比率では垂直が半分、水平が4分の1の色解像度を使用し、最大の色解像度の場合に比べて（色については）8分の1の帯域しか使用しない。 8ビット量子化のこの形式の非圧縮ビデオは、各マクロピクセル（4x2ピクセル）につき、10バイトを消費する。 この方式はディレイラインデコーダーを使用したPALのI信号と同等の色帯域幅を有し、NTSCよりははるか優れている。
- 一部のビデオコーデックは、VHSと同等の品質を実現するために、オプションで4:1:0.5ないし4:1:0.25で動作することがある。
3:1:1 編集
ソニーがHDCAM高精細レコーダー（HDCAM SRではない）で使用。水平方向に、ルーマはフルHDの1ラインあたり1920サンプルの4分の3となる1440サンプルでサンプリングする。クロマについてはルーマの3分の1のサンプリングレートとなる1ラインあたり480サンプルとなる。
垂直方向には、ルーマもクロマもフルHDのサンプリングレートとなる（垂直に1080サンプル）。
アーティファクト 編集
クロマ・サブサンプリングには、主に2種類のアーティファクトがあり、色が急激に変化する場合に意図したよりも目立つ劣化を引き起こす。
ガンマ誤差 編集
Y'CbCrのようなガンマ補正された信号では、クロマの誤差がルーマに「にじむ」という問題がある。これらの信号では、クロマが低下すると、実際には同等のルーマを持つ色よりも暗く見えてしまう。その結果、飽和度の高い色が、低飽和の色や補色と混ざりあうと境界で輝度が低下する。これはマゼンタと緑の間でよく見られる[2]。元の値により近いサブサンプリングされた値の組み合わせを得るためには、ガンマ補正を元に戻して計算してから再度ガンマ補正された色空間に戻る必要がある。輝度の加重平均を使用したり、WebPのルックアップテーブルや、sjpegの "Sharp YUV" 機能を繰り返し使用するなどでより効率的な近似も可能である[11]。
色域外の色 編集
クロマ・サブサンプリングによって発生する可能性があるもう1つのアーティファクトは、クロマの再構成時に色域外の色が発生することである。画像が1ピクセルの赤と黒の線で構成されており、サブサンプリングによって黒ピクセルのクロマが省略されているとする。赤ピクセルからのクロマが黒ピクセルに再構成あれ、新しいピクセルは正の赤と、負の緑と青の値となる。ディスプレイは負の光を出力できないので（負の光は存在しない）、これらの負の値は実質的にクリップされ、結果とのルーマの値は高すぎることになる[2]。同様のアーティファクトは、かなりシャープな赤/黒の境界付近のグラデーションの、あまり人工的ではない例で発生する。
サブサンプリング中の他のタイプのフィルターも、色域から外れる原因となりうる。
用語 編集
Y'UVと言う用語はアナログのエンコーディング手法を指し、ディジタル・エンコーディング手法はY'CbCrである[3]。両者の差異の一つはクロマ成分（U、V、Cb、Cr）の比率が異なることである。しかしながら、YUVと言う用語が誤ってY'CbCrを指すために使われることがよくある。したがって、アナログ・エンコーディングには4:x:xのようなものがないことから、「4:x:x YUV」などの表現は常に4:x:x Y'CbCrを指している。
同様に、輝度および記号Yはしばしば誤って記号Y'と表記されるルーマを指すために使われている。映像工学の「ルーマ」（Y'）は色彩科学の「輝度」（Y、CIEが定義）から逸脱している。ルーマは「ガンマ補正された」（三刺激値）RGB成分の加重和として形成される。輝度は「リニアな」（三刺激値）RGB成分の加重和として形成される。
実際に、CIEの記号Yはしばしばルーマを表すために誤用されている。1993年、SMPTEはエンジニアリング・ガイドライン EG 28を採択して2つの用語を明確にした。プライム記号 ' はガンマ補正されていることを表すために使用されている。
同様に、映像工学のクロマ/彩度は、色彩工学の彩度とは異なっている。映像工学でのクロマ/彩度は、リニア成分ではなく、ガンマ補正された重みづけされた三刺激値成分から形成されている。映像工学の実践では、「クロマ」、「彩度」および「飽和度」と言う用語が彩度を表すために同じ意味で使用されることがよくある。
歴史 編集
クロマ・サブサンプリングは、NTSC規格に発展したRCAによるカラーテレビの開発のために、1950年代にアルダ・ベッドフォード（Alda Bedford）によって開発されたが、ルーマ・クロマ分離はこれに先んじて1938年にジョルジュ・ヴァランシによって開発されていて。研究を通じて、ベッドフォードはヒトの目が白黒に対してのみ解像度が高く、黄色や緑などの「中程度」の色ではやや低く、スペクトルの端の色である赤や青でははるかに低いことを示した。この知識を使用することで、RCAはカメラからの青信号の大部分を使用せず、緑の大部分と、赤の一部のみを保持するシステムを開発できたが、これがYIC色空間でのクロマ・サブサンプリングであり、ルーマ、黄/緑、赤/青の解像度が低下しているという点で4:2:1サブサンプリングにほぼ類似している。
脚注 編集
- ^ S. Winkler, C. J. van den Branden Lambrecht, and M. Kunt (2001). “Vision and Video: Models and Applications”. In Christian J. van den Branden Lambrecht. Vision models and applications to image and video processing. Springer. p. 209. ISBN 978-0-7923-7422-0
- ^ a b c d Chan, Glenn (May 2008). “Toward Better Chroma Subsampling: Recipient of the 2007 SMPTE Student Paper Award”. SMPTE Motion Imaging Journal 117 (4): 39–45. doi:10.5594/J15100.
- ^ a b Poynton, Charles. "YUV and luminance considered harmful: A plea for precise terminology in video".
- ^ Why 4K video looks better on a 1080p screen – The Daily Note (with graphics explaining chroma subsampling.
- ^ Jennings, Roger (1997年). “DV vs. Betacam SP”. DV Central. 2008年7月2日時点のオリジナルよりアーカイブ。2008年8月29日閲覧。
- ^ Wilt, Adam J. (2006年). “DV, DVCAM & DVCPRO Formats”. adamwilt.com. 2008年8月29日閲覧。
- ^ Clint DeBoer (2008年4月16日). “HDMI Enhanced Black Levels, xvYCC and RGB”. Audioholics 2013年6月2日閲覧。
- ^ “Digital Color Coding”. Telairity. オリジナルの2014年1月7日時点におけるアーカイブ。 2013年6月2日閲覧。
- ^ Poynton, Charles (2008年). “Chroma Subsampling Notation”. Poynton.com. 2008年10月1日閲覧。
- ^ Munsil, Don (2003年). “DVD Player Benchmark – Chroma Upsampling Error”. Secrets of Home Theater and High Fidelity. 2008年6月6日時点のオリジナルよりアーカイブ。2008年8月29日閲覧。
- ^ “Gamma-correct chroma subsampling · Issue #193 · mozilla/mozjpeg” (英語). GitHub. 2021年5月11日閲覧。
参考文献 編集
- Poynton, Charles. "Digital Video and HDTV: Algorithms and Interfaces". U.S.: Morgan Kaufmann Publishers, 2003.
- Kerr, Douglas A. "Chrominance Subsampling in Digital Images" [1]