YUVフォーマット及び YUV<->RGB変換

はじめに

YUV，YUVとよく耳にするが，いったいどれだけフォーマットがあんねん！
YUVとRGBの変換式をよく目にするが，いったいどれだけ定義があんねん！

どうもwebで調べていると，デジタルもアナログも，YUV，YCbCr，YIQの変換式もすべて混沌としていて，どれが正しいのか見当がつかない．筋が通っていると思われるものを書きつくってみる．

YUVとは

「人間の目は明るさの変化には敏感だが, 色の変化には鈍感である」 というわけで，色度を抑え、輝度により広い帯域やビット数を割くことにより、少ない損失で効率の良い伝送や圧縮を実現するフォーマット．

デジタル画像の圧縮CODECにおけるフォーマットという観点でまとめる．

輝度と色差のサンプル比に基づく呼び方

サブサンプリングする際の，輝度と色差信号のサンプル比に注目して，次のような呼び方がある．YUV444,YUV422,YUV411,YUV12,YUV9,YUV420,YUV410など．

YUV411なら，水平方向の4pixelに対して輝度は4pixel全て取るが，色差は1pixelずつだけ取る．
YUV12とYUV420，YUV9とYUV410は同じものらしい．

YUV420のゼロってなんやねん？これはどうも２x２ブロックのように垂直方向も考えて．はじめのラインで輝度2pixel に対して 「V」(または「U」)を1pixel取り，次のラインでは輝度2pixelに対して「V」(または「U」)を1pixel 取るということのようだ．

YUVのフォーマット(FOURCC)

FOURCC・・・これは各企業が名前をそれぞれつけているので，命名規則などあったもんじゃないが，とにかくPacked format と Planer format がある．これらは，色差の間引き方と，データ格納の仕方が違うようだ．前者は，水平方向（各ライン）での間引き方を考え，「Y」「U」「V」を単一配列に格納するフォーマットである．一方，後者はn x n のブロックでの間引き方を考え，「Y」「U」「V」をそれぞれ異なる配列(プレーン，平面)に格納する．いいかえると，各色差は垂直方向にはnライン飛びに，水平方向にはnサンプル飛びにサンプリングする．U，V平面はY平面の1/n^2 になる．

基本的にFOURCCは，格納された「Y」「U」「V」の並び方を意味し，数字は1pixelあたりの実効bit数を意味するようだ．(YUY2は違うけど)

Packed format

マクロピクセルでのパックの仕方によって次のように名前が変わる(DVでよく使いそうなものだけ列挙)．はじめの３つは順番が違うだけで，全てYUV422．1マクロピクセル(u_int32)の中に画像の2ピクセルが入る．

これら(UYVY, YUY2, YVYU)は MSYUV CODEC でサポートされ，AVIDecorder Filter (DirectShow) 等によってRGB16, RGB8に変換される．

Planer format

YUV <-> RGB 変換式

webを見ていると，たくさん定義があるようやけど，どれが本当の変換式なんじゃ？どれがほんまの係数なんじゃ？

よく分からないことを列挙すると・・・

1. そもそもデータの値の範囲はなんぼやねん
   • ITU-R BT.601 の規定は？
   • カメラからくるUYVY信号は？
2. (色空間変換式)YUVとYCbCrはどこがちゃうねん．

どうも調べていると，定義式がようけあるのは

1. TVなどの Composit Analog とITU-R 601規定で，色差のスケーリングが違う
   • テレビで用いるYUVは B-Y, R-Yをそれぞれ2.03, 1.14で割る
   • ITU-Rだとそれぞれ 1.772, 1.402で割る
   • スケーリングしない場合もある
2. 各コンポーネントの値の範囲によってYUV,RGBそれぞれ 2種類の色空間が良く用いられる(8bit量子化の例)
   • full-range RGB [0,255]
   • compressed-range RGB [16,235]
   • full-range YUV [0,255]
   • compressed-range YUV [16,235/240]

などの理由からのようやな．

要はどの色空間でのYUV, RGBか（B-Y,R-Yのスケーリングや値の範囲など）を見極めて それに合う変換式を使えということなんやろう．とりあえず変数を用いた一般的な変換式を導いてみよう．その後，いくつかの場合について，具体的な変換式を出してみよう．

一般の場合を考えてみよう

とりあえず，こんな感じなんやろ（か？）．
変換式（係数）算出用 Excel
元LaTeXファイル

ITU-R BT.601 規定YCbCrと8bitフルスケールRGBの相互変換

データ範囲

変換式(1)

先に述べた一般の場合の変換式で，r'=0.299, g'=0.587, b'=0.114, x= 1.772, y = 1.402, α = 219, β = 16, γ = 224, δ = 128, n = 255とする．

Y = 0.257R + 0.504G + 0.098B + 16Cb = -0.148R - 0.291G + 0.439B + 128Cr = 0.439R - 0.368G - 0.071B + 128

R = 1.164(Y-16) + 1.596(Cr-128)G = 1.164(Y-16) - 0.391(Cb-128) - 0.813(Cr-128)B = 1.164(Y-16) + 2.018(Cb-128)

ところで，IIDC 1394-based Digital Camera Spec.1.30 を見る限りでは YUVそれぞれのコンポーネントを8bitフルでとっている(Y(Mono16)は考えない)・・・ここからRGB8にするには以下のようになる．

8bitフルスケールYUVと8bitフルスケールRGBの相互変換

データ範囲

変換式(2)

先に述べた一般の場合の変換式で，r'=0.299, g'=0.587, b'=0.114, x= 1.772, y = 1.402, α = 255, β = 0, γ = 255, δ = 0, n = 255とする．

Y = 0.299R + 0.587G + 0.114BU = -0.169R - 0.331G + 0.500BV = 0.500R - 0.419G - 0.081B

R = 1.000Y + 1.402VG = 1.000Y - 0.344U - 0.714VB = 1.000Y + 1.772U

で，結局 DFW-VL500ではどのような変換式を用いればええの？

この辺りは説明書を見るしかないだろう．
DFW-VL500の説明書（英語）によれば，このカメラの出力はB-Y, R-Yのスケーリングはしていないようだ．したがって，変換式は以下のようになる．この場合，R, G, Bのスケールを1.0とすれば，B-Y, R-Y の範囲は1.0を超える（それぞれ，0.89*2, 0.70*2になる）．したがって，Yが[0,255], B-Y, R-Y が[-128,127]の範囲の値をとるならば，例えば (R,G,B) = (255,0,0) に変換されるような信号は出てこないことになる．

変換式(3)

先に述べた一般の場合の変換式で，r'=0.300, g'=0.570, b'=0.110,x = y = 1.0, α = 255, β = 0, γ = 255, δ = 0, n = 255 とする．なお，以下の式の有効数字はDFWの説明書と異なるので注意．B-Y, R-Yは[-128,127]を仮定しているため，[0,255]の場合は適宜バイアスを加える必要あり．

Y = 0.300R + 0.590G + 0.110BB-Y = -0.300R - 0.590G + 0.890BR-Y = 0.700R - 0.590G - 0.110B

R = 1.000Y + 1.000(R-Y)G = 1.000Y - 0.186(B-Y) - 0.508(R-Y) B = 1.000Y + 1.000(B-Y)

参考にしたリンク

YUVフォーマットに関して

• 鈴木直美の「PC Watch先週のキーワード」 YUVフォーマットに関して(日本語)簡単な解説程度
• YUV Formats （変換式についても記述あり） YUVフォーマットに関して(英語)非常に詳しい
• YUVフォーマットに関して(DirectX の日本語へルプ) pathはインストール先 に変える必要あり
  日本語へルプは http://www.microsoft.com/japan/developer/directx/downloads.aspよりダウンロード可能

変換式に関して

• SGIのDigital Media Programming Guide 第2章 Digital Media Essentials
  （ウェブ全体を対象にして "Digital Media Essentials"などで検索）
  量子化の際のマップの仕方によってRGB,YUVそれぞれ2種類の色空間を定義 している．
  また，YUV,YCrCbの違いについても述べている（英語）非常 に詳しい
• ITU-R BT.601 について 詳しい(日本語)
• YUV Lab Reports 詳しい(英語) UYVY, YUY2, YV-12からRGBへのデモプログラムあり
• huffyuv 変換プログラム作成時の参考に・・・(英語)
• LCL vfw（Video for Windows）用のLoss-Less Codec Library(日本語)
• 色空間与太話
• カラーフォーマットのナゾ 分かりやすい
• (デジタル／アナログ)ビデオの用語集(英語)

アナログコンポジット信号における輝度と色差

IEEE 1394-based Digital Camera におけるモード