YUV

Цветовая плоскость $UV$ (при $Y=0{,}5$), представленная в цветовой гамме RGB

Фотография и её YUV-компоненты

YUV (Y′UV) — цветовая система, в которой цвет состоит из следующих компонент — яркости (Y) и двух цветоразностных компонент (U и V). Она позволяет учесть одно из свойств человеческого зрения и поэтому используется как промежуточное представление для фото и видео. Фотоаппараты и видеокамеры опираются на систему RGB для преобразования света в электронный сигнал, а телевизоры и мониторы также используют RGB для отображения. Можно хранить видео в RGB и обходиться без дополнительных преобразований, но это менее эффективный путь. Поэтому видео хранят и передают в YUV, в котором возможна цветовая субдискретизация.

Термин имеет два значения:

• Одна определённая цветоразностная система (luma-chroma system). По строгому определению, Y′UV — это система, используемая в процессе кодирования композитного сигнала в NTSC и PAL.
• Любая цветоразностная система, «Y’C₁C₂», «семейство Y′UV». Когда говорят о цифровом видео и изображениях, обычно имеют в виду один из вариантов Y’C_BC_R.

Y′UV — это не аббревиатура. Для Y′ можно провести параллель с системой CIE XYZ, а U и V расположены в алфавитном порядке. Y′ называют сигналом яркости (luma), штрих означает гамма-коррекцию. U и V — это цветоразностные сигналы, которые вместе представляют цветность (chroma).

Введение

При разработке систем цветного телевидения требовалось сохранить совместимость с чёрно-белыми телевизорами. С этим связано решение дополнить уже имеющийся сигнал яркости Y′ (чёрно-белое изображение) новыми сигналами, которые бы просто игнорировались чёрно-белыми телевизорами.

Яркость складывается из R′, G′ и B′ с учётом чувствительности глаза к разным участкам спектра:

$Y'\approx 0{,}3R'+0{,}6G'+0{,}1B'$ (точные значения коэффициентов яркости зависят от цветового пространства)

Можно передавать четыре сигнала, Y′ для чёрно-белых телевизоров и R′, G′, B′ для цветных, но в этом нет необходимости. Вместе с яркостью достаточно передать информацию о двух цветах, а сигнал третьего цвета вычислять, вычитая из Y′ два других:

$G'\approx {\tfrac {1}{0{,}6}}(Y'-0{,}3R'-0{,}1B')$

Этого ещё недостаточно для практического использования. Сигналы R′ и B′ содержат в себе части яркости, то есть они не равны нулю даже для чёрно-белого изображения. Вместо них используют цветоразностные сигналы B′−Y′ и R′−Y′ (буквально «синий минус яркость» и «красный минус яркость»), этот приём — вычитание яркости — улучшает помехоустойчивость аналогового сигнала и совместимость с чёрно-белыми телевизорами, он также актуален для цифрового видео. B′−Y′ и R′−Y′ вместе составляют цветность. Сигналы цветности влияют на насыщенность цвета, но не меняют яркость. Можно считать, что цветность — это «цвет минус яркость». То есть то, что нужно добавить к яркости, чтобы получить полный цвет.

Исключить решили именно G′−Y′, так как зелёный цвет вносит наибольший вклад в яркость и «зелёный минус яркость» оказывается наиболее слабым цветоразностным сигналом из трёх.

Теперь можно говорить о цветовых системах R′G′B′ и [Y′, B′−Y′, R′−Y′] и о преобразованиях между ними.

Прямое преобразование:

${\begin{aligned}Y'\quad &=K_{R}R'+K_{G}G'+K_{B}B';&R',G',B',Y'\in \left[0;1\right]\\(B'\!\!-\!\!Y')&=B'-Y';\quad &K_{R}+K_{G}+K_{B}=1\\(R'\!\!-\!\!Y')&=R'-Y'\end{aligned}}$ (о величине коэффициентов яркости здесь)

Обратное преобразование:

${\begin{aligned}R'&=Y'+(R'\!\!-\!\!Y')\\G'&=Y'-{\tfrac {K_{B}}{K_{G}}}(B'\!\!-\!\!Y')-{\tfrac {K_{R}}{K_{G}}}(R'\!\!-\!\!Y')\\B'&=Y'+(B'\!\!-\!\!Y')\end{aligned}}$

Система [Y′, B′−Y′, R′−Y′] только служит основой для других цветоразностных систем — ей не хватает как минимум масштабирования, чтобы компоненты располагались в требуемом диапазоне. Так, лишь разный диапазон значений отличает системы Y′UV, Y′D_BD_R, Y′P_BP_R и Y′C_BC_R: для получения оригинальной системы Y′UV компоненты B′−Y′, R′−Y′ домножаются на коэффициенты, в наиболее распространённой версии Y’C_BC_R яркость расположена в диапазоне [16; 235], а цветность — в [16; 240] и т. д.

Преимущества

Совместимость с чёрно-белыми телевизорами больше не требуется, но у семейства Y′UV есть актуальное преимущество перед R′G′B′. Это возможность «прореживания» цветности, к разрешению которой человек менее чувствителен. Другими словами, человек чётче видит изменения в яркости, чем в цвете, и поэтому разрешение цветности можно понизить. Прореживание в цифровом виде называется цветовой субдискретизацией и играет роль сжатия с потерями: повсеместно используемая субдискретизация 4:2:0 снижает битрейт в два раза. Аналогичные приёмы существуют в аналоговом виде.

Семейство Y′UV остаётся востребованным именно из-за цветовой субдискретизации.

Другое преимущество заключается в меньшей корреляции компонент по сравнению с R′G′B′, что улучшает сжатие.

Оригинальная система

Оригинальная система Y′UV, используемая в процессе кодирования композитного сигнала, имеет коэффициенты яркости K_R = 0,299, K_B = 0,114 (K_G = 1 − K_R − K_B = 0,587). С ними преобразование выглядит следующим образом:

${\begin{array}{lcrcl}Y'\!&\!&\!&\!=\!&\!+0{,}299R'\!+\!0{,}587G'\!+\!0{,}114B';\\U\!&\!=\!&\!0{,}492(B'\!-\!Y')\!&\!=\!&\!-0{,}147R'\!-\!0{,}289G'\!+\!0{,}436B';\quad U\in \left[-0{,}436;\ 0{,}436\right]\\V\!&\!=\!&\!0{,}877(R'\!-\!Y')\!&\!=\!&\!+0{,}615R'\!-\!0{,}515G'\!-\!0{,}100B';\quad V\in \left[-0{,}615;\ 0{,}615\right]\end{array}}$

Масштабирующие коэффициенты цветности 0,492 и 0,877 необходимы, чтобы не допускать перегрузки ТВ-передатчика и в то же время не снижать отношение сигнал/шум сигнала яркости. Экспериментально определили, что допустим следующий размах полного сигнала: не более чем на 1/3 выше уровня белого и ниже уровня чёрного, коэффициенты рассчитаны исходя из этого условия. Они до сих пор встречаются в вычислениях, хотя такое ограничение диапазона не играет роли вне систем аналового телевидения.

Коэффициенты для U и V обычно указаны в стандартах с точностью до трёх цифр после запятой, но в новом стандарте NTSC они упомянуты как 0,492111… и 0,877283…, а точные значения также доступны.

Известно, что в NTSC используется цветовая система Y’IQ, однако между NTSC и Y′UV также имеется следующая связь. Систему Y′IQ можно определить через Y′UV: для этого надо поменять местами оси U и V, а также повернуть их на 33 градуса. Идея поворота заключалась в том, чтобы расположить ось I вдоль цветов, к изменению которых человек наиболее чувствителен, и дать компоненте I бо́льшую полосу пропускания по сравнению с Q. В следующих версиях стандарта от использования неодинаковых полос пропускания отказались (и поворот осей потерял смысл), а для получения композитного сигнала стали также приводить формулу, использующую Y′UV вместо Y′IQ. Чарльз Пойнтон так пишет о развитии NTSC: «примерно с 1970 года кодирование цвета производится с равнополосными компонентами U и V».

В PAL изначально применяется система Y′UV.

В SECAM применяются другие масштабирующие коэффициенты. Иногда систему именуют Y′D_BD_R по названию цветоразностных сигналов D_B и D_R.

Цветоразностные системы в целом

Примеры систем

[Y′, B′−Y′, R′−Y′] — встречается в вычислениях, основа для других систем. B′−Y′, R′−Y′ — это цветность до какого-либо масштабирования.

Y′UV, Y′IQ, Y′D_BD_R — используются при кодировании композитного сигнала в аналоговом телевидении.

Y′P_BP_R — используется в аналоговом компонентном видео, цветность и яркость часто имеют одинаковый размах в 700 мВ. Также означает систему, используемую в вычислениях — в ней яркость приведена к диапазону [0; 1], а цветность — к [−0,5; 0,5].

Y′C_BC_R — используется в цифровом видео, имеет целочисленные значения. В 8-битном варианте яркость лежит в диапазоне [16; 235], а цветность — в [16; 240] (так называемый ограниченный диапазон). В JPEG (и крайне редко в видео) используется полный диапазон [0; 255].

xvYCC — модификация Y′C_BC_R, устаревший стандарт с расширенным цветовым охватом.

Y′C_OC_G  — преобразование с малой корреляцией между компонентами и улучшенной обратимостью.

IC_TC_P — разработка компании Dolby, призванная заменить Y′C_BC_R в HDR-видео.

На что опираются цветоразностные системы

Многие цветоразностные системы отличаются лишь в деталях, так как вместе основываются на B′−Y′ и R′−Y′.

Цветоразностные системы представляют собой лишь способ кодирования RGB-сигнала. Такие системы как Y′C_BC_R, Y′P_BP_R, Y′IQ, Y′UV получаются из R′G′B′ с учётом коэффициентов яркости (luma coefficients) и масштабирующих коэффициентов. Чтобы значения цветоразностного пространства однозначно соответствовали определённым цветам (иначе говоря, чтобы оно стало абсолютным цветовым пространством), необходимо определить и исходное пространство R′G′B′ : оно представляет собой линейный RGB после гамма-коррекции с некоторой передаточной характеристикой. А линейное пространство RGB однозначно определяется тремя основными цветами (RGB primaries) и стандартизированной точкой белого, заданными в так называемых хроматических координатах x и y.

Video ... Color primaries : BT.709 Transfer characteristics : BT.709 Matrix coefficients : BT.709

Видео ... Основные цвета : BT.601 PAL Характеристики трансфера : BT.470 System B/G Коэффициенты матрицы : BT.470 System B/G

Выдержки из текстовых отчётов MediaInfo с метаданными: основные цвета и точка белого (1), функция гамма-коррекции (2) и матричные коэффициенты (3).

То есть цветоразностное пространство задаётся:

• матричными коэффициентами (яркости и масштабирования)

И будет абсолютным, если также даны:

• функция гамма-коррекции
• основные цвета и точка белого

Отдельно стоят некоторые менее распространённые системы. В Y′_CC_BCC_RC гамма-коррекция применяется на другом этапе, преобразование в IC_TC_P проходит через систему LMS, а в Y′C_OC_G цветность не определяется через B′−Y′ и R′−Y′.

Яркость

Сигнал яркости Y′ (luma) в цветоразностных системах близок к относительной яркости Y (relative luminance) в системах CIE XYZ и xyY. Коэффициенты для сигнала яркости рассчитываются так же, как для относительной яркости, их получают из основных цветов и точки белого. Из этих коэффициентов составлена вторая строка матрицы перехода из RGB в XYZ.

• Сигнал яркости Y′ имеет гамма-коррекцию.
• Гамма-коррекция обычно применяется к составляющим RGB, а не к Y после перевода в YUV, как было бы точнее. То есть на практике для простоты выполняется последовательность RGB → R′G′B′ → Y′UV вместо теоретически правильной RGB → YUV → Y′UV.
• Коэффициенты для сигнала яркости могут не обновляться под новые основные цвета ради обратной совместимости, так произошло в BT.601.

Коэффициенты яркости

Системы Y′UV существуют в вариантах с разными коэффициентами яркости (весами при R′, G′ и B′): например, системы ⁶⁰¹Y′C_BC_R, ⁷⁰⁹Y′C_BC_R и ²⁰²⁰Y′C_BC_R. Коэффициенты обычно обновляют вместе с изменениями в колориметрии (такими как расширение цветового охвата в UHD), поэтому сейчас в основном используется три набора коэффициентов: для SD, HD и UHD-видео.

BT.601

Выше приводилась подобная формула для яркости:

${}^{601}\!Y'=0{,}299R'+0{,}587G'+0{,}114B'$

Данный набор коэффициентов K_R = 0,299, K_B = 0,114 (K_G = 1 − K_R − K_B) закреплён в BT.601 и многих других стандартах. В приближённом виде он появился в NTSC 1953, набор продолжил использоваться после появления BT.601 и до сих пор почти всегда применяется для телевидения стандартной чёткости. За пределами видео он используется, например, в JPEG. Эти коэффициенты могут ошибочно использоваться при переводе sRGB-изображений в оттенки серого.

// с более ярким, но менее насыщенным цветом Коэффициенты рассчитаны исходя из характеристик люминофоров первых цветных телевизоров. После скорого перехода на другие люминофоры (более яркие, но дающие меньший цветовой охват) и постепенной адаптации под них вещания, коэффициенты перестали быть теоретически правильными, однако это расхождение почти не оказало практического влияния.

BT.709

Для HDTV коэффициенты изменили. Согласно BT.709: K_R = 0,2126, K_B = 0,0722.

${}^{709}\!Y'=0{,}2126R'+0{,}7152G'+0{,}0722B'$

Стандарт не расширял цветовой охват, обновление коэффициентов устранило расхождение, описанное выше: в отличие от BT.601, коэффициенты теперь соответствуют основным цветам и поэтому дают более точное приближение сигнала яркости Y′ к относительной яркости в CIE XYZ.

Некоторые специалисты считают, что изменение коэффициентов принесло больше вреда, чем пользы. Это решение дало место для новых ошибок: теперь при проигрывании видео правильные коэффициенты для перевода Y′UV в R′G′B′ должны выбираться на основе метаданных или разрешения видео. Разное кодирование цвета в зависимости от разрешения в компьютерной сфере выглядит нелогично и непонятно. Оригинальная система Y′UV не существует в HD-варианте, но цифровой Y′C_BC_R и аналоговый Y′P_BP_R теперь делятся на два разных цветовых пространства с разными формулами для преобразования: ⁶⁰¹Y′C_BC_R и ⁷⁰⁹Y′C_BC_R, ⁶⁰¹Y′P_BP_R и ⁷⁰⁹Y′P_BP_R. Стандарт sRGB основан на BT.709 и использует те же основные цвета, то есть при расчёте относительной яркости для sRGB следует использовать те же коэффициенты, например, при переводе в оттенки серого.

BT.2020

Также коэффициенты обновлены для UHDTV в связи с расширением цветового охвата в BT.2020. Стандарт задаёт следующие значения: K_R = 0,2627, K_B = 0,0593, они также продублированы в стандарте на HDR-видео BT.2100.

${}^{2020}\!Y'=0{,}2627R'+0{,}6780G'+0{,}0593B'$

UHD-видео может и не иметь широкого цветового охвата (необходимого в HDR-видео и обычно не используемого в SDR) и тогда опираться на BT.709 с его коэффициентами.

Остальные наборы

Всего для преобразования между YUV и RGB стандартизировано ITU-T двенадцать наборов «матричных коэффициентов». В простых случаях под ними подразумеваются различные коэффициенты яркости K_R и K_B, в более сложных (Y′C_OC_G, IC_TC_P) — системы уравнений, которые, впрочем, можно представить в матричном виде с определёнными коэффициентами.

Допустимые значения

Пространства Y′UV полностью вмещают в себя R′G′B′ и превосходят его по объёму примерно в 4 раза. Это значит, что только четверть объёма Y′UV соответствует значениям R′G′B′ от 0 до 1. Такие значения, попадающие в куб R′G′B′, называются допустимыми. Значения вне охвата R′G′B′ могут появиться в процессе обработки, при переводе обратно в R′G′B′ их ограничивают между 0 и 1, сводя к допустимым.

Изменение цветности не меняет яркость, но это гарантируется только для допустимых значений цветности: сигнал с Y′ = 0 при переводе в R′G′B′ должен иметь чёрный цвет независимо от значений цветности, однако на практике этого не происходит, а причина заключается в тривиальной обрезке недопустимых значений (тривиальном ограничении RGB-значений, выходящих за [0;1]?). Упоминается более сложный способ «легализации» Y′UV, дающий меньше субъективных искажений. По нему значения в плоскости UV проецируются на границу допустимой области: яркость и оттенок сохраняются, а насыщенность уменьшается. То, что 3/4 значений Y′UV не используются, указывает на его меньшую точность по сравнению с R′G′B′. Незадействованным значениям нашли применение в xvYCC — неактуальном сейчас пространстве с широким цветовым охватом.

Преобразования

Преобразования удобно производить в матричном виде. Почти все преобразования между R′G′B′ и цветоразностными пространствами можно совершать через умножение на матрицу перехода 3x3. Преобразование из R′G′B′ в некоторую цветоразностную систему в обобщённом виде выглядит так:

${\begin{bmatrix}Y'\\C_{1}\\C_{2}\end{bmatrix}}={\begin{bmatrix}a&b&c\\d&e&f\\g&h&i\end{bmatrix}}\cdot {\begin{bmatrix}R'\\G'\\B'\end{bmatrix}}$

Тогда обратное преобразование будет представлять собой решение матричного уравнения выше, требующее вычисления обратной матрицы:

${\begin{bmatrix}R'\\G'\\B'\end{bmatrix}}={\begin{bmatrix}a&b&c\\d&e&f\\g&h&i\end{bmatrix}}^{-1}\cdot {\begin{bmatrix}Y'\\C_{1}\\C_{2}\end{bmatrix}}$

Преобразование R′G′B′ в [Y′, B′−Y′, R′−Y′] в виде системы уравнений и в матричном виде:

${\begin{array}{rrcrcr}Y'\!=\!&K_{\color {Red}R}\,R'&\!+\!&K_{\color {Green}G}\,G'&\!+\!&K_{\color {Blue}B}\,B'\\B'-Y'\!=\!&-K_{\color {Red}R}\,R'&\!-\!&K_{\color {Green}G}\,G'&\!+\!&(1\!-\!K_{\color {Blue}B})B'\\R'-Y'\!=\!&(1\!-\!K_{\color {Red}R})R'&\!-\!&K_{\color {Green}G}\,G'&\!-\!&K_{\color {Blue}B}\,B'\end{array}}$

${\begin{aligned}{\begin{bmatrix}Y'\!\\B'\!-\!Y'\!\\R'\!-\!Y'\!\end{bmatrix}}&=M_{R'G'B'\to [Y',B\!-\!Y,R\!-\!Y]}\cdot {\begin{bmatrix}R'\\G'\\B'\end{bmatrix}}={\begin{bmatrix}K_{\color {Red}R}&\ \ \ K_{\color {Green}G}&\ \ \ K_{\color {Blue}B}\\-K_{\color {Red}R}&-K_{\color {Green}G}&1-K_{\color {Blue}B}\\1-K_{\color {Red}R}&-K_{\color {Green}G}&-K_{\color {Blue}B}\end{bmatrix}}\cdot {\begin{bmatrix}R'\\G'\\B'\end{bmatrix}};\quad K_{\color {Green}G}=1-K_{\color {Red}R}-K_{\color {Blue}B}\end{aligned}}$

Пусть преобразование в Y′P_BP_R продолжит цепочку. P_B и P_R — это B′−Y′ и R′−Y′, приведённые к диапазону [−0,5; 0,5].

${\begin{array}{lcccccccc}{\begin{bmatrix}Y'\\P_{B}\\P_{R}\end{bmatrix}}\!&=&\!M_{[Y',B\!-\!Y,R\!-\!Y]\to Y'P_{B}P_{R}}\!&\cdot &\!{\begin{bmatrix}Y'\!\\B'\!-\!Y'\!\\R'\!-\!Y'\!\end{bmatrix}}\!&=&\!{\begin{bmatrix}\quad 1\quad &0&0\\[4pt]\quad 0\quad &{\frac {1}{2(1-K_{\color {Blue}B})}}&0\\\quad 0\quad &0&{\frac {1}{2(1-K_{\color {Red}R})}}\end{bmatrix}}\!&\cdot &\!{\begin{bmatrix}Y'\!\\B'\!-\!Y'\!\\R'\!-\!Y'\!\end{bmatrix}}\\\!&=&\!M_{R'G'B'\to Y'P_{B}P_{R}}\!&\cdot &\!{\begin{bmatrix}R'\\G'\\B'\end{bmatrix}}\!&=&\!{\begin{bmatrix}K_{\color {Red}R}&K_{\color {Green}G}&K_{\color {Blue}B}\\{\frac {K_{\color {Red}R}}{2(K_{\color {Blue}B}-1)}}&{\frac {K_{\color {Green}G}}{2(K_{\color {Blue}B}-1)}}&{\frac {1}{2}}\\{\frac {1}{2}}&{\frac {K_{\color {Green}G}}{2(K_{\color {Red}R}-1)}}&{\frac {K_{\color {Blue}B}}{2(K_{\color {Red}R}-1)}}\end{bmatrix}}\!&\cdot &\!{\begin{bmatrix}R'\\G'\\B'\end{bmatrix}}\end{array}}$

Обратное преобразование из Y′P_BP_R в R′G′B′. Эту обратную матрицу легко получить с помощью пакета символьных вычислений.

${\begin{bmatrix}R'\\G'\\B'\end{bmatrix}}={M_{R'G'B'\to Y'P_{B}P_{R}}}^{-1}\cdot {\begin{bmatrix}Y'\\P_{B}\\P_{R}\end{bmatrix}}={\begin{bmatrix}1&0&2(1-K_{\color {Red}R})\\1&{\frac {2K_{\color {Blue}B}(K_{\color {Blue}B}-1)}{K_{\color {Green}G}}}&{\frac {2K_{\color {Red}R}(K_{\color {Red}R}-1)}{K_{\color {Green}G}}}\\1&2(1-K_{\color {Blue}B})&0\end{bmatrix}}\cdot {\begin{bmatrix}Y'\\P_{B}\\P_{R}\end{bmatrix}}$

Числовые матрицы перехода для различных случаев можно найти в книге Пойнтона в главах 29 «Component video colour coding for SD» и 30 «Component video colour coding for HD», а также на его сайте.

Дополнительно о других преобразованиях: матрица Y′UV→Y′IQ — это произведение матрицы отражения на матрицу поворота, а смещение при переходе в Y′C_BC_R дополнительно требует сложения с вектором.

Примечания

Комментарии

Вложенные комментарии

Источники

Стандарты