Submuestreo de croma

El submuestreo de croma es la práctica de codificar imágenes implementando una resolución menor para la información de croma que para la información de luminancia , aprovechando la menor agudeza del sistema visual humano para las diferencias de color que para la luminancia. ^[1]

Se utiliza en muchos esquemas de codificación de vídeo e imágenes fijas, tanto analógicos como digitales, incluida la codificación JPEG .

Las señales digitales suelen comprimirse para reducir el tamaño de los archivos y ahorrar tiempo de transmisión. Dado que el sistema visual humano es mucho más sensible a las variaciones de brillo que de color, se puede optimizar un sistema de vídeo dedicando más ancho de banda al componente de luminancia (normalmente denominado Y') que a los componentes de diferencia de color Cb y Cr . En imágenes comprimidas, por ejemplo, el esquema 4:2:2 Y'CbCr requiere dos tercios del ancho de banda del R'G'B' "4:4:4" no submuestreado . ^[a] Esta reducción da como resultado que el espectador no perciba prácticamente ninguna diferencia visual.

El sistema de visión humana (SVH) procesa la información de color ( tono y colorido ) a aproximadamente un tercio de la resolución de luminancia (información de claridad/oscuridad en una imagen). Por lo tanto, es posible muestrear información de color a una resolución más baja manteniendo una buena calidad de imagen.

Esto se logra codificando los datos de imagen RGB en una imagen compuesta en blanco y negro , con datos de diferencia de color separados ( croma ). Por ejemplo, con , los componentes codificados con gamma se ponderan y luego se suman para crear el componente de luminancia . Los componentes de diferencia de color se crean restando dos de los componentes ponderados del tercero. Se pueden utilizar diversos métodos de filtrado para limitar la resolución.$Estilo de visualización Y'C_{b}C_{r}$ ${\displaystyle R'G'B'}$ ${\estilo de visualización Y'}$${\displaystyle R'G'B'}$

La luminancia con codificación gamma no debe confundirse con la luminancia lineal . La presencia de codificación gamma se indica con el símbolo de prima .${\estilo de visualización Y'}$ ${\estilo de visualización Y}$ ${\estilo de visualización '}$

Las funciones de transferencia electroóptica (EOTF) correctoras de gamma se utilizan debido a la respuesta no lineal de la visión humana. El uso de gamma mejora la relación señal-ruido percibida en sistemas analógicos y permite una codificación de datos más eficiente en sistemas digitales. Esta codificación utiliza más niveles para los colores más oscuros que para los más claros, lo que se adapta a la sensibilidad de la visión humana. ^[2]

El esquema de submuestreo se expresa comúnmente como una relación de tres partes J : a : b (por ejemplo, 4:2:2) o cuatro partes, si hay un canal alfa (por ejemplo, 4:2:2:4), que describen la cantidad de muestras de luminancia y crominancia en una región conceptual que tiene J píxeles de ancho y 2 píxeles de alto. Las partes son (en su orden respectivo):

• J : referencia de muestreo horizontal (ancho de la región conceptual). Por lo general, 4.
• a : número de muestras de crominancia ( Cr , Cb ) en la primera fila de J píxeles.
• b : número de cambios de muestras de crominancia ( Cr , Cb ) entre la primera y la segunda fila de J píxeles. b suele ser cero o igual a a (excepto en casos irregulares raros como 4:4:1 y 4:2:1, que no siguen esta convención).
• Alfa : factor horizontal (relativo al primer dígito). Puede omitirse si el componente alfa no está presente y es igual a J cuando está presente.

Esta notación no es válida para todas las combinaciones y tiene excepciones, por ejemplo 4:1:0 (donde la altura de la región no es de 2 píxeles, sino de 4 píxeles, por lo que si se utilizan 8 bits por componente, el medio sería de 9 bits por píxel) y 4:2:1.

Los ejemplos de mapeo que se dan son solo teóricos y a modo de ilustración. Además, el diagrama no indica ningún filtrado de croma, que debería aplicarse para evitar el aliasing . Para calcular el factor de ancho de banda requerido en relación con 4:4:4 (o 4:4:4:4), es necesario sumar todos los factores y dividir el resultado por 12 (o 16, si hay alfa).

Cada uno de los tres componentes Y'CbCr tiene la misma frecuencia de muestreo, por lo que no hay submuestreo de croma. Este esquema se utiliza a veces en escáneres de película de alta gama y en posproducción cinematográfica.

En cambio, "4:4:4" puede referirse erróneamente al espacio de color R'G'B' , que implícitamente tampoco tiene submuestreo de croma (excepto en JPEG, donde R'G'B' puede submuestrearse). Los formatos como HDCAM SR pueden grabar R'G'B' 4:4:4 a través de HD-SDI de doble enlace .

Los dos componentes cromáticos se muestrean a la mitad de la frecuencia de muestreo horizontal de la luma: la resolución cromática horizontal se reduce a la mitad. Esto reduce el ancho de banda de una señal de vídeo sin comprimir en un tercio, lo que significa que para 8 bits por componente sin alfa (24 bits por píxel) solo son suficientes 16 bits, como en NV16.

Muchos formatos e interfaces de vídeo digital de alta gama utilizan este esquema:

• AVC-Intra 100
• Cámara digital Betacam
• Betacam SX
• DVCPRO50 y DVCPRO HD
• Digital-S
• CCIR 601 / Interfaz digital en serie / D-1
• ProRes (HQ, 422, LT y Proxy)
• XDCAM HD422
• Canon MXF HD422

En el submuestreo de croma 4:1:1, la resolución de color horizontal se reduce a la cuarta parte y el ancho de banda se reduce a la mitad en comparación con la ausencia de submuestreo de croma. Inicialmente, el submuestreo de croma 4:1:1 del formato DV no se consideraba de calidad de transmisión y solo era aceptable para aplicaciones de gama baja y de consumo. ^{[3] [4]} Sin embargo, los formatos basados ​​en DV (algunos de los cuales utilizan submuestreo de croma 4:1:1) se han utilizado profesionalmente en la recopilación electrónica de noticias y en servidores de reproducción. El DV también se ha utilizado esporádicamente en largometrajes y en cinematografía digital .

En el sistema 480i "NTSC", si la luminancia se muestrea a 13,5 MHz, esto significa que las señales Cr y Cb se muestrearán cada una a 3,375 MHz, lo que corresponde a un ancho de banda Nyquist máximo de 1,6875 MHz, mientras que el "codificador analógico NTSC de transmisión de gama alta " tradicional tendría un ancho de banda Nyquist de 1,5 MHz y 0,5 MHz para los canales I/Q . Sin embargo, en la mayoría de los equipos, especialmente los televisores baratos y los VHS / VCR Betamax , los canales de croma tienen solo el ancho de banda de 0,5 MHz para Cr y Cb (o equivalente para I/Q). Por lo tanto, el sistema DV realmente proporciona un ancho de banda de color superior en comparación con las mejores especificaciones analógicas compuestas para NTSC, a pesar de tener solo 1/4 del ancho de banda de croma de una señal digital "completa".

Los formatos que utilizan submuestreo de croma 4:1:1 incluyen:

• DVCPRO / D-7 ( NTSC y PAL )
• 480i "NTSC" DV y DVCAM

En 4:2:0, el muestreo horizontal se duplica en comparación con 4:1:1, pero como los canales Cb y Cr solo se muestrean en cada línea alterna en este esquema, la resolución vertical se reduce a la mitad. La velocidad de datos es, por lo tanto, la misma. Esto se ajusta razonablemente bien con el sistema de codificación de color PAL , ya que este tiene solo la mitad de la resolución de crominancia vertical de NTSC . También encajaría muy bien con el sistema de codificación de color SECAM , ya que, al igual que ese formato, 4:2:0 solo almacena y transmite un canal de color por línea (el otro canal se recupera de la línea anterior). Sin embargo, en realidad se ha producido poco equipo que emita una señal de video analógica SECAM. En general, los territorios SECAM tienen que utilizar una pantalla compatible con PAL o un transcodificador para convertir la señal PAL a SECAM para su visualización.

Se encuentran diferentes variantes de configuraciones de croma 4:2:0 en:

• Todos los estándares de codificación de video ISO / IEC MPEG e ITU-T VCEG H.26x, incluidas las implementaciones H.262/MPEG-2 Parte 2 (aunque algunos perfiles de MPEG-4 Parte 2 y H.264/MPEG-4 AVC permiten esquemas de muestreo de mayor calidad, como 4:4:4)
• DVD-Video y discos Blu-ray . ^{[5] [6]}
• 576i "PAL" DV y DVCAM
• HDV
• AVCHD y AVC-Intra 50
• Códec intermedio de Apple
• Implementaciones más comunes de JPEG/JFIF y MJPEG
• VC-1
• WebP
• YJK , ^{[7] [8] [9] un} espacio de color propietario implementado por el chip gráfico Yamaha V9958 ^{[10] [11] [12]} en computadoras MSX2+ . ^{[13] [14]}

Tanto Cb como Cr se submuestrean en un factor de 2, tanto horizontal como verticalmente. La mayoría de los formatos de vídeo digitales correspondientes a 576i "PAL" utilizan submuestreo de croma 4:2:0.

Hay cuatro variantes principales de esquemas 4:2:0, que tienen diferentes ubicaciones de muestreo horizontal y vertical en relación con el "cuadrado" 2×2 del tamaño de entrada original. ^[15]

• En MPEG-2, MPEG-4 y AVC, Cb y Cr se toman en el punto medio del borde izquierdo del cuadrado de 2x2. En otras palabras, tienen la misma ubicación horizontal que el píxel superior izquierdo, pero se desplazan medio píxel hacia abajo verticalmente. También se denominan "izquierdos". ^[16]
• En JPEG/JFIF, H.261 y MPEG-1, Cb y Cr se toman en el centro del cuadrado de 2×2. En otras palabras, están desplazados medio píxel hacia la derecha y medio píxel hacia abajo en comparación con el píxel superior izquierdo. También se denomina "centro". ^[16]
• En HEVC para contenido BT.2020 y BT.2100 (en particular en Blu-ray), Cb y Cr se muestrean en la misma ubicación que el píxel Y superior izquierdo del grupo ("coubicado", "coubicado"). También llamado "superior izquierdo". En MPEG-2 4:2:2 se utiliza un muestreo coubicado análogo. ^[16]
• En PAL-DV 4:2:0 (IEC 61834-2), Cb se muestrea en la misma ubicación que el píxel Y superior izquierdo del grupo, pero Cr se muestrea un píxel más abajo. ^[17] También se lo denomina "superior izquierdo" en ffmpeg. ^[16]

Con material entrelazado , el submuestreo de croma 4:2:0 puede generar artefactos de movimiento si se implementa de la misma manera que para el material progresivo. Las muestras de luminancia se derivan de intervalos de tiempo separados, mientras que las muestras de croma se derivarían de ambos intervalos de tiempo. Es esta diferencia la que puede generar artefactos de movimiento. El estándar MPEG-2 permite un esquema de muestreo entrelazado alternativo, donde se aplica 4:2:0 a cada campo (no a ambos campos a la vez). Esto resuelve el problema de los artefactos de movimiento, reduce la resolución de croma vertical a la mitad y puede introducir artefactos tipo peine en la imagen.

Original. Esta imagen muestra un solo campo. El texto en movimiento tiene un efecto de desenfoque de movimiento.

Muestreo progresivo 4:2:0 aplicado a material entrelazado en movimiento . El croma precede y sigue al texto en movimiento. Esta imagen muestra un solo campo.

Muestreo entrelazado 4:2:0 aplicado a material entrelazado en movimiento . Esta imagen muestra un solo campo.

Sin embargo, en el esquema entrelazado 4:2:0, la resolución vertical del croma se reduce aproximadamente a la mitad, ya que las muestras de croma describen efectivamente un área de 2 muestras de ancho por 4 muestras de alto en lugar de 2x2. Además, el desplazamiento espacial entre ambos campos puede dar como resultado la aparición de artefactos de croma en forma de peine.

Imagen fija original.

Muestreo progresivo 4:2:0 aplicado a una imagen fija. Se muestran ambos campos.

Muestreo entrelazado 4:2:0 aplicado a una imagen fija. Se muestran ambos campos.

Si se desea desentrelazar el material entrelazado, los artefactos de croma en forma de peine (del muestreo entrelazado 4:2:0) se pueden eliminar difuminando el croma verticalmente. ^[18]

Esta relación es posible y algunos códecs la admiten, pero no se utiliza ampliamente. Esta relación utiliza la mitad de las resoluciones de color verticales y una cuarta parte de las horizontales, con solo una octava parte del ancho de banda de las resoluciones de color máximas utilizadas. El vídeo sin comprimir en este formato con cuantificación de 8 bits utiliza 10 bytes por cada macropíxel (que son 4×2 píxeles) o 10 bits por cada píxel. Tiene el ancho de banda de crominancia equivalente a una señal PAL-I o PAL-M decodificada con un decodificador de línea de retardo, y sigue siendo muy superior a NTSC.

Utilizado por Sony en sus grabadoras de alta definición HDCAM (no HDCAM SR). En la dimensión horizontal, la luminancia se muestrea horizontalmente a tres cuartas partes de la frecuencia de muestreo Full HD: 1440 muestras por fila en lugar de 1920. El croma se muestrea a 480 muestras por fila, un tercio de la frecuencia de muestreo de luminancia. En la dimensión vertical, tanto la luminancia como el croma se muestrean a la frecuencia de muestreo Full HD (1080 muestras verticalmente).

Varios esquemas heredados permiten diferentes factores de submuestreo en Cb y Cr, de manera similar a cómo se asigna una cantidad diferente de ancho de banda a los dos valores de croma en sistemas de transmisión como el CCIR System M. Estos esquemas no se pueden expresar en notación J:a:b . En cambio, adoptan una notación Y:Cb:Cr , en la que cada parte describe la cantidad de resolución para el componente correspondiente. No se especifica si la reducción de resolución ocurre en dirección horizontal o vertical.

• En JPEG, 4:4:2 y 4:2:1 reducen a la mitad la resolución vertical de Cb en comparación con 4:4:4 y 4:4:0. ^[19]
• En otra versión de4:2:1 , la resolución horizontal de Cb es la mitad de la de Cr (y una cuarta parte de la resolución horizontal de Y ).
• 4:1:0.5 o 4:1:0.25 son variantes de 4:1:0 con resolución horizontal reducida en Cb, similar a la calidad VHS.

El submuestreo de croma sufre dos tipos principales de artefactos, que provocan una degradación más notoria de lo previsto cuando los colores cambian abruptamente.

Las señales con corrección gamma, como Y'CbCr, tienen un problema en el que los errores de croma se "filtran" hacia la luminancia. En esas señales, una croma baja hace que un color parezca menos brillante que uno con una luminancia equivalente. Como resultado, cuando un color saturado se mezcla con un color no saturado o complementario, se produce una pérdida de luminancia en el borde. Esto se puede ver en el ejemplo entre el magenta y el verde. ^[20] Este problema persiste en el vídeo HDR, donde la gamma se generaliza en una función de transferencia " EOTF ". Una EOTF más pronunciada muestra una pérdida de luminancia más fuerte. ^[21]

Algunas correcciones propuestas a este problema son:

• Promedio ponderado por luma (Kornelski, experimento para mozjpeg) ^[22]
• Método YUV iterativo y nítido , utilizado por WebP y opcionalmente por AVIF . El YUV nítido supone un aumento de escala bilineal para el croma. ^[23]
• Submuestreo RGB en el espacio lineal antes del submuestreo de croma (HDRTools) ^[21]
• Corrección de luminancia iterativa o de forma cerrada para minimizar el error de luminancia (HDRTools) ^[24]

La Rec. 2020 define una "luminancia constante" Yc'CbcCrc, que se calcula a partir de componentes RGB lineales y luego se codifica en gamma. Esta versión no sufre la pérdida de luminancia por diseño. ^[25]

Otro artefacto que puede ocurrir con el submuestreo de croma es que pueden aparecer colores fuera de gama en la reconstrucción de croma. Supongamos que la imagen consta de líneas rojas y negras de 1 píxel alternadas y que el submuestreo omitió el croma de los píxeles negros. El croma de los píxeles rojos se reconstruirá en los píxeles negros, lo que hará que los nuevos píxeles tengan valores rojos positivos y verdes y azules negativos . Como las pantallas no pueden emitir luz negativa (la luz negativa no existe), estos valores negativos se recortarán de manera efectiva y el valor de luminancia resultante será demasiado alto. Otros filtros de submuestreo (especialmente el "cuadro" de promedio) tienen un problema similar del que es más difícil hacer un ejemplo simple. Surgen artefactos similares en el ejemplo menos artificial de gradación cerca de un límite rojo/negro bastante nítido. ^[20]

El decodificador puede manejar colores fuera de gama considerando la cantidad de croma que puede contener un valor de luminancia determinado y distribuirla en el intermedio 4:4:4 en consecuencia, lo que Glenn Chan denomina "reconstrucción de croma dentro de la gama". El método de "proporción" es en esencia similar al promedio ponderado por luminancia de Kornelski, mientras que el método de "derrame" se parece a la difusión de errores . ^[20] La mejora de la reconstrucción de croma sigue siendo un campo de investigación activo. ^[26]

El término Y'UV se refiere a un esquema de codificación de TV analógica (ITU-R Rec. BT.470), mientras que Y'CbCr se refiere a un esquema de codificación digital. ^[2] Una diferencia entre ambos es que los factores de escala de los componentes cromáticos (U, V, Cb y Cr) son diferentes. Sin embargo, el término YUV se suele utilizar erróneamente para referirse a la codificación Y'CbCr. Por tanto, expresiones como "YUV 4:2:2" siempre se refieren a Y'CbCr 4:2:2, ya que simplemente no existe tal cosa como 4:x:x en la codificación analógica (como YUV). Los formatos de píxeles utilizados en Y'CbCr también se pueden denominar YUV, por ejemplo yuv420p, yuvj420p y muchos otros.

De manera similar, el término luminancia y el símbolo Y se usan a menudo de manera errónea para referirse a la luma, que se denota con el símbolo Y'. La luma (Y') de la ingeniería de video se desvía de la luminancia (Y) de la ciencia del color (según la definición de CIE ). La luma se forma como la suma ponderada de los componentes RGB corregidos por gamma (triestímulo). La luminancia se forma como una suma ponderada de los componentes RGB lineales (triestímulo). En la práctica, el símbolo CIE Y se usa a menudo de manera incorrecta para denotar luma. En 1993, SMPTE adoptó la Guía de ingeniería EG 28, que aclaraba los dos términos. El símbolo primo ' se usa para indicar la corrección gamma. ^[27]

De manera similar, el croma de la ingeniería de video difiere de la crominancia de la ciencia del color. El croma de la ingeniería de video se forma a partir de componentes triestímulo ponderados (corregidos por gamma, OETF), no de componentes lineales. En la práctica de la ingeniería de video, los términos croma , crominancia y saturación se usan a menudo indistintamente para referirse al croma, pero no es una buena práctica, como dice la Recomendación H.273 de la UIT-T. ^[28]

Esta sección no cita ninguna fuente . Por favor, ayude a mejorar esta sección añadiendo citas de fuentes fiables . El material sin fuentes puede ser cuestionado y eliminado . ( Julio de 2022 ) ( Aprenda cómo y cuándo eliminar este mensaje )

El submuestreo de croma fue desarrollado en la década de 1950 por Alda Bedford para el desarrollo de la televisión en color por parte de RCA , que se convirtió en el estándar NTSC ; la separación luma-croma fue desarrollada antes, en 1938 por Georges Valensi . A través de estudios ^{[ ¿cuáles? ]} , demostró que el ojo humano tiene alta resolución solo para blanco y negro, algo menos para colores de "rango medio" como amarillos y verdes, y mucho menos para colores en el extremo del espectro, rojos y azules. ^{[ aclaración necesaria ]} Este conocimiento permitió a RCA desarrollar un sistema en el que descartaron la mayor parte de la señal azul después de que proviene de la cámara, manteniendo la mayor parte del verde y solo algo del rojo; esto es submuestreo de croma en el espacio de color YIQ y es aproximadamente análogo al submuestreo 4:2:1, en el sentido de que tiene una resolución decreciente para luma, amarillo/verde y rojo/azul.

• Color
• Espacio de color
• Visión del color
  • Célula de bastón
  • Célula cónica
• Vídeo digital
• Televisión de alta definición
• Codificación de muestreo sub-Nyquist múltiple
• Rec. 601 4:2:2 SDTV
• SMPTE – Sociedad de Ingenieros de Cine y Televisión
• YCbCr
• YJK
• YPbPr
• YUV

• Poynton, Charles. "Vídeo digital y HDTV: algoritmos e interfaces". Estados Unidos: Morgan Kaufmann Publishers, 2003.
• Douglas A. Kerr (19 de enero de 2012). "Submuestreo de crominancia en imágenes digitales" (PDF) : 15 . Consultado el 14 de febrero de 2022 . {{cite journal}}: Requiere citar revista |journal=( ayuda )

• Muestreo de croma: una investigación