ATIS - Alliance for Telecommunications Industry Solutions
Alcance
"Este documento describe un plan de prueba para validar modelos objetivos de calidad perceptual en el contexto de los servicios de Televisión por Protocolo de Internet (IPTV) (ver [2]). Específicamente@ este documento define: ? El procedimiento para evaluar el desempeño de los modelos objetivos de calidad perceptual@ En lo sucesivo denominados ""modelos""@ ""modelos de calidad""@ y ""modelos objetivos"". Describe los métodos de prueba@ la selección del material y las condiciones de prueba@ y las métricas de evaluación para examinar el rendimiento predictivo de los modelos. . ? Criterios de desempeño utilizados para la evaluación del modelo (los umbrales de aceptabilidad para estos criterios no están dentro del alcance de este documento). ? Una metodología para documentar los datos y los resultados de las pruebas de manera estandarizada. En el contexto de este documento@ Calidad de la experiencia ( QoE) se refiere a cómo un usuario final ?C, es decir, un consumidor de IPTV ?C categorizaría/experimentaría la calidad de un servicio de IPTV (ver también la sección 3.2) contenido de audio y video transmitido. El desempeño de los modelos objetivos se basará en la comparación de la puntuación media de opinión (MOS) obtenida de pruebas subjetivas controladas y la puntuación media de opinión (MOSp) prevista a partir de los modelos. El objetivo de la prueba es examinar y documentar el rendimiento de las métricas de calidad de video o audiovideo propuestas en condiciones representativas de transmisión y visualización. Los siguientes aspectos de QoE se encuentran actualmente dentro del alcance de este documento: ? Calidad perceptiva del vídeo@ calidad perceptiva del audio@ y calidad perceptiva del audio y vídeo. ? Modelos de QoE para monitoreo en servicio (es decir, de extremo a extremo, incluido el monitoreo de cabecera) en entornos operativos. Pruebas fuera de línea adecuadas para fines de preservicio y/o planificación y diseño de red (es decir, pruebas de laboratorio) Quedan en estudio. La complejidad computacional de los modelos también se considera en la evaluación. ? Este plan de prueba se puede utilizar para modelos sin referencia @ con referencia reducida @ y con referencia completa. ? Modelos que utilizan un flujo de transporte paquetizado (en claro o cifrado) y un flujo de bits como entrada. Mientras que el vídeo y el audio pueden ser los primeros aspectos que se abordan, las versiones posteriores del plan de prueba también abordarán cuestiones como la sincronización de audio y vídeo (también conocida como @ ""sincronización de labios"")@ subtitulado@ subtítulos@ y los indicadores de QoE de las transacciones. C como el retraso en el cambio de canal (zapping de canal). Esta versión aborda el uso de modelos de calidad para servicios de IPTV. En relación con este documento @ se necesita un documento que describa los diversos modelos de calidad que el Foro de Interoperabilidad de IPTV (IIF) de ATIS recomienda para las aplicaciones de monitoreo en servicio (y otras posibles) de transmisiones de IPTV. ATIS-0800031@ IPTV QoE Requisitos@ proporcionará el alcance y los requisitos de dichos modelos. Este plan de prueba no es exhaustivo. Se supone que el usuario de este documento de plan de pruebas tiene conocimiento y utiliza documentos de estándares relevantes y prácticas aceptadas en la industria de pruebas subjetivas y objetivas de algoritmos de calidad de medios. Este documento es un complemento a los documentos estándar existentes relacionados con este campo. En la sección 2 se proporciona una lista de dichos documentos. Propósito Los modelos objetivos ofrecen una alternativa práctica a las mediciones subjetivas. Aunque los datos recopilados a partir de pruebas subjetivas siguen siendo el método más válido para evaluar la calidad, las pruebas subjetivas formales tienen limitaciones significativas. Lo más notable es que cualquier prueba subjetiva es costosa y lleva mucho tiempo prepararla y ejecutarla. Requiere un gran número de participantes@ y sólo se puede evaluar un pequeño conjunto de secuencias de prueba en una sola prueba. Por el contrario, los modelos objetivos pueden predecir de forma continua la opinión de un espectador medio no experto. El objetivo de probar modelos objetivos es examinar el rendimiento de los modelos propuestos en una amplia gama de condiciones que son representativas de entornos operativos de IPTV en términos de códecs@ velocidades de bits@ y mecanismos de transporte, pero restringidos a aquellos incluidos en la arquitectura IPTV definida por ATIS IIF (que incluye entornos fijos y móviles/inalámbricos). Varios proveedores ofrecen productos que incluyen una métrica de calidad de vídeo (y a veces también de audio) que "predice" la calidad de vídeo (y la calidad de audio) percibida por el ser humano en forma de MOS previsto/estimado. La métrica de calidad de video (algoritmo) la desarrolla internamente el propio proveedor de medición @ o los derechos para usar el algoritmo se compraron a un fabricante de equipos originales (OEM) donde se desarrolló la métrica. Alternativamente, algunas métricas se han desarrollado en entornos académicos. Network@ service@ y proveedores de contenido de IPTV son los adquirentes más obvios de productos de medición que respaldan estas métricas de calidad de video (y calidad de audio). Sin embargo, no existe ningún medio estandarizado para que los usuarios comprendan qué tan bien funcionan estos productos a menos que dicha métrica haya sido validada de manera independiente y formal. En este momento hay muy pocos estándares en esta área y, por lo tanto, las soluciones disponibles en su mayoría no están estandarizadas. Además@ la práctica actual en las normas es estandarizar estos modelos; Sin embargo, los planes de prueba no están estandarizados. Normalmente@ cada Organización de Desarrollo de Estándares (SDO) crea su propio plan de prueba que es@ muy probablemente@ ligeramente diferente al plan de prueba de otro SDO. Sin embargo, la utilización de un único plan de prueba estandarizado para los servicios de IPTV permite probar diversos algoritmos de la misma manera y permite realizar comparaciones cruzadas. Este documento también presenta las condiciones de prueba del sistema IPTV definido por ATIS IIF convenientemente en un solo documento. Aplicación A continuación se describe una lista de usos de este documento: ? Los criterios descritos en este documento pueden usarse como entrada para un proceso de prueba (por ejemplo, @ como se usa en el Grupo de expertos en calidad de video [VQEG] @ Unión Internacional de Telecomunicaciones-Sector de Normalización de las Telecomunicaciones [UIT-T] Grupo de estudio [SG] -9 @ SG -12@ Foro de servicios de vídeo [VSF]@ o Grupo de trabajo [WG] sobre aspectos del sistema y servicios 3GPP [SA] 4). Tenga en cuenta que este documento no especifica un proceso de prueba@ solo un plan de prueba (consulte ATIS-0800021@ EPSNR Estándar de uso de prueba). ? Este documento proporciona un formato de informe que permite a los usuarios de los modelos validados comparar modelos "similares" (consulte la explicación en la sección 4). Esto incluye la complejidad computacional como uno de los factores. ? Este documento se puede utilizar junto con un ""proceso de prueba"" (por ejemplo, @ ATIS-0800021 @ EPSNR Trial-Use Standard @ que describe un proceso de prueba propuesto para la validación del modelo). NOTA ?C Este plan de prueba no niega la estandarización de los modelos recomendados. ATIS IIF proporciona este plan de prueba como estándar de la industria para la evaluación de modelos de calidad de IPTV".