Hacer virtualmente realidad (VR) bien es muy difícil. Requiere importantes recursos informáticos para renderizar mundos de realidad virtual inmersivos con el tipo de fidelidad, latencia y velocidades de fotogramas necesarias para que los usuarios se sientan realmente conectados. Mientras que un juego de PC típico puede sentirse fluido e inmersivo con una resolución insignificante de 1080p a 30 o 60 cuadros por segundo, los auriculares VR como HTC Vive y Oculus Rift tienen pantallas con una resolución combinada de 2160 x 1200 y una frecuencia de actualización de 90 Hz, e idealmente, los sistemas a los que están conectados necesitan mantener velocidades de cuadro de 90 cuadros por segundo. A medida que la realidad virtual continúa evolucionando y las resoluciones y la fidelidad mejoran, la cantidad de recursos informáticos necesarios para renderizar esos fotogramas lo suficientemente rápido aumenta exponencialmente.
Pantalla montada en la cabeza VR modificada de SMI: observe los sensores alrededor de la óptica
Sin embargo, debido a que la realidad virtual es tan exigente, muchas empresas están buscando formas de mejorar la eficiencia y minimizar las cargas de trabajo, sin afectar negativamente la calidad percibida. Con ese fin, NVIDIA se está asociando con una empresa llamada SMI (SensoMotoric Instruments) que está desarrollando una sofisticada tecnología de seguimiento ocular, para hacer una demostración de técnicas de renderizado de realidad virtual con visión de futuro que podrían reducir potencialmente las cargas de trabajo de sombreado de píxeles de 3 a 4 veces. NVIDIA llama a la tecnología renderización foveated basada en la percepción. La visión humana tiene dos componentes diferentes. Existe la visión periférica, que es un término que la mayoría de ustedes probablemente hayan escuchado antes. Nuestra visión periférica tiene un campo de visión amplio, pero generalmente carece de agudeza. Cuando ve algo “por el costado del ojo”, esa es su visión periférica. Y luego está la visión foveal, que se concentra en el centro de nuestra mirada y es nítida y detallada. La visión periférica es buena para captar cosas como el movimiento y el parpadeo en un amplio campo de visión, pero no es buena para descifrar detalles finos. La visión foveal tiene un campo de visión mucho más estrecho, pero nos permite enfocarnos claramente y captar esos pequeños detalles.
NVIDIA está utilizando estos rasgos de la visión humana, junto con la tecnología de seguimiento ocular de baja latencia de SMI, para desarrollar una técnica de renderizado foveated que refleja cómo los humanos ven el mundo. El objetivo de la renderización foveated basada en la percepción es utilizar la tecnología de seguimiento ocular para discernir dónde está mirando un usuario en una escena en particular y renderizar esa área con resolución completa, mientras que simultáneamente se reduce la resolución de las áreas de la escena en la periferia del usuario. . Al hacerlo, se reduce la carga de trabajo de renderización general de la escena, sin restar valor a la experiencia. Los desarrolladores pueden utilizar los recursos informáticos que se liberan para obtener más rendimiento del hardware disponible o para aumentar la calidad de las imágenes concentradas en la fóvea. El renderizado foveated no es una idea nueva. La investigación sobre el renderizado foveado se ha realizado durante años. Pero las técnicas y la tecnología que utiliza NVIDIA son nuevas y no están incorporadas en las GPU ni en los motores de juegos de la generación actual. Los investigadores de la compañía están trabajando en la tecnología de renderizado foveated basada en la percepción de NVIDIA en este momento, pero es muy probable que se abra camino en aplicaciones profesionales y de consumo en algún momento en el futuro; nos dicen que el interés es muy alto.
Representación inalterada
Visión Foveal / Periférica – Foveación
Foveación que preserva el contraste
Las imágenes de arriba ilustran lo que está haciendo NVIDIA, pero también sugerimos ver el video. Imagina mirar a través de un visor de realidad virtual y enfocar tu mirada en el reloj en la esquina superior derecha (en los corchetes rojos). La tecnología de seguimiento ocular de SMI monitorea su mirada (a 250Hz) y le dice al motor que el reloj está en su visión foveal. Los algoritmos de NVIDIA luego renderizan el área en su periferia a una resolución más baja y gradualmente combinan las áreas.
Sin embargo, NVIDIA no está simplemente renderizando la periferia a una resolución más baja. Bajar la resolución por sí solo resultaría en escalones y artefactos que serían perceptibles en la periferia, especialmente cuando están en movimiento. Esos artefactos se pueden minimizar con el desenfoque, pero NVIDIA encontró que un desenfoque básico causaba una pérdida de contraste y un efecto de visión de túnel. Entonces, además de renderizar a una resolución más baja y desenfocar, NVIDIA desarrolló un efecto de posprocesamiento que preserva el contraste que hace que la menor fidelidad en la periferia sea imperceptible para el usuario.
NVIDIA hará una demostración del renderizado foveated basado en la percepción utilizando la tecnología SMI incorporada en una pantalla montada en la cabeza HTC Vive en SIGGRAPH la próxima semana.
