Une nouvelle technologie permet un streaming vidéo de haute qualité en utilisant beaucoup moins de bande passante d’internet

Le streaming (diffusion en continu) vidéo sur Internet, qu’il s’agisse de vidéo à la demande pour du contenu existant ou de diffusion en direct d’événements, est un secteur en plein essor. Cependant, le streaming de haute qualité n’est pas accessible à tous, certains ne disposant pas des connexions à haut débit nécessaires. Le coût de l’internet mobile est également prohibitif pour de nombreuses personnes. Selon une étude, ce coût empêche près de 50 % des personnes disposant d’un accès au réseau 4G dans le monde d’utiliser leur smartphone pour surfer sur internet.

Le projet ENHANCEplayer, soutenu par l’Union européenne, entend réduire la charge d’infrastructure causée par l’envoi de vidéos à faible résolution et à faible débit binaire sur l’internet, le lecteur vidéo récepteur étant de son côté capable d’améliorer la qualité.

«Alors que les approches traditionnelles augmentent la performance de l’encodage vidéo, au risque de créer des incompatibilités avec des matériels plus anciens, nous avons privilégié la qualité de l’expérience du spectateur, et non les mesures techniques», explique Ely Loew, coordinateur du projet.

Amélioration des réseaux neuronaux

Les membres du consortium des projets Artomatix et THEO Technologies ont partagé leurs infrastructures technologiques pour développer une solution prototype. Le postulat de départ d’ENHANCEplayer reposait sur le fait que la résolution vidéo minimale requise par les diffuseurs est de 540 p pour les appareils mobiles.

Artomatix a émis l’hypothèse que sa technologie de super-résolution pouvait être optimisée pour divers appareils et s’avérer suffisamment rapide pour augmenter la résolution des images vidéo en temps réel, soit 25-30 images par seconde. THEO Technologies a redessiné son lecteur vidéo universel, «THEOplayer», pour y intégrer les modules de conversion ascendante d’Artomatix.

Le prototype ENHANCEplayer qui en est issu fonctionne en entraînant un réseau neuronal avec deux versions d’une série d’images – une résolution source de 360 p par exemple, et une résolution cible de 720 p par exemple. Le modèle ajoute ensuite des pixels à la version 360 p pour qu’elle corresponde à l’image 720 p en termes de qualité.

Pour tester plus avant le système, le projet a créé un modèle personnalisé de validation du concept pour les vidéos envoyées par les radiodiffuseurs partenaires – VRT en Belgique, NPO aux Pays-Bas et RTP (site web en portugais) au Portugal.

La diffusion en continu d’une vidéo de 360 p dont la résolution est passée à 540 p pour un iPhone 11 a constitué sa première réussite. «À ce moment précis, tous les doutes concernant cette technologie ont été levés. Notre enthousiasme a été conforté par des tests de diffusion et des enquêtes auprès des téléspectateurs qui ont confirmé la qualité de la vidéo mise à l’échelle», explique Ely Loew.

Cette avancée a été rendue possible par le fait que l’iPhone 11 est équipé de nouvelles puces de réseau neuronal capables de gérer l’apprentissage automatique. Ces puces sont de plus en plus présentes dans les nouveaux appareils mobiles.

Bien que les téléphones Android les plus récents soient également équipés de puces de réseau neuronal, leur architecture ralentit le traitement des images vidéo individuelles, ce qui empêche le modèle de fonctionner en temps réel.

«Par conséquent, cette technologie est à l’heure actuelle tributaire du matériel», observe Ely Loew.

Des possibilités étendues

Selon une enquête, le marché mondial des services par contournement devrait passer de 81,6 milliards USD en 2019 à 156,9 milliards USD d’ici 2024, avec une consommation de bande passante qui devrait quadrupler entre 2017 et 2022. La portion de streaming vidéo en direct devrait connaître une croissance d’un facteur 15.

En réduisant la bande passante requise, ENHANCEplayer minimise la pression sur les infrastructures de communication, tout en réduisant la consommation d’énergie. Il augmente également les possibilités d’accès pour ceux qui en sont privés pour des raisons techniques ou financières, comme les communautés rurales et les pays en développement. En outre, il ouvre des perspectives pour les contenus générés par des non-professionnels utilisant des équipements de base.

Parallèlement à l’examen des options pour les capacités matérielles d’Android, l’équipe travaille actuellement sur la visualisation sur navigateur web. «Nous estimons que l’infrastructure matérielle et de navigation nécessaire pour gérer les modèles de réseaux neuronaux permettant d’augmenter la résolution en temps réel sera disponible d’ici une ou deux années», ajoute Ely Loew.

L’équipe étudie également diverses orientations futures, notamment l’intégration de la mise à l’échelle dans un codec vidéo ou dans un dispositif d’affichage vidéo, tel qu’un téléviseur, ou encore une mise à l’échelle partielle pour les dispositifs plus anciens.

Source : An Artificial Intelligence Enhancing Video Quality Locally to Limit Internet Traffic Tied to Video Streaming - Résultat de la recherche de l'UE.