In einem fr¨¹heren Blog habe ich dar¨¹ber gesprochen, wie sich die Paradigmen der Erlebnisqualit?t (Quality of Experience, QoE), insbesondere im Bereich Testen und Validierung, entwickeln und die OTT-Medienlandschaft (Over the Top) ver?ndern. Mit Funktionen wie der Verf¨¹gbarkeit von On-Demand- und benutzerdefinierten Inhalten, der M?glichkeit des Abrufs auf mehreren Ger?ten und einer ¨¹berragenden Qualit?t, die das ?kosystem vorantreibt, definiert und umgestaltet, ist es keine ?berraschung, dass die OTT-Revolution, angetrieben durch QoE, in den kommenden Tagen nur noch st?rker werden wird.

Lassen Sie uns ein wenig tiefer in die Details von QoE und deren ±Ê°ù¨¹´Ú³Ü²Ô²µ eintauchen, um die Rolle und den Einfluss auf den Erfolg globaler Media-Streaming-Plattformen zu verstehen.

91Ô­´´

QoE wird haupts?chlich von vier Workflows beeinflusst:

• Player-Workflows: Wo neue Anwendungsfunktionen hinzugef¨¹gt oder aktualisiert werden, neue SDKs integriert werden usw.
• Inhalts-Workflows: Hier werden die Mezzanine-Videos transkodiert, verschl¨¹sselt, verpackt und an das CDN ¨¹bertragen
• Codierungsprofil-Workflows: Hier gibt es mehrere Unter?nderungen und Optimierungen im Transcoding-Abschnitt des Content-Workflows
• Infra-Workflows: Hier werden verschiedene andere Systeme des OTT-Anwendungs-Backends wie DRM, Protokolle, Wasserzeichen und CMS aktualisiert

Der QoE-Qualit?ts-Workflow

Diese Schl¨¹sselkomponenten des OTT-?kosystems erfordern umfangreiche Tests in der Vorproduktionsumgebung. Sobald die Anwendung in die Produktions-/Kundenphase ¨¹berf¨¹hrt wird, erfasst ein Player Beacon die Kunden-QoE und erstellt einen Bericht dar¨¹ber.

Da jede getestete QoE-Einheit eine Kombination aus verschiedenen Teilen des OTT-?kosystems ist, ist es wichtig, sie systematisch und organisiert zu testen - mit einem klaren Verst?ndnis des Zuschauer-?kosystems und der erwarteten Nutzungsmuster.

91Ô­´´

Endger?tetests sind der beste Weg, um die QoE einer Medien-Streaming-Plattform zu ermitteln.Ein QoE-Test f?llt unter dieNFR-Kategorie, die im Vergleich zu funktionalen Tests in wesentlich geringerem Umfang durchgef¨¹hrt wird.

Auch QoE-Tests werden heute meist manuell oder bestenfalls halbautomatisch durchgef¨¹hrt, was zu einem erheblichen Zeit- und Investitionsaufwand f¨¹hrt, um die erwarteten Parameter sicherzustellen und zu erf¨¹llen. Da die Nachfragemuster der Zuschauer weiterhin sehr dynamisch sind, besteht die dringende Notwendigkeit, diese Zykluszeiten zu optimieren, um bessere Ergebnisse zu erzielen.

Das Szenario wird zus?tzlich durch die Tatsache erschwert, dass manuelle (oder halbautomatische) QoE-Tests nicht immer dazu beitragen, die richtigen Korrelationen aufzudecken, einschlie?lich so wichtiger Aspekte wie Startzeit, Pufferung ¨¹ber Bandbreitenstr?me hinweg, ABR-Leistung und die Auswirkungen anderer infrastruktureller Ver?nderungen.

Wir m¨¹ssen daher die ?nderungen vergleichen und die Entwicklung neuer Streaming-Optimierungshebel vorantreiben, um die bestehenden Paradigmen f¨¹r QoE-Tests neu zu definieren.

Einstieg in die Automatisierung.

Die Automatisierung von QoE-Tests ist zwar wesentlich komplexer als die normale funktionale Automatisierung, da die Kits eine ganz andere Logik und einen anderen Denkprozess erfordern, doch ist dies kein unerreichbares Ziel. Die Reise besteht zun?chst aus verschiedenen funktionalen Automatisierungsskripten und Logiken, wenn wir eine Anwendung automatisieren und durch ihren EPG zu den Wiedergabeszenarien navigieren.

Entscheidend ist hier die Notwendigkeit, die APIs und Skripte zu entwerfen, die in der Lage sind, die QoE-KPIs f¨¹r das Streaming von der Einleitung der Videowiedergabe zu erf¨¹llen. Die Anforderung besteht darin, sich auf die richtige Verwendung von Automatisierungsskripttechniken und eine f?hige Skripterstellung von APIs zu konzentrieren, die innerhalb des gew¨¹nschten Automatisierungstools oder Frameworks bereitgestellt werden.

Wir m¨¹ssen bedenken, dass die normalen NFR- und Leistungsmessungs-APIs oder -Techniken in automatisierten Testszenarien m?glicherweise nicht direkt verwendbar sind. Au?erdem m¨¹ssen die KPIs zusammen mit einer Reihe anderer Parameter gemessen werden, die den Zustand des Systems zum Zeitpunkt der Messung definieren. Ein Beispiel hierf¨¹r ist die Messung des Pufferungsverh?ltnisses bei unterschiedlichen Wi-Fi-Signalst?rken (die am Endger?t empfangen werden).

Unser Ziel ist es, uns nicht nur auf die Ergebnisse der QoE-APIs zu verlassen, sondern die richtigen Metadaten und Umgebungsbedingungen zu aggregieren und zu vergleichen, um aussagekr?ftige Erkenntnisse zu gewinnen, wobei die Pr?sentationsebene dieser Test- und Benchmark-Daten wichtig wird. Ein gutes QoE-Testsystem stellt daher nicht nur die APIs oder Funktionen zur Messung der relevanten KPIs bereit, sondern ist auch in der Lage, das Netzwerk zu manipulieren und Netzwerkanfragen, Anwendungs- oder Playerprotokolle, Ger?teprotokolle usw. zu sammeln.

Eine solche automatisierte L?sung sollte in der Lage sein, automatisch nach allen Datenpunkten zu suchen, die f¨¹r eine Triage und die Entscheidung ¨¹ber Verbesserungsma?nahmen erforderlich sind. Diese F?higkeit ist eine klare Trennlinie zwischen QoE-Tools, die f¨¹r bestimmte Zwecke entwickelt wurden, und NFR-f?higen Testautomatisierungs-Tools.

91Ô­´´

• Messung der KPIs in Intervallen von 20 Millisekunden oder mit Genauigkeit auf Frame-Ebene
• Leistungsintensive GPU-basierte Verarbeitung
• Zusammenf¨¹hrung aller relevanten Metadaten zur Korrelation und Generierung aussagekr?ftiger Erkenntnisse
• Ansatz zur zuverl?ssigen Manipulation von Netzwerkmodellen
• Verf¨¹gbarkeit eines anwendbaren Satzes von Netzwerkmodellen oder Vorlagen, die f¨¹r QoE-Tests verwendet werden k?nnen

91Ô­´´

Abgesehen von den Herausforderungen und Hindernissen geh?rt die Zukunft eindeutig einer erneuten Konzentration auf die Sicherstellung und Bereitstellung einer erstklassigen QoE, die dazu beitragen w¨¹rde, die angestrebte Streaming-Plattform von ihren Konkurrenten und Wettbewerbern zu unterscheiden. Der Weg in die Zukunft f¨¹hrt ¨¹ber automatisierte Tests, die auf der Grundlage eines umfassenden Fachwissens im Bereich Digital Engineering durchgef¨¹hrt werden.

91Ô­´´

1.Ein QoE-Test wird ¨¹ber einen CI-Trigger, einen Zeitplan oder eine manuelle Ausf¨¹hrung gestartet

2.QoE Test Manager startet den Test auf einem bestimmten Ger?t

3.QoE Test L?sung automatisiert die App in einen spielbereiten Zustand

4.Die Kogmation ist unabh?ngig vom Player und simuliert, was der Kunde sehen w¨¹rde

5.Ein gemeinsames Testmuster beansprucht den Player in einer Reihe von wahrscheinlichen Szenarien

6.Ein Netzwerk-Proxy steuert den angezeigten Stream, die Bandbreite, mit der er angezeigt wird, und zeichnet die ausgetauschten Daten auf

7.Asset-Wiedergabedurchl?ufe, die eine Reihe von Stop-Start-Ereignissen und Werbung enthalten

8.Die speziell entwickelte QoE-Metriken-Erfassungs-API erfasst die wichtigsten Facetten der QoE

9. Erfasste QoE-KPIs werden mit relevanten Metadaten gemeldet

10.die von der Videoanalyse gemeldeten Werte werden validiert

11.Die Ergebnisse werden in einem Bericht dargestellt und gegebenenfalls als bestanden/nicht bestanden an die aufrufende CI-Pipeline zur¨¹ckgegeben