PS5 & Xbox Series X - 3D-Sound, Ray-Traced-Audio: So klingt Next-Gen

Die PS5 und die Xbox Series X wollen auch den Sound der nächsten Generation bringen.

Die Präsentation der PS5-Hardware war nicht jedermanns Geschmack. Während Mark Cerny neben Chip-Schemata über I/O-Datenübertragungsraten und variable Taktung schwadronierte, fühlten sich viele Fans überfordert und schalteten mental ab. Der zugegebenermaßen leicht dröge Vortrag bot dennoch ein überraschend hohes Maß an Details, über die sich tech-affine Spieler gefreut haben.

Mehr als nur bessere Grafik: Das zehnminütige Segment über "3D-Audio" ganz am Ende zog mich persönlich vollends in den Bann, da der Bereich jahrelang stagnierte, mir aber besonders wichtig ist.

Der Next-Gen-Sound der PS5

Im Zentrum des Vortrags zu den PS5-Specs stand Tempest 3D AudioTech. Eine hardwarebasierte Lösung, die genug Rechenleistung zur Verfügung stellen soll, um 5.000 Tonquellen inklusive Verzerrungen und Filter gleichzeitig berechnen zu können. Hierfür hat sich Sony von der Architektur des Cell-Prozessors inspirieren lassen, der prominent bei der PS3 zum Einsatz kam. Dessen Shader-Units waren bei den Kalkulationen so leistungsfähig, dass man das Tempest-Engine getaufte Rechenwerk auf Basis dieser Erfahrungen konzipierte.

Auch einfach TV-Lautsprecher sollen vom 3D-Sound der PS5 profitieren können.

Das Ziel von Tempest sei es, "großartigen Sound für Jedermann" bereitzustellen. Hierbei liegt der Fokus zwar auf Kopfhörern, jedoch sollen auch TV-Lautsprecher und Soundbars ein intensives Klangerlebnis liefern können. Wie gut das letztendlich funktioniert, muss sich erst noch zeigen, denn für 3D-Sound sind Höheninformationen sowie Stereoskopie, also das Vortäuschen von Dreidimensionalität mittels zweier parallel platzierter Tonquellen, unerlässlich.

Kopfhörer sind, dank der exakten Positionierung über dem Ohr und dem in der Höhe umschließenden Aufbau, hierfür die erste Wahl. Mit Heimkino-Lautsprechern können vergleichbare Resultate bei höherem Schalldruck erreicht werden, allerdings sind entsprechende Systeme mitsamt notwendiger AV-Receiver kostspielig in der Anschaffung.

Was bedeutet HRTF & was bringt es PS5-Spielern?

Als i-Tüpfelchen bewirbt Sony Head-Related Transfer Function kurz HRTF. Einfach ausgedrückt, lässt sich damit eine "Karte" der Beschaffenheit menschlicher Ohren erstellen. Je nach Frequenz, Winkel und Auftreffpunkt ändern sich die Eigenschaften wahrgenommener Schallwellen.

Sony will den Sound von PS5-Spielen auf eure Ohren zuschneiden.

Ein Beispiel dafür: ASMR-Känale, in denen Personen in ein Mikrofon mit beidseitig montierten Ohren schnalzen. Diese Ohrenpaare sind den durchschnittlichen Lauschern der Zuhörer nachempfunden. Betrachtet man den geringen Abstand eures Gehörs zu den Kopfhörertreibern, so nennen sich die schwingenden Klangerzeuger im Fachjargon, soll somit das Gefühl transferiert werden, als würdet ihr euch im Raum der ASMR-Künstler befinden.

Sony arbeitet an "individuellem" Sound
Per Smartphone-App können wir bei Sony modernen Bluetooth-Kopfhörern Infrarotaufnahmen unserer Ohren anfertigen, die mit einer Auswahl an HRTF-Profilen abgeglichen werden. Die App interpretiert dann, wie Schallwellen auf euer Gehör treffen und darin reflektiert werden würden, wärt ihr unmittelbar bei der Aufnahme dabei. Ein interessantes Feature, das bei mir auch prompt ein leicht intensiveres "Mittendrin"-Gefühl auslöste.

In Spielen ist die Implementierung aber ungleich komplexer, da sich Tonobjekte in Echtzeit verschieben können, Schallwellen von der Levelarchitektur abgelenkt werden oder die Größe des Raums für einen starken Hall sorgt, weswegen der 3D-Sound fortwährend anhand eures HRTF-Profils neu berechnet werden muss.

Dynamischer 3D-Sound dank Audio-Chip: Ein enorm ressourcenaufwendiger Prozess, der in einer Software nicht performant genug umgesetzt werden kann, weshalb der dedizierte Audio-Chip der PS5 unabdinglich war, bekräftigt Mark Cherny. Zum Launch der Konsole sollen fünf HRTF-Profile zur Verfügung stehen, später sollen weitere folgen sowie Möglichkeiten zum automatischen Abgleich geschaffen werden. Vielleicht ja mit derselben Smartphone-App!

Xbox Series X & Project Acoustics

Vergleicht man die reinen Hardwaren-Zahlen der PS5 und Xbox Series X, kristallisieren sich substanziell unterschiedliche Philosophien heraus. Für die Sound-Berechnung gilt exakt dasselbe. Sony setzt vorrangig auf eine hauseigene Lösung, die massig Computing-Power mitbringt. Die Systemarchitekten von Microsoft setzen hingegen auf frei zugängliche Technologien, die unter dem Namen Project Acoustics gebündelt wurden.

Mit derartigen Gittermodellen lässt sich der realistische Sound eines Levels einfacher abmischen.

Microsofts Veröffentlichungen auf diesem Feld richten sich vorrangig an Entwickler. Bei Project Acoustics handelt es sich vereinfacht ausgedrückt um eine vollständig physikbasierte Schallwellensimulation. Studios, die innerhalb der Unreal- oder Unity-Engine entwickeln, können kostenfrei ein Plugin herunterladen, mit dem sich die Levelgeometrie einer Spielszene sowie platzierte Objekte in ein vereinfachtes Gittermodell zusammenfassen lassen. Zusätzlich werden mögliche Positionen der Spielfigur vermerkt und die Materialeigenschaften der Umgebung festgelegt.

Diese Rohdaten werden dann zu Azure, Microsofts Cloud-Dienst, hochgeladen, wo die eigentliche Schallwellenkalkulation stattfindet. Als Endresultat erhält das Audio-Team für eine Vielzahl an Beispielpositionen Parameter, die sich nach ihrem Gusto manipulieren lassen. Die Ambition von Microsoft ist es, eine Arbeit, die zuvor außerordentlich aufwendig und unpräzise war, zu automatisieren, und damit mehr Fokus auf das letztendliche Sound-Design zu legen.

Große Erleichterung für Entwickler

Weiterhin fällt damit eine rechenintensive Barriere weg. Bei einer solch komplexen Simulation, wie Microsoft sie durchführt, fallen innerhalb kürzester Zeit unzählige Terrabyte an Daten an. Auf Endgeräten wäre so etwas undenkbar. Wie präzise die Methode bereits funktioniert, lässt sich an diesem VR-Projekt nachvollziehen. Ignoriert man einige der Schönheitsfehler, wie dass die Musiker anstatt der Bühnenlautsprecher als Tonquelle dienen, dann macht sich ein realistisches Konzert-Feeling breit.

Link zum YouTube-Inhalt

Im Clip lässt sich allerdings ein kleiner Makel der Technik heraushören. Manchmal verändern sich die Klangeigenschaften zu abrupt, da der Zwischenraum zweier Positionsbeispiele nicht gut interpoliert wurde. Hier bestünde noch Verbesserungspotential. Wie gut eine perfekte Implementierung klingen kann, bewies bereits Gears of War 4, das eine sehr frühe Version dieser Technik nutzt. Auch dessen Nachfolger wendet das Verfahren an und weist etliche Fortschritte auf.

Die Audio-Experten der Xbox Series X

Abseits des Feedbacks von The Coalition kann sich Microsoft auch auf das Fachwissen von Ninja Theory stützen. Das Studio ist bekannt für ein weitreichendes Know-How in Sachen 3D-Sound und Binauralität. Mit Letzterem ist die Verwendung von Tonspuren, die über zwei Mikrofone aufgenommen wurden, gemeint. Damit soll für eine ungeahnte Tiefe gesorgt werden.

Der Gipfel dessen? Hellblade: Senau's Sacrifice, das für die akustische Immersion berühmt ist.

Beide Firmen bestätigten ihre Mitarbeit an der Sound-Lösung der Xbox Series X. Daniele Galante, Senior Sound Designer bei Ninja Theory, verkündete sogar die Verwendung eines dedizierten Audio-Chips, der in seinen Funktionen Sonys Tempest-Engine gleichen könnte. Aber nicht nur hierin lassen sich Parallelen erkennen, auch Ray-Tracing steht ganz oben auf der Liste von Xbox Series X und PS5.

Unbekannte Größe: Ray-Traced-Audio

"Moment! Ray-Tracing ist doch eine Grafik-Technik!" Absolut richtig, doch sie lässt sich nicht nur für Lichtstrahlen sondern ebenso gut auch für Schallwellen nutzen. Die grundsätzliche Kernidee bleibt gleich - Pfade, die die Strahlen nehmen, werden von ihren Anfangs- bis zu ihren Endpunkten verfolgt. Mit zunehmender Distanz und dem Aufprall auf Objekten verändert sich die Beschaffenheit der Schallwellen. Dieser Vorgang ist bekanntermaßen extrem leistungshungrig und wird wohl nur sporadisch nutzbar sein.

Ray-Traced-Audio lässt Schallwellen realistisch von Oberflächen abprallen.

Im Zusammenhang mit Project Acoustics, das PlayStation-Entwicklern übrigens gleichermaßen offen steht, und den leistungsfähigen Audio-Prozessoren von PS5 und Xbox Series X lässt sich daher auch ein guter Verwendungszweck ableiten. Dynamisch generierte Objekte wie Gewehrkugeln oder Regentropfen lassen sich stichprobenartig gut einschätzen und hinterlassen ein tiefes Gefühl der Immersion, wenn sie bi-direktional durch den gesamten Raum sausen.

Ein Blick in die Glaskugel

Welchen Einfluss Ray-Tracing nimmt, lässt sich schwer erahnen. Es ist jedoch nur ein Baustein einer rosigen Zukunft, in der Entwickler ihre Ideen viel einfacher verwirklichen können und Nutzer jedes erdenklichen Ausgabegeräts davon profitieren, denn die Next-Gen-Konsolen emanzipieren sich durchweg von Drittanbieterlizenzen.

Wer entsprechende Peripherie besitzt, wird im Spezialfall mit einem etwas individuellerem Klangbild belohnt, denn Audioformate wie Dolby Atmos und DTS:X arbeiten häufig Akzente heraus, die anderweitig verborgen geblieben wären. Ich für meinen Teil freue mich auf die Bewegung im Audio-Bereich. So spannend waren die Entwicklungen in den letzten 10 Jahren nicht!

Wie sieht es bei euch aus? Stellt ihr die Klangqualität ebenso auf eine Stufe mit der Grafik eines Spiels oder ist euch dieser Aspekt nicht so wichtig?