Die Nintendo Switch 2 beherrscht eine 4K-Technik, die auf keiner anderen Konsole läuft

Die Nintendo Switch 2 hat mit DLSS ein ziemlich geniales Ass im Ärmel.

Im Herzen der Nintendo Switch 2 schlägt erneut ein Chip vom Tech-Giganten Nvidia, der sich um alle anfallenden Rechenaufgaben kümmert. Die Grafikeinheit unterstützt dabei das im Konsolen- und Handheld-Kosmos einzigartige Deep Learning Super Sampling, kurz DLSS.

Das kann per KI-Modell einem niedrig aufgelösten Spiel eine höhere Bildschärfe verleihen, indem es die Bildausgabe größer zieht, also fachsprachlich 'skaliert'. Es handelt sich also um eine clevere Technik, die vor allem im TV-Modus ein Game Changer werden könnte.

So funktioniert DLSS und so gut ist es

Nintendo selbst hat zwar nicht viele technische Details bei der großen Switch 2-Enthüllung am 2. April verraten, aber dann im Nachgang jede Menge Informationen nachgereicht. Zum Beispiel, dass die Nintendo Switch 2 DLSS unterstützt – Nvidias marktführenden Upscaler.

Der funktioniert grob zusammengefasst so: Ein Spiel wird beispielsweise in 1080p von der Handheld-Konsole berechnet. Der gerenderte Frame wird dann für DLSS in Datenströme umgewandelt und von einem KI-Modell analysiert.

Danach wird ein neuer Frame auf Basis der gesammelten Daten rekonstruiert, nur eben in einer höheren Auflösung, zum Beispiel 2160p, also umgangssprachlich 4K. DLSS kann somit entweder für mehr Bildschärfe oder höhere Framerates genutzt werden – Letzteres sofern die Auflösung absichtlich gedrosselt wird.

DLSS läuft ausschließlich auf Grafiktechnologie von Nvidia und sogenannten Tensor-Kernen, die auf KI-Dateiformate spezialisiert sind. Herkömmliche Grafikkerne schlagen sich beim Berechnen der KI-Modelle hingegen vergleichsweise schlecht.

Da DLSS auf Nvidia-Hardware beschränkt ist, läuft die Technik auch nicht auf einem anderen Handheld oder einer anderen Konsole. Denn dort dominieren Chips von AMD und das Unternehmen ist seit Jahren notorisch beim KI-Upscaling hinterher.

Beziehungsweise ist AMD erst jetzt mit FSR 4.0 auf ein KI-Modell umgestiegen, während Nvidia seit 2018 daran werkelt:

FSR 4.0

Eine neue Technik sorgt für ein gestochen scharfes Bild

von Chris Werian

Dass Nvidia so viel Zeit für Verfeinerungen hatte, macht sich dann auch in der Praxis bemerkbar: DLSS sticht in den aktuellen Versionen mit seiner hohen Qualität heraus, hin und wieder ist das hochskalierte Ergebnis sogar schärfer als eine "echte" Auflösung.

Auch leidet DLSS nur in geringem Umfang unter 'Ghosting' also dem Nachziehen von sich verdeckenden Bildelementen und einem Flimmern bei schmalen Bildobjekten, wie beispielsweise ein Vergleich von Hardware Unboxed in mehreren Spielen bei einer undankbaren 1080p-Auflösung zeigt:

Link zum YouTube-Inhalt

Das ist für KI-Modelle typisch, da ihnen lediglich die bereits gerenderten Frames zur Analyse zur Verfügung stehen und sie nicht wissen, was sich beispielsweise hinter einem NPC in einem Rollenspiel verbirgt.

Welchen Einfluss wird DLSS auf Nintendo Switch 2-Spiele haben?

DLSS ist eine ziemlich clevere Technik und Nintendo hat damit ein Alleinstellungsmerkmal im Konsolen-Bereich, allerdings erwarten wir nicht, dass der KI-Skalierer in massig Spielen dann auch eingesetzt wird.

Und das aus zwei Gründen:

• Bei niedrigeren Auflösungen im Handheld-Modus entstehen deutlich mehr Artefakte, je niedriger die Qualitätsstufe von DLSS ist. Für eine gute Qualitätsstufe muss ein Spiel zum Beispiel für mindestens 720p optimiert sein und das ist ja heutzutage nicht immer gegeben. Liegt die Auflösung niedriger, können Bildartefakte nicht mehr wirklich verschleiert werden.
• DLSS kommt nicht ohne Performance-Kosten. Beispielsweise läuft ein Spiel in nativen 1080p mit deutlich mehr fps als wenn es mit DLSS im Performance-Modus zu 4K skaliert wird. Das liegt schlicht und ergreifend daran, dass das KI-Modell erst den neuen Frame generieren muss.
  
  Je niedriger dabei die Originalauflösung des Spiels und je größer der Ausgabe-Frame ist, desto mehr Ressourcen verschlingt DLSS. Vor allem aufwendige Titel mit niedrigen Auflösungen dürften somit auf den Skalierer verzichten, auch wenn die Darstellungsqualität davon profitieren würde.

Vor allem die Leistungseinbußen dürften auch dafür verantwortlich sein, dass DLSS noch nicht auf der Switch 2 gezeigt wurde. In Zukunft könnten aber beispielsweise 30 fps-Titel davon profitieren, denn dann steht der Hardware mehr Zeit zur Verfügung, um einen Frame zu rendern.

Was die grundsätzliche Performance der KI-Hardware in der Switch 2 betrifft, gibt es aber auch noch ein paar Fragezeigen:

• Leaks, die viele mittlerweile als korrekt bestätigte Daten enthielten, deuteten an, dass der Switch 2 einige KI-beschleunigende Komponenten fehlen. DLSS könnte also noch mehr Leistung kosten als gedacht.
• Je nach DLSS-Version fallen die Performance-Kosten unterschiedlich hoch aus. Im aktuellen DLSS 4.0 kommt beispielsweise ein neues "Transformer"-Modell zum Einsatz, das schwierig zu rendernde Pixel priorisiert. Es kostet aber auch ein gutes Stück mehr Leistung.

Es sieht also insgesamt danach aus, als müssten Entwickler*innen abwägen, ob sich DLSS in ihren Spielen dann auch tatsächlich lohnt. Oder aber Nvidia entscheidet sich dazu, ein "leichtgewichtigeres" KI-Modell zu entwerfen, das dann weniger Ressourcen schluckt. Diese Variante steht noch offen, aktuell geht der Trend aber eher zu größeren, weil hochwertigeren Modellen.

53:37 FYNG-Talk: Steht die deutsche Gaming-Branche am Abgrund?

DLSS kann eigentlich noch viel mehr

Nvidia behandelt DLSS mittlerweile als eine Marke, unter die verschiedene weitere Funktionen fallen, aber bislang nicht für die Nintendo Switch 2 bestätigt wurden. Darunter:

• Frame Generation: Auf Kosten einer höheren Eingabelatenz und kleinen Bildartefakten können Zwischen-Frames eingeschoben werden, um Framerates zu verdoppeln. Die Technik funktioniert erst bei Framerates ab 60 fps so wirklich gut und ist anspruchsvoll für die Hardware.
• Ray-Reconstruction: Ganz simpel gesagt "DLSS für Ray-Tracing-Effekte". Die Anzahl an Lichtstrahlen wird durch KI-Einsatz erhöht, um realistische Spiegelungen und Lichtstimmungen zu erzeugen. Dabei kommt es hin und wieder jedoch zu Ghosting.
• Deep Learning Anti-Aliasing (DLAA): Funktioniert ganz ähnlich wie DLSS, allerdings werden vorrangig pixelige Kanten geglättet, statt den kompletten Frame zu skalieren.
• Deep Learning Dynamic Super Resolution (DLDSR): Kann genutzt werden, um auf Displays mit niedriger Auflösung eine höhere Bildschärfe zu erzielen, sofern der Hardware theoretisch genug Power für hohe Auflösungen zur Verfügung steht.

Wir rechnen derzeit damit, dass vor allem DLAA eine Rolle auf der Nintendo Switch 2 spielen könnte, für DLDSR dürfte sie in vielen Fällen aber nicht schnell genug sein, um einen Nutzen daraus zu ziehen. Zudem wird weitläufig davon ausgegangen, dass in der Handheld-Konsole Nvidias Ampere-Architektur werkelt und die unterstützt noch kein Frame Generation und Ray-Reconstruction.

Mehr zur Switch 2:

1

Fortnite-Server wieder online - Alles zum Hotfix v34.10 in der Übersicht

von Linda Sprenger

2

Drittanbieter stellt Hülle und Dock für die Switch 2 vor - und macht die 'Originale' damit noch besser

von Jonas Herrmann

Unsere Einschätzung zu DLSS

Chris Werian
@FromSoftwerian (BlueSky)

DLSS ist eine spannende Option um für höhere Auflösungen, stabilere Framerates oder zusätzliche Effekte zu sorgen. Allerdings mag ich noch nicht so recht glauben, dass die Technik bei einer Vielzahl von Spielen eingesetzt wird, da die Nintendo Switch 2 als Low-Power-Gerät nicht optimal für die KI-Technik aufgestellt ist.

Das Generieren von KI-Bildern ist mit einem nicht zu unterschätzenden Rechenaufwand verbunden und der kostet dann auch wieder jede Menge fps, je nachdem, wie gut die Hardware aufgestellt ist. Und Leaks zum Switch 2-Chip deuten eher an, dass der Handheld-Hybrid nicht das absolute KI-Powerhouse ist ...

Natürlich würde ich mich gern von Nintendo und Nvidia eines Besseren belehren lassen, momentan gehe ich aber eher davon aus, dass vor allem Spiele mit geringerem Grafikanspruch oder einem Framerate-Ziel von maximal 30 fps DLSS nutzen werden, da sie mehr Spielraum für die Technik haben.

Alternativ gibt es auch noch die Möglichkeit, dass Nvidia zu einem späteren Zeitpunkt auf ein "leichteres" und somit schnelleres KI-Modell um-switcht, aber das steht noch in den Sternen und ich würde nicht in den nächsten Monaten damit rechnen.

Was sagt ihr zur DLSS? Glaube ihr, dass die Skalierungstechnik häufig eingesetzt wird oder seid ihr ebenfalls skeptisch?