NVIDIA hat neue Einblicke in die Optimierung von KI-Workflows auf RTX-Laptops und DGX Spark gegeben. Gleichzeitig wurden auch die neue NVIDIA Nemotron 3-Familie offener Modelle vorgestellt. Die neuen Inhalte richten sich an Entwickler, die Large Language Models gezielt für spezifische Aufgaben feinabstimmen möchten. Darunter etwa für Produkt-Support-Chatbots, agentenbasierte Workflows oder persönliche Assistenzsysteme.
Viele dieser Arbeitsabläufe profitieren von NVIDIA-GPUs, da sie mehr Kontrolle über Speicher, schnellere lokale Iterationen und eine effizientere Modellanpassung ermöglichen. Der aktuelle Beitrag im RTX AI Garage-Blog zeigt, wie sich mit Unsloth, einem für NVIDIA-GPUs optimierten Open-Source-Framework, Modelle effizient feinabstimmen lassen. Die gezeigten Workflows reichen von RTX-Laptops bis hin zu DGX Spark, dem kompakten KI-Supercomputer von NVIDIA.
Zusätzlich erläutert NVIDIA, wie DGX Spark für größere Modelle und komplexere agentenbasierte Workflows eingesetzt werden kann. Durch größere Modellgrößen, erweiterte Kontextfenster und fortgeschrittene Trainingsmethoden eignet sich DGX Spark insbesondere für anspruchsvolle KI-Anwendungen.
- Fine-Tuning LLMs With NVIDIA RTX 50 Series GPUs and Unsloth
- Fine-Tuning LLMs With NVIDIA DGX Spark and Unsloth
NVIDIA Nemotron 3
Mit NVIDIA Nemotron 3 stellt das Unternehmen eine neue Familie offener Modelle, Datensätze und Bibliotheken vor. Nemotron 3 wurde speziell für agentenbasierte KI-Anwendungen entwickelt und umfasst die Modellgrößen Nano, Super und Ultra, um unterschiedliche Workloads effizient abzudecken. Laut NVIDIA handelt es sich dabei um die bislang leistungsfähigste offene Modellfamilie des Unternehmens, ausgelegt auf skalierbare und ressourcenschonende Feinabstimmung.
Der RTX AI Garage-Beitrag gibt außerdem einen Überblick über zentrale Aspekte der Feinabstimmung. Dazu zählen parameter-effiziente Trainingsmethoden, verstärkendes Lernen sowie Empfehlungen zum benötigten VRAM je nach Modellgröße. Zudem wird erläutert, wie Unsloth das Training beschleunigt und gleichzeitig den Speicherbedarf auf NVIDIA-GPUs reduziert.
Eine praktische Demonstration liefert Matthew Berman in einem Video, in dem er Reinforcement Learning mit Unsloth auf einer NVIDIA GeForce RTX 5090 vorführt. Darüber hinaus stehen Anleitungen zur Feinabstimmung von LLMs mit RTX-50-Series-GPUs und DGX Spark zur Verfügung. Die Feinabstimmung von Nemotron 3 Nano ist bereits über Unsloth möglich, das Modell kann unter anderem über Hugging Face, Llama.cpp und LM Studio genutzt werden.
Weitere Details und technische Hintergründe sind im RTX AI Garage-Blog zu finden.
