Wie tile-basierte Programmierung funktioniert
Die tile-basierte Programmierung unterteilt eine Berechnung in kleine, festgelegte Blöcke, sogenannte Tiles. Diese Tiles entsprechen den internen Datenflussmustern der GPU und erleichtern es, die Hardware ausgelastet zu halten. In früheren Versionen von CUDA mussten Entwickler diese Zuordnung selbst verwalten. Jetzt übernimmt der Compiler dies, zumindest für viele gängige Muster.
Tensor Cores sind spezialisierte Hardware innerhalb von NVIDIA-GPUs, die Matrix-Multiplikations-Akkumulations-Operationen beschleunigen. Sie sind zentral für KI-Training und Inferenz. Um jedoch die Spitzenleistung aus ihnen herauszuholen, war oft eine aufwendige manuelle Abstimmung erforderlich. Die Tile-Abstraktion von CUDA 13.3 unterteilt Matrixoperationen automatisch in Tiles, sodass sie häufiger auf Tensor Cores treffen. Entwickler schreiben einfacheren Code und erzielen dennoch einen guten Durchsatz.
Kernel-Entwicklung wird einfacher
Einer der größten Schmerzpunkte bei der GPU-Programmierung ist die Verwaltung von Threads, Shared Memory und Synchronisation. Das neue tile-basierte Modell abstrahiert diese Details. Anstatt einen Kernel zu schreiben, der Tausende von Threads erzeugt und deren Zugriff auf den gemeinsamen Speicher koordiniert, kann ein Programmierer die Berechnung als Operationen auf Tiles ausdrücken. Der CUDA-Compiler bildet diese Tiles dann auf die zugrunde liegende Hardware ab. Dies sollte die Anzahl der Fehler reduzieren und die Entwicklung beschleunigen, insbesondere für Teams, die neu in der GPU-Berechnung sind.
Verfügbarkeit
CUDA 13.3 ist ab sofort zum Download auf der NVIDIA-Entwicklerseite verfügbar. Es unterstützt alle aktuellen NVIDIA-GPU-Architekturen, einschließlich der Hopper- und Blackwell-Reihe. Entwickler können sofort mit der tile-basierten API experimentieren.
Das Update veraltet ältere Ansätze nicht, aber es schafft einen neuen Standardweg für
