CapordiaDie Arbeitseinheit definieren, die sich trennen lässt
Schreiben Sie auf, was ein akzeptiertes Ergebnis ausmacht: ein Bild, ein verarbeitetes Dokument, eine Reihe von Simulationen oder ein finaler Trainingszustand. Fragen Sie anschließend, ob eine Einheit berechnet werden kann, ohne auf die anderen zu warten. Zwei Dokumente können während ihrer Verarbeitung unabhängig sein und danach von einem gemeinsamen Schritt zum Aufbau des Index abhängen. Die Aufteilung muss diesen zweiten Schritt beschreiben, statt ihn in einem Parallelisierungsversprechen zu vergessen.
Unterscheiden Sie technische Unabhängigkeit von fachlicher Unabhängigkeit. Eine Ausgabe kann ohne technischen Austausch entstehen und dennoch unbrauchbar bleiben, bis der gesamte Stapel validiert ist. Benennen Sie daher die Recheneinheit, die Lieferungseinheit und die Regel für die Zusammenführung. Diese gemeinsame Sprache verhindert, dass der Einkauf Karten zählt, während das Anwendungsteam Instanzen oder Fragmente desselben Modells zählt.
Zwischen unabhängigen Arbeiten und enger Zusammenarbeit wählen
Bei unabhängigen Aufgaben erhält jeder Prozess seine eigenen Eingaben und erzeugt eine eindeutig identifizierbare Ausgabe. Eine andere Karte kann eine andere Aufgabe ohne Synchronisation bei jedem Schritt ausführen. Dieser Modus ist interessant, wenn das Ziel die Menge ist, die in einem Zeitfenster abgeschlossen wird. Eine einzelne Aufgabe wird dadurch nicht automatisch beschleunigt, und die Konkurrenz um Daten, Speicher oder Lizenzen ist weiterhin zu prüfen.
Bei kooperativer Arbeit tauschen die Geräte Daten aus oder warten auf ein Zwischenergebnis. Das Programm muss diese Aufteilung bewältigen. Der CUDA-Leitfaden erklärt, dass die Nutzung mehrerer GPUs Kontexte, Datenverteilung, Starts und Kommunikation umfasst. Das sind Eigenschaften des Softwarepfads und des beobachteten Systems; der Name einer Karte aus dem Katalog belegt nicht, dass dieser Pfad bereits existiert.
| Frage | Unabhängige Arbeiten | Kooperative Arbeit |
|---|---|---|
| Was erhält eine Karte? | Eine vollständige, eigenständige Aufgabe | Einen Teil oder eine Replik der Arbeit |
| Was muss koordiniert werden? | Zuweisung der Eingaben und Einsammeln der Ausgaben | Austausch, Reihenfolge und Synchronisationen |
| Welcher Nutzen ist zu prüfen? | Anzahl akzeptierter Ergebnisse pro Zeitfenster | Identisches Ergebnis mit angepasster Dauer oder Kapazität |
| Welcher Fehler ist zu erwarten? | Eine einzelne Aufgabe oder Veröffentlichung | Die Auswirkung eines nicht verfügbaren Teilnehmers auf die Gruppe |
Replikation und Speicheraufteilung nicht verwechseln
Mehrere Kopien eines Modells bedeuten nicht, dass seine Parameter zwischen den Karten aufgeteilt werden. PyTorch DistributedDataParallel synchronisiert die Gradienten zwischen Prozessen, die ihre lokalen Modelle trainieren. Dieser Ansatz erlaubt daher allein aufgrund seines Namens keine Schlussfolgerung, dass ein Modell, das für eine Karte zu groß ist, auf mehreren Platz findet. Ein Partitionierungsmechanismus erfordert seine eigene Dokumentation und seine eigene Validierung.
Der Speicher jeder Karte muss abdecken, was die Software tatsächlich dort ablegt: Daten, Modellzustand, temporäre Bereiche und eventuelle Austauschvorgänge. Die Spitze kann mit den Einstellungen und der Verarbeitungsphase variieren. Erfassen Sie sie pro Gerät. Eine Summe nominaler Kapazitäten verdeckt ein Ungleichgewicht, bei dem einer Karte der Speicher ausgeht, während die anderen welchen behalten. Die Gesamtkapazität des Stapels reicht nicht aus, um das Szenario zu akzeptieren.
Fiktives Beispiel: acht unabhängige Konvertierungen aufteilen
Das fiktive Team „Index der Werke“ bereitet acht Dokumentkonvertierungen vor. In seiner Arbeitshypothese belegt jede Konvertierung eine Karte für zwölf Minuten, einschließlich Laden und Ausgabe. Eine Aufgabe passt allein auf die Karte, und vor der finalen Zusammenführung ist kein Austausch nötig. Diese Zeiten dienen ausschließlich dem Aufbau der Überlegung: Sie beschreiben weder eine Ausführung noch eine von Capordia angebotene GPU-Leistung.
Mit einer Karte entsprechen acht aufeinanderfolgende Aufgaben 8 × 12 = 96 Minuten. Mit zwei Karten und einer ausgewogenen Aufteilung von je vier Aufgaben dauert der parallelisierbare Teil theoretisch 48 Minuten. Wenn die finale Montage zehn Minuten auf einem separaten Arbeitsplatz erfordert, beträgt der vollständige Pfad jeweils 106 bzw. 58 Minuten, ohne Wartezeit vor dem Start. Diese Berechnung setzt voraus, dass die beiden Karten ihre gegenseitigen Ladevorgänge nicht verlangsamen.
| Organisation | Parallelisierbarer Teil | Montage | Berechnete Dauer |
|---|---|---|---|
| Eine Karte, acht Aufgaben | 96 min | 10 min | 106 min |
| Zwei Karten, je vier Aufgaben | 48 min | 10 min | 58 min |
Sichtbar machen, was diesen theoretischen Gewinn zunichtemachen kann
Im selben Beispiel sind die Dokumente möglicherweise nicht gleich groß. Wenn man die vier längsten einer Karte zuweist, wartet die andere am Ende des Ablaufs. Eine Verteilung nach Verfügbarkeit kann die Balance verbessern, erfordert aber einen zuverlässigen Zuweisungsmechanismus und eine Aufnahmerichtlinie. Der Leitfaden zur Warteschlange behandelt diese Organisation; die vorliegende Berechnung belegt nicht, dass sie bereits eingerichtet ist.
Auch der Speicher kann zur dominierenden gemeinsamen Ressource werden. Zwei Prozesse, die dieselben Daten lesen oder gleichzeitig große Ergebnisse schreiben, verfügen nicht zwangsläufig über den doppelten Durchsatz. Prüfen Sie ebenso die Nebenläufigkeitsgrenzen der Werkzeuge und Lizenzen. Wenn der nicht parallelisierbare Teil zunimmt, erstellen Sie den vollständigen Zeitplan neu. Der in einer Phase gewonnene Zeit darf nicht eine an anderer Stelle hinzugefügte Verzögerung verdecken.
Für verteilte Arbeit die tatsächliche Topologie erhalten
Fragen Sie, welche Karten sichtbar sind, wie sie kommunizieren und welche Host-Ressourcen ihre Prozesse teilen. Prüfen Sie die aus der verwendeten Umgebung zugänglichen Geräte, nicht nur aus einer Administratorkonsole. CUDA weist darauf hin, dass der Zugriff auf den Speicher einer anderen GPU unter anderem von der Topologie und den Fähigkeiten des Systems abhängt. Die Unterstützung einer Funktion durch ein Modell belegt nicht das Vorhandensein der erwarteten Verbindung auf der Maschine.
Behalten Sie ein einfaches Schema des Datenflusses bei: Eingabe, betroffene Karte oder betroffener Prozess, Austausch, finale Zusammenführung und Ausgabe. Bestimmen Sie für jeden Pfeil, ob er den Host-Speicher, eine Verbindung zwischen GPUs oder das Netzwerk durchläuft. Diese Ansicht dient der Auswahl der Empfangskontrollen. Sie erzwingt keine bestimmte Technologie und verwandelt eine Multi-GPU-Anfrage nicht in ein Versprechen einer bestimmten Topologie.
Zwei Organisationen vergleichen, ohne das erwartete Ergebnis zu verschieben
Bereiten Sie ein kleines repräsentatives Korpus vor und führen Sie auf Ihrem autorisierten Ziel zunächst eine Referenzorganisation und dann die Kandidatenorganisation aus. Behalten Sie Versionen, Einstellungen, erwartete Qualität und Montageregeln bei. Vergleichen Sie die Zeit bis zum akzeptierten Ergebnis, die Speicherspitze jeder Karte, die Fehler und den Verbrauch gemeinsamer Ressourcen. Trennen Sie Beobachtungen von Schätzungen; ein vorgeschlagener Befehl ist kein bereits erzieltes Ergebnis.
Prüfen Sie insbesondere, dass die Anzahl akzeptierter Ausgaben gleich bleibt und keine Eingabe ausgelassen wird. Wählen Sie für eine Berechnung, die empfindlich auf die Reihenfolge der Operationen reagiert, eine begründete Toleranz statt einer willkürlichen Gleichheit. Eine Organisation, die schneller fertig wird, aber eine andere Qualität liefert, beantwortet ein anderes Problem. Behalten Sie auch einen Fall bei, in dem die Aufteilung nicht vorteilhaft ist: Diese Grenze erklärt die Wahl besser als eine Rangfolge von Karten ohne gemeinsame Last.
Die Wahl in angeforderte Kapazität übersetzen
Schreiben Sie abschließend die Anzahl gleichzeitiger Aufgaben, die für jede erforderlichen Karten und die unverzichtbaren Bedingungen auf. Eine auf zwei Karten verteilte Aufgabe und zwei Aufgaben auf einer Karte stellen zwei verschiedene Organisationen dar, selbst wenn die Gesamtzahl der Karten gleich ist. Die gewählte Konfiguration muss die erforderliche Organisation ermöglichen; gehen Sie nicht von der nominellen Gesamtzahl aus, um ihr anschließend eine Verwendung anzudichten.
Der Katalog weist Kartenkontingente aus. Ein B200-Kontingent enthält zwei GPUs mit je 180 GB; diese Zusammensetzung garantiert nicht, dass eine Software sie als einen einzigen Speicher nutzt. Der nächste Schritt besteht darin, den Bedarf dem Kontingent zuzuordnen und dann die tatsächlich benötigten Eigenschaften zu übernehmen. Zeitplan, Kosten und Entscheidung bleiben vorläufig, solange die entscheidenden Bedingungen nicht geprüft sind.
Fragen zur Entscheidung
Sind zwei GPUs immer schneller als eine einzige?
Nein. Der Gewinn hängt vom parallelisierbaren Anteil, vom Austausch und von gemeinsamen Ressourcen ab. Bei einer isolierten, nicht aufteilbaren Aufgabe kann eine zweite Karte ungenutzt bleiben. Vergleichen Sie die Zeit bis zum selben akzeptierten Ergebnis anhand eines expliziten Protokolls.
Verdoppelt ein Kontingent aus zwei Karten den für mein Programm verfügbaren Speicher?
Nicht automatisch. Jedes Gerät besitzt seinen eigenen Speicher, und das Programm muss seinen Zustand oder seine Daten aufteilen. Die Replikation eines Modells kann dagegen einen großen Teil dieses Zustands duplizieren. Prüfen Sie den Softwaremechanismus und die Spitzenlast pro Karte.
Wann sollte man mit unabhängigen Aufgaben beginnen?
Wenn jede Einheit separat berechnet werden kann und der angestrebte Nutzen darin besteht, mehr Einheiten abzuschließen. Dennoch müssen die Zuweisung, der Lastausgleich und die abschließende Zusammenführung validiert werden, ohne anzunehmen, dass Speicher und Lizenzen automatisch mitziehen.