CapordiaDie für Ihre Anwendung nötigen Austauschvorgänge skizzieren
Notieren Sie für jeden Fluss seinen Ausgangspunkt, sein Ziel und die Person, die ihn benötigt. Ergänzen Sie das gewählte Protokoll, die Richtung des Verbindungsaufbaus, die Häufigkeit und das erwartete Volumen. Ein initialer Import, eine Administrationsverbindung und ein kontinuierlich aufgerufener Dienst werden nicht nach denselben Kriterien vorbereitet. Ein unbekanntes Ziel bleibt ein zu klärender Punkt und keine allgemeine Freigabe zum Öffnen.
Diese Liste hilft Ihrem Team zu entscheiden, was zugänglich sein muss und was geschlossen bleiben kann. Sie legt außerdem fest, wer eine Änderung freigibt. Die Konnektivitätsmerkmale lassen sich nicht aus dem GPU-Modell ableiten: Durchsatz, Adressen, Ports und Zugangsmodalitäten müssen für die tatsächlich bereitgestellte Umgebung erfasst werden. Die untenstehende Matrix stellt ein fiktives Projekt dar, keine als inklusive zugesagten Leistungen.
| Fluss | Zu präzisierendes Kriterium | Verantwortliche Person |
|---|---|---|
| Administrationsrechner zum Umfeld | Protokoll, Ziel und erlaubter Zugriff | Verantwortliche für die Zugriffe |
| Datenablage zum GPU-Job | Ausgangsvolumen, Häufigkeit, Wiederaufnahme | Eigentümer der Daten |
| Anwendung zu externer Abhängigkeit | Ziel, Authentifizierungsmethode, akzeptable Verzögerung | Anwendungsverantwortliche |
| Ergebnisse zum Speicherziel | Endvolumen und Abnahmekontrolle | Verantwortliche für die Lieferergebnisse |
Den Transfer messen, der für Ihre Planung zählt
Wählen Sie eine repräsentative Stichprobe, mit einer Anzahl und Größe von Dateien, die der geplanten Arbeit nahekommen. Ein einzelnes Archiv und Tausende kleiner Dateien beanspruchen das Verfahren unterschiedlich. Messen Sie Import und Export getrennt, zu den tatsächlich gewählten Zielen. Halten Sie das Nutzvolumen, die verstrichene Zeit, das Werkzeug, die Parameter und die Testbedingungen fest, um einen zweiten Durchlauf vergleichen zu können.
Ein Werkzeug wie iperf3 misst einen Netzwerkfluss zwischen einem Client und einem Testserver. Seine Dokumentation unterscheidet insbesondere die normale Richtung und die umgekehrte Richtung. Ein solcher Test erfordert zwei autorisierte Endpunkte; er beweist für sich allein nicht die Geschwindigkeit einer Dateikopie, die auch von der Speicherung, der Verarbeitung und dem Protokoll abhängt. Beginnen Sie mit dem Anwendungstransfer, von dem Ihr Zeitplan tatsächlich abhängt.
Eine Messung in ein Transferfenster umwandeln
Vollständig fiktives Beispiel: 600 GB müssen exportiert werden. Hier entspricht 1 GB 1 000 MB und die Durchsätze werden in MB pro Sekunde angegeben. Bei 120 MB/s Nutzdurchsatz ergibt die Division 600 000 ÷ 120 5 000 Sekunden, also 1 h 23 min 20 s. Mit einer vorsichtigeren Annahme von 70 MB/s ergibt sie etwa 8 571 Sekunden, also 2 h 22 min 51 s. Keiner dieser Durchsätze beschreibt ein Angebot von Capordia.
Wenn das Team 45 Minuten für die Fertigstellung des Pakets und die Kontrolle seiner Übernahme hinzufügt, umfasst die zweite Annahme etwa 3 h 08. Es kann ein Zeitfenster von 3 h 10 vorsehen und dann separat die Reserve hinzufügen, die es für nötig hält. Dieses Fenster bleibt bedingt: Eine Änderung des Volumens, der Dateianzahl oder der Transferbedingungen erfordert eine neue Berechnung. Ersetzen Sie diese Schätzung nicht durch den theoretischen Durchsatz einer Schnittstelle.
| Annahme | Dauer des Transfers allein | Mit 45 Minuten Vorbereitung und Kontrolle |
|---|---|---|
| 120 MB/s Nutzdurchsatz | 1 h 23 min 20 s | 2 h 08 min 20 s |
| 70 MB/s Nutzdurchsatz | Etwa 2 h 22 min 51 s | Etwa 3 h 07 min 51 s |
Zugriff und Wiederaufnahme vorbereiten, ohne mehr als nötig zu öffnen
Bestätigen Sie zunächst das Ziel und die Identität des Hosts anhand der erwarteten Informationen, dann die Berechtigungen und den Arbeitspfad. Eine Zugriffsverweigerung löst man nicht, indem man das Passwort des Kommandokontos in einem gemeinsamen Dokument teilt. Die Zugriffe auf die Umgebung und die Verbindung zum Capordia-Konto haben unterschiedliche Funktionen; dokumentieren Sie ihre Verantwortlichen, ohne ihre Geheimnisse zu kopieren.
Wenn Ihr Verfahren OpenSSH SFTP vorsieht, laufen die Transfers über SSH. Seine Dokumentation präzisiert außerdem, dass eine teilweise Wiederaufnahme voraussetzt, dass das bereits vorhandene Fragment der Quelldatei entspricht. Wenn sich diese geändert hat, kann eine blinde Wiederaufnahme eine fehlerhafte Kopie erzeugen. Fixieren Sie daher die zu übertragende Version, identifizieren Sie die Teilfragmente und kontrollieren Sie das Ergebnis, bevor Sie die Lieferung als abgeschlossen erklären.
Eine Wartezeit anhand beobachtbarer Schritte diagnostizieren
Wenn die Dateien ankommen, aber die Anwendung nicht antwortet, untersuchen Sie den Anwendungsfluss, anstatt die gesamte Konfiguration zu ändern. Unterscheiden Sie Namensauflösung, Verbindungsaufbau, Authentifizierung, Lesen der ersten Daten und vollständigen Transfer. Erfassen Sie Uhrzeit, Richtung und die genaue nützliche Meldung. Entfernen Sie Identifikatoren, Token und Inhaltsdaten aus dem, was Sie mit dem Support teilen.
Wenn die Kopie startet und dann langsamer wird, vergleichen Sie einen zweiten Durchlauf unter denselben Bedingungen und beobachten Sie die benachbarten Schritte: Lesen an der Quelle, Vorbereiten des Archivs, Schreiben am Ziel. Die Feststellung „GPU kaum ausgelastet“ reicht nicht aus, um daraus zu schließen, dass das Netzwerk verantwortlich ist. Das Diagnosedossier muss angeben, was auf was wartet, und welche Beobachtung es erlauben würde, die möglichen Ursachen zu unterscheiden.
Externen Zugriff und Austausch zwischen GPUs trennen
Das Netzwerk, das zum Zugriff auf die Anwendung genutzt wird, und die interne Kommunikation einer Berechnung über mehrere Karten erfüllen unterschiedliche Anforderungen. Der CUDA-Leitfaden beschreibt eine explizite Aufteilung von Daten und Berechnungen zwischen Geräten, wobei die Zugriffsmöglichkeiten vom System abhängen. Weder die Anzahl der Karten noch eine gute Dateikopie von Ihrem Arbeitsplatz aus belegen das Funktionieren einer verteilten Verarbeitung.
Beschreiben Sie daher das erwartete Szenario: unabhängige Aufgaben, die jeder Karte zugewiesen werden, oder eine Verarbeitung, die Daten zwischen ihnen austauscht. Prüfen Sie anschließend den tatsächlich von Ihrer Software genutzten Pfad. Die Abnahme ist abgeschlossen, wenn die erforderlichen Datenströme funktionieren, die Kontrollen dokumentiert sind und eine Person weiß, wie ein unterbrochener Transfer fortgesetzt wird. Die festgelegten Bedingungen fließen dann in das Deployment-Dossier ein.
Fragen zur Entscheidung
Warum wird im Plan zwischen MB/s und Mb/s unterschieden?
Ein Byte enthält acht Bit. Mit den dezimalen Einheiten des Beispiels entsprechen 70 MB/s 560 Mb/s. Wer beides vermischt, multipliziert oder dividiert die Schätzung mit acht. Notieren Sie die Einheit bei jeder Messung und rechnen Sie mit der nutzbaren Transferrate.
Sollten beide Richtungen eines Transfers getestet werden?
Ja, wenn das Projekt Daten importiert und anschließend Ergebnisse exportiert. Pfade, Ziele und Bedingungen können abweichen. Eine gute Importmessung garantiert nicht, dass der abschließende Abruf im selben Zeitfenster bleibt; testen Sie die Richtung, von der jede Frist abhängt.
Befreit ein verschlüsselter Transfer von der Dateikontrolle?
Nein. Transport und Validierung des Pakets beantworten unterschiedliche Fragen. Prüfen Sie auch die erwarteten Dateien, ihre Integrität und ihr Öffnen vom Ziel aus. Eine falsche Dateiauswahl kann korrekt übertragen werden und dennoch unbrauchbar bleiben.