単一の処理ではなくチェーンを評価する
NVIDIA L4 は Ada Lovelace アーキテクチャと 24 GB の GDDR6 を組み合わせています。その動画処理機能は、ソフトウェアがそれを活用する場合に役立ちます。アプリケーションのドキュメントでファイルのフォーマット、コーデック、パラメータを確認し、受け取りの際には自社の業務から取ったサンプルを使用してください。
読み取り、デコード、推論、出力生成を区別してください。CPU で実行される段階やファイル転送が、合計時間を左右することがあります。したがってテストでは、チームの今後の作業と同じ入力と同じ処理経路を維持する必要があります。
スループットと応答時間のどちらを選ぶか
処理すべきファイルのキューと、都度のリクエストに応答するサービスでは、サイジングの方法が異なります。前者では、承認された出力の数を追跡します。後者では、待ち時間と同時実行数も観察してください。測定結果に基づいて受け入れ上限を定め、複数のリクエストが同時に到着したときのメモリを確認してください。
メモリがボトルネックになる場合は 48 GB を選ぶ
L40S は GPU あたり 48 GB を提供し、Ada ファミリーに属します。モデルやアクティブなデータが L4 の枠を超える場合に検討すべき代替案です。24 GB で足りるなら、チェーン全体で選択肢を比較してください。メモリが多いだけでは応答時間の短縮にはつながりません。
期間とテストシナリオを一致させる
フォーマットと流れを評価するには 3 日間、複数の活動プロファイルを観察するには 7 日間、すでに定義された定常的なプログラムには 30 日間を使用してください。各重要な段階で、コントロール用のデータセットと出力の回収方法を用意してください。
L4 のロット、期間、環境を選び、追跡用の連絡先を入力します。選定の根拠となる基準(処理量、許容できる応答時間、メモリ容量など)をプロジェクトの記録に残しておいてください。そうすれば受け取りを共有しやすくなります。