CapordiaDefinir a unidade de trabalho que pode ser separada
Descreva o que constitui um resultado aceito: uma imagem, um documento processado, um conjunto de simulações ou um estado final de treinamento. Pergunte em seguida se uma unidade pode ser calculada sem esperar pelas outras. Dois documentos podem ser independentes durante o processamento e depois depender de uma etapa comum de construção de índice. O recorte deve descrever essa segunda etapa em vez de esquecê-la numa promessa de paralelismo.
Distinga a independência computacional da independência de negócio. Uma saída pode ser produzida sem troca técnica e permanecer inutilizável antes da validação do lote completo. Nomeie, portanto, a unidade de cálculo, a unidade de entrega e a regra de montagem. Esse vocabulário comum evita que as compras contem placas enquanto a equipe de aplicação conta instâncias ou fragmentos de um mesmo modelo.
Escolher entre trabalhos independentes e cooperação estreita
Para tarefas independentes, cada processo recebe suas próprias entradas e produz uma saída identificável. Outra placa pode executar outra tarefa sem sincronização a cada etapa. Esse modo é interessante quando o objetivo está na quantidade concluída durante uma janela. Ele não acelera automaticamente uma tarefa isolada e ainda é preciso verificar a contenção nos dados, no armazenamento ou nas licenças.
Para um trabalho cooperativo, os dispositivos trocam dados ou aguardam um resultado intermediário. O programa deve gerenciar essa distribuição. O guia CUDA explica que o uso de várias GPUs envolve contextos, distribuição dos dados, lançamentos e comunicações. Essas são propriedades do caminho de software e do sistema observado; o nome de uma placa do catálogo não prova que esse caminho já existe.
| Pergunta | Trabalhos independentes | Trabalho cooperativo |
|---|---|---|
| O que cada placa recebe? | Uma tarefa completa distinta | Uma parte ou uma réplica do trabalho |
| O que precisa ser coordenado? | Atribuição das entradas e coleta das saídas | Trocas, ordem e sincronizações |
| Qual benefício verificar? | Número de resultados aceitos por janela | Resultado idêntico com duração ou capacidade adaptada |
| Qual falha prever? | Uma tarefa ou uma publicação isolada | O efeito de um participante indisponível sobre o grupo |
Não confundir replicação e distribuição de memória
Várias cópias de um modelo não significam que seus parâmetros estão divididos entre as placas. O PyTorch DistributedDataParallel sincroniza os gradientes entre processos que treinam seus modelos locais. Essa abordagem não permite, portanto, concluir, só pelo seu nome, que um modelo grande demais para uma placa caberá em várias. Um mecanismo de particionamento exige sua própria documentação e sua própria validação.
A memória de cada placa deve cobrir o que o software efetivamente coloca nela: dados, estado do modelo, espaços temporários e eventuais trocas. O pico pode variar com os ajustes e a fase de processamento. Registre-o por dispositivo. Uma soma de capacidades nominais mascara um desequilíbrio em que uma placa fica sem memória enquanto as outras ainda têm. A capacidade total do lote não basta para aceitar o cenário.
Exemplo fictício: distribuir oito conversões independentes
A equipe fictícia «Index des ouvrages» prepara oito conversões de documentos. Na sua hipótese de trabalho, cada conversão ocupa uma placa durante doze minutos, incluindo carregamento e saída. Uma tarefa cabe sozinha na placa e nenhuma troca é necessária antes da montagem final. Essas durações servem apenas para construir o raciocínio: elas não descrevem nenhuma execução nem desempenho de GPU oferecido pela Capordia.
Com uma placa, oito tarefas sucessivas representam 8 × 12 = 96 minutos. Com duas placas e uma distribuição equilibrada de quatro tarefas para cada uma, a parte paralelizável representa, teoricamente, 48 minutos. Se a montagem final exigir dez minutos em uma estação separada, o caminho completo passa a ser, respectivamente, 106 ou 58 minutos, sem contar a espera antes da partida. Esse cálculo pressupõe que as duas placas não atrasem seus carregamentos recíprocos.
| Organização | Parte paralelizável | Montagem | Duração calculada |
|---|---|---|---|
| Uma placa, oito tarefas | 96 min | 10 min | 106 min |
| Duas placas, quatro tarefas cada | 48 min | 10 min | 58 min |
Evidenciar o que pode anular esse ganho teórico
No mesmo exemplo, os documentos podem não ter o mesmo tamanho. Atribuir os quatro mais longos a uma placa deixa a outra esperando no fim do percurso. Uma distribuição conforme a disponibilidade pode melhorar o equilíbrio, mas exige um mecanismo de atribuição confiável e uma política de admissão. O guia sobre a fila trata dessa organização; o presente cálculo não atesta que ela já esteja instalada.
O armazenamento também pode se tornar o recurso comum dominante. Dois processos que leem os mesmos dados ou gravam simultaneamente grandes resultados não dispõem necessariamente do dobro da taxa de transferência. Verifique também os limites de concorrência das ferramentas e das licenças. Se a parte não paralelizável aumentar, refaça o cronograma completo. O tempo ganho em uma fase não deve mascarar um atraso acrescentado em outro lugar.
Para um trabalho distribuído, receber a topologia real
Pergunte quais placas estão visíveis, como se comunicam e quais recursos do host compartilham seus processos. Verifique os dispositivos acessíveis pelo ambiente utilizado, não apenas por um console de administrador. O CUDA esclarece que o acesso à memória de outra GPU depende, entre outros fatores, da topologia e das capacidades do sistema. O suporte de uma função por um modelo não demonstra a presença do link esperado na máquina.
Mantenha um esquema simples da circulação dos dados: entrada, placa ou processo envolvido, trocas, reunificação final e saída. Para cada seta, identifique se ela atravessa a memória do host, um link entre GPUs ou a rede. Essa visão serve para escolher os controles de recebimento. Ela não impõe uma tecnologia específica e não transforma uma solicitação multi-GPU em promessa de topologia específica.
Comparar duas organizações sem deslocar o resultado esperado
Prepare um pequeno corpus representativo e execute, na sua meta autorizada, uma organização de referência e depois a organização candidata. Mantenha versões, ajustes, qualidade esperada e regras de montagem. Compare o tempo até o resultado aceito, o pico de memória de cada placa, os erros e o consumo dos recursos comuns. Separe as observações das estimativas; um comando proposto não vale como resultado já obtido.
Verifique em especial que o número de saídas aceitas permaneça o mesmo e que nenhuma entrada seja omitida. Para um cálculo sensível à ordem das operações, escolha uma tolerância justificada em vez de uma igualdade arbitrária. Uma organização que termina mais rápido com uma qualidade diferente responde a outro problema. Mantenha também um caso em que o compartilhamento não seja vantajoso: esse limite explica melhor a escolha do que uma classificação de placas sem carga comum.
Traduzir a escolha em capacidade solicitada
Escreva, por fim, o número de tarefas simultâneas, as placas necessárias a cada uma e as condições indispensáveis. Uma tarefa distribuída em duas placas e duas tarefas de uma placa representam duas organizações diferentes, mesmo que o total de placas seja igual. A configuração escolhida deve permitir a organização exigida; não parta do total nominal para depois inventar-lhe um uso.
O catálogo indica lotes de placas. Um lote B200 contém duas GPUs de 180 GB cada; essa composição não garante que um software as utilizará como uma única memória. O próximo passo é fazer corresponder a necessidade ao lote e então receber as propriedades efetivamente necessárias. O cronograma, o custo e a decisão permanecem provisórios enquanto as condições decisivas não forem verificadas.
Perguntas para decidir
Duas GPUs são sempre mais rápidas do que uma só?
Não. O ganho depende da fração paralelizável, das trocas e dos recursos compartilhados. Para uma tarefa isolada não distribuível, uma segunda placa pode permanecer inutilizada. Compare o tempo até o mesmo resultado aceito, em um protocolo explícito.
Um lote de duas placas dobra a memória disponível para o meu programa?
Não automaticamente. Cada dispositivo possui sua própria memória e o programa deve distribuir seu estado ou seus dados. A replicação de um modelo pode, ao contrário, duplicar grande parte desse estado. Verifique o mecanismo de software e o pico por placa.
Quando começar por tarefas independentes?
Quando cada unidade pode ser calculada separadamente e o benefício buscado é concluir mais unidades. Ainda assim, é preciso validar a atribuição, o equilíbrio das cargas e a montagem final, sem supor que armazenamento e licenças acompanham automaticamente.