CapordiaDefinir la unidad de trabajo que se puede separar
Escribe qué constituye un resultado aceptado: una imagen, un documento procesado, un conjunto de simulaciones o un estado final de entrenamiento. Pregúntate después si una unidad puede calcularse sin esperar a las demás. Dos documentos pueden ser independientes durante su procesamiento y luego depender de una etapa común de construcción de índices. La división debe describir esa segunda etapa en lugar de olvidarla en una promesa de paralelismo.
Distingue la independencia informática de la independencia de negocio. Una salida puede producirse sin intercambio técnico y seguir siendo inutilizable antes de la validación del lote completo. Nombra, por tanto, la unidad de cálculo, la unidad de entrega y la regla de ensamblaje. Este vocabulario común evita que las compras cuenten tarjetas mientras el equipo de aplicación cuenta instancias o fragmentos de un mismo modelo.
Elegir entre trabajos independientes y cooperación estrecha
Para tareas independientes, cada proceso recibe sus propias entradas y produce una salida identificable. Otra tarjeta puede ejecutar otra tarea sin sincronización en cada etapa. Este modo es interesante cuando el objetivo se centra en la cantidad terminada durante una ventana. No acelera automáticamente una tarea aislada y aún hay que verificar la contención en los datos, el almacenamiento o las licencias.
Para un trabajo cooperativo, los dispositivos intercambian datos o esperan un resultado intermedio. El programa debe gestionar ese reparto. La guía CUDA explica que el aprovechamiento de varios GPU implica contextos, distribución de los datos, lanzamientos y comunicaciones. Son propiedades del camino de software y del sistema observado; el nombre de una tarjeta del catálogo no demuestra que ese camino ya exista.
| Pregunta | Trabajos independientes | Trabajo cooperativo |
|---|---|---|
| ¿Qué recibe una tarjeta? | Una tarea completa distinta | Una parte o una réplica del trabajo |
| ¿Qué hay que coordinar? | Asignación de las entradas y recogida de las salidas | Intercambios, orden y sincronizaciones |
| ¿Qué beneficio hay que verificar? | Número de resultados aceptados por ventana | Resultado idéntico con duración o capacidad adaptada |
| ¿Qué fallo hay que anticipar? | Una tarea o una publicación aislada | El efecto de un participante no disponible sobre el grupo |
No confundir replicación y reparto de memoria
Varias copias de un modelo no significan que sus parámetros estén divididos entre las tarjetas. PyTorch DistributedDataParallel sincroniza los gradientes entre procesos que entrenan sus modelos locales. Este enfoque no permite, por tanto, concluir, solo por su nombre, que un modelo demasiado grande para una tarjeta quepa en varias. Un mecanismo de particionamiento requiere su propia documentación y su propia validación.
La memoria de cada tarjeta debe cubrir lo que el software coloca realmente en ella: datos, estado del modelo, espacios temporales y posibles intercambios. El pico puede variar con los ajustes y la fase de procesamiento. Regístralo por dispositivo. Una suma de capacidades nominales oculta un desequilibrio en el que una tarjeta se queda sin memoria mientras las demás conservan la suya. La capacidad total del lote no basta para aceptar el escenario.
Ejemplo ficticio: repartir ocho conversiones independientes
El equipo ficticio «Índice de las obras» prepara ocho conversiones de documentos. En su hipótesis de trabajo, cada conversión ocupa una tarjeta durante doce minutos, carga y salida incluidos. Una tarea cabe sola en la tarjeta y no hace falta ningún intercambio antes del ensamblaje final. Estas duraciones sirven únicamente para construir el razonamiento: no describen ninguna ejecución ni rendimiento de GPU ofrecidos por Capordia.
Con una tarjeta, ocho tareas sucesivas representan 8 × 12 = 96 minutos. Con dos tarjetas y un reparto equilibrado de cuatro tareas cada una, la parte paralelizable representa teóricamente 48 minutos. Si el ensamblaje final exige diez minutos en un puesto distinto, la ruta completa pasa a ser respectivamente 106 o 58 minutos, sin contar la espera antes del inicio. Este cálculo supone que las dos tarjetas no ralentizan sus cargas recíprocas.
| Organización | Parte paralelizable | Ensamblaje | Duración calculada |
|---|---|---|---|
| Una tarjeta, ocho tareas | 96 min | 10 min | 106 min |
| Dos tarjetas, cuatro tareas cada una | 48 min | 10 min | 58 min |
Mostrar lo que puede anular esta ganancia teórica
En el mismo ejemplo, puede que los documentos no sean de igual tamaño. Asignar los cuatro más largos a una tarjeta deja a la otra esperando al final del recorrido. Una distribución según la disponibilidad puede mejorar el equilibrio, pero exige un mecanismo de asignación fiable y una política de admisión. La guía sobre la cola trata esta organización; el presente cálculo no certifica que ya esté implantada.
El almacenamiento también puede convertirse en el recurso común dominante. Dos procesos que leen los mismos datos o escriben simultáneamente grandes resultados no disponen necesariamente del doble de rendimiento. Verifica también los límites de concurrencia de las herramientas y las licencias. Si la parte no paralelizable aumenta, rehaz el calendario completo. El tiempo ganado en una fase no debe ocultar un plazo añadido en otra.
Para un trabajo repartido, recibir la topología real
Pregunta qué tarjetas son visibles, cómo se comunican y qué recursos del host comparten sus procesos. Verifica los dispositivos accesibles desde el entorno utilizado, no únicamente desde una consola de administrador. CUDA precisa que el acceso a la memoria de otra GPU depende, entre otras cosas, de la topología y de las capacidades del sistema. Que un modelo admita una función no demuestra que el enlace esperado esté presente en la máquina.
Conserva un esquema sencillo de la circulación de los datos: entrada, tarjeta o proceso implicado, intercambios, recopilación final y salida. Para cada flecha, identifica si atraviesa la memoria del host, un enlace entre GPU o la red. Esta vista sirve para elegir los controles de recepción. No impone una tecnología concreta ni convierte una solicitud multi-GPU en la promesa de una topología determinada.
Comparar dos organizaciones sin desplazar el resultado esperado
Prepara un pequeño corpus representativo y ejecuta, en tu destino autorizado, una organización de referencia y luego la organización candidata. Conserva versiones, ajustes, calidad esperada y reglas de ensamblaje. Compara el tiempo hasta el resultado aceptado, el pico de memoria de cada tarjeta, los errores y el consumo de los recursos comunes. Separa las observaciones de las estimaciones; un comando propuesto no vale como resultado ya obtenido.
Verifica en particular que el número de salidas aceptadas sigue siendo el mismo y que no se omite ninguna entrada. Para un cálculo sensible al orden de las operaciones, elige una tolerancia justificada en lugar de una igualdad arbitraria. Una organización que termina más rápido con una calidad distinta responde a otro problema. Conserva también un caso en el que el reparto no sea ventajoso: ese límite explica mejor la elección que una clasificación de tarjetas sin carga común.
Traducir la elección en capacidad solicitada
Escribe finalmente el número de tareas simultáneas, las tarjetas necesarias para cada una y las condiciones indispensables. Una tarea repartida entre dos tarjetas y dos tareas de una tarjeta representan dos organizaciones diferentes, aunque el total de tarjetas sea igual. La configuración elegida debe permitir la organización requerida; no partas del total nominal para inventarle después un uso.
El catálogo indica lotes de tarjetas. Un lote B200 contiene dos GPU de 180 GB cada una; esta composición no garantiza que un software las aproveche como una sola memoria. El siguiente paso es hacer coincidir la necesidad con el lote y luego recepcionar las propiedades que realmente se necesitan. El calendario, el costo y la decisión siguen siendo provisionales mientras no se verifiquen las condiciones decisivas.
Preguntas para decidir
¿Dos GPU son siempre más rápidas que una sola?
No. La ganancia depende de la fracción paralelizable, de los intercambios y de los recursos compartidos. Para una tarea aislada no repartible, una segunda tarjeta puede quedar sin usar. Compara el tiempo hasta el mismo resultado aceptado, con un protocolo explícito.
¿Un lote de dos tarjetas duplica la memoria disponible para mi programa?
No automáticamente. Cada dispositivo posee su memoria y el programa debe repartir su estado o sus datos. La replicación de un modelo puede, por el contrario, duplicar gran parte de ese estado. Verifica el mecanismo del software y el pico por tarjeta.
¿Cuándo empezar por tareas independientes?
Cuando cada unidad puede calcularse por separado y el beneficio buscado es terminar más unidades. Aun así, hay que validar la asignación, el equilibrio de cargas y el ensamblaje final, sin suponer que el almacenamiento y las licencias siguen automáticamente.