Netflix detalla cómo mantiene sanas sus GPUs para entrenamiento e inferencia

Relevancia 59 de 100 Estados Unidos, California

Netflix describe su sistema en cuatro capas para detectar GPUs y adaptadores de red defectuosos, sustituir automáticamente las máquinas afectadas y permitir que los trabajos largos de entrenamiento sobrevivan a la pérdida de una máquina. Las comprobaciones combinan agentes por nodo que traducen los resultados en condiciones de Kubernetes, un modo de fallo cerrado (si el driver o la herramienta de diagnóstico no responde, la máquina se marca como no saludable) y una lectura directa de dmesg como alternativa. Las máquinas se validan antes de recibir trabajo, y los checkpoints y los workers elásticos reanudan los entrenamientos desde el último punto sano.

Fuentes

Machine Learning in Netflix TechBlog on MediumReliable GPU compute for large training & inference jobs