Seis estrategias de paralelismo para la inferencia de LLM en producción
Un artículo describe seis estrategias de paralelismo para la inferencia de LLM: datos, tensorial, pipeline, contexto (prefill y decode), expertos (MoE) e híbrida. Cada una reduce límites de memoria o cómputo a cambio de más comunicación entre GPUs. La recomendación es aplicar cada método solo para resolver un cuello de botella medido y volver a medir memoria, TTFT y TPOT tras cada cambio.
Fuentes
- Daily Dose of Data Science6 Parallelism Strategies for LLM Inference in Production