Google acelera la atención dispersa en vídeo con difusión en TPU hasta 2,4 veces
Google describe un kernel de atención dispersa para modelos de difusión de vídeo en TPU v6e que, con una máscara SVG y tiles alineados, reduce la latencia de la atención de 78,70 ms (Splash denso) a 32,76 ms, una aceleración de 2,40×. La técnica conserva unas 38,87 % de las parejas consulta-clave y reorganiza los tokens tras el intercambio de cabezas, lo que reduce la latencia de la atención un 38 %. En la generación de vídeo 720p con 81 fotogramas y 40 pasos, el esquema más agresivo baja el tiempo de denoising de 153,50 s a 119,86 s (1,28×).
Fuentes
- Google Developers BlogAccelerating Spatio-Temporal Attention for Video Diffusion on TPUs