CAFE: destilación de características confinada a adaptadores para ASR multilingüe compacto
Un estudio de arXiv (cs.CL) muestra que la destilación de características no siempre complementa la destilación de logits en ASR multilingüe compacto: la pérdida CKA mejora el WER en idiomas no ingleses pero empeora el inglés, porque su gradiente solapa un 97,5-99,5 % con el subespacio que usa el inglés en el encoder compartido. Los autores proponen CAFE, que confina esa pérdida a adaptadores que el inglés evita, reduciendo el WER medio del 8,55 % al 8,02 % en el Open ASR Leaderboard con un modelo de 254M parámetros. Según el artículo, queda 2 puntos de WER por detrás de su profesor de 0,6B y es competitivo con modelos mucho mayores en 48 conjuntos de prueba y 24 idiomas.
Fuentes
- arXiv cs.CLCAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition