Miércoles 14 de octubre de 2026

Recurrencia lineal frente a atención en modelos de decisión de 15M: mismo azar en precisión, ventaja lineal en coste

Un autor entrena dos modelos de decisión de 15M de parámetros con presupuesto equiparado: uno con recurrencia lineal (Gated Segmented State Space) y otro con Transformer. En una tarea de recuperación sobre contextos de 2k–8k caracteres, ambos apenas superan el azar (26,8 % frente a 28,2 %, con 25 % de azar), pero el modelo lineal es 2,37 veces más rápido con T=8192 y entrena unas 6–7 veces más rápido. Es un experimento personal con una sola fuente, sin revisión por pares, y la versión bidireccional V5 sigue en curso.

Fuentes

• Reddit r/MachineLearningI trained a 15M "decision-only" model two ways — linear recurrence vs Transformer attention. Accuracy was a coin flip; latency and training cost weren't.[R]
• Reddit r/MachineLearningI trained a 15M "decision-only" model two ways — linear recurrence vs Transformer attention. Accuracy was a coin flip; latency and training cost weren't.[R]