Usuario reporta +60% de velocidad de decodificación en Strata con ajustes de configuración
Un usuario de r/LocalLLaMA comparte parámetros de ajuste para Strata, un motor de inferencia relativamente nuevo: --pcie-frac en 0.2, --pool-workers, --trim-stage-weights, --pipeline-windows en 6 y forzar la GPU más rápida como principal en un sistema de dos RTX 3060. Según afirma, pasó de unos 35 tps de pico a 60-70 tps con el modelo Qwen Flash Next IQ3_S. Son resultados de un único usuario, sin benchmarks independientes verificados.
Fuentes
- Reddit r/LocalLLaMAStrata performance finetuning - try it out