Una PS5 con jailbreak ejecuta LLM en local, con hasta 124 tokens/s en modelos pequeños
Un usuario de Reddit ha publicado un fork de PS5LM, un port de llama.cpp que corre de forma nativa en la PS5 con jailbreak y usa la GPU mediante PS5_Vulkan, un port del driver RADV. Con este cambio, un modelo Qwen de 27B funciona a unos 20 tokens/s y usa hasta 11,4 GiB de RAM, frente a los 6,25 GiB de la versión anterior, que corría como payload en la CPU. Incluye un panel con velocidad de generación, uso de GPU y CPU, consumo, temperaturas y reparto de memoria, y es compatible con la interfaz web de llama.cpp.
Fuentes
- Tom's HardwareJailbroken PS5s can now run local AI models at over 100+ tokens per second