Steerling-8B: un modelo de lenguaje diseñado para ser interpretable desde su arquitectura
Guide Labs ha publicado Steerling-8B, un modelo de unos 8.000 millones de parámetros que separa su representación interna en conceptos conocidos, conceptos descubiertos y residuo, y usa esos componentes en la predicción. Según la empresa, permite analizar qué entradas, conceptos y documentos de entrenamiento influyen en una respuesta, y que intervenir sobre conceptos redujo la tasa de éxito de ataques de 80% a 29% en un conjunto de evaluación de seguridad, combinado con la guía de respuestas. El artículo sitúa este enfoque junto a la investigación de OpenAI y Anthropic sobre extracción de características y circuitos, y subraya que la transparencia no equivale por sí sola a seguridad.
Fuentes
- #LLMタグAIの頭の中は、どこまで見える？――ホワイトボックスLMが挑む「ブラックボックス問題」