Microsoft completa el preentrenamiento de MAI-Base-2, su nuevo modelo base
Microsoft ha terminado el preentrenamiento de MAI-Base-2, un modelo base de 2,8 billones de parámetros totales y 80.000 millones activos, entrenado durante 38 días en 6.000 GPU NVIDIA GB200 con una utilización media de cómputo del 21 %. Según la compañía, supera a todos los modelos de pesos abiertos con los que se comparó y su eficiencia de cómputo en preentrenamiento es de 4 a 12 veces la de DeepSeek-V4-Pro-Base. Microsoft atribuye el resultado a la escalabilidad científica, al diseño conjunto de modelo e infraestructura y al escalado de datos, y ya ha iniciado la preparación de MAI-Base-3.
Fuentes
- IT之家 (CN)微软完成 SOTA 基模 MAI-Base-2 预训练，性能强于所有参测开源权重模型