Mixture of Experts: cómo 30.000 millones de parámetros solo usan 3.000 millones por token

MoE (Mixture of Experts) es la arquitectura que permite correr modelos enormes en hardware modesto. Explicado desde …