¿Son lo mismo los parámetros de un modelo y las dims del embedding?

Cuando se empieza a trabajar con modelos de embedding para RAG, aparece una duda muy frecuente: ¿qué significa que un modelo tenga 33M parámetros y a la vez genere vectores de 384 dims? ¿Son la misma cosa contada de dos formas? ¿Está relacionado el número de parámetros con el número de dimensiones?

No son lo mismo. Son conceptos de nivel completamente diferente: uno describe la arquitectura interna del modelo y el otro describe la forma del dato que produce. Confundirlos lleva a malentendidos sobre cómo funciona la búsqueda semántica y sobre qué modelo elegir para cada caso.

Parámetros: los pesos internos del modelo

Los parámetros son los números que se aprenden durante el entrenamiento. Son matrices de pesos dentro de cada capa del transformer — las matrices de query, key, value y output de cada bloque de atención. Son completamente invisibles para quien usa el modelo: no se accede a ellos, no se modifican en inferencia normal, y su cantidad es lo que determina cuánta "memoria de entrenamiento" tiene el modelo.

Modelo
  └── Capa 1
  │     ├── Matriz W_query   (pesos aprendidos)
  │     ├── Matriz W_key     (pesos aprendidos)
  │     ├── Matriz W_value   (pesos aprendidos)
  │     └── Matriz W_output  (pesos aprendidos)
  └── Capa 2  ...
  └── Capa N  ...

Total de todos esos números = parámetros del modelo

Dims: el tamaño del vector de salida

Las dimensiones del embedding son el tamaño del vector que produce el modeloal procesar un texto. Si el modelo produce vectores de 384 dims, cada texto que pase por ese modelo se convierte en un array de exactamente 384 números flotantes. Esos números son los que luego viven en el vector store y se comparan en la búsqueda semántica.

all-MiniLM-L12-v2  →  384 dims

"El gato duerme"
  → [0.23, -0.87, 0.41, 0.09, ..., 0.63]
      ↑_________________________________↑
            exactamente 384 números

La forma más directa de fijar la diferencia:

Una fábrica gigantesca puede producir cajas pequeñas. Una fábrica pequeña puede producir cajas grandes. El tamaño de la fábrica y el tamaño de la caja son decisiones de diseño independientes.

Indirecta, sí. Más parámetros permiten en general aprender representaciones más ricas, lo que puede traducirse en embeddings de mayor calidad o con más dimensiones útiles. Pero no hay fórmula fija:

GPT-3.5 tiene 175B parámetros pero no produce vectores de embedding — es un modelo generativo. MiniLM tiene 33M parámetros pero sí produce vectores de 384 dims. Son tipos de modelo distintos con objetivos distintos.