Qué es un token y cómo se mide en los LLMs
Los tokens son la unidad de medida que usan los LLMs para procesar texto. Cómo funcionan, por qué importan para el coste y el rendimiento de tus agentes, y cómo optimizarlos en la práctica.
¿Qué es un token?
Un token es la unidad mínima de texto que un modelo de lenguaje grande (LLM) procesa. No equivale directamente a una palabra, ni a un carácter: es el resultado de un proceso de segmentación llamado tokenización, que divide el texto en fragmentos que el modelo puede representar numéricamente mediante vectores.
La mayoría de los LLMs modernos usan Byte-Pair Encoding (BPE) o variantes similares (como SentencePiece o WordPiece). La idea es sencilla: las secuencias de caracteres más frecuentes en el corpus de entrenamiento se convierten en tokens propios. Las palabras raras o muy largas se dividen en varios subtokens.
Regla práctica
En inglés: ~4 caracteres por token · ~0.75 palabras por token. En español: ~4–5 caracteres por token (morfología más rica = más tokens por palabra).
Ejemplos de tokenización
La forma en que el tokenizador divide el texto no es siempre intuitiva. Estos ejemplos ilustran por qué el conteo de tokens no puede aproximarse simplemente contando palabras:
| Texto | Tokens | Por qué |
|---|---|---|
| "Hello" | 1 | Palabra corta y común = 1 token |
| "Hello world" | 2 | Dos palabras comunes = 2 tokens |
| "Tokenización" | 4 | Palabra larga → varios subtokens |
| "const x = 42;" | 6 | Código: símbolos y palabras separados |
| "🚀" | 2 | Emojis consumen más tokens de lo esperado |
| " indented" | 3 | Espacios al inicio cuentan como tokens |
Puedes explorar el tokenizador de OpenAI enplatform.openai.com/tokenizery el de Anthropic de forma similar usando la API de conteo de tokens.
El context window
Cada modelo tiene un límite máximo de tokens que puede procesar en una sola llamada: el context window. Este límite engloba tanto los tokens de entrada (prompt, historial, documentos de contexto) como los de salida (la respuesta generada).
Claude Sonnet 4.6
200 000 tokens
~150 000 palabras en inglés
GPT-4o
128 000 tokens
~96 000 palabras en inglés
Gemini 1.5 Pro
1 000 000 tokens
~750 000 palabras en inglés
Superar el límite del context window provoca un error en la API. En la práctica, los sistemas de agentes deben gestionar activamente cuánto contexto acumulan — especialmente en conversaciones largas, cadenas de herramientas o pipelines con múltiples llamadas encadenadas.
Coste por token
Los proveedores facturan por millón de tokens (MTok) procesados, diferenciando entre tokens de entrada y de salida. Los tokens de salida suelen ser entre 3× y 5× más caros que los de entrada porque requieren más computación (el modelo genera un token a la vez de forma autoregresiva).
| Modelo | Input / MTok | Output / MTok |
|---|---|---|
| Claude Sonnet 4.6 | $3.00 | $15.00 |
| Claude Haiku 4.5 | $0.80 | $4.00 |
| GPT-4o | $2.50 | $10.00 |
| GPT-4o mini | $0.15 | $0.60 |
| Gemini 1.5 Pro | $1.25 | $5.00 |
Precios orientativos a mayo 2026. Consulta siempre la documentación oficial de cada proveedor para precios actualizados. Algunos proveedores ofrecen descuentos por caché de prompt (prompt caching).
Errores frecuentes al pensar en tokens
Contar palabras en lugar de tokens
Un texto de 1 000 palabras en español puede superar los 1 400 tokens. Estimar presupuesto o límites de contexto con conteo de palabras lleva a errores de planificación.
Ignorar los tokens del sistema prompt
El system prompt (CLAUDE.md, instrucciones de rol, reglas) cuenta como tokens de entrada en cada llamada. Un system prompt de 2 000 tokens multiplicado por 1 000 llamadas al día = 2 millones de tokens extra.
No contar el historial de conversación
En conversaciones largas, el historial completo se reenvía en cada turno. Sin truncado o compresión, el contexto crece linealmente y el coste explota.
Subestimar el coste de los documentos de contexto
Adjuntar un PDF de 50 páginas puede añadir 20 000–40 000 tokens de entrada. Extraer solo los fragmentos relevantes (RAG) es mucho más eficiente.
Cómo optimizar el uso de tokens
Usa el conteo oficial de tokens antes de estimar costes
Anthropic y OpenAI ofrecen endpoints de conteo de tokens (o métodos del SDK) que devuelven el número exacto antes de hacer la llamada real.
Activa el prompt caching
Si tu system prompt o documentos de contexto son estáticos, el prompt caching de Anthropic y OpenAI puede reducir el coste de entrada hasta un 90% en esos fragmentos.
Trunca o comprime el historial de conversación
En agentes de larga duración, resume los turnos más antiguos en lugar de reenviar el historial completo. Claude Code hace esto automáticamente; en pipelines propios debes implementarlo.
Usa RAG en lugar de contexto completo
En lugar de inyectar documentos enteros, recupera solo los fragmentos relevantes mediante búsqueda semántica. Reduce el input en órdenes de magnitud.
Elige el modelo según el presupuesto de tokens
Tareas de clasificación simple, extracción de datos o routing no necesitan Claude Sonnet 4.6. Haiku 4.5 o GPT-4o mini pueden hacer el trabajo a una décima del coste.
Tokens y SDD: la conexión directa
En el contexto del Spec-Driven Development, comprender los tokens es esencial por tres razones:
- El coste de la spec. Una especificación bien escrita tiene entre 500 y 2 000 tokens. Inyectarla en cada llamada del agente tiene un coste real — y medible. Saber cuántos tokens consume tu CLAUDE.md te permite decidir qué incluir.
- La densidad de información. Las specs verbosas con texto redundante consumen más tokens sin añadir calidad. Las specs compactas, con criterios de aceptación precisos en formato GIVEN/WHEN/THEN, son más efectivas y más baratas.
- El límite del agente. Un agente que trabaja sobre un repositorio grande puede acumular decenas de miles de tokens de contexto. Entender el context window ayuda a diseñar flujos que no fallen por desbordamiento de contexto a mitad de tarea.
¿Quieres aplicar esto en tu equipo?
En Kuuli Technologies llevamos estas metodologías a equipos reales. Escríbenos si quieres una sesión de trabajo o una consultoría sobre agentes IA y SDD.