Contratar perfil tech
AI Evals Engineer
Diseña y ejecuta evaluaciones que miden la calidad de sistemas con IA: conjuntos de datos, métricas y pruebas automáticas con Braintrust, LangSmith o Promptfoo. Permite mejorar con evidencia y detectar regresiones.
Recibe candidatos finalistas, ya validados técnicamente, en las primeras dos semanas según el rol.
Stack habitual
- Evals (Braintrust, LangSmith, Promptfoo)
- Benchmarks
- Datasets
- Python
- Observabilidad LLM
Qué hace
- Construir conjuntos de datos de evaluación a partir de casos reales.
- Definir métricas y jueces automáticos con revisión humana de contraste.
- Ejecutar evaluaciones automáticas en cada cambio de modelo o prompt.
- Analizar fallos y proponer mejoras sobre trazas de ejecución.
Qué distingue a uno bueno
- Mide calidad con criterios claros y reproducibles.
- Contrasta jueces automáticos con valoración humana.
- Evita evaluar solo con ejemplos fáciles.
El mercado de este perfil
Por qué cuesta contratarlo.
- 1
Medir con rigor la calidad de modelos con Braintrust, Promptfoo o conjuntos propios exige mezclar estadística, programación y criterio de producto, una combinación muy poco común y casi sin experiencia previa.
- 2
Las empresas que toman en serio la calidad de la inteligencia artificial son pocas, y las que existen suelen ser tecnológicas grandes que contratan a los mejores con ofertas elevadas.
- 3
Es fácil confundir a quien ejecuta evaluaciones ajenas con quien diseña buenas métricas, y sin un especialista es difícil saber si las pruebas del candidato miden lo que importa.
Profesionales en España≈ 120
Perfil muy escaso
Se cubre con búsqueda directa, persona a persona. En un momento dado busca cambio 1 de cada 5: unos 20 en todo el país.
Dónde están
- Zona 1 · Madrid y Barcelona46 % · ≈ 50
- Zona 2 · Valencia, País Vasco y Málaga16 % · ≈ 19
- Zona 3 · Sevilla, Zaragoza, Asturias, Alicante y Granada14 % · ≈ 17
- Zona 4 · Resto de provincias24 % · ≈ 30
Candidatos que podríamos presentarte en una búsqueda tipo
- 0 / 3
- Remoto
- 0 / 3
- Zona 1
- 0 / 3
- Zona 2
- 0 / 3
- Zona 3
- 0 / 3
- Zona 4
En cada proceso te presentamos 3 candidatos; donde el mercado es corto no siempre sale la terna completa. Búsqueda tipo: nivel medio, presupuesto en el centro de la banda de mercado y hasta dos tecnologías imprescindibles. Estimación de Tadatic.
¿Necesitas incorporar este perfil? Recibe candidatos finalistas en las primeras dos semanas, según el rol.
Antes de contratar
Cómo evaluarlo.
- CONSEJO 01
Pide diseñar una evaluación para un asistente de soporte con diez casos y criterios; evalúa cobertura y claridad.
- CONSEJO 02
Pregunta cómo verificaría que un modelo juez es fiable; busca comparación con anotaciones humanas.
- CONSEJO 03
Evita confundirlo con un tester funcional; debe manejar métricas, muestras y resultados no deterministas.
Cómo validamos perfiles de IA Generativa
- Un ejercicio, como construir un asistente con recuperación de documentos o un agente con herramientas, revela errores, costes y límites.
- Pedir que diseñe una evaluación de su sistema, con casos y criterios, muestra si mide la calidad.
- Preguntar cómo trató un caso en que el modelo falló en producción revela experiencia real y honestidad técnica.
Errores frecuentes al contratar
- Dejarse impresionar por demostraciones vistosas sin pedir evaluación, control de costes ni tratamiento de datos sensibles.
- Exigir años de experiencia desproporcionados en una tecnología que apenas lleva un par de años madura.
- Descuidar seguridad y privacidad, que en sistemas con agentes y datos propios son un riesgo principal.
Preguntas frecuentes.
¿Cuánto tardáis en presentar candidatos para un puesto de AI Evals Engineer?
+
Recibes candidatos finalistas en las primeras dos semanas, según el rol, ya validados técnicamente, y puedes lanzar una oferta en cuanto elijas. De media, los candidatos finalistas llegan antes de 15 días.
¿Cuánto cuesta contratar un perfil de AI Evals Engineer con Tadatic?
+
Nuestros honorarios son el 13 % del salario bruto anual del puesto. La validación técnica adicional suma un 2 %. Te damos la cifra cerrada antes de empezar la búsqueda.
¿Cómo validáis técnicamente a un perfil de AI Evals Engineer?
+
Un ejercicio, como construir un asistente con recuperación de documentos o un agente con herramientas, revela errores, costes y límites. La IA acelera el rastreo y las primeras fases; la validación técnica y la entrevista final las hacen personas de nuestro equipo. Solo el 5 % de los perfiles llega a presentarse.
¿Es difícil encontrar un perfil de AI Evals Engineer en España?
+
Estimamos que en España hay en torno a 120 profesionales con este perfil y que el 46 % vive en Madrid y Barcelona. En un momento dado solo busca cambio activamente 1 de cada 5, así que el mercado real de una búsqueda es bastante menor. Es un perfil muy escaso: se cubre con búsqueda directa, persona a persona.
¿Qué tecnologías suele dominar un AI Evals Engineer?
+
Lo habitual es Evals (Braintrust, LangSmith, Promptfoo), Benchmarks, Datasets, Python, Observabilidad LLM. Ajustamos el stack exacto a tu proyecto al definir el perfil contigo.
Perfiles relacionados.
Todo IA GenerativaContext / RAG Engineer
Diseña cómo los modelos reciben el contexto adecuado: recuperación con RAG, bases vectoriales como pgvector o Weaviate, embeddings, fragmentación y reordenadores. De ello depende que las respuestas sean precisas.
- RAG
- Vector DBs (Pinecone, pgvector, Weaviate)
- Embeddings
- Chunking
AI Red Teamer
Ataca sistemas de IA de forma controlada para encontrar fallos: jailbreaks, inyección de instrucciones y pruebas adversarias con herramientas como Garak o PyRIT. Aporta una visión de riesgo antes del lanzamiento.
- Jailbreaks
- Prompt injection
- Adversarial testing
- OWASP LLM Top 10
Data Annotator / AI Trainer
Prepara y evalúa datos para entrenar y mejorar modelos de IA: etiquetado, comparación de respuestas y valoración humana con RLHF. Su criterio determina la calidad con la que aprende y responde un modelo.
- Etiquetado de datos
- RLHF
- Label Studio
- Scale








