Saltar al contenido

Contratar perfil tech

AI Evals Engineer

Diseña y ejecuta evaluaciones que miden la calidad de sistemas con IA: conjuntos de datos, métricas y pruebas automáticas con Braintrust, LangSmith o Promptfoo. Permite mejorar con evidencia y detectar regresiones.

Recibe candidatos finalistas, ya validados técnicamente, en las primeras dos semanas según el rol.

Stack habitual

  • Evals (Braintrust, LangSmith, Promptfoo)
  • Benchmarks
  • Datasets
  • Python
  • Observabilidad LLM

Qué hace

  • Construir conjuntos de datos de evaluación a partir de casos reales.
  • Definir métricas y jueces automáticos con revisión humana de contraste.
  • Ejecutar evaluaciones automáticas en cada cambio de modelo o prompt.
  • Analizar fallos y proponer mejoras sobre trazas de ejecución.

Qué distingue a uno bueno

  • Mide calidad con criterios claros y reproducibles.
  • Contrasta jueces automáticos con valoración humana.
  • Evita evaluar solo con ejemplos fáciles.

El mercado de este perfil

Por qué cuesta contratarlo.

  1. 1

    Medir con rigor la calidad de modelos con Braintrust, Promptfoo o conjuntos propios exige mezclar estadística, programación y criterio de producto, una combinación muy poco común y casi sin experiencia previa.

  2. 2

    Las empresas que toman en serio la calidad de la inteligencia artificial son pocas, y las que existen suelen ser tecnológicas grandes que contratan a los mejores con ofertas elevadas.

  3. 3

    Es fácil confundir a quien ejecuta evaluaciones ajenas con quien diseña buenas métricas, y sin un especialista es difícil saber si las pruebas del candidato miden lo que importa.

Profesionales en España≈ 120

Perfil muy escaso

Se cubre con búsqueda directa, persona a persona. En un momento dado busca cambio 1 de cada 5: unos 20 en todo el país.

Dónde están

  • Zona 1 · Madrid y Barcelona46 % · ≈ 50
  • Zona 2 · Valencia, País Vasco y Málaga16 % · ≈ 19
  • Zona 3 · Sevilla, Zaragoza, Asturias, Alicante y Granada14 % · ≈ 17
  • Zona 4 · Resto de provincias24 % · ≈ 30

Candidatos que podríamos presentarte en una búsqueda tipo

0 / 3
Remoto
0 / 3
Zona 1
0 / 3
Zona 2
0 / 3
Zona 3
0 / 3
Zona 4

En cada proceso te presentamos 3 candidatos; donde el mercado es corto no siempre sale la terna completa. Búsqueda tipo: nivel medio, presupuesto en el centro de la banda de mercado y hasta dos tecnologías imprescindibles. Estimación de Tadatic.

¿Necesitas incorporar este perfil? Recibe candidatos finalistas en las primeras dos semanas, según el rol.

Simular mi búsqueda

Antes de contratar

Cómo evaluarlo.

  1. CONSEJO 01

    Pide diseñar una evaluación para un asistente de soporte con diez casos y criterios; evalúa cobertura y claridad.

  2. CONSEJO 02

    Pregunta cómo verificaría que un modelo juez es fiable; busca comparación con anotaciones humanas.

  3. CONSEJO 03

    Evita confundirlo con un tester funcional; debe manejar métricas, muestras y resultados no deterministas.

Cómo validamos perfiles de IA Generativa

  • Un ejercicio, como construir un asistente con recuperación de documentos o un agente con herramientas, revela errores, costes y límites.
  • Pedir que diseñe una evaluación de su sistema, con casos y criterios, muestra si mide la calidad.
  • Preguntar cómo trató un caso en que el modelo falló en producción revela experiencia real y honestidad técnica.

Errores frecuentes al contratar

  • Dejarse impresionar por demostraciones vistosas sin pedir evaluación, control de costes ni tratamiento de datos sensibles.
  • Exigir años de experiencia desproporcionados en una tecnología que apenas lleva un par de años madura.
  • Descuidar seguridad y privacidad, que en sistemas con agentes y datos propios son un riesgo principal.

Preguntas frecuentes.

¿Cuánto tardáis en presentar candidatos para un puesto de AI Evals Engineer?

+

Recibes candidatos finalistas en las primeras dos semanas, según el rol, ya validados técnicamente, y puedes lanzar una oferta en cuanto elijas. De media, los candidatos finalistas llegan antes de 15 días.

¿Cuánto cuesta contratar un perfil de AI Evals Engineer con Tadatic?

+

Nuestros honorarios son el 13 % del salario bruto anual del puesto. La validación técnica adicional suma un 2 %. Te damos la cifra cerrada antes de empezar la búsqueda.

¿Cómo validáis técnicamente a un perfil de AI Evals Engineer?

+

Un ejercicio, como construir un asistente con recuperación de documentos o un agente con herramientas, revela errores, costes y límites. La IA acelera el rastreo y las primeras fases; la validación técnica y la entrevista final las hacen personas de nuestro equipo. Solo el 5 % de los perfiles llega a presentarse.

¿Es difícil encontrar un perfil de AI Evals Engineer en España?

+

Estimamos que en España hay en torno a 120 profesionales con este perfil y que el 46 % vive en Madrid y Barcelona. En un momento dado solo busca cambio activamente 1 de cada 5, así que el mercado real de una búsqueda es bastante menor. Es un perfil muy escaso: se cubre con búsqueda directa, persona a persona.

¿Qué tecnologías suele dominar un AI Evals Engineer?

+

Lo habitual es Evals (Braintrust, LangSmith, Promptfoo), Benchmarks, Datasets, Python, Observabilidad LLM. Ajustamos el stack exacto a tu proyecto al definir el perfil contigo.

Perfiles relacionados.

Empieza hoy

¿Conquistamos tu próximo planeta?

Cuéntanos qué perfil necesitas. Te respondemos con un plan y un plazo, sin compromiso.

  • Validamos los candidatos que recibes.
  • Recibes candidatos finalistas en las primeras dos semanas, según el rol.
  • Sigues el proceso en directo, sin cadenas de correos.
«Nos permitió delegar en Tadatic toda la selección tech de la compañía.»
Aida · Directora de Personas y Cultura, Naturitas

Ya confían en Tadatic

  • AliExpress
  • Lookiero
  • Freshly Cosmetics
  • Metrohm
  • Naturitas
  • Uponor
  • Uriach
  • Baxi