Ingeniero/a de Datos y Evaluación
Este puesto contribuye a construir Lucy, la coach de IA proactiva de Lucy Labs que vive en tu escritorio como una aplicación de escritorio respaldada por la nube, mientras el producto está en desarrollo con design partners.
Construye la verdad de referencia que evita que Lucy se equivoque con total confianza.
Sobre el puesto
En Lucy Labs, el propósito de este puesto es el que se describe a continuación.
El Data / Evaluation Engineer construye el sistema de ground truth y calidad que evita que Lucy despliegue interpretaciones del trabajo plausibles pero erróneas. Este puesto se responsabiliza de los pipelines de etiquetado, el acuerdo entre evaluadores, la validación en shadow mode, los datasets de evaluación, los controles de calidad, los motivos de rechazo y las pruebas de regresión para los sistemas de Work Modeling.
Es un puesto de ingeniería, no de analítica. Construye la infraestructura de datos y evaluación que permite medir y mejorar la inferencia de comportamiento.
La misión
En Lucy Labs, la misión de este puesto se define por el resultado y el trabajo que figuran a continuación.
Construye sistemas de evaluación que permiten:
- Convertir evidencia de trabajo imperfecta en datasets etiquetados utilizables
- Medir la calidad de las acciones, tareas, objetivos, workflows y coaching
- Detectar regresiones en la inferencia, la privacidad y el comportamiento del producto antes de cada release
- Ofrecer a producto e ingeniería controles de calidad claros para los despliegues con design partners
- Convertir las correcciones de las personas usuarias en ciclos de aprendizaje estructurados
De qué te harías cargo
En Lucy Labs, este puesto convierte su misión en responsabilidades concretas dentro de cada área.
1. Etiquetado y ground truth
En esta área, Lucy Labs espera que este puesto asuma las responsabilidades que figuran a continuación.
- Construir workflows de etiquetado, rúbricas y procesos de adjudicación
- Medir el acuerdo entre evaluadores y la calidad de las etiquetas según el contexto de trabajo
- Diseñar esquemas de datos para evidencia, etiquetas, correcciones y resultados de evaluación
- Colaborar con Workflow/Product Research en las prácticas de trabajo observadas y los casos ambiguos
2. Infraestructura de evaluación
En esta área, Lucy Labs espera que este puesto asuma las responsabilidades que figuran a continuación.
- Construir pipelines de evaluación en shadow mode para los sistemas de inferencia y coaching
- Mantener datasets de referencia, suites de regresión y paneles de calidad
- Definir métricas de precisión, exhaustividad, abstención, corrección y rechazo
- Integrar controles de evaluación en los workflows de release y el versionado de modelos y prompts
3. Calidad de datos e ingeniería analítica
En esta área, Lucy Labs espera que este puesto asuma las responsabilidades que figuran a continuación.
- Construir contratos de datos y controles de calidad junto con ingeniería de backend y plataforma de datos
- Monitorizar la evidencia ausente, los efectos del filtrado por políticas y la calidad de la inferencia posterior
- Crear instrumentación de calidad para los ciclos de corrección de las personas usuarias
- Dar soporte a la analítica sin debilitar los límites de privacidad ni procedencia
4. Colaboración entre funciones
En esta área, Lucy Labs espera que este puesto asuma las responsabilidades que figuran a continuación.
- Colaborar con Behavior Inference en el análisis de fallos y la mejora de modelos y reglas
- Colaborar con AI Platform/MLOps en la ejecución automatizada de evaluaciones y la observabilidad de modelos
- Colaborar con KG/Ontology en la calidad de las taxonomías y la validación de relaciones
- Colaborar con QA/Release en los controles de calidad que bloquean un release
Cómo se ve el éxito
Lucy Labs define estos hitos como resultados del puesto, no como métricas para medir a la persona.
- 60 días
- La rúbrica de etiquetado y el primer dataset de evaluación están en uso
- 90 días
- La evaluación en shadow mode informa sobre la calidad por contexto de trabajo
- 6 meses
- Los controles de release detectan regresiones de inferencia y privacidad antes que las personas usuarias
- 12 meses
- La plataforma de evaluación es una función central de ingeniería con ciclos de calidad repetibles
Experiencia y encaje
Lucy Labs busca la experiencia esencial que figura aquí y trata el resto como deseable, no como una barrera automática.
Imprescindible
- Cuatro o más años de experiencia en ingeniería de datos, ingeniería analítica, evaluación de ML o ciencia de datos aplicada
- Python y SQL sólidos
- Experiencia construyendo datasets, controles de calidad, paneles o arneses de pruebas
- Capacidad de diseñar métricas que midan el comportamiento real del producto, no una precisión superficial
- Gran capacidad de comunicación escrita y síntesis entre funciones
Deseable
- Experiencia con arneses de evaluación de LLM o ML
- Experiencia en operaciones de etiquetado, sistemas human-in-the-loop o QA de anotaciones
- Experiencia con process mining, analítica de workflows o datos de task mining
- Experiencia con analítica consciente de la privacidad o datos regulados
Cómo trabajas
Lucy Labs busca estos rasgos de trabajo además de la experiencia técnica.
Rasgos del puesto
Lucy Labs evalúa estos rasgos como parte del encaje con el puesto.
- Orientación a la evidencia
- Capacidad de construir sistemas de calidad
- Escepticismo ante afirmaciones de modelos no validadas
- Comodidad con datos ambiguos sobre el comportamiento humano
- Colaboración con investigación e ingeniería
Postúlate a este rol
El formulario de candidatura de Lucy Labs se abre con esta vacante ya seleccionada. Puedes revisar el mensaje antes de enviarlo.
Postúlate a este rolPreguntas frecuentes
¿Está abierta esta vacante en Lucy Labs?
Sí. Lucy Labs confirmó el 25 de agosto de 2026 que esta vacante está abierta.
¿Dónde ubica Lucy Labs este puesto?
Lucy Labs ubica esta vacante en Madrid, España. La modalidad de trabajo concreta se confirma durante la conversación de candidatura.
¿De qué se ocupa este puesto en Lucy Labs?
En Lucy Labs, este puesto tiene esta responsabilidad principal: Construye la verdad de referencia que evita que Lucy se equivoque con total confianza. La descripción completa detalla la misión, las responsabilidades y la experiencia relevante.
¿Cómo me postulo a Lucy Labs?
En Lucy Labs, usa el formulario de candidatura. La vacante se selecciona automáticamente y puedes revisarla antes de enviar.
