Contratación prevista
Ingeniero de evaluación de IA
Lucy es una coach de IA proactiva de Lucy Labs que vive en tu escritorio como una aplicación de escritorio respaldada por la nube.
Contratación prevista. Esta descripción explica el trabajo para el que nos estamos preparando para contratar; no es una fecha de incorporación confirmada ni una oferta.
Muestra dónde aciertan los métodos de Lucy, dónde deberían abstenerse y qué pruebas faltan todavía. Antes de que una sugerencia de coaching llegue a un usuario, necesitamos pruebas creíbles de que Lucy comprendió el trabajo, utilizó conocimiento relevante y respetó los límites del usuario. Construirás la práctica de evaluación independiente que permite comprobar esos juicios.
El trabajo
Muestra dónde aciertan los métodos de Lucy, dónde deberían abstenerse y qué pruebas faltan todavía. Antes de que una sugerencia de coaching llegue a un usuario, necesitamos pruebas creíbles de que Lucy comprendió el trabajo, utilizó conocimiento relevante y respetó los límites del usuario. Construirás la práctica de evaluación independiente que permite comprobar esos juicios.
Una recomendación que parece útil puede basarse en un objetivo equivocado, una afirmación sobre una herramienta sin respaldo o una intervención inadecuada. Tu trabajo mostrará dónde funciona un método, dónde debería abstenerse y qué pruebas siguen faltando. Un buen resultado incluye una razón honesta para retrasar un lanzamiento.
Tus responsabilidades
- Crear conjuntos de datos de referencia versionados para los primeros contextos de trabajo seleccionados: acciones observadas, tareas y objetivos candidatos, conocimiento sobre herramientas, recomendaciones y correcciones de usuarios. Registrar la procedencia, el uso autorizado, las carencias de cobertura y los requisitos del ciclo de vida de los conjuntos de datos.
- Escribir rúbricas de etiquetado que distingan las observaciones de la intención inferida. Construir procesos de anotación, medir el acuerdo y organizar la resolución de discrepancias cuando revisores con criterios razonables no coincidan. Conservar la incertidumbre en lugar de imponer una etiqueta que transmita certeza.
- Diseñar código de evaluación reproducible y conjuntos de pruebas de regresión para la calidad de la extracción, la inferencia y las recomendaciones. Informar sobre precisión, exhaustividad, calibración, abstención y modos de fallo por contexto relevante, con las limitaciones del tamaño de muestra.
- Evitar la contaminación entre los ejemplos de desarrollo y evaluación. Mantener los conjuntos reservados y la interpretación de resultados independientes de las personas que ajustan el sistema, a la vez que proporcionas a quienes lo construyen ejemplos que puedan usar y pasos claros de reproducción.
- Probar los efectos del filtrado, los datos ausentes, el vocabulario de los clientes, las restricciones de políticas y los cambios en el conocimiento sobre herramientas. Trabajar con Seguridad sobre los datos de prueba autorizados y verificar que las restricciones de privacidad estén representadas en la cobertura de evaluación.
- Publicar pruebas de lanzamiento que comparen una referencia acordada con una versión candidata. Documentar las versiones de conjuntos de datos, modelos y rúbricas, los fallos pendientes y el alcance que los resultados realmente respaldan. Incorporar las correcciones de producción a casos de regresión revisados.
Con quién trabajarás
Ciencia Aplicada desarrolla métodos de inferencia; Ingeniería de IA opera los modelos de producción e integra la ejecución de evaluaciones. Tú te encargas de los conjuntos de datos de evaluación, las rúbricas, la resolución de discrepancias y los hallazgos independientes. Ingeniería de Grafos de Conocimiento aporta los contratos semánticos. Ciencia del Comportamiento estudia los mecanismos de intervención y Garantía de Calidad verifica el comportamiento integrado del producto. Producto y los responsables que rinden cuentas por el lanzamiento deciden su alcance y si debe continuar, aplazarse o detenerse basándose en las pruebas; quienes construyen el producto no certifican su propio trabajo como validado de forma independiente.
Qué aportas
Has construido evaluaciones para aprendizaje automático, modelos de lenguaje u otro sistema con una referencia de verdad ambigua. Aportas un buen dominio de Python y SQL, criterio sólido de medición y ejemplos de versionado de conjuntos de datos, etiquetado o infraestructura de pruebas reproducible. Debes poder detectar promedios engañosos, investigar desacuerdos y explicar un fallo tanto a científicos como a compañeros de producto. La experiencia protegiendo datos de evaluación sensibles es útil; no se requiere una acreditación académica concreta.
Tus primeros 90 días
Definirás los límites de evaluación de un caso de uso de coaching y auditarás los ejemplos disponibles. Elaborarás una rúbrica revisada, un corpus inicial etiquetado y un informe de acuerdo. Establecerás un conjunto reservado independiente, ejecutarás una evaluación de referencia y una evaluación en paralelo sin afectar al usuario; después entregarás una plantilla de pruebas de lanzamiento con fallos reproducibles y límites explícitos. La cobertura inicial debe ser lo bastante pequeña para examinarla con cuidado y lo bastante útil para orientar la siguiente decisión de construcción.
Siguiente paso
Expresa tu interés
Escribe a people@lucylabs.ai con el título del rol, una breve presentación y un CV o portafolio pertinente. Se trata de contratación prevista; confirmaremos la disponibilidad actual y las condiciones de trabajo individuales.
Lucy Labs confirma la modalidad de trabajo, la entidad empleadora, la ubicación, la elegibilidad, la remuneración y las condiciones para cada puesto. Nuestra dirección postal no determina la ubicación del trabajo ni garantiza empleo remoto, elegibilidad mundial o patrocinio de visados.
No envíes contraseñas, identificadores oficiales ni datos bancarios. Consulta el aviso de privacidad para candidaturas.
Preguntas frecuentes
¿Está abierta esta vacante en Lucy Labs?
Lucy Labs presenta este puesto como contratación prevista. La disponibilidad depende de la necesidad, la preparación del equipo y el acuerdo individual; no promete una vacante inmediata ni una fecha de inicio.
¿Dónde se realiza este trabajo en Lucy Labs?
Lucy Labs confirma la modalidad de trabajo, la entidad empleadora, la ubicación, la elegibilidad, la remuneración y las condiciones para cada puesto. Nuestra dirección postal no determina la ubicación del trabajo ni garantiza empleo remoto, elegibilidad mundial o patrocinio de visados.
¿De qué se ocupa este puesto en Lucy Labs?
Lucy Labs: Muestra dónde aciertan los métodos de Lucy, dónde deberían abstenerse y qué pruebas faltan todavía. Antes de que una sugerencia de coaching llegue a un usuario, necesitamos pruebas creíbles de que Lucy comprendió el trabajo, utilizó conocimiento relevante y respetó los límites del usuario. Construirás la práctica de evaluación independiente que permite comprobar esos juicios.
¿Cómo expreso mi interés en Lucy Labs?
Envía a people@lucylabs.ai el título del puesto, una breve presentación y el CV o portafolio pertinente. Lucy Labs utiliza la candidatura para evaluarla y responder; la conservación para futuras oportunidades es una finalidad y elección aparte.
