Chaski EmpleosPublicar empleo
← Empleos remotos

Bolsa de talento experto en evals y benchmarks (Associate)

Clera

Todo el mundoVerificada

USD 30 a 60 por hora

Contrato
Tiempo completo
Categoría
Tecnología
Publicada
Ubicación según la fuente
Worldwide

La oferta completa

Traducida al español. Original en Himalayas.

Sobre el puesto

Únete a una bolsa de talento especializada que apoya proyectos de datos humanos para evaluar modelos de IA. Ayudarás a diseñar y ejecutar evaluaciones que miden las capacidades de los modelos y contribuirás a la investigación en seguridad y capacidades de la IA.

Qué harás

  • Escribirás preguntas y tareas que aíslen y prueben capacidades específicas de los modelos.
  • Desarrollarás rúbricas que definan respuestas fuertes, parciales y deficientes.
  • Crearás respuestas de referencia y casos límite para desafiar a los modelos de IA.
  • Calificarás las salidas de los modelos según las rúbricas y explicarás tus decisiones de puntuación.
  • Analizarás las respuestas fallidas, agruparás patrones de error y documentarás los hallazgos.
  • Compararás varios modelos usando los mismos prompts.
  • Validarás benchmarks y marcarás preguntas comprometidas o poco efectivas.
  • Participarás en pequeños estudios de usuarios que evalúen calificaciones o interacciones con las respuestas de los modelos.

Lo que buscamos

  • Entre cero y cinco años de experiencia profesional.
  • Experiencia en QA o ingeniería de pruebas, diseño de evaluaciones, psicometría, investigación de UX, análisis de datos, evaluación de ML, apoyo a investigación o trabajo en una materia relevante que incluya redacción de preguntas.
  • Experiencia escribiendo casos de prueba, preguntas de examen, rúbricas o tareas de evaluación, y revisando trabajo de forma consistente frente a criterios escritos.
  • Comodidad usando hojas de cálculo o Python para organizar y analizar resultados, e identificando y documentando patrones de error.
  • Es útil tener experiencia con herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
  • Comunicación escrita clara y capacidad para comparar salidas de modelos de IA o participar en estudios de usuarios y de calificación.

Compensación y beneficios

La compensación es de $30 a $60 por hora, según el proyecto, el campo y la experiencia. El pago se basa en las horas trabajadas.

Ubicación

Totalmente remoto. Los proyectos suelen durar desde una semana hasta varios meses.

Rango de compensación: $62.4K - $124.8K

Publicado originalmente en Himalayas.

Oferta publicada originalmente en Himalayas. Enlace comprobado el .