Chaski EmpleosPublicar empleo
← Empleos remotos

Bolsa de talento experto, evaluaciones y benchmarks

Clera

Todo el mundoVerificada

USD 75 a 175 por hora

Contrato
Por proyecto
Categoría
Datos
Publicada
Ubicación según la fuente
Worldwide

La oferta completa

Traducida al español. Original en Himalayas.

Sobre el puesto

Únete a una red de expertos senior en evaluación que dan soporte a proyectos de investigación en IA. Liderarás el diseño de benchmarks, su validación y las operaciones de calificación cuando los proyectos se alineen con tu experiencia, ayudando a producir evaluaciones rigurosas y confiables de modelos de IA.

Qué harás

  • Diseñarás benchmarks, incluyendo su alcance, tipos de preguntas, niveles de dificultad y métodos de puntuación.
  • Escribirás y revisarás rúbricas para asegurar una calificación consistente.
  • Desarrollarás respuestas de referencia (gold standard) y conjuntos de prueba que resistan la revisión de expertos.
  • Liderarás rondas de calificación calibrando a los calificadores, midiendo el nivel de acuerdo y resolviendo desacuerdos.
  • Analizarás fallos de modelos, identificarás causas raíz y recomendarás mejoras.
  • Diseñarás y realizarás estudios rigurosos de comparación de modelos.
  • Validarás benchmarks en busca de contaminación, ambigüedad y saturación.
  • Diseñarás estudios de usuarios sobre cómo las personas califican e interactúan con las respuestas de los modelos.

Lo que buscamos

  • Al menos 5 años de experiencia en evaluación, pruebas o valoración, o al menos 5 años de experiencia en un dominio combinada con trabajo práctico de evaluación.
  • Experiencia diseñando un benchmark, plan de pruebas, examen o evaluación usado por otros.
  • Experiencia escribiendo o revisando rúbricas y respuestas de referencia, y revisando o liderando calificadores o redactores de preguntas.
  • Dominio de Python y de herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
  • Experiencia analizando fallos de modelos o pruebas y recomendando soluciones.
  • Formación en evaluación de ML, QA, ingeniería de pruebas, psicometría, diseño de evaluaciones, investigación de UX, ciencia de datos o experiencia profunda en una materia.
  • Comunicación escrita clara en inglés.
  • Es relevante tener experiencia validando benchmarks, midiendo el acuerdo entre calificadores, realizando comparaciones de modelos o dirigiendo estudios de usuarios.

Compensación y beneficios

La compensación es de $75 a $175 por hora, según el proyecto, el campo y el nivel de experiencia. El pago se basa en las horas trabajadas.

Ubicación

Totalmente remoto. Los proyectos pueden durar desde una semana hasta varios meses.

Rango salarial: $156K - $364K

Publicado originalmente en Himalayas.

Oferta publicada originalmente en Himalayas. Enlace comprobado el .