Bolsa de talento experto, evaluaciones y benchmarks
Clera
Todo el mundoVerificada
USD 75 a 175 por hora
- Contrato
- Por proyecto
- Categoría
- Datos
- Publicada
- Ubicación según la fuente
- Worldwide
La oferta completa
Traducida al español. Original en Himalayas.
Sobre el puesto
Únete a una red de expertos senior en evaluación que dan soporte a proyectos de investigación en IA. Liderarás el diseño de benchmarks, su validación y las operaciones de calificación cuando los proyectos se alineen con tu experiencia, ayudando a producir evaluaciones rigurosas y confiables de modelos de IA.
Qué harás
- Diseñarás benchmarks, incluyendo su alcance, tipos de preguntas, niveles de dificultad y métodos de puntuación.
- Escribirás y revisarás rúbricas para asegurar una calificación consistente.
- Desarrollarás respuestas de referencia (gold standard) y conjuntos de prueba que resistan la revisión de expertos.
- Liderarás rondas de calificación calibrando a los calificadores, midiendo el nivel de acuerdo y resolviendo desacuerdos.
- Analizarás fallos de modelos, identificarás causas raíz y recomendarás mejoras.
- Diseñarás y realizarás estudios rigurosos de comparación de modelos.
- Validarás benchmarks en busca de contaminación, ambigüedad y saturación.
- Diseñarás estudios de usuarios sobre cómo las personas califican e interactúan con las respuestas de los modelos.
Lo que buscamos
- Al menos 5 años de experiencia en evaluación, pruebas o valoración, o al menos 5 años de experiencia en un dominio combinada con trabajo práctico de evaluación.
- Experiencia diseñando un benchmark, plan de pruebas, examen o evaluación usado por otros.
- Experiencia escribiendo o revisando rúbricas y respuestas de referencia, y revisando o liderando calificadores o redactores de preguntas.
- Dominio de Python y de herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
- Experiencia analizando fallos de modelos o pruebas y recomendando soluciones.
- Formación en evaluación de ML, QA, ingeniería de pruebas, psicometría, diseño de evaluaciones, investigación de UX, ciencia de datos o experiencia profunda en una materia.
- Comunicación escrita clara en inglés.
- Es relevante tener experiencia validando benchmarks, midiendo el acuerdo entre calificadores, realizando comparaciones de modelos o dirigiendo estudios de usuarios.
Compensación y beneficios
La compensación es de $75 a $175 por hora, según el proyecto, el campo y el nivel de experiencia. El pago se basa en las horas trabajadas.
Ubicación
Totalmente remoto. Los proyectos pueden durar desde una semana hasta varios meses.
Rango salarial: $156K - $364K
Publicado originalmente en Himalayas.
Oferta publicada originalmente en Himalayas. Enlace comprobado el .