Bolsa de talento experto en evals y benchmarks (Associate)
Clera
Todo el mundoVerificada
USD 30 a 60 por hora
- Contrato
- Tiempo completo
- Categoría
- Tecnología
- Publicada
- Ubicación según la fuente
- Worldwide
La oferta completa
Traducida al español. Original en Himalayas.
Sobre el puesto
Únete a una bolsa de talento especializada que apoya proyectos de datos humanos para evaluar modelos de IA. Ayudarás a diseñar y ejecutar evaluaciones que miden las capacidades de los modelos y contribuirás a la investigación en seguridad y capacidades de la IA.
Qué harás
- Escribirás preguntas y tareas que aíslen y prueben capacidades específicas de los modelos.
- Desarrollarás rúbricas que definan respuestas fuertes, parciales y deficientes.
- Crearás respuestas de referencia y casos límite para desafiar a los modelos de IA.
- Calificarás las salidas de los modelos según las rúbricas y explicarás tus decisiones de puntuación.
- Analizarás las respuestas fallidas, agruparás patrones de error y documentarás los hallazgos.
- Compararás varios modelos usando los mismos prompts.
- Validarás benchmarks y marcarás preguntas comprometidas o poco efectivas.
- Participarás en pequeños estudios de usuarios que evalúen calificaciones o interacciones con las respuestas de los modelos.
Lo que buscamos
- Entre cero y cinco años de experiencia profesional.
- Experiencia en QA o ingeniería de pruebas, diseño de evaluaciones, psicometría, investigación de UX, análisis de datos, evaluación de ML, apoyo a investigación o trabajo en una materia relevante que incluya redacción de preguntas.
- Experiencia escribiendo casos de prueba, preguntas de examen, rúbricas o tareas de evaluación, y revisando trabajo de forma consistente frente a criterios escritos.
- Comodidad usando hojas de cálculo o Python para organizar y analizar resultados, e identificando y documentando patrones de error.
- Es útil tener experiencia con herramientas de evaluación como Inspect, lm-eval-harness, HELM o promptfoo.
- Comunicación escrita clara y capacidad para comparar salidas de modelos de IA o participar en estudios de usuarios y de calificación.
Compensación y beneficios
La compensación es de $30 a $60 por hora, según el proyecto, el campo y la experiencia. El pago se basa en las horas trabajadas.
Ubicación
Totalmente remoto. Los proyectos suelen durar desde una semana hasta varios meses.
Rango de compensación: $62.4K - $124.8K
Publicado originalmente en Himalayas.
Oferta publicada originalmente en Himalayas. Enlace comprobado el .