Chaski EmpleosPublicar empleo
← Empleos remotos

Ingeniero de Inferencia de ML – Diseñador de Tareas Terminal-Bench (vLLM / SGLang / TensorRT-LLM)

Toptal

Todo el mundoVerificada
Contrato
Por proyecto
Categoría
Tecnología
Publicada
Ubicación según la fuente
Anywhere in the World

La oferta completa

Traducida al español. Original en Remote OK.

Vista general

Estamos construyendo un benchmark que mide qué tan bien los agentes de IA resuelven trabajo experto real en una terminal. Estamos contratando a expertos en inferencia y servicio de modelos de ML para convertir tareas reales y pagadas de su trabajo en desafíos de nivel experto para Terminal-Bench. Cada tarea incluye el entorno, una solución funcional y una verificación automatizada que demuestra que el resultado es correcto.

Este es un modelo de compensación por tarea. Revisa las preguntas de la postulación para más detalles.

Responsabilidades

  • Diseñarás tareas de Terminal-Bench de nivel experto que conviertan trabajo real y pagado de inferencia de ML de tu propia experiencia en desafíos que un agente de IA debe resolver de principio a fin.
  • Definirás los archivos, sistemas y entornos en los que corre cada tarea, como el servicio de modelos con streaming, para que el desafío sea realista, reproducible y resoluble desde la línea de comandos.
  • Escribirás una solución de referencia funcional para cada tarea y verificarás que se ejecuta de principio a fin, dimensionada para unos 60 a 75 minutos de esfuerzo experto.
  • Construirás verificaciones automatizadas que demuestren objetivamente que un resultado es correcto, incluidos los casos en que los resultados de ML fallan en silencio, como la deriva numérica o los errores en las métricas.
  • Empaquetarás las tareas con Docker y Git para que sean reproducibles, y documentarás los sistemas, herramientas, datos y reglas involucrados para que los revisores puedan validar la dificultad.
  • Iterarás sobre las tareas según la retroalimentación de los revisores y las pruebas de los agentes, ajustando la dificultad y corrigiendo ambigüedades para que cada tarea siga siendo de nivel experto, justa y evaluable de forma objetiva.

Habilidades y experiencia

  • Tienes 3 o más años de trabajo práctico en inferencia o servicio de modelos de ML (no solo estudiándolo, vendiéndolo o gestionándolo), o un doctorado más investigación activa en el subcampo.
  • Has hecho este trabajo en los últimos 3 años y puedes nombrar los sistemas, herramientas, datos y reglas que usaste.
  • Has entrenado, servido o evaluado modelos a escala real (multi-GPU o servicio en producción), no solo en notebooks o llamadas a APIs.
  • Tienes experiencia práctica con los internos de PyTorch o JAX y con stacks de servicio como vLLM, SGLang o TensorRT-LLM.
  • Puedes explicar cómo fallan los resultados de ML sin errores visibles (deriva numérica, errores en métricas) y cómo detectarlos.
  • Dominas Python y la línea de comandos, y trabajas con archivos, CSV/JSON, APIs o bases de datos.
  • Tienes disponibilidad para empezar a inicios de noviembre de 2026 y completar tareas de unos 60 a 75 minutos cada una.

Deseable

  • Experiencia en laboratorios de IA o infraestructura de LLM.
  • Contribuciones a PyTorch, vLLM o SGLang.
  • Experiencia en perfilado de GPU.
  • Dominio de Docker y Git.
  • Experiencia escribiendo pruebas automatizadas.

Proceso

  • Evaluación de tareas en lugar de entrevista: completarás una tarea de evaluación para que el cliente pueda valorar tu diseño de tareas.
  • Pago por tarea; cada tarea toma unos 60 a 75 minutos.
  • El trabajo se entrega tarea por tarea, con retroalimentación de los revisores sobre cada entrega.
  • Inicio esperado a inicios de noviembre de 2026.

Oferta publicada originalmente en Remote OK. Enlace comprobado el .