Senior Data Engineer

Descripción General

Buscamos un Senior Data Engineer experimentado para unirse a nuestro equipo de BI y tomar un papel activo en el diseño, construcción y mantenimiento del pipeline de datos de extremo a extremo, arquitectura y diseño que potencia nuestro almacén, aplicaciones impulsadas por LLM e IA basadas en BI.

IDT Corporation es una empresa global de comunicaciones fundada en 1990 y con sede en Newark, Nueva Jersey. Somos líderes de la industria en servicios de comunicación y pago prepagados y uno de los mayores transportistas de voz internacional. Estamos cotizados en NYSE, empleamos a más de 1800 personas en 20 países y tenemos más de $1.5 mil millones en ingresos.

Nuestra marca insignia, BOSS Revolution, ofrece Transferencia de Dinero, Llamadas Internacionales y servicios de Recarga Móvil, y respalda la misión de IDT de permitir que las personas se mantengan en contacto y compartan recursos con familia y amigos en todo el mundo.

Requisitos

• 8+ años de experiencia como Data Engineer
• Experiencia demostrada utilizando Python para tareas de ingeniería de datos, incluyendo transformación, manipulación avanzada de datos y procesamiento de datos a gran escala
• Experiencia práctica con tecnologías de big data incluyendo Apache Spark, Hadoop y Kafka para procesamiento distribuido e ingesta de datos en tiempo real
• Experiencia en el diseño de pipelines de datos complejos extrayendo datos de fuentes RDBMS, JSON, API y archivos planos
• Habilidades demostradas en programación SQL y PL/SQL, con dominio avanzado en metodologías de Business Intelligence y almacenamiento de datos, junto con experiencia práctica en uno o más sistemas de base de datos relacionales y servicios de base de datos basados en la nube como Snowflake/Redshift
• Comprensión de principios de ingeniería de software y experiencia trabajando en sistemas operativos Unix/Linux/Windows, y experiencia con metodologías Agile
• Competencia en sistemas de control de versiones, con experiencia en gestión de repositorios de código, ramificación, fusión y colaboración en un entorno de desarrollo distribuido
• Interés en operaciones comerciales y comprensión integral de cómo los sistemas de BI robustos impulsan la rentabilidad corporativa al permitir la toma de decisiones basada en datos e información estratégica
• Habilidades efectivas de comunicación oral y escrita en inglés con el equipo de BI y comunidad de usuarios

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos escalables para respaldar la ingesta, transformación y entrega en almacenes de características centralizados, flujos de entrenamiento de modelos y servicios de inferencia en tiempo real
• Construir y optimizar flujos de trabajo para extraer, almacenar y recuperar representaciones semánticas de datos no estructurados para habilitar patrones de búsqueda y recuperación avanzados
• Arquitecualizar e implementar soluciones analíticas y de cuadro de mando ligeras que brinden experiencia de consulta en lenguaje natural e información respaldada por IA
• Definir y ejecutar procesos para gestionar técnicas de ingeniería de prompts, flujos de orquestación y rutinas de ajuste fino de modelos para potenciar interfaces conversacionales
• Supervisar almacenes de datos vectoriales y desarrollar metodologías de indexación eficientes para respaldar flujos de trabajo de generación aumentada por recuperación (RAG)
• Colaborar con stakeholders de datos para recopilar requisitos para iniciativas de modelo de lenguaje y traducirlos en soluciones escalables
• Crear y mantener documentación integral para todos los procesos de datos, flujos de trabajo y rutinas de implementación de modelos
• Deberás estar dispuesto a mantenerte informado y aprender metodologías emergentes en ingeniería de datos, MLOps y operaciones de LLM

Ventajas

• Experiencia con bases de datos vectoriales como DataStax AstraDB, y desarrollo de aplicaciones impulsadas por LLM usando frameworks de código abierto populares como LangChain y LlamaIndex, incluyendo ingeniería de prompts, generación aumentada por recuperación (RAG) y orquestación de flujos de trabajo inteligentes
• Familiaridad evaluando e integrando frameworks de LLM de código abierto como Hugging Face Transformers/LLaMA-4 en flujos de trabajo de extremo a extremo, incluyendo ajuste fino y optimización de inferencia
• Conocimiento de herramientas MLOps y pipelines CI/CD para gestionar versionamiento de modelos e implementaciones automatizadas

Ofrecemos

• ¡Oportunidad de trabajo remoto!
• Empleo B2B ($, bruto)
• Trabajo estable con perspectiva de crecimiento a largo plazo con personas talentosas alrededor
• Hardware realmente bueno
• Excelentes oportunidades de aprendizaje y crecimiento
• Compensación para capacitación profesional, seminarios y conferencias
• Programa de referencia: obtén recompensas por ayudarnos a crecer el equipo con personas talentosas
• Clases de inglés con apoyo de la empresa para mejorar tu crecimiento profesional