Forward-Deployed RL Engineer | Ingénieur·e Forward Deployed en apprentissage par renforcement

Role Summary

We are seeking a Reinforcement Learning Engineer with experience manipulating virtual environments to train autonomous agents. This role focuses on the design of robust simulation environments, reward structures, and policy architectures that can navigate complex, multi-sensor landscapes. 

Responsibilities

• Cross-Functional Coordination: Work with partner ML and Annotation engineers and TPMs to spec out data, simulation, and training requirements.
• Environment Design: Build and maintain high-fidelity 2D/3D simulation environments (using tools like Unity, Unreal, or Isaac Sim) that serve as the training ground for RL agents.
• Reward Engineering: Design and tune complex reward functions that align agent behavior with product goals and safety constraints.
• Algorithm Implementation: Develop and optimize RL algorithms (e.g., PPO, SAC, or Offline RL) capable of handling high-dimensional 3D observation spaces.
• Sim-to-Real Strategy: Analyze the "reality gap" and implement domain randomization or adaptation techniques to ensure models perform reliably in real-world scenarios.

Résumé du poste

Nous recherchons une personne Ingénieur·e Forward Deployed en apprentissage par renforcement ayant de l’expérience dans la manipulation d’environnements virtuels pour entraîner des agents autonomes. Ce poste est axé sur la conception d’environnements de simulation robustes, de structures de récompense et d’architectures de politiques capables d’évoluer dans des environnements complexes et multi-capteurs

Responsabilités

• Coordination interfonctionnelle : Collaborer avec des personnes ingénieur·e·s en ML et en annotation ainsi qu’avec des TPM afin de définir les exigences en matière de données, de simulation et d’entraînement.
• Conception d’environnements : Concevoir et maintenir des environnements de simulation 2D/3D haute fidélité (à l’aide d’outils tels que Unity, Unreal ou Isaac Sim) servant de terrain d’entraînement pour les agents d’apprentissage par renforcement.
• Ingénierie des récompenses : Concevoir et ajuster des fonctions de récompense complexes afin d’aligner le comportement des agents avec les objectifs du produit et les contraintes de sécurité.
• Implémentation d’algorithmes : Développer et optimiser des algorithmes d’apprentissage par renforcement (p. ex., PPO, SAC ou RL hors ligne) capables de gérer des espaces d’observation 3D de grande dimension.
• Stratégie simulation-vers-réel : Analyser l’« écart de réalité » et mettre en œuvre des techniques de randomisation de domaine ou d’adaptation afin d’assurer des performances fiables des modèles en conditions réelles.

Basic Qualifications

• Education: Graduate degree (Master’s or PhD) in Robotics, Computer Science, AI, or a related field with a focus on Reinforcement Learning, Imitation Learning, or other Online Machine Learning fields. 
• Professional Experience: Proven experience as an RL Engineer or Research Engineer in a fast-paced environment. 
• Industry Context: Prior experience in industries with complex multi-disciplinary teams such as robotics, smart grids, precision agriculture, game development, or aerospace. 
• Technical Proficiency: 
• Core Tools: Fluency with Python, Git, and the Unix shell. 
• RL Frameworks: Deep familiarity with frameworks like Ray Rllib, Stable Baselines3, or CleanRL. 
• Physics & 3D Engines: Experience with physics engines (MuJoCo, Bullet) or 3D game engines. 
• Ecosystem: Familiarity with collaborative tools such as Jira/Confluence, Slack, a Git server, and an experiment tracking framework. 

Desired Characteristics

• Strong Mathematical Background: Essential for understanding Markov Decision Processes (MDPs) and gradient-based optimization.
• High Attention to Detail: Critical for debugging non-deterministic agent behaviors and ensuring environment parity.

Eligibility Requirements

• Interested candidates must apply to be considered.
• Must be willing to work in our Montreal office a minimum of 4 days a week.
• Must be legally authorized to work in Canada.
• Must be willing to travel for work related business, if necessary

Qualifications de base

• Formation : Diplôme de deuxième ou troisième cycle (maîtrise ou doctorat) en robotique, informatique, IA ou dans un domaine connexe, avec une spécialisation en apprentissage par renforcement, apprentissage par imitation ou autres domaines d’apprentissage automatique en ligne.
• Expérience professionnelle : Expérience démontrée en tant que personne Ingénieur·e en apprentissage par renforcement ou Ingénieur·e de recherche dans un environnement dynamique.
• Contexte industriel : Expérience préalable dans des secteurs regroupant des équipes multidisciplinaires complexes, tels que la robotique, les réseaux intelligents, l’agriculture de précision, le développement de jeux ou l’aérospatiale.
• Compétences techniques :
• Outils de base : Maîtrise de Python, Git et de l’environnement shell Unix.
• Cadres RL : Solide expertise avec des frameworks tels que Ray Rllib, Stable Baselines3 ou CleanRL.
• Moteurs physiques et 3D : Expérience avec des moteurs physiques (MuJoCo, Bullet) ou des moteurs de jeux 3D.
• Écosystème : Familiarité avec des outils collaboratifs tels que Jira/Confluence, Slack, un serveur Git et un cadre de suivi des expériences.

Atouts souhaités

• Les personnes intéressées doivent soumettre leur candidature pour être considérées.  
• Doit être disposé·e à travailler dans notre bureau de Montréal au minimum 4 jours par semaine.        
• Doit être légalement autorisé·e à travailler au Canada.
• Doit être disposé·e à voyager pour des besoins professionnels, au besoin   

Exigences d’admissibilité

• Les personnes intéressées doivent soumettre leur candidature afin d’être considérées.            
• Doit être disposé·e à travailler dans nos bureaux de Montréal au minimum quatre (4) jours par semaine.                 
• Doit être légalement autorisé·e à travailler au Canada.
• Doit être disposé·e à se déplacer pour des raisons professionnelles, au besoin.

As part of our selection process, external candidates may be required to attend an in-person interview with an NBCUniversal employee at one of our locations prior to a hiring decision. NBCUniversal's policy is to provide equal employment opportunities to all applicants and employees without regard to race, color, religion, creed, gender, gender identity or expression, age, national origin or ancestry, citizenship, disability, sexual orientation, marital status, pregnancy, veteran status, membership in the uniformed services, genetic information, or any other basis protected by applicable law.

If you are a qualified individual with a disability or a disabled veteran and require support throughout the application and/or recruitment process as a result of your disability, you have the right to request a reasonable accommodation. You can submit your request to AccessibilitySupport@nbcuni.com.