Mlops engineer
Digiage
Job Description
Junte-se à Digiage e ajude a escalar soluções de Inteligência Artificial e Engenharia de Dados com excelência operacional.
Estamos em busca de um(a) MLOps Engineer para atuar em projetos estratégicos em cliente de grande porte. Este profissional será responsável pelo desenho, implementação e sustentação de esteiras automatizadas para produtos de dados e modelos de Machine Learning, atuando como elo entre Engenharia de Dados, Ciência de Dados e Operações.
Seu principal objetivo será garantir governança, escalabilidade, automação e confiabilidade dos ambientes analíticos em Azure, apoiando a evolução contínua das soluções de dados e IA.
Responsabilidades e atribuições
- Desenvolver, implementar e sustentar pipelines de CI/CD para automação de testes, build e deploy de artefatos de dados e Machine Learning.
- Automatizar o ciclo de vida completo de modelos de Machine Learning, incluindo treinamento, versionamento, validação, implantação e monitoramento em produção.
- Implementar esteiras de DataOps e MLOps para produtos de dados utilizando as melhores práticas de automação e governança.
- Desenvolver e manter pipelines para workloads em Azure Databricks, Azure Data Factory e demais serviços da plataforma Azure.
- Implementar monitoramento, observabilidade e alertas para qualidade de dados, performance de pipelines e disponibilidade dos ambientes.
- Monitorar a performance de modelos em produção, acompanhando indicadores como data drift, concept drift e métricas operacionais.
- Trabalhar em parceria com Engenheiros de Dados, Cientistas de Dados e equipes de desenvolvimento para garantir a disponibilização de soluções analíticas em produção.
- Aplicar boas práticas de versionamento, segurança, rastreabilidade e governança de artefatos de dados e modelos.
- Apoiar iniciativas de otimização de performance, escalabilidade e custos dos ambientes em nuvem.
Requisitos mínimos
Requisitos mínimos
- Engenharia de Dados
- Experiência sólida com Azure Databricks e Apache Spark.
- Conhecimento avançado no ecossistema Azure:
- Azure Data Factory
- Azure Data Lake Storage Gen2
- Azure Synapse Analytics
- Azure Key Vault
- DataOps e Infraestrutura
- Experiência com Git e estratégias de versionamento.
- Vivência com Azure DevOps, incluindo Azure Repos e Azure Pipelines.
- Conhecimento na construção de pipelines CI/CD para projetos de dados.
- Experiência com monitoramento utilizando Azure Monitor, Log Analytics ou ferramentas equivalentes.
- MLOps
- Experiência com MLflow para rastreamento de experimentos e versionamento de modelos.
- Conhecimento em Azure Machine Learning para gerenciamento do ciclo de vida de modelos.
- Experiência na publicação de modelos para inferência em tempo real (Real-Time Endpoints) e processamento em lote (Batch Endpoints).
- Familiaridade com Docker para empacotamento de aplicações.
- Conhecimento em Azure Container Registry (ACR).
- Experiência com Azure Kubernetes Service (AKS) para disponibilização de serviços de Machine Learning.
Diferenciais
- Experiência com Terraform ou Bicep para Infraestrutura como Código (IaC).
- Conhecimento em arquiteturas Lakehouse.
- Experiência com Delta Lake.
- Conhecimento em Unity Catalog.
- Conhecimento em observabilidade utilizando Prometheus e Grafana.
- Experiência com IA Generativa, LLMOps ou aplicações baseadas em modelos generativos.
- Certificações Microsoft Azure (AZ-400, DP-203, DP-100 ou AI-102).
Contrato: Período Integral
Educação mínima: Superior
Nível profissional: Alguma responsabilidade