Arquiteto de dados

Job Description

A Genesis Consulting está com uma oportunidade imediata para Arquiteto(a) de Dados GCP experiente, com forte conhecimento técnico e verdadeira paixão por resolução de problemas complexos através da tecnologia. O profissional fará parte de um projeto estratégico com foco na revisão e otimização da arquitetura de dados em Google Cloud Platform, buscando aumento de eficiência, escalabilidade, governança e redução significativa dos custos de processamento em BigQuery.

Buscamos um perfil sênior, consultivo e hands-on, capaz de atuar desde a definição e revisão da arquitetura até a implementação das melhorias necessárias no ambiente.

Perfil técnico:

• Sólida experiência com Google Cloud Platform (GCP) e BigQuery, atuando em ambientes corporativos de dados de grande volume;
• Experiência em arquitetura, otimização e sustentação de plataformas de dados em cloud;
• Conhecimento avançado de arquitetura de Data Lake, incluindo organização e otimização das camadas Raw, Sub-Raw, Silver, Gold e Platinum;
• Experiência no desenho de estratégias de processamento incremental, evitando reprocessamentos e leituras desnecessárias de grandes volumes de dados;
• Conhecimento avançado de otimização de tabelas no BigQuery, incluindo particionamento, clustering, cargas incrementais e otimização de queries;
• Experiência em análise de performance e custos de processamento no BigQuery;
• Conhecimento de estratégias para tratamento e processamento de tabelas SAP de grande volume;
• Experiência com integração e ingestão de dados provenientes de ambientes como SAP e Salesforce;
• Conhecimento de ferramentas e tecnologias de integração como Airbyte, Apache Airflow, DAGs e CDC – Change Data Capture;
• Capacidade de revisar pipelines de ingestão e processamento de dados, identificando oportunidades de melhoria de performance e redução de custos;
• Conhecimento de arquitetura de dados transacional e analítica, incluindo definição adequada de workloads para cada tipo de processamento;
• Capacidade de avaliar alternativas tecnológicas, incluindo utilização de bancos como PostgreSQL para workloads transacionais e atualizações operacionais frequentes;
• Experiência com práticas de FinOps aplicadas a dados e cloud, incluindo análise de baseline de consumo, monitoramento de custos e identificação de oportunidades de otimização;
• Capacidade de estruturar mecanismos de acompanhamento da economia obtida através das otimizações implementadas;
• Conhecimento de modelos de alocação e visibilidade de custos por área, domínio, projeto ou unidade de negócio;
• Experiência com governança de ambientes BigQuery, incluindo organização de projetos por domínio ou área de negócio;
• Conhecimento de IAM, permissões, grupos de acesso e estratégias de consumo cross-project dentro do GCP;
• Capacidade de analisar criticamente decisões arquiteturais existentes e propor alternativas tecnicamente sustentáveis e economicamente eficientes;
• Experiência prática em troubleshooting, produção e sustentação de ambientes de dados críticos;
• Perfil hands-on, com capacidade de implementar diretamente soluções e otimizações propostas.

Atuação:

• Atuar na revisão da arquitetura atual de dados em GCP e BigQuery, identificando oportunidades de redução de processamento e consumo;
• Estabelecer baseline técnico e financeiro do ambiente atual para acompanhamento dos ganhos obtidos;
• Trabalhar com meta indicativa de redução entre 50% e 60% dos custos de processamento, condicionada às oportunidades identificadas durante a análise técnica do ambiente;
• Revisar arquitetura, modelagem, pipelines, tabelas, queries e estratégias de processamento atualmente utilizadas;
• Definir e implementar estratégias de processamento incremental e otimização das diferentes camadas do Data Lake;
• Revisar workloads transacionais e analíticos, recomendando a arquitetura mais adequada para cada cenário;
• Apoiar a evolução da governança do BigQuery, incluindo estrutura de projetos, domínios, permissões e consumo entre projetos;
• Estruturar indicadores para acompanhamento de consumo, performance e economia gerada pelas iniciativas de otimização;
• Atuar de forma consultiva junto às equipes técnicas, questionando decisões arquiteturais e propondo soluções alinhadas às melhores práticas de arquitetura, performance e FinOps;
• Participar diretamente da implementação, validação, produção e sustentação das melhorias propostas;
• Atuação em projeto estratégico de otimização e evolução de plataforma de dados em ambiente corporativo de grande escala.

Other

• English – Advanced (Diferencial)
• Google Cloud Certifications (Diferencial)