Engenheiro de qualidade senior – São Paulo

• Assegurar a qualidade e a integridade dos dados em todas as etapas dos processos de dados.
• Realizar testes e validações para identificar e corrigir inconsistências, garantindo que os dados estejam corretos e prontos para uso.
• Monitorar a integridade dos dados de forma contínua, implementando alertas e relatórios de qualidade.
• Colaborar com as equipes de engenharia e análise para implementar práticas de governança de dados e automação de validação de qualidade.

Requisitos Técnicos

• Conhecimento avançado em SQL para consultas e validação de dados.
• Experiência com ferramentas de teste de dados e conhecimento em governança de dados.
• Familiaridade com AWS, incluindo AWS Glue Data Catalog e AWS Lake Formation.
• Experiência em Python para automação de processos e scripts de validação de dados.

Habilidades Comportamentais

• Atenção minuciosa aos detalhes para garantir precisão e qualidade dos dados.
• Organização para gerenciar múltiplas tarefas e processos de validação.
• Proatividade para identificar e propor melhorias nos processos de qualidade de dados.

Experiência Desejável

• Experiência em empresas dos setores financeiro ou de crédito, com conhecimento das particularidades e regulamentações de dados nesses setores.

Principais Tecnologias e Ferramentas

• AWS Glue Data Catalog e AWS Lake Formation: Para catalogação e gerenciamento de dados.
• Amazon CloudWatch e AWS CloudTrail: Monitoramento e rastreamento de atividades nos ambientes de dados.
• Apache Spark e PySpark: Para processamento de dados em larga escala.
• Great Expectations e Deequ: Ferramentas para validação e teste de dados.
• Selenium ou Robot Framework: Para automação de testes.

Este profissional desempenhará um papel fundamental na garantia da qualidade dos dados e na implementação de processos robustos de validação, contribuindo para a confiabilidade e a eficiência das operações de dados na empresa.