Engenheiro de Dados Sr. | PJ
MELLRO SERVICOS DE TI LTDACuritiba - PR
1 posição
Não informado
Integral
PJ
Remoto
Sênior
Imobiliário
Tecnologia
Buscamos um(a) Engenheiro(a) de Dados Sênior para desenhar, desenvolver e evoluir a arquitetura de dados da plataforma, integrando Databricks, AWS e PostgreSQL em uma estrutura escalável, segura e governada. Essa pessoa será responsável por construir e sustentar pipelines de dados, garantir a qualidade e disponibilidade das informações e otimizar soluções para consumo analítico, atuando também como referência técnica para o time.
Seus principais desafios e atividades
- Desenhar e evoluir a arquitetura de dados da plataforma, utilizando Databricks, AWS e PostgreSQL.
- Desenvolver, manter e sustentar pipelines ETL/ELT com PySpark, SQL e serviços AWS.
- Implementar processos de ingestão de dados, incluindo cargas incrementais e CDC.
- Estruturar e evoluir as camadas Bronze, Silver e Gold no Delta Lake.
- Modelar e disponibilizar dados otimizados para consumo em ferramentas de BI, especialmente Power BI.
- Administrar a governança de dados por meio do Unity Catalog, garantindo controle de acesso, rastreabilidade e linhagem.
- Implementar testes e controles de qualidade, assegurando a integridade e confiabilidade das informações.
- Monitorar pipelines, clusters e bancos de dados, identificando falhas e oportunidades de melhoria de performance e custos.
- Atuar na resolução de incidentes e problemas relacionados às soluções de dados.
- Aplicar boas práticas de segurança, privacidade e LGPD.
- Estruturar e manter processos de CI/CD, versionamento de código e infraestrutura.
- Participar de projetos de implementação, evolução e modernização da plataforma de dados.
- Elaborar documentação técnica de arquitetura, pipelines, integrações e modelos de dados.
- Atuar em parceria com stakeholders para levantamento de requisitos e definição de soluções.
- Ser referência técnica para o time, revisando códigos, definindo padrões e apoiando profissionais de menor experiência.
- Experiência mínima de 3 anos em Arquitetura ou Engenharia de Dados.
- Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT em produção.
- Domínio de Databricks, incluindo Delta Lake, arquitetura Lakehouse, Unity Catalog e Workflows/Jobs.
- Experiência com AWS, especialmente S3, IAM, RDS/Aurora PostgreSQL e serviços de integração e automação.
- Conhecimento avançado em PostgreSQL, incluindo modelagem, indexação, otimização de queries e estratégias de extração/CDC.
- Domínio de SQL e Python.
- Experiência com PySpark e processamento distribuído.
- Conhecimento em modelagem de dados voltada para consumo analítico.
- Experiência na disponibilização de dados para ferramentas de BI, preferencialmente Power BI.
- Vivência com Git e versionamento colaborativo.
- Conhecimentos de qualidade, segurança e governança de dados, incluindo LGPD.
- Capacidade de levantamento e análise de requisitos junto às áreas de negócio.
- Experiência com documentação técnica e de arquitetura.
- Visão sistêmica e capacidade de desenhar soluções escaláveis.
- Perfil analítico, investigativo e orientado à resolução de problemas.
- Autonomia para conduzir projetos e tomar decisões técnicas.
- Senso de responsabilidade sobre qualidade, segurança e confiabilidade dos dados.
- Capacidade de identificar gargalos e propor melhorias de performance e custos.
- Boa comunicação e facilidade para traduzir necessidades de negócio em soluções técnicas.
- Postura colaborativa e habilidade para compartilhar conhecimento e apoiar o desenvolvimento do time.
- Organização e atenção à documentação e padronização de processos.
- Certificações Databricks (Data Engineer Associate/Professional) e/ou AWS.
- Experiência com Terraform e Databricks Asset Bundles.
- Conhecimentos de CI/CD e práticas de DevOps/DataOps, como GitHub Actions e GitLab CI.
- Vivência com FinOps e otimização de custos em Databricks e AWS.
- Experiência em projetos de migração ou modernização de plataformas de dados.
- Experiência com administração do Metabase, incluindo modelos, permissões, cache e performance de consultas.
- Contratação: PJ
- Atuação: Engenharia de Dados — Arquitetura e Plataforma de Dados.
- Interface: Engenharia, Produto, BI e áreas de negócio.
- Senioridade: Sênior.
Requisitos
Escolaridade
- Graduação
- Tecnólogo
- Pós Graduação
Idioma
- Português - Domínio
Habilidade Técnica
- Desenvolvimento de Pipelines
- Modelagem e Governança de Dados
- Performance e Otimização
- Pensamento analítico
- Comunicação e colaboração
- Liderança técnica
- Autonomia e proatividade
- Arquitetura e Engenharia de Dados
Benefícios
- day off
- plataforma de bem estar
- Ajuda de custo
- Horário flexível
Localização
Avenida Visconde de Guarapuava, 3263, Centro, Curitiba - PR, Brasil, 80010-100