Engenheiro de Dados Sr. | PJ

MELLRO SERVICOS DE TI LTDA

Curitiba - PR

1 posição

Não informado

Integral

PJ
Remoto
Sênior
Imobiliário
Tecnologia

Buscamos um(a) Engenheiro(a) de Dados Sênior para desenhar, desenvolver e evoluir a arquitetura de dados da plataforma, integrando Databricks, AWS e PostgreSQL em uma estrutura escalável, segura e governada. Essa pessoa será responsável por construir e sustentar pipelines de dados, garantir a qualidade e disponibilidade das informações e otimizar soluções para consumo analítico, atuando também como referência técnica para o time.

 

Seus principais desafios e atividades
  • Desenhar e evoluir a arquitetura de dados da plataforma, utilizando Databricks, AWS e PostgreSQL.
  • Desenvolver, manter e sustentar pipelines ETL/ELT com PySpark, SQL e serviços AWS.
  • Implementar processos de ingestão de dados, incluindo cargas incrementais e CDC.
  • Estruturar e evoluir as camadas Bronze, Silver e Gold no Delta Lake.
  • Modelar e disponibilizar dados otimizados para consumo em ferramentas de BI, especialmente Power BI.
  • Administrar a governança de dados por meio do Unity Catalog, garantindo controle de acesso, rastreabilidade e linhagem.
  • Implementar testes e controles de qualidade, assegurando a integridade e confiabilidade das informações.
  • Monitorar pipelines, clusters e bancos de dados, identificando falhas e oportunidades de melhoria de performance e custos.
  • Atuar na resolução de incidentes e problemas relacionados às soluções de dados.
  • Aplicar boas práticas de segurança, privacidade e LGPD.
  • Estruturar e manter processos de CI/CD, versionamento de código e infraestrutura.
  • Participar de projetos de implementação, evolução e modernização da plataforma de dados.
  • Elaborar documentação técnica de arquitetura, pipelines, integrações e modelos de dados.
  • Atuar em parceria com stakeholders para levantamento de requisitos e definição de soluções.
  • Ser referência técnica para o time, revisando códigos, definindo padrões e apoiando profissionais de menor experiência.
  Requisitos imprescindíveis
  • Experiência mínima de 3 anos em Arquitetura ou Engenharia de Dados.
  • Experiência prática no desenvolvimento e sustentação de pipelines ETL/ELT em produção.
  • Domínio de Databricks, incluindo Delta Lake, arquitetura Lakehouse, Unity Catalog e Workflows/Jobs.
  • Experiência com AWS, especialmente S3, IAM, RDS/Aurora PostgreSQL e serviços de integração e automação.
  • Conhecimento avançado em PostgreSQL, incluindo modelagem, indexação, otimização de queries e estratégias de extração/CDC.
  • Domínio de SQL e Python.
  • Experiência com PySpark e processamento distribuído.
  • Conhecimento em modelagem de dados voltada para consumo analítico.
  • Experiência na disponibilização de dados para ferramentas de BI, preferencialmente Power BI.
  • Vivência com Git e versionamento colaborativo.
  • Conhecimentos de qualidade, segurança e governança de dados, incluindo LGPD.
  • Capacidade de levantamento e análise de requisitos junto às áreas de negócio.
  • Experiência com documentação técnica e de arquitetura.
  Buscamos alguém que tenha
  • Visão sistêmica e capacidade de desenhar soluções escaláveis.
  • Perfil analítico, investigativo e orientado à resolução de problemas.
  • Autonomia para conduzir projetos e tomar decisões técnicas.
  • Senso de responsabilidade sobre qualidade, segurança e confiabilidade dos dados.
  • Capacidade de identificar gargalos e propor melhorias de performance e custos.
  • Boa comunicação e facilidade para traduzir necessidades de negócio em soluções técnicas.
  • Postura colaborativa e habilidade para compartilhar conhecimento e apoiar o desenvolvimento do time.
  • Organização e atenção à documentação e padronização de processos.
  Diferenciais
  • Certificações Databricks (Data Engineer Associate/Professional) e/ou AWS.
  • Experiência com Terraform e Databricks Asset Bundles.
  • Conhecimentos de CI/CD e práticas de DevOps/DataOps, como GitHub Actions e GitLab CI.
  • Vivência com FinOps e otimização de custos em Databricks e AWS.
  • Experiência em projetos de migração ou modernização de plataformas de dados.
  • Experiência com administração do Metabase, incluindo modelos, permissões, cache e performance de consultas.
  Condições da vaga
  • Contratação: PJ
  • Atuação: Engenharia de Dados — Arquitetura e Plataforma de Dados.
  • Interface: Engenharia, Produto, BI e áreas de negócio.
  • Senioridade: Sênior. 

Requisitos

Escolaridade

  • Graduação
  • Tecnólogo
  • Pós Graduação

Idioma

  • Português - Domínio

Habilidade Técnica

  • Desenvolvimento de Pipelines
  • Modelagem e Governança de Dados
  • Performance e Otimização
  • Pensamento analítico
  • Comunicação e colaboração
  • Liderança técnica
  • Autonomia e proatividade
  • Arquitetura e Engenharia de Dados

Benefícios

  • day off
  • plataforma de bem estar
  • Ajuda de custo
  • Horário flexível

Localização

Avenida Visconde de Guarapuava, 3263, Centro, Curitiba - PR, Brasil, 80010-100