Engenheiro(a) de Dados Sênior

🚀 Sobre a vaga Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar na evolução, sustentação e modernização da plataforma de dados da Farmarcas.

A pessoa será responsável por liderar tecnicamente iniciativas de engenharia de dados, apoiando a evolução de pipelines, modelagens analíticas, integrações, governança, observabilidade e migração de processos legados para um stack moderno baseado em Apache Airflow, dbt, Airbyte e AWS.(case de A)

Além disso, o profissional deverá ter experiência em frentes de AI, Machine Learning ou GenAI, contribuindo para a construção de bases confiáveis, governadas e escaláveis para consumo por modelos, agentes, aplicações analíticas e soluções inteligentes. 🛠️ Responsabilidades

• Liderar tecnicamente o desenvolvimento, evolução e sustentação de pipelines de dados utilizando Apache Airflow;

• Projetar e revisar arquiteturas de dados escaláveis, resilientes e orientadas a boas práticas de engenharia;

• Definir e disseminar padrões técnicos para DAGs, modelagens, integrações, versionamento, testes e documentação;

• Estruturar e evoluir modelagens analíticas no dbt, garantindo padronização entre camadas staging, intermediate e marts;

• Apoiar a estruturação de bases de dados preparadas para consumo por iniciativas de AI, Machine Learning, GenAI, agentes ou aplicações analíticas avançadas;

• Atuar em conjunto com times de dados, analytics e AI para garantir qualidade, rastreabilidade, disponibilidade e confiabilidade das informações utilizadas em modelos e soluções inteligentes;

• Contribuir com práticas de feature engineering, preparação de datasets, curadoria de dados e estruturação de dados para experimentação e produção de modelos;

• Apoiar, quando aplicável, iniciativas envolvendo RAG, bases vetoriais, embeddings, classificação, predição, recomendação ou automações baseadas em IA;

• Configurar, otimizar e monitorar integrações via Airbyte, incluindo cargas batch e conectores CDC;

• Atuar fortemente no stack AWS, especialmente Glue, Athena, S3 e Glue Catalog, com foco em performance, estabilidade e otimização de custos;

• Liderar tecnicamente iniciativas de migração de processos legados, como Pentaho para novo stack, garantindo equivalência funcional e melhoria de eficiência;

• Apoiar o time em troubleshooting, code reviews, refinamentos técnicos e decisões arquiteturais;

• Contribuir para a organização do backlog técnico, priorização de débitos e definição de roadmap evolutivo da plataforma de dados;

• Mentorar profissionais menos experientes e contribuir para a evolução da cultura de engenharia de dados.
  

✅ Requisitos Técnicos

• Experiência sólida em engenharia de dados e construção de pipelines modernos em ambientes produtivos;

• Domínio avançado de Apache Airflow, incluindo DAGs complexas, sensores, retries, dependências, modularização e observabilidade;

• Experiência robusta com dbt, incluindo modelagem analítica, macros, testes, documentação, lineage e boas práticas de versionamento;

• Vivência com Airbyte, incluindo configuração, troubleshooting e gestão de conectores batch e CDC;

• Conhecimento avançado em Python para automações, integrações, processamento e preparação de dados;

• Experiência sólida com AWS Glue, Athena, S3 e Glue Catalog;

• Proficiência em SQL avançado e modelagem de dados;

• Experiência com camadas analíticas, como bronze/silver/gold ou staging/intermediate/marts;

• Experiência com governança, qualidade, observabilidade e confiabilidade de dados;

• Experiência prática em projetos ou frentes relacionadas a AI, Machine Learning, GenAI, modelos preditivos, agentes, RAG ou aplicações inteligentes baseadas em dados;

• Capacidade de estruturar dados para uso em modelos, experimentações, pipelines de ML ou produtos analíticos avançados;

• Vivência com ambientes produtivos de alta volumetria e criticidade;

• Experiência com Git, CI/CD e boas práticas de engenharia de software aplicadas a dados;

• Capacidade de liderança técnica, tomada de decisão e influência em discussões arquiteturais.

  
  

💡 Diferenciais

• Experiência com Pentaho/PDI e projetos de migração de legados;

• Conhecimento em Terraform e infraestrutura como código para ambientes de dados;

• Vivência com ferramentas de qualidade e observabilidade, como Great Expectations, dbt tests avançados, OpenLineage ou similares;

• Experiência com pipelines de dados para ML Ops, feature stores, bases vetoriais, embeddings ou aplicações GenAI;

• Experiência em varejo, farmacêutico, distribuição ou ambientes com alta complexidade operacional;

• Experiência mentorando profissionais plenos ou juniores.

📌 Informações adicionais

• Híbrido - 2x na semana na Vila Mariana | PJ | Full time (40h/semana).

• Recesso remunerado, Gympass e parcerias exclusivas para cursos e certificações.

📩 Interessado(a)? Candidate-se e/ou envie seu currículo para leticia.silva@cognitivo.ai