senior data platform engineer (kafka & databricks).
- rio das ostras, rio de janeiro
- posted 15 september 2026
- closes 14 march 2027
job details
summary
- rio das ostras, rio de janeiro
- R$18,001 - R$20,000 per month
- permanent
- job categoryinformation technology
job details
A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um Senior Data Platform Engineer para atuar na construção e evolução do Common Data Backbone (CDB), uma plataforma estratégica para integração, governança e descoberta de dados em escala global.
...
Sobre a Oportunidade O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise.
O Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS.
Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch.
Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ).
Garantir a conformidade com requisitos de segurança e auditoria (ISO27001).
Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks.
Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional.
O Que Estamos Procurando
Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção.
Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft.
Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes.
Familiaridade com Databricks Structured Streaming e Kafka Connect.
Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters.
Proficiência em Infraestrutura como Código (preferencialmente Terraform).
Familiaridade com pipelines CI/CD para configuração de clusters e tópicos.
Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs.
Estratégias de recuperação de desastres.
Fortes habilidades de script (Bash, Python) para automação e ferramentas.
Excelentes habilidades de documentação e comunicação.
Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ).
Pontos Bônus (Diferenciais)
Conhecimento em Schema Registry (Protobuf) e governança de schemas.
Experiência anterior trabalhando com dados geoespaciais.
show moreO Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS.
Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch.
Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ).
Garantir a conformidade com requisitos de segurança e auditoria (ISO27001).
Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks.
Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional.
O Que Estamos Procurando
Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção.
Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft.
Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes.
Familiaridade com Databricks Structured Streaming e Kafka Connect.
Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters.
Proficiência em Infraestrutura como Código (preferencialmente Terraform).
Familiaridade com pipelines CI/CD para configuração de clusters e tópicos.
Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs.
Estratégias de recuperação de desastres.
Fortes habilidades de script (Bash, Python) para automação e ferramentas.
Excelentes habilidades de documentação e comunicação.
Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ).
Pontos Bônus (Diferenciais)
Conhecimento em Schema Registry (Protobuf) e governança de schemas.
Experiência anterior trabalhando com dados geoespaciais.
A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um Senior Data Platform Engineer para atuar na construção e evolução do Common Data Backbone (CDB), uma plataforma estratégica para integração, governança e descoberta de dados em escala global.
Sobre a Oportunidade O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise.
O Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS. ...
Sobre a Oportunidade O CDB conecta múltiplos serviços de nuvem e aplicações finais utilizando Apache Kafka para orquestração de eventos e serviços de integração. Você fortalecerá o time expandindo a infraestrutura Kafka e a implementação do Databricks na AWS, com foco em segurança de clusters, gerenciamento de ciclo de vida, tuning de performance, pipelines Databricks e engenharia de confiabilidade (SRE) em padrões enterprise.
O Que Você Fará
Projetar, implantar e manter clusters Kafka seguros e de alta disponibilidade na AWS (MSK ou autogerenciados).
Realizar planejamento de capacidade, ajuste de desempenho e dimensionamento proativo ( proactive scaling ).
Automatizar a infraestrutura e a configuração utilizando os princípios do Terraform e GitOps.
Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS. ...
Implementar observabilidade: métricas, dashboards no Grafana, alarmes no CloudWatch.
Desenvolver runbooks para resposta a incidentes, recuperação de desastres ( disaster recovery ) e atualizações contínuas ( rolling upgrades ).
Garantir a conformidade com requisitos de segurança e auditoria (ISO27001).
Colaborar com as equipes de desenvolvimento para fornecer as melhores práticas do Kafka para microsserviços .NET e jobs de streaming do Databricks.
Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO.
Impulsionar a melhoria contínua na otimização de custos, confiabilidade e maturidade operacional.
O Que Estamos Procurando
Mais de 5 anos de experiência em funções de plataforma de dados, plataforma em nuvem, SRE, DevOps ou engenharia de infraestrutura, incluindo pelo menos 3 anos de experiência prática operando Kafka em ambientes de produção.
Forte conhecimento dos componentes internos do Kafka: partições, replicação, ISR, quorum do controlador, KRaft.
Experiência (Expertise) em serviços AWS: VPC, EC2, MSK, IAM, Secrets Manager, redes.
Familiaridade com Databricks Structured Streaming e Kafka Connect.
Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs e design seguro de clusters.
Proficiência em Infraestrutura como Código (preferencialmente Terraform).
Familiaridade com pipelines CI/CD para configuração de clusters e tópicos.
Monitoramento e alertas usando Grafana, CloudWatch e agregação de logs.
Estratégias de recuperação de desastres.
Fortes habilidades de script (Bash, Python) para automação e ferramentas.
Excelentes habilidades de documentação e comunicação.
Inglês falado e escrito em nível, no mínimo, Intermediário-Avançado ( Upper-Intermediate ).
Pontos Bônus (Diferenciais)
Conhecimento em Schema Registry (Protobuf) e governança de schemas.
Experiência anterior trabalhando com dados geoespaciais.
share this job.
the application process.
See what comes ahead in the application process. Find out how we help you land that job.
1 of 8apply with randstad.
Applying with us is easy. We will review your application and see if you are a good fit for the job and the company.
2 of 8we'll give you a call.
Our consultant will call you at a suitable time to discuss your application and further career aspirations.
3 of 8getting you registered.
If you’ve never worked with us before, we’ll need some basic additional pieces of information to confirm your eligibility for work.
4 of 8compliance check.
Next, we just need to verify a few things - we’ll make the relevant compliance checks and keep you posted.
5 of 8reference and background check.
As part of the process in ensuring you’re perfect for the role, we’ll make contact with any relevant references you’ve provided.
6 of 8the perfect job for you.
Our expert team will either arrange an interview for the role you’ve applied for, or if they believe there’s a better opportunity, they’ll suggest alternative options too.
7 of 8the interview.
We’ll ensure that you’re fully prepared ahead of your interview and know exactly what to expect - good luck!
8 of 8start your new job.
Congratulations, you’re ready to begin your new job. The team will ensure that you’re fully prepared for your first day.
let similar jobs come to you
We will keep you updated when we have similar job postings.
Thank you for subscribing to your personalised job alerts.