Currículo
Resumo
Procurando por oportunidade na área de Platform Engineer / DevOps Engineer / Cloud Engineer.
Experiência de quatro anos na empresa Elogroup
Foco inicial na engenharia de dados:
- Construção de ETL:
- Talend
- Python com Pandas
- PySpark no Databricks
- Orquestração de pipelines de dados em DataFactory;
- Modelagem de bancos de dados dimensional.
Foco no último ano em platform engineer (AWS):
- Terraform para a construção e configuração dos componentes necessários para outras equipes;
- Kubernetes (EKS) para disponibilizar o uso da aplicação NiFi para a equipe de engenharia de dados;
- Configuração e utilização de componentes da AWS:
- CodeBuild, CodeCommit e CodePipeline
- Route53
- Certificate Manager
- Athena
- Glue Crawlers
- IAM
Experiência
Elogroup
ago de 2021 - set de 2023
- Utilização de Terraform para subir componentes da AWS, como Athena, Athena Databases, Glue Crawlers, Elasticache;
- Construção, na AWS de ambiente para uso de NiFi com Kubernetes (EKS), disponibilizando acesso seguro via internet (Rout53 e Certificate Manager), através do load balancer próprio da AWS (Aplication Load Balancer) e autenticação via Cognito;
- Ambiente NiFi-Registry com Kubernetes para armazenamento de dados relativos aos projetos NiFi;
- Construção de CI/CD em python utilizando biblioteca para acesso ao NiFi-Registry via API;
- Construção de pequenos pipes de CI/CD utilizando Code Pipeline, Code Commit e Code Build para fazer backup para um S3 de arquivos commitados em determinada branch;
- Utilização do Code Build para possibilitar ao cliente “ligar e desligar” o NiFi no ambiente de homologação;
Principais competências nesse período
CodeCommit · Apache NiFi · Amazon S3 · Amazon Route 53 · AWS Certificate Manager · Amazon Athena · AWS Glue · Amazon EKS · Terraform · Kubernetes
fev de 2021 - jul de 2021
- Construção de ETLs no Databricks utilizando PySpark;
- Ingestão de dados através de um Bot (executado por uma Azure Function) utilizando Scrapy para acessar arquivos em uma plataforma do cliente e levar até o ambiente Azure Datalake.
Principais competências nesse período
Azure Data Factory · Azure Functions · PySpark · Azure Databricks · ETL (Extração, transformação e carregamento)
mai de 2019 - jan de 2021
- Algumas demandas de BI;
- Power Bi e Tableau
- Modelagem de banco de dados dimensional;
- Construção de ETLs:
- Talend
- Python
- POC de orquestração com Apache Airflow;
- Primeiro contato com containers.
Principais competências nesse período
Modelagem de banco de dados dimensional · Python · Docker
MAiS Resultados
abr de 2019 - mai de 2019
- Iniciando nos conhecimentos de Linux, acesso a servidores remotos;
- Demandas mais voltadas para BI, utilizando Power BI;
- ETLs utilizando Talend.
Principais competências nesse período
Microsoft Power BI · Linux · Talend
EMGEPRON (Empresa Gerencial de Projetos Navais)
mar de 2013 - jan de 2019
- Desenho de projetos (área de construção civil) em AutoCad;
- Levantamentos de medidas em campo para desenvolvimento de projetos (área de construção civil e instalações elétricas).