Se você chegou até aqui, sabe que a carreira em dados está em alta nos últimos anos. Para se ter ideia, de acordo com o LinkedIn, os cargos de ciência e engenharia de dados estão no top 10 dos mais procurados em 2022.
Com a alta demanda de profissionais, o tema gera curiosidade e até motiva transições de carreira. Por isso, preparamos um conteúdo especial para você saber mais sobre como funciona o dia a dia de quem atua nessa área tão promissora.
Fizemos 9 perguntas sobre a carreira em dados para 9 profissionais de dados na Zup, com cargos de Data Analytics, Data Scientist, Data Engineer, Data Governance e Tech Lead Data Engineer.
As respostas estão aqui para você saber mais sobre como é a carreira em dados, o que fazem, o que é preciso saber para trabalhar na área e como é a experiência na Zup, além de algumas dicas especiais.
Tudo pronto para entendermos mais sobre a carreira em dados? Então vamos lá!
Antes de avançar precisamos entender um pouco mais sobre a Carreira em Dados
O time que trabalha com dados é muito próximo e, na prática, utilizam muitas ferramentas em comum para desenvolverem o seu trabalho. A diferença é a forma que cada cargo vai utilizar a sua expertise e os dados para cumprir seus objetivos.
Por exemplo, o time de dados utiliza muito ferramentas como a linguagem Python, Pandas e Spark. Entretanto, a pessoa engenheira de dados cria fluxo de dados, analistas entendem as informações para gerar valor e cientistas criam modelos para prever algum evento ou recomendar alguma ação estudando esses dados. Isto é, cada pessoa desenvolve um papel trabalhando com dados com fins diferentes. Além disso, é possível migrar entre essas funções a partir da curva de aprendizado necessária para cada cargo do time.
Agora vamos para as perguntas e respostas!
1 – Pode definir a função do seu cargo?
Data Analytics: Sou a pessoa que cria produtos e análises capazes de produzir insights, gerando valor e auxiliando na tomada de decisão a partir de dados, que, de primeira, não são tão compreensíveis. Na prática, crio indicadores, visualizações de dados, estudos e validação de hipóteses, além de inferências estatísticas com base em dados.
Data Scientist: Faço análises e modelos preditivos, sou responsável em coletar, transformar e analisar dados, que ajudam a empresa a responder uma pergunta de negócio e atuar de forma preventiva. Isso envolve o uso de métodos científicos baseados em observação, compreensão dos dados e experimentação, com o objetivo de compreender o evento a ser estudado.
Data Engineer: Trabalha em todo o fluxo de vida dos dados. Como a coleta, transformação e padronização; processamento de informações e entrega; além da criação da infraestrutura.
Data Governance: Sou responsável por implementar e aplicar políticas e procedimentos que garantam que os dados sejam usados e mantidos adequadamente dentro de uma organização. Também trabalho com pessoas, processos e tecnologias com o objetivo de garantir visibilidade e boa qualidade da informação, assim como prover o acesso correto aos dados.
Tech Lead Data Engineer: Lidero equipes de engenharia de dados.
2 – Quais são suas atividades do dia a dia?
Data Analytics: Faço consultas SQL, elaboro dashboards de dados e trabalho com Python. Faço a extração de dados de diferentes fontes; aplico estatísticas nas análises; construo KPIs e métricas importantes para serem acompanhadas; e desenvolvo dashboards para facilitar a captação de insights. Escrevo consultas no banco de dados, falo constantemente com os times de negócio para entender regras, processos e dores.
Data Scientist: Também faço consultas SQL e realizo análises de dados utilizando ferramentas estatísticas como Python/R. Mas uma das minhas principais atividades é contribuir para que os times de negócio tenham previsibilidade através de modelos de machine learning, análise de dados qualitativos/textuais (NLP) ou até mesmo análises baseadas em redes (Social Network Analysis).
Data Engineer: Entendo a documentação de fornecedores de dados, escrevo códigos em Python para extração e tratamento, provisiono ambientes para a execução do código, e disponibilizo os dados tratados em alguma ferramenta de fácil consulta com as devidas permissões para cada pessoa usuária.
Data Governance: Faço implementações de produtos para o próprio time e ações junto às atividades cotidianas, como discussões sobre padronização, qualidade e novas integrações; analiso e documento processos; acompanho e faço a gestão de acessos aos produtos de dados construídos pela equipe; e também faço constante alinhamento com Privacidade e Auditoria. Além disso, monitoro e mapeio acessos aos ambientes e produtos de dados; uso ferramentas e sistemas para garantir a qualidade, linhagem e catálogo dos dados; e coopero com outras áreas para padronizar a criação de novos produtos de dados, que atendem um nível satisfatório de segurança e mapeamento de acessos.
Tech Lead Data Engineer: Além de uma versão diluída das responsabilidades padrão de uma pessoa engenheira de dados, também sou responsável por acompanhar a execução de tarefas pelo time, planejar as tarefas que serão desenvolvidas no futuro pelo time, organizar a tomada de decisões sobre soluções que serão desenvolvidas, e mediar relações com equipes fornecedoras de dados e consumidoras de dados.
3 – Quais são as principais ferramentas que você usa?
Aqui não tem segredo, o time citou como a ferramenta principal o SQL, Structured Query Language ou Linguagem de Consulta Estruturada, e o Python, outra linguagem de programação.
Alguns programas mais específicos citados para cada cargo foram:
Data Analytics: Power BI, Google Data Studio e Excel.
Data Scientist: Sistema Operacional (Linux), programação em Python, R e SQL, métodos estatísticos e preditivos.
Data Engineer: Apache Airflow e Cloud AWS (S3, EC2, Lambda, Glue, Athena).
Data Governance: Google Sheets e Jupyter Notebook.
Tech Lead Data Engineer: IDEs para desenvolvimento; Jupyter Notebook e ferramentas de visualização de dados; terminal Linux e ferramentas de plataforma de sistema operacional de servidores; Docker e Spark.
4 – Quais os primeiros passos para quem quer começar na sua área?
Data Analytics: Estudar muito sobre SQL e ter capacidade de construir dashboards e visualização de dados. Importante conhecer uma linguagem de programação e conhecer estatística para apoiar o negócio com análises. Comunicação e storytelling são habilidades fundamentais para interagir com clientes.
Data Scientist: É importante conhecer SQL para ganhar autonomia na extração do dado. Isso se aplica também a coletar e analisar dados de diferentes formatos. Conhecimento de programação, probabilidade e estatística são fundamentais para a construção de análises estatísticas e modelos de machine learning. Acima de qualquer ferramenta é importante ser uma pessoa curiosa e sempre disposta a aprender e que desenvolva bem o modelo de consultoria aproximando as soluções técnicas de DS das necessidades de clientes.
Data Engineer: Conhecer conceitos de pipelines de dados. Conhecer ferramentas/protocolos para armazenamento/transporte de dados, bancos de dados relacionais, não relacionais, APIs HTTP, formato Json, CSV e Parquet.
Também é importante saber interagir programaticamente com essas interfaces, utilizando Python e SQL, e conhecer alguma ferramenta de Cloud e os principais serviços para computação, armazenamento e análise de dados.
Data Governance: O primeiro passo é entender como funciona o mundo dos dados a partir dos processos envolvidos: como funciona a coleta, o armazenamento e a análise de dados, no geral, o ciclo de vida dos dados.
Em um segundo momento, minha dica é se aprofundar no conhecimento sobre metadados, produtos de Governança de dados (como Dicionário e Catálogo de Dados) e implicações sociais sobre os dados (compliance, segurança da informação e LGPD). Por fim, é interessante o aprendizado de uma ou mais linguagens de programação, como SQL e Python.
Tech Lead Data Engineer: Estudar arquitetura de computadores e solução de problemas lógicos, quebra-cabeças mesmo. Depois tentar resolver desafios com quantidades cada vez maiores de dados.
5 – O que é indispensável?
Nosso time da Zup ressaltou muitas habilidades soft e hard skills por área de atuação, segue a lista do que você precisa colocar no seu radar.
Data Analytics:
- Conhecimento em Python e SQL;
- Estatística;
- Ferramentas de visualização de dados (por exemplo: Microsoft Power BI, Google Data Studio e Tableau);
- Storytelling & Visualização de dados;.
Data Scientist:
- Programação (Python e SQL);
- Probabilidade & Estatística;
- Modelos de machine learning;
- Storytelling & Visualização de dados;
- Ceticismo ao lidar com dados;
- Curtir resolver problemas de negócio;
- Estudo constante.
Data Engineer:
- Programação (Python e SQL);
- Familiaridade com linha de comando e ambiente Linux;
- Conhecimento de provedores e serviços de cloud;
- Dominar conceitos de pipelines de dados, por exemplo, ETL, ELT, Data Lake e Data Warehouse.
Data Governance:
- Dominar soft skills;
- Gestão de dados e metadados;
- Saber classificar informações, qualidade de dados e controle de acessos;
- Conhecimento de SQL e Python;
- Noção sobre banco de dados e LGPD.
Tech Lead Data Engineer:
- Ter curiosidade, nosso campo nunca para de criar coisas novas;
- “Nerdice”, pois tem muitas coisas que são detalhes do que fazemos, em especial das ferramentas;
- Ter paciência, porque é difícil entender o que as pessoas precisam, o que temos de fazer e o que deve ser feito;
- Conhecer Python, pois tem muita coisa nessa linguagem;
- UML, já ouviu “entendeu ou quer que eu desenhe?”, essa é uma pergunta muito razoável aqui;
- Spark, quando entendeu como funciona, entendeu a base da engenharia de Big Data.
6 – Que conteúdo você indica para trabalhar na área?
Data Analytics: Minha sugestão é estudar bastante sobre estatística, Python, visualização de dados e SQL.
Data Scientist: Indico vários livros e materiais, por exemplo:
- An Introduction to Statistical Learning;
- Hands-on Machine Learning with Scikit-Learn and TensorFlow;
- Practical Statistics for Data Scientists;
- e Storytelling with Data.
Data Engineer: Minha indicação é ler documentações oficiais de cada ferramenta e tomar cuidado com conteúdos muito antigos, pois as ferramentas evoluem rapidamente.
Data Governance: Tenho várias indicações, inclusive cursos e leituras:
- Curso grátis sobre compras;
- Data Governance: The Definitive Guide: People, Processes, and Tools to Operationalize Data Trustworthiness, de Uri Gilad e Evren Eryurek;
- A “bíblia” de Governança de Dados, “DAMA-DMBOK”.
Sem contar o domínio teórico e prático de gestão de dados, conhecimento em sistemas de informação, entendimento sobre regras e legislações sobre uso de dados.
7 – Como é trabalhar na Zup?
Data Analytics: Hoje, trabalho com Learning Analytics, focado em analisar o desenvolvimento de quem passa e passou pelo nosso treinamento. Está sendo uma experiência muito bacana, aprendendo novas regras de negócio e conceitos.
Data Scientist: É ser um desbravador. O cargo é relativamente novo na Zup e existe muito a ser desenvolvido. Também é estar sempre aberto ao aprendizado. Na Zup, temos clientes com problemas de negócio a resolver, isso requer da gente uma alta capacidade de adaptação para atuar em diferentes frentes de conhecimento.
Data Engineer: Sempre temos novos desafios, constantemente buscando novas ferramentas e soluções para entregar um produto melhor.
Data Governance: Desafiador e gratificante ao mesmo tempo. É um desafio no sentido de conseguir orquestrar as demandas das diferentes áreas de dados (DA – Data Analytics, DE – Data Engineer, e DS – Data Science) para melhorar a nossa visibilidade do que produzimos, mas também gratificante, pois o time de zuppers é engajado no tema, o que torna o trabalho leve e sempre caminhando.
8 – Qual o maior desafio que superou trabalhando na área?
Data Analytics: Entrar em um mundo diferente (análise para educação), com conceitos novos, regras novas e até conceitos estatísticos diferentes (como não estamos lidando com dados lineares, é utilizado até um nível de correlação diferente).
Data Scientist: Realizar a transição de carreira de Data Analytics para Data Scientist.
Data Engineer: O maior desafio atual e ainda em andamento é a adequação da estrutura para lidar com maior volume e novos fornecedores de dados. Além de construir pipelines cada vez mais robustas.
Data Governance: Meu maior desafio superado foi a participação no desenho de um produto que estávamos construindo. Tive que correr para aprender questões complexas de engenharia de dados que não estava acostumado a trabalhar, com o objetivo de encaixar processos de governança de dados como padrão do desenvolvimento. Foi um grande desafio também trabalhar no aprimoramento das soft skills.
Tech Lead Data Engineer: Lidar com emergências paralelas em projetos diferentes.
9 – Qual sua maior conquista na Zup?
Data Analytics: Realizei análises cruciais entre participantes dos programas de treinamentos e pessoas do mercado, comparando os dois grupos e provando o poder da cultura do preparo. Também estou desenvolvendo uma plataforma de insights focado nos KPI’s dos treinamentos.
Data Engineer: Participei da integração de ferramentas, apesar da documentação limitada; influenciei o time com boas práticas de programação; e miguei ambientes entre clouds diferentes.
Data Governance: Minha maior conquista foi conseguir passar a importância da Governança de Dados para os times que atuei. Percebi que a partir das conversas que tivemos, profissionais passaram a contribuir para aplicar as boas práticas de controle de acesso e também documentar processos e mapear os dados que trabalham. Não posso esquecer também de estar aprendendo com um time que reúne profissionais excelentes da área.
Tech Lead Data Engineer: Ter tornado meu time referência na gestão de muitos projetos paralelos e ao mesmo tempo de capacidade técnica.
Vem pra Zup
Gostou de conhecer mais sobre a experiência da carreira em dados e um pouquinho da vivência dentro da Zup? Esperamos que tenha sido um incentivo a mais para você fazer parte do nosso time, venha conferir nossas vagas abertas.
