[Job - 29221] Senior Data Developer (Azure),… at Ciandt · Campinas

Somos especialistas em transformação tecnológica , unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando uma pessoa para atuar com Engenharia de Dados, sendo responsável por implementar, construir e evoluir os componentes da nossa plataforma de dados no dia a dia. Você será a pessoa profissional que dará vida às definições arquiteturais, transformando padrões e diretrizes técnicas em pipelines robustos, modelos de dados consistentes e soluções escaláveis, contribuindo diretamente para que os dados da organização sejam confiáveis, acessíveis e prontos para gerar valor ao negócio. Responsabilidades: Desenvolvimento de Pipelines & Integração: Implementar pipelines de ELT/ETL para ingestão, transformação e disponibilização de dados, seguindo os padrões definidos pela arquitetura; Construir e manter integrações com diversas fontes de dados (bancos relacionais e dados desestruturados como e-mails e planilhas); Desenvolver fluxos de dados utilizando Azure Data Factory, Microsoft Fabric Pipelines e Databricks/Snowflake, conforme stack definido pelo time; Implementar estratégias de ingestão incremental ou full load de acordo com os requisitos de cada domínio; Garantir a observabilidade dos pipelines, implementando logs, alertas e monitoramento proativo. Implementação da Plataforma de Dados: Construir e organizar camadas do Data Lake/Lakehouse (Bronze, Silver e Gold) seguindo a arquitetura Medallion definida pelo arquiteto; Implementar e manter estruturas de armazenamento no Azure Data Lake Storage Gen2 (ADLS Gen2) e formatos otimizados como Delta Lake, Parquet e Iceberg; Participar da configuração e uso do Microsoft Fabric (Lakehouses, Warehouses, Dataflows, Notebooks e Pipelines); Apoiar a implementação de políticas de acesso, segmentação e organização de dados conforme diretrizes de governança. Modelagem & Transformação de Dados: Implementar modelos de dados definidos pela arquitetura (dimensional, relacional, Data Vault, etc.) nas camadas analíticas da plataforma; Desenvolver e manter transformações de dados utilizando SQL avançado, Python e ferramentas como dbt; Garantir a consistência, integridade e qualidade dos dados ao longo de todas as camadas de processamento; Documentar modelos, transformações e regras de negócio aplicadas nos pipelines. Qualidade & Governança de Dados: Implementar verificações e testes automatizados de qualidade de dados (ex: Great Expectations, dbt tests) nos pipelines; Apoiar a catalogação e documentação de ativos de dados no Azure Purview, incluindo linhagem, classificação e descrição de datasets; Seguir e promover as práticas de governança e privacidade de dados definidas pelo time de arquitetura, garantindo conformidade com LGPD/GDPR; Colaborar na identificação e correção de problemas de qualidade de dados reportados por times consumidores. Suporte a Machine Learning & IA Apoiar times de Ciência de Dados na preparação e disponibilização de datasets para treinamento e validação de modelos; Implementar pipelines de Feature Engineering e disponibilização de features em feature stores; Colaborar com o time de IA na estruturação de fluxos de dados integrados ao Azure AI Foundry. Requisitos para o desafio: Experiência comprovada com Engenharia de Dados em ambientes de nuvem; Sólido conhecimento em SQL para consultas, transformações e modelagem analítica; Experiência com Python para desenvolvimento de pipelines e transformações de dados; Vivência prática com pipelines de ELT/ETL em ambientes produtivos; Conhecimento de Microsoft Azure (Data Factory, ADLS Gen2, Synapse Analytics ou Fabric); Familiaridade com conceitos de Data Lake, Lakehouse e arquitetura Medallion; Experiência com formatos de dados como Delta Lake, Parquet ou ORC; Capacidade de leitura e interpretação de definições arquiteturais e documentações técnicas; Boas práticas de desenvolvimento: versionamento com Git, testes, documentação e CI/CD. Diferenciais: Experiência com Microsoft Fabric (Lakehouses, Notebooks, Pipelines ou Dataflows); Experiência prática com Databricks (Spark, Delta Live Tables, Workflows); Conhecimento de dbt para transformações e testes de qualidade de dados; Familiaridade com Azure Purview para catalogação e linhagem de dados; Conhecimento em Snowflake como plataforma de dados; Experiência com orquestração de pipelines via Apache Airflow ou Prefect; Noções de Gen AI e Agentes autônomos; #LI-DR3 MidSenior Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando uma pessoa para atuar com Engenharia de Dados, sendo responsável por implementar, construir e evoluir os componentes da nossa plataforma de dados no dia a dia. Você será a pessoa profissional que dará vida às definições arquiteturais, transformando padrões e diretrizes técnicas em pipelines robustos, modelos de dados consistentes e soluções escaláveis, contribuindo diretamente para que os dados da organização sejam confiáveis, acessíveis e prontos para gerar valor ao negócio. Responsabilidades: Desenvolvimento de Pipelines & Integração: Implementar pipelines de ELT/ETL para ingestão, transformação e disponibilização de dados, seguindo os padrões definidos pela arquitetura; Construir e manter integrações com diversas fontes de dados (bancos relacionais e dados desestruturados como e-mails e planilhas); Desenvolver fluxos de dados utilizando Azure Data Factory, Microsoft Fabric Pipelines e Databricks/Snowflake, conforme stack definido pelo time; Implementar estratégias de ingestão incremental ou full load de acordo com os requisitos de cada domínio; Garantir a observabilidade dos pipelines, implementando logs, alertas e monitoramento proativo. Implementação da Plataforma de Dados: Construir e organizar camadas do Data Lake/Lakehouse (Bronze, Silver e Gold) seguindo a arquitetura Medallion definida pelo arquiteto; Implementar e manter estruturas de armazenamento no Azure Data Lake Storage Gen2 (ADLS Gen2) e formatos otimizados como Delta Lake, Parquet e Iceberg; Participar da configuração e uso do Microsoft Fabric (Lakehouses, Warehouses, Dataflows, Notebooks e Pipelines); Apoiar a implementação de políticas de acesso, segmentação e organização de dados conforme diretrizes de governança. Modelagem & Transformação de Dados: Implementar modelos de dados definidos pela arquitetura (dimensional, relacional, Data Vault, etc.) nas camadas analíticas da plataforma; Desenvolver e manter transformações de dados utilizando SQL avançado, Python e ferramentas como dbt; Garantir a consistência, integridade e qualidade dos dados ao longo de todas as camadas de processamento; Documentar modelos, transformações e regras de negócio aplicadas nos pipelines. Qualidade & Governança de Dados: Implementar verificações e testes automatizados de qualidade de dados (ex: Great Expectations, dbt tests) nos pipelines; Apoiar a catalogação e documentação de ativos de dados no Azure Purview, incluindo linhagem, classificação e descrição de datasets; Seguir e promover as práticas de governança e privacidade de dados definidas pelo time de arquitetura, garantindo conformidade com LGPD/GDPR; Colaborar na identificação e correção de problemas de qualidade de dados reportados por times consumidores. Suporte a Machine Learning & IA Apoiar times de Ciência de Dados na preparação e disponibilização de datasets para treinamento e validação de modelos; Implementar pipelines de Feature Engineering e disponibilização de features em feature stores; Colaborar com o time de IA na estruturação de fluxos de dados integrados ao Azure AI Foundry. Requisitos para o desafio: Experiência comprovada com Engenharia de Dados em ambientes de nuvem; Sólido conhecimento em SQL para consultas, transformações e modelagem analítica; Experiência com Python para desenvolvimento de pipelines e transformações de dados; Vivência prática com pipelines de ELT/ETL em ambientes produtivos; Conhecimento de Microsoft Azure (Data Factory, ADLS Gen2, Synapse Analytics ou Fabric); Familiaridade com conceitos de Data Lake, Lakehouse e arquitetura Medallion; Experiência com formatos de dados como Delta Lake, Parquet ou ORC; Capacidade de leitura e interpretação de definições arquiteturais e documentações técnicas; Boas práticas de desenvolvimento: versionamento com Git, testes, documentação e CI/CD. Diferenciais: Experiência com Microsoft Fabric (Lakehouses, Notebooks, Pipelines ou Dataflows); Experiência prática com Databricks (Spark, Delta Live Tables, Workflows); Conhecimento de dbt para transformações e testes de qualidade de dados; Familiaridade com Azure Purview para catalogação e linhagem de dados; Conhecimento em Snowflake como plataforma de dados; Experiência com orquestração de pipelines via Apache Airflow ou Prefect; Noções de Gen AI e Agentes autônomos; #LI-DR3 MidSenior