Open SourceGCPBigQuery
Cloud CNPJ
Solução open-source para facilitar consulta e análise de dados de registro de empresas brasileiras. Usando pipelines automatizados no GCP para atualização regular dos dados.
DatabricksApache SparkDelta Lake
NYC TLC Pipeline
Pipeline medallion open-source para o dataset de táxis NYC TLC no Databricks Free Edition. Incremental em cada camada com Change Data Feed do Delta Lake, consolidado em uma tabela gold sem joins, orquestrado como um job no Databricks Workflows.
GCPBigQueryCloud Run
Arquitetura de Dados GCP
Arquitetura de dados completa end-to-end para disponibilizar dados para consumo rápido e cenários analíticos usando apenas serviços GCP.