Este repositório contém o código e material didático desenvolvido para o workshop ministrado por mim no PrograMaria Summit 2023. O projeto demonstra, de forma prática e ponta a ponta, como utilizar Python para automatizar a captura de dados governamentais abertos, processar grandes volumes de registros e extrair inteligência de mercado sobre o comércio exterior brasileiro.
Muitas tomadas de decisão e análises econômicas dependem do portal oficial de microdados do Governo Federal (Comex Stat). No entanto, o processo manual de pesquisar, baixar e estruturar múltiplos arquivos de movimentações comerciais gera atrasos crônicos.
Esta solução resolve esse problema dividindo-se em duas frentes:
- Engenharia de Dados: Um pipeline automatizado que acessa a página do governo, identifica as bases de Importação e Exportação mais recentes via Web Scraping, faz o download e salva tudo de forma estruturada em nuvem.
- Análise de Dados: Processamento de microdados brutos com Pandas para responder de forma visual e imediata a perguntas reais de negócios sobre a balança comercial.
Após consolidar o fluxo de extração, o pipeline processa a base para gerar insights visuais sobre as seguintes questões:
- Em 2022, a balança comercial do Brasil tendeu mais para importação ou exportação?
- Quais estados brasileiros lideraram o ranking de exportações no período?
- De quais países o Brasil mais importa insumos?
- Qual é a oscilação mensal do volume de cargas movimentadas?
- Python 3.10+ (Linguagem base)
- Web Scraping / Ingestão:
requestseBeautifulSoup4 - Manipulação & ETL:
pandas - Visualização de Dados (Data Viz):
matplotlibeplotly.express - Ambiente de Execução: Google Colab integrado ao Google Drive
O fluxo do código segue uma lógica direta e sequencial:
- Conexão: Vinculação com o Google Drive para armazenamento seguro dos arquivos.
- Raspagem (Scraping): Varredura dos seletores HTML da página oficial para localizar os links diretos dos arquivos
.csvde Importação e Exportação do ano desejado. - ETL (Processamento): Leitura otimizada das bases usando delimitadores específicos (
sep=";"), padronização de tipos de dados e criação de um atributo derivado (TP_CARGA) para unificar as bases de entrada. - Data Viz: Agrupamento dos dados (
groupbyevalue_counts) para alimentar os gráficos dinâmicos de resposta comercial.
- Vídeo do Workshop no YouTube: Assista Aqui
- Página da PrograMaria com o vídeo: Acessar Link
Workshop desenvolvido e apresentado por Andrea Sousa no PrograMaria Summit 2023.