Skip to content

Conversation

@cuducos
Copy link
Owner

@cuducos cuducos commented Nov 26, 2025

Ver #426

Abrindo o PR com o que consegui avançar hoje:

  • Esqueleto do criar uma empresa com todos os dados
  • cast.go mantive exatamente o do ETL antigo
  • company.go e enrich.go são os principais
    • o primeiro é o básico da estrutura de dados de que agrega tudo nu struct/json
    • o segundo é como utilizamos o Badger (ou dicionário de dados) para enriquecer o que lemos de Estabelecimento*.zip

Existe muita coisa pendente:

  • Os testes estão falhando: não sei se a implementação está errada, ou se são os testes
  • Aparentemente tem alguma zica e concorrência pois parece que as barras de progresso pulam pro fim com lotes de dados muito pequenos (criados com o sample)
  • Precisamos de uma estrutra de produtores/consumidores para não ter 10 gorotinas fixas, uma para cada Estabelecimento*.zip 92a11c3
  • writeJSONs ainda precia lidar com outras etapas fa356b9
    • PreLoad()
    • PostLoad()
    • CreateExtraIndexes(…)
    • MetaSave(…)
  • writeJSONs precisa de testes

@cuducos cuducos marked this pull request as ready for review December 7, 2025 03:32
@cuducos cuducos merged commit 7be63da into main Dec 7, 2025
14 checks passed
@cuducos cuducos deleted the etl-nxt/writer branch December 7, 2025 03:33
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants