migdata¶
plataforma de integração e orquestração de dados — construída para times que precisam mover, transformar e governar dados com velocidade e segurança.
o que é o migdata¶
o migdata é uma plataforma low-code para pipelines de dados. você cria workflows visuais conectando fontes, transformações e destinos — e a plataforma cuida da execução, monitoramento e governança.
módulos principais¶
| módulo | descrição |
|---|---|
| catálogo | navegue e explore os dados armazenados nos lakehouses |
| workflow | crie fluxos visuais com nós de fonte, transformação e destino |
| pipeline | gerencie execuções, agendamentos e branches de ambiente |
| lakehouse | armazenamento colunar em parquet no minio/s3 |
| governança | linhagem, pii masking, auditoria e rbac |
| agentes ia | assistentes com acesso ao contexto de dados da plataforma |
quickstart¶
# instalar dependências
pip install -r requirements.txt
# subir ambiente local
docker compose up -d
# acessar
open http://localhost:3000
→ veja o quickstart completo
conceitos fundamentais¶
- workflow — grafo direcionado de nós (fonte → transformação → destino)
- pipeline — instância implantada de um workflow com branch, schedule e ambiente
- lakehouse — conjunto de tabelas parquet armazenadas no minio/s3 do workspace
- conector — nó executor que lê ou escreve em um sistema externo (postgres, mongo, s3, api…)
- run — uma execução do pipeline, com logs por nó e status granular
fase atual da documentação¶
| fase | escopo | status |
|---|---|---|
| 1 | conectores — fontes e destinos | em andamento |
| 2 | transformações | planejado |
| 3 | workflow builder | planejado |
| 4 | pipeline — branches, schedules, releases | planejado |
| 5 | catálogo e lakehouse | planejado |
| 6 | governança e segurança | planejado |
| 7 | agentes ia | planejado |
| 8 | api reference | planejado |