transformações¶
nós de transformação operam sobre os dados em memória (duckdb). cada operação recebe a tabela do nó anterior como entrada e produz uma nova tabela como saída.
operações disponíveis¶
| operação | descrição |
|---|---|
| filtrar linhas | filtra registros por condição sql |
| renomear campo | renomeia uma ou mais colunas |
| adicionar campo | cria nova coluna com expressão sql |
| converter tipo | faz cast de tipos de colunas |
| deduplicar | remove registros duplicados |
| agregar | group by com funções de agregação |
| join | une duas tabelas por chave |
| validar schema | aplica regras de qualidade com rejeição de registros |
| mapeamento | seleciona e renomeia campos em um único passo |
| sql transform | sql livre sobre os dados |
documentação em desenvolvimento
o conteúdo de cada operação será documentado na fase 2.