miller

Miller é uma ferramenta de linha de comando para processamento de dados indexados por nome, com pares chave-valor. Em vez de contar campos posicionais como as ferramentas Unix clássicas, ela permite referir-se aos campos pelo nome, usando formatos como CSV, TSV, JSON, JSON Lines e entrada indexada posicionalmente. Capacidades principais descritas no README: - Manipulação de dados multiuso: limpeza de dados, redução de dados, relatórios estatísticos, devops e administração de sistemas, processamento de arquivos de log, conversão de formatos e pós-processamento de consultas de banco de dados. - Operações em campos nomeados: adicionar novos campos calculados a partir dos existentes, remover campos, ordenar, agregar estatisticamente e formatar de forma legível, tudo em tempo real. - Consciência de formato: por exemplo, ordenação e tac de CSV mantêm as linhas de cabeçalho no início; a conversão entre os formatos suportados é fornecida. - Design de streaming: a maioria das operações precisa apenas de um único registro na memória por vez, então arquivos maiores que a RAM disponível podem ser processados quando funcionalmente possível, e pode ser usado em contextos de tail -f. Operações que exigem retenção mais profunda (sort, tac, stats1) retêm apenas a quantidade de dados necessária. - Heterogeneidade de registros: registros com esquemas diferentes (nomes de campos) podem ser intercalados, indo além das ferramentas Unix clássicas. - Compatível com pipes: interoperabilidade com o kit de ferramentas Unix. - Complementa ferramentas de análise de dados como R e pandas para limpeza e preparação de dados, e complementa bancos de dados SQL para fatiamento, corte e reformatação no lado do cliente. - Escrito em Go portável com zero dependências de runtime; um único binário pode ser copiado para outra máquina. A instalação está disponível por meio de muitos gerenciadores de pacotes, incluindo apt/yum/snap no Linux, Homebrew e MacPorts no macOS, e Chocolatey, WinGet e Scoop no Windows. A compilação a partir do código-fonte é suportada com make (make, make check, make install) ou diretamente com comandos Go. O projeto é licenciado sob BSD-2-Clause e fornece documentação extensa, tutoriais e canais de discussão da comunidade.