Como abrir arquivos de texto e CSV realmente grandes

O MS Excel pode exibir 1.048.576 linhas. Embora isso possa parecer um número muito grande em uso normal, há muitos cenários em que isso não é suficiente.

Esteja você procurando arquivos de log ou grandes conjuntos de dados, é fácil encontrar arquivos CSV com milhões de linhas ou arquivos de texto enormes. Como o Excel não suporta arquivos tão grandes, como exatamente você os abre? Vamos descobrir.

Por que os editores de texto normais não abrem arquivos muito grandes?

Um computador tem gigabytes de armazenamento, então por que os editores de texto não podem abrir arquivos grandes?

Há dois fatores em jogo aqui. Alguns aplicativos têm um limite codificado de quantos dados podem exibir. Não importa quanta memória seu PC tenha, eles simplesmente não a usarão.

A segunda questão é RAM. Muitos editores de texto não têm um limite rígido para o número de linhas, mas não podem exibir arquivos grandes devido a limitações de memória. Eles carregam o arquivo inteiro na RAM do sistema, portanto, se essa memória não for grande o suficiente, o processo falha.

Método #1: Usando Editores Gratuitos

A melhor maneira de visualizar arquivos de texto extremamente grandes é usar... um editor de texto. Não apenas qualquer editor de texto, mas as ferramentas destinadas a escrever código. Esses aplicativos geralmente podem lidar com arquivos grandes sem problemas e são gratuitos.

O Large Text File Viewer é provavelmente o mais simples desses aplicativos. É realmente fácil de usar, funciona rápido e tem uma pegada de recursos muito baixa. A única desvantagem? Ele não pode editar os arquivos. Mas se você deseja apenas visualizar arquivos CSV grandes, esta é sem dúvida a melhor ferramenta para o trabalho.

Para editar arquivos de texto grandes também, você deve tentar o Emacs . Originalmente criado para sistemas Unix, ele também funciona perfeitamente bem no Windows e pode lidar com arquivos grandes. Da mesma forma, Neovim e Sublime Text são dois IDEs leves que podem ser usados ​​para abrir arquivos de texto CSV com tamanho de gigabyte.

Se tudo o que você está procurando é pesquisar dados em grandes arquivos de log, o klogg é a ferramenta certa para você. Um fork de atualização do popular glogg , este aplicativo permite que você execute operações de pesquisa complexas por meio de enormes arquivos de texto com facilidade. Como os arquivos de log gerados por computador geralmente podem ter milhões de linhas, o klogg foi projetado para funcionar com esses tamanhos de arquivo sem problemas.

Método #2: Dividir em Várias Partes

Todo o problema de tentar abrir arquivos CSV grandes é que eles são muito grandes. Mas e se você os dividisse em vários arquivos menores?

Esta é uma solução popular, pois geralmente não envolve aprender a interface de um novo editor de texto. Em vez disso, você pode usar um dos muitos divisores CSV disponíveis on-line para dividir o arquivo grande em vários arquivos fáceis de abrir. Cada um desses arquivos pode então ser acessado normalmente.

No entanto, esta não é a melhor maneira de fazer isso. Dividir um arquivo grande geralmente pode levar a erros de digitação estranhos ou a arquivos configurados incorretamente. Além disso, abrir cada bloco separadamente evita que você filtre todos os dados de uma só vez.

Método nº 3: importar para um banco de dados

Arquivos de texto e .csv que se estendem a vários gigabytes geralmente são grandes conjuntos de dados. Então, por que não apenas importá-los para um banco de dados?

SQL é a linguagem de marcação de banco de dados mais comum usada atualmente. Existem muitas versões de SQL em uso, mas a mais fácil é provavelmente o MySQL. E por sorte, é possível converter um arquivo CSV em uma tabela MySQL .

Este não é o método mais fácil de lidar com grandes arquivos CSV, portanto, recomendamos apenas se você quiser lidar com grandes conjuntos de dados regularmente. Se o MySQL parecer muito difícil, você sempre pode importar seus arquivos .csv para o MS Access .

Método #4: Analisar com bibliotecas Python

Quando você está trabalhando com um arquivo .csv com milhões de linhas de dados, obviamente não conseguirá entendê-lo manualmente. Você provavelmente deseja filtrar os dados e executar consultas específicas para entender as tendências.

Então, por que não escrever código Python para fazer exatamente isso?

Mais uma vez, este não é o método mais amigável. Embora o Python não seja a linguagem de programação mais difícil de aprender , é a codificação, portanto pode não ser a melhor abordagem para você. Ainda assim, se você precisar analisar arquivos CSV realmente grandes diariamente, convém automatizar a tarefa com algum código Python .

Método #5: Com Ferramentas Premium

Os editores de texto que vimos no primeiro método não eram ferramentas dedicadas ao processamento de CSV. Eram ferramentas de uso geral que também podiam ser usadas para trabalhar com arquivos .csv grandes.

Mas e os aplicativos especializados? Não existem aplicativos criados para resolver esse problema?

Existem, na verdade. O CSV Explorer , por exemplo, se baseia no mesmo processo que descrevemos nos dois últimos métodos (banco de dados SQL e código Python) para criar um aplicativo capaz de visualizar e editar arquivos CSV de qualquer tamanho. Você pode fazer tudo o que espera de uma ferramenta de planilha, como criar gráficos ou filtrar os dados no CSV Explorer.

Outra opção é o UltraEdit . Ao contrário da ferramenta anterior, isso não se destina apenas a arquivos .csv, mas a qualquer tipo de arquivo de texto. Ele pode lidar facilmente com arquivos de texto e CSV que variam de alguns gigabytes, com uma interface semelhante a muitos dos editores gratuitos que discutimos anteriormente. 

A única desvantagem dessas ferramentas é que são aplicativos premium, exigindo que você obtenha uma licença paga para poder usá-los. Você sempre pode experimentar as versões de teste gratuitas para verificar seus recursos ou se tiver um uso único.

Qual é a melhor maneira de abrir arquivos grandes de texto e CSV?

Nesta era de Big Data, não é incomum encontrar arquivos de texto com gigabytes, que podem ser difíceis de visualizar com ferramentas integradas como Bloco de Notas ou MS Excel. Para poder abrir arquivos CSV tão grandes, você precisa baixar e usar um aplicativo de terceiros.

Se tudo o que você deseja é visualizar esses arquivos, o Visualizador de arquivos de texto grande é a melhor escolha para você. Para realmente editá-los, você pode experimentar um editor de texto rico em recursos como o Emacs ou optar por uma ferramenta premium como o CSV Explorer.

Técnicas como dividir o arquivo CSV ou importá-lo para um banco de dados envolvem muitas etapas. É melhor obter uma licença paga de uma ferramenta premium dedicada se você estiver trabalhando muito com arquivos de texto enormes.