Come aprire file di testo e CSV davvero grandi

MS Excel può visualizzare 1.048.576 righe. Sebbene possa sembrare un numero davvero elevato nell'uso normale, ci sono molti scenari in cui non è abbastanza.

Sia che tu stia guardando file di registro o set di dati di grandi dimensioni, è facile imbattersi in file CSV con milioni di righe o enormi file di testo. Poiché Excel non può supportare file così grandi, come li apri esattamente? Scopriamolo.

Perché i normali editor di testo non possono aprire file molto grandi?

Un computer ha gigabyte di spazio di archiviazione, quindi perché gli editor di testo non possono aprire file di grandi dimensioni?

Ci sono due fattori in gioco qui. Alcune applicazioni hanno un limite hardcoded sulla quantità di dati che possono visualizzare. Non importa quanta memoria ha il tuo PC, semplicemente non la useranno.

Il secondo problema è la RAM. Molti editor di testo non hanno un limite rigido per il numero di righe, ma non possono visualizzare file di grandi dimensioni a causa dei limiti di memoria. Caricano l'intero file nella RAM di sistema, quindi se questa memoria non è abbastanza grande, il processo fallisce.

Metodo n. 1: utilizzo di editor gratuiti

Il modo migliore per visualizzare file di testo estremamente grandi è utilizzare... un editor di testo. Non solo un editor di testo qualsiasi, ma gli strumenti pensati per scrivere codice. Tali app di solito possono gestire file di grandi dimensioni senza intoppi e sono gratuite.

Large Text File Viewer è probabilmente la più semplice di queste applicazioni. È davvero facile da usare, funziona velocemente e ha un ingombro di risorse molto basso. L'unico aspetto negativo? Non può modificare i file. Ma se desideri visualizzare solo file CSV di grandi dimensioni, questo è senza dubbio lo strumento migliore per il lavoro.

Per modificare anche file di testo di grandi dimensioni, dovresti provare Emacs . Originariamente creato per i sistemi Unix, funziona perfettamente anche su Windows e può gestire file di grandi dimensioni. Allo stesso modo, Neovim e Sublime Text sono due IDE leggeri che possono essere utilizzati per aprire file di testo CSV di dimensioni gigabyte.

Se tutto ciò che stai cercando è cercare dati attraverso file di registro di grandi dimensioni, allora klogg è proprio lo strumento che fa per te. Un fork di aggiornamento del popolare glogg , questa applicazione consente di eseguire facilmente operazioni di ricerca complesse attraverso enormi file di testo. Poiché i file di registro generati dal computer possono spesso contenere milioni di righe, klogg è progettato per funzionare senza problemi con tali dimensioni di file.

Metodo n. 2: diviso in più parti

L'intero problema con il tentativo di aprire file CSV di grandi dimensioni è che sono troppo grandi. Ma cosa succederebbe se dovessi dividerli in più file più piccoli?

Questa è una soluzione popolare, in quanto generalmente non comporta la necessità di imparare l'interfaccia di un nuovo editor di testo. Invece, puoi utilizzare uno dei tanti splitter CSV disponibili online per suddividere il file di grandi dimensioni in una serie di file facili da aprire. È quindi possibile accedere normalmente a ciascuno di questi file.

Tuttavia, questo non è il modo migliore per farlo. La divisione di un file di grandi dimensioni può spesso portare a strani errori di battitura o file configurati in modo errato. Inoltre, l'apertura di ciascun blocco separatamente impedisce di filtrare tutti i dati contemporaneamente.

Metodo n. 3: importazione in un database

I file di testo e .csv che si estendono a più gigabyte sono generalmente set di dati di grandi dimensioni. Allora perché non importarli semplicemente in un database?

SQL è il linguaggio di markup del database più comune utilizzato in questi giorni. Esistono molte versioni di SQL in uso, ma la più semplice è probabilmente MySQL. E per fortuna, è possibile convertire un file CSV in una tabella MySQL .

Questo non è affatto il metodo più semplice per gestire file CSV di grandi dimensioni, quindi lo consigliamo solo se si desidera gestire regolarmente set di dati di grandi dimensioni. Se MySQL sembra troppo difficile, puoi sempre importare i tuoi file .csv in MS Access .

Metodo n. 4: analizza con le librerie Python

Quando lavori con un file .csv con milioni di righe di dati, ovviamente non sarai in grado di capirlo manualmente. Probabilmente vorrai filtrare i dati ed eseguire query specifiche per comprendere le tendenze.

Allora perché non scrivere codice Python per fare proprio questo?

Ancora una volta, questo non è il metodo più intuitivo. Sebbene Python non sia il linguaggio di programmazione più difficile da imparare , è codifica, quindi potrebbe non essere l'approccio migliore per te. Tuttavia, se ti ritrovi a dover analizzare quotidianamente file CSV molto grandi, potresti voler automatizzare l'attività con del codice Python .

Metodo n. 5: con strumenti premium

Gli editor di testo che abbiamo visto nel primo metodo non erano strumenti dedicati destinati all'elaborazione CSV. Erano strumenti generici che potevano essere utilizzati anche per lavorare con file .csv di grandi dimensioni.

Ma per quanto riguarda le applicazioni specializzate? Non ci sono app là fuori create per risolvere questo problema?

Ci sono, in realtà. CSV Explorer , ad esempio, si basa sullo stesso processo che abbiamo descritto negli ultimi due metodi (database SQL e codice Python) per creare un'app in grado di visualizzare e modificare file CSV di qualsiasi dimensione. Puoi fare tutto ciò che ti aspetti da uno strumento per fogli di calcolo come creare grafici o filtrare i dati in CSV Explorer.

Un'altra opzione è UltraEdit . A differenza dello strumento precedente, questo non è pensato solo per i file .csv ma ​​per qualsiasi tipo di file di testo. Può gestire facilmente file di testo e CSV di pochi gigabyte, con un'interfaccia simile a molti degli editor gratuiti di cui abbiamo parlato in precedenza. 

L'unico inconveniente di questi strumenti è che sono applicazioni premium, che richiedono una licenza a pagamento per poterle utilizzare. Puoi sempre provare le loro versioni di prova gratuite per verificare le loro funzionalità o se hai solo un utilizzo una tantum.

Qual è il modo migliore per aprire file di testo e CSV di grandi dimensioni?

In questa epoca di Big Data, non è raro imbattersi in file di testo che occupano gigabyte, che possono essere difficili da visualizzare anche con strumenti integrati come Blocco note o MS Excel. Per poter aprire file CSV così grandi, è necessario scaricare e utilizzare un'applicazione di terze parti.

Se tutto ciò che desideri è visualizzare tali file, il visualizzatore di file di testo di grandi dimensioni è la scelta migliore per te. Per modificarli effettivamente, puoi provare un editor di testo ricco di funzionalità come Emacs o scegliere uno strumento premium come CSV Explorer.

Tecniche come la suddivisione del file CSV o l'importazione in un database comportano troppi passaggi. È meglio ottenere una licenza a pagamento di uno strumento premium dedicato se ti ritrovi a lavorare molto con file di testo enormi.