Hoe echt grote tekst- en CSV-bestanden te openen

MS Excel kan 1.048.576 rijen weergeven. Hoewel dat bij normaal gebruik misschien een heel groot aantal lijkt, zijn er tal van scenario's waarin dat niet voldoende is.

Of u nu logbestanden of grote datasets bekijkt, u vindt gemakkelijk CSV-bestanden met miljoenen rijen of enorme tekstbestanden. Aangezien Excel dergelijke grote bestanden niet kan ondersteunen, hoe opent u ze dan precies? Laten we het uitzoeken.

Waarom kunnen normale teksteditors geen echt grote bestanden openen?

Een computer heeft gigabytes aan opslagruimte, dus waarom kunnen teksteditors geen grote bestanden openen?

Er zijn hier twee factoren in het spel. Sommige applicaties hebben een hardgecodeerde limiet voor de hoeveelheid gegevens die ze kunnen weergeven. Het maakt niet uit hoeveel geheugen uw pc heeft, ze zullen het gewoon niet gebruiken.

Het tweede probleem is RAM. Veel teksteditors hebben geen harde limiet op het aantal rijen, maar kunnen vanwege geheugenbeperkingen geen grote bestanden weergeven. Ze laden het hele bestand in het systeem-RAM, dus als dit geheugen niet groot genoeg is, mislukt het proces.

Methode #1: gratis editors gebruiken

De beste manier om extreem grote tekstbestanden te bekijken, is door... een teksteditor te gebruiken. Niet zomaar een teksteditor, maar de tools die bedoeld zijn om code te schrijven. Dergelijke apps kunnen meestal probleemloos grote bestanden verwerken en zijn gratis.

Large Text File Viewer is waarschijnlijk de eenvoudigste van deze toepassingen. Het is heel gemakkelijk te gebruiken, werkt snel en heeft een zeer lage voetafdruk. Het enige nadeel? Het kan de bestanden niet bewerken. Maar als u alleen grote CSV-bestanden wilt bekijken, is dit zonder meer de beste tool voor de klus.

Ook voor het bewerken van grote tekstbestanden moet je Emacs proberen . Oorspronkelijk gemaakt voor Unix-systemen, werkt het ook prima op Windows en kan het grote bestanden aan. Evenzo zijn Neovim en Sublime Text twee lichtgewicht IDE's die kunnen worden gebruikt om CSV-tekstbestanden van gigabyte-formaat te openen.

Als je alleen maar zoekt naar gegevens in grote logbestanden, dan is klogg de juiste tool voor jou. Deze applicatie is een update-vork van het populaire glogg en stelt je in staat om met gemak complexe zoekacties uit te voeren in enorme tekstbestanden. Omdat door de computer gegenereerde logbestanden vaak miljoenen rijen kunnen hebben, is klogg ontworpen om probleemloos met dergelijke bestandsgroottes te werken.

Methode #2: opsplitsen in meerdere delen

Het hele probleem met het openen van grote CSV-bestanden is dat ze te groot zijn. Maar wat als u deze zou splitsen in meerdere kleinere bestanden?

Dit is een populaire oplossing, omdat het over het algemeen niet nodig is om de interface van een nieuwe teksteditor te leren kennen. In plaats daarvan kunt u een van de vele online beschikbare CSV-splitters gebruiken om het grote bestand op te splitsen in een aantal gemakkelijk te openen bestanden. Elk van deze bestanden is dan normaal toegankelijk.

Dit is echter niet de beste manier om dit aan te pakken. Het splitsen van een groot bestand kan vaak leiden tot rare typefouten of onjuist geconfigureerde bestanden. Bovendien voorkomt het afzonderlijk openen van elk blok dat u in één keer door de hele gegevens filtert.

Methode #3: importeren in een database

Tekst- en .csv-bestanden die meerdere gigabytes groot zijn, zijn over het algemeen grote datasets. Dus waarom importeert u ze niet gewoon in een database?

SQL is tegenwoordig de meest gebruikte opmaaktaal voor databases. Er zijn veel versies van SQL in gebruik, maar de gemakkelijkste is waarschijnlijk MySQL. En gelukkig is het mogelijk om een ​​CSV-bestand om te zetten in een MySQL-tabel .

Dit is zeker niet de gemakkelijkste methode om met grote CSV-bestanden om te gaan, dus we raden dit alleen aan als u regelmatig met grote datasets wilt werken. Als MySQL te moeilijk klinkt, kunt u in plaats daarvan altijd uw .csv-bestanden naar MS Access importeren .

Methode # 4: analyseren met Python-bibliotheken

Wanneer u werkt met een .csv-bestand met miljoenen rijen gegevens, zult u er handmatig niet veel uit kunnen halen. U wilt waarschijnlijk de gegevens filteren en specifieke query's uitvoeren om trends te begrijpen.

Dus waarom schrijf je geen Python-code om precies dat te doen?

Nogmaals, dit is niet de meest gebruiksvriendelijke methode. Hoewel Python niet de moeilijkste programmeertaal is om te leren , is het coderen, dus het is misschien niet de beste aanpak voor jou. Maar als je merkt dat je dagelijks hele grote CSV-bestanden moet ontleden, wil je misschien de taak automatiseren met wat Python-code .

Methode #5: Met Premium Tools

De teksteditors die we in de eerste methode zagen, waren geen speciale tools bedoeld voor CSV-verwerking. Het waren tools voor algemene doeleinden die ook konden worden gebruikt om met grote .csv-bestanden te werken.

Maar hoe zit het met gespecialiseerde toepassingen? Zijn er geen apps die zijn gemaakt om dit probleem op te lossen?

Er zijn eigenlijk. CSV Explorer bouwt bijvoorbeeld voort op het proces dat we hebben beschreven in de laatste twee methoden (SQL-database en Python-code) om een ​​app te maken die CSV-bestanden van elke grootte kan bekijken en bewerken. U kunt alles doen wat u van een spreadsheetprogramma verwacht, zoals grafieken maken of de gegevens filteren in CSV Explorer.

Een andere optie is UltraEdit . In tegenstelling tot de vorige tool is dit niet alleen bedoeld voor .csv-bestanden, maar voor elk type tekstbestand. Het kan gemakkelijk tekst- en CSV-bestanden van enkele gigabytes verwerken, met een interface die vergelijkbaar is met veel van de gratis editors die we eerder hebben besproken. 

Het enige nadeel van deze tools is dat het premium-applicaties zijn, waarvoor je een betaalde licentie nodig hebt om ze te kunnen gebruiken. Je kunt altijd hun gratis proefversies uitproberen om hun functies te bekijken, of als je ze maar eenmalig gebruikt.

Wat is de beste manier om grote tekst- en CSV-bestanden te openen?

In dit tijdperk van Big Data is het niet ongebruikelijk om tekstbestanden tegen te komen die gigabytes groot zijn, wat zelfs moeilijk te bekijken is met ingebouwde tools zoals Kladblok of MS Excel. Om zulke grote CSV-bestanden te kunnen openen, moet u een applicatie van derden downloaden en gebruiken.

Als u alleen dergelijke bestanden wilt bekijken, dan is Large Text File Viewer de beste keuze voor u. Om ze daadwerkelijk te bewerken, kun je een feature-rijke teksteditor zoals Emacs proberen, of ga voor een premium tool zoals CSV Explorer.

Technieken zoals het splitsen van het CSV-bestand of het importeren in een database omvatten gewoon te veel stappen. U kunt beter een betaalde licentie van een speciale premium-tool aanschaffen als u merkt dat u veel met enorme tekstbestanden werkt.