So öffnen Sie wirklich große Text- und CSV-Dateien

MS Excel kann 1.048.576 Zeilen anzeigen. Während dies im normalen Gebrauch wie eine wirklich große Zahl erscheinen mag, gibt es viele Szenarien, in denen dies nicht ganz ausreicht.

Ob Sie sich Protokolldateien oder große Datenmengen ansehen, es ist leicht, auf CSV-Dateien mit Millionen von Zeilen oder riesigen Textdateien zu stoßen. Da Excel so große Dateien nicht unterstützen kann, wie genau öffnen Sie sie? Lass es uns herausfinden.

Warum können normale Texteditoren keine wirklich großen Dateien öffnen?

Ein Computer hat Gigabyte Speicherplatz, warum können Texteditoren also keine großen Dateien öffnen?

Hier spielen zwei Faktoren eine Rolle. Einige Anwendungen haben ein fest codiertes Limit, wie viele Daten sie anzeigen können. Es spielt keine Rolle, wie viel Speicher Ihr PC hat, sie werden ihn einfach nicht verwenden.

Das zweite Problem ist RAM. Viele Texteditoren haben keine feste Begrenzung der Zeilenanzahl, können aber aufgrund von Speicherbeschränkungen keine großen Dateien anzeigen. Sie laden die gesamte Datei in den System-RAM. Wenn dieser Speicher also nicht groß genug ist, schlägt der Prozess fehl.

Methode Nr. 1: Kostenlose Editoren verwenden

Die beste Möglichkeit, extrem große Textdateien anzuzeigen, ist die Verwendung eines Texteditors. Nicht irgendein Texteditor, sondern die Tools zum Schreiben von Code. Solche Apps können normalerweise problemlos mit großen Dateien umgehen und sind kostenlos.

Large Text File Viewer ist wahrscheinlich die einfachste dieser Anwendungen. Es ist wirklich einfach zu bedienen, arbeitet schnell und hat einen sehr geringen Ressourcenverbrauch. Der einzige Nachteil? Es kann die Dateien nicht bearbeiten. Aber wenn Sie nur große CSV-Dateien anzeigen möchten, ist dies zweifellos das beste Tool für den Job.

Um auch große Textdateien zu bearbeiten, sollten Sie Emacs ausprobieren . Ursprünglich für Unix-Systeme entwickelt, funktioniert es auch perfekt unter Windows und kann mit großen Dateien umgehen. In ähnlicher Weise sind Neovim und Sublime Text zwei leichtgewichtige IDEs, die zum Öffnen von Gigabyte-großen CSV-Textdateien verwendet werden können.

Wenn Sie nur große Protokolldateien nach Daten durchsuchen möchten, ist klogg genau das richtige Tool für Sie. Diese Anwendung ist eine aktualisierte Abzweigung des beliebten glogg und ermöglicht es Ihnen, komplexe Suchvorgänge in riesigen Textdateien mit Leichtigkeit durchzuführen. Da computergenerierte Protokolldateien oft Millionen von Zeilen enthalten können, ist klogg darauf ausgelegt, problemlos mit solchen Dateigrößen zu arbeiten.

Methode Nr. 2: In mehrere Teile aufteilen

Das ganze Problem beim Versuch, große CSV-Dateien zu öffnen, ist, dass sie zu groß sind. Aber was wäre, wenn Sie diese in mehrere kleinere Dateien aufteilen würden?

Dies ist eine beliebte Lösung, da es im Allgemeinen nicht erforderlich ist, die Benutzeroberfläche eines neuen Texteditors zu erlernen. Stattdessen können Sie einen der vielen online verfügbaren CSV-Splitter verwenden , um die große Datei in eine Reihe einfach zu öffnender Dateien aufzuteilen. Auf jede dieser Dateien kann dann normal zugegriffen werden.

Dies ist jedoch nicht der beste Weg, dies zu tun. Das Aufteilen einer großen Datei kann oft zu seltsamen Tippfehlern oder falsch konfigurierten Dateien führen. Darüber hinaus verhindert das separate Öffnen jedes Chunks, dass Sie die gesamten Daten auf einmal filtern.

Methode Nr. 3: Import in eine Datenbank

Text- und .csv-Dateien, die sich auf mehrere Gigabyte erstrecken, sind im Allgemeinen große Datensätze. Warum also nicht einfach in eine Datenbank importieren?

SQL ist die heutzutage am häufigsten verwendete Datenbank-Markup-Sprache. Es werden viele Versionen von SQL verwendet, aber die einfachste ist wahrscheinlich MySQL. Und glücklicherweise ist es möglich, eine CSV-Datei in eine MySQL-Tabelle umzuwandeln .

Dies ist keineswegs die einfachste Methode, um mit großen CSV-Dateien umzugehen, daher empfehlen wir dies nur, wenn Sie regelmäßig mit großen Datensätzen umgehen möchten. Wenn MySQL zu hart klingt, können Sie Ihre .csv-Dateien stattdessen immer in MS Access importieren .

Methode Nr. 4: Analysieren Sie mit Python-Bibliotheken

Wenn Sie mit einer .csv-Datei mit Millionen von Datenzeilen arbeiten, werden Sie offensichtlich nicht in der Lage sein, manuell viel Sinn daraus zu machen. Wahrscheinlich möchten Sie die Daten filtern und bestimmte Abfragen ausführen, um Trends zu verstehen.

Warum also nicht Python-Code schreiben , um genau das zu tun?

Auch dies ist nicht die benutzerfreundlichste Methode. Python ist zwar nicht die am schwersten zu erlernende Programmiersprache , aber es handelt sich um Codierung, daher ist es möglicherweise nicht der beste Ansatz für Sie. Wenn Sie jedoch feststellen, dass Sie täglich wirklich große CSV-Dateien parsen müssen, möchten Sie die Aufgabe möglicherweise mit etwas Python-Code automatisieren .

Methode #5: Mit Premium-Tools

Die Texteditoren, die wir in der ersten Methode gesehen haben, waren keine speziellen Tools für die CSV-Verarbeitung. Sie waren Allzweck-Tools, die auch für die Arbeit mit großen .csv-Dateien verwendet werden konnten.

Aber was ist mit spezialisierten Anwendungen? Gibt es keine Apps, die entwickelt wurden, um dieses Problem zu lösen?

Es gibt tatsächlich. CSV Explorer baut beispielsweise auf genau dem Prozess auf, den wir in den letzten beiden Methoden (SQL-Datenbank und Python-Code) beschrieben haben, um eine App zu erstellen, die CSV-Dateien beliebiger Größe anzeigen und bearbeiten kann. Sie können alles tun, was Sie von einem Tabellenkalkulationstool erwarten, z. B. Diagramme erstellen oder die Daten im CSV-Explorer filtern.

Eine weitere Option ist UltraEdit . Im Gegensatz zum vorherigen Tool ist dies nicht nur für .csv-Dateien gedacht, sondern für jede Art von Textdatei. Es kann problemlos Text- und CSV-Dateien bis zu einigen Gigabyte verarbeiten, mit einer Schnittstelle, die vielen der zuvor besprochenen kostenlosen Editoren ähnelt. 

Der einzige Nachteil bei diesen Tools ist, dass es sich um Premium-Anwendungen handelt, für deren Nutzung Sie eine kostenpflichtige Lizenz erwerben müssen. Sie können jederzeit ihre kostenlosen Testversionen ausprobieren, um ihre Funktionen zu testen, oder wenn Sie nur eine einmalige Nutzung haben.

Was ist der beste Weg, um große Text- und CSV-Dateien zu öffnen?

Im Zeitalter von Big Data ist es nicht ungewöhnlich, auf Textdateien mit Gigabyte-Größen zu stoßen, die mit integrierten Tools wie Notepad oder MS Excel nur schwer zu sehen sind. Um solch große CSV-Dateien öffnen zu können, müssen Sie eine Anwendung eines Drittanbieters herunterladen und verwenden.

Wenn Sie nur solche Dateien anzeigen möchten, ist Large Text File Viewer die beste Wahl für Sie. Um sie tatsächlich zu bearbeiten, können Sie einen funktionsreichen Texteditor wie Emacs ausprobieren oder sich für ein Premium-Tool wie CSV Explorer entscheiden.

Techniken wie das Aufteilen der CSV-Datei oder das Importieren in eine Datenbank erfordern einfach zu viele Schritte. Sie sind besser dran, eine kostenpflichtige Lizenz eines dedizierten Premium-Tools zu erwerben, wenn Sie häufig mit riesigen Textdateien arbeiten.