Cum să deschideți fișiere text și CSV foarte mari

MS Excel poate afișa 1.048.576 de rânduri. Deși poate părea un număr foarte mare în utilizarea normală, există o mulțime de scenarii în care acest lucru nu este suficient.

Indiferent dacă vă uitați la fișiere jurnal sau la seturi mari de date, este ușor să găsiți fișiere CSV cu milioane de rânduri sau fișiere text enorme. Deoarece Excel nu poate suporta fișiere atât de mari, cum le deschideți exact? Să aflăm.

De ce editorii de text normale nu pot deschide fișiere cu adevărat mari?

Un computer are gigaocteți de spațiu de stocare, așa că de ce editorii de text nu pot deschide fișiere mari?

Sunt doi factori în joc aici. Unele aplicații au o limită codificată de câte date pot afișa. Nu contează câtă memorie are computerul tău, pur și simplu nu o vor folosi.

A doua problemă este RAM. Multe editoare de text nu au o limită strictă a numărului de rânduri, dar nu pot afișa fișiere mari din cauza limitărilor de memorie. Ei încarcă întregul fișier în memoria RAM de sistem, așa că dacă această memorie nu este suficient de mare, procesul eșuează.

Metoda #1: Utilizarea editorilor gratuiti

Cel mai bun mod de a vizualiza fișiere text extrem de mari este să folosiți... un editor de text. Nu orice editor de text, ci instrumentele menite pentru scrierea codului. Astfel de aplicații pot gestiona, de obicei, fișiere mari fără probleme și sunt gratuite.

Large Text File Viewer este probabil cea mai simplă dintre aceste aplicații. Este foarte ușor de utilizat, funcționează rapid și are o amprentă de resurse foarte redusă. Singurul dezavantaj? Nu poate edita fișierele. Dar dacă doriți doar să vizualizați fișiere CSV mari, acesta este, fără îndoială, cel mai bun instrument pentru muncă.

Și pentru editarea fișierelor text mari, ar trebui să încercați Emacs . Creat inițial pentru sisteme Unix, funcționează perfect și pe Windows și poate gestiona fișiere mari. În mod similar, Neovim și Sublime Text sunt două IDE-uri ușoare care pot fi folosite pentru a deschide fișiere text CSV de dimensiuni gigabyte.

Dacă tot ceea ce cauți este să cauți date prin fișiere jurnal mari, atunci klogg este instrumentul potrivit pentru tine. O furcă de actualizare a popularului glogg , această aplicație vă permite să efectuați cu ușurință operațiuni complexe de căutare prin fișiere text enorme. Deoarece fișierele jurnal generate de computer pot avea adesea milioane de rânduri, klogg este proiectat să funcționeze cu astfel de dimensiuni de fișiere fără probleme.

Metoda #2: Împărțiți în mai multe părți

Întreaga problemă cu încercarea de a deschide fișiere CSV mari este că acestea sunt prea mari. Dar dacă ar fi să le împărțiți în mai multe fișiere mai mici?

Aceasta este o soluție populară, deoarece, în general, nu implică nevoia de a învăța interfața unui nou editor de text. În schimb, puteți folosi unul dintre numeroasele divizor CSV disponibile online pentru a împărți fișierul mare într-un număr de fișiere ușor de deschis. Fiecare dintre aceste fișiere poate fi apoi accesat în mod normal.

Cu toate acestea, acesta nu este cel mai bun mod de a proceda în acest sens. Împărțirea unui fișier mare poate duce adesea la greșeli de scriere ciudate sau la fișiere configurate incorect. Mai mult, deschiderea fiecărei bucăți separat vă împiedică să filtrați toate datele simultan.

Metoda #3: Import într-o bază de date

Fișierele text și .csv care se extind pe mai mulți gigaocteți sunt în general seturi de date mari. Deci, de ce să nu le importați într-o bază de date?

SQL este cel mai comun limbaj de marcare a bazei de date folosit în prezent. Există multe versiuni de SQL în uz, dar cea mai ușoară este probabil MySQL. Și după noroc, este posibil să convertiți un fișier CSV într-un tabel MySQL .

Aceasta nu este în niciun caz cea mai ușoară metodă de a trata fișiere CSV mari, așa că vă recomandăm doar dacă doriți să vă ocupați de seturi mari de date în mod regulat. Dacă MySQL sună prea dur, puteți oricând să importați fișierele .csv în MS Access .

Metoda #4: Analizați cu bibliotecile Python

Când lucrați cu un fișier .csv cu milioane de rânduri de date, evident că nu veți putea să-i înțelegeți prea mult manual. Probabil doriți să filtrați datele și să executați interogări specifice pentru a înțelege tendințele.

Deci, de ce să nu scrieți cod Python pentru a face exact asta?

Încă o dată, aceasta nu este metoda cea mai ușor de utilizat. Deși Python nu este cel mai greu limbaj de programare de învățat , este codificare, așa că s-ar putea să nu fie cea mai bună abordare pentru tine. Totuși, dacă trebuie să analizați zilnic fișiere CSV foarte mari, este posibil să doriți să automatizați sarcina cu ceva cod Python .

Metoda #5: Cu instrumente premium

Editorii de text pe care i-am văzut în prima metodă nu erau instrumente dedicate destinate procesării CSV. Erau instrumente de uz general care puteau fi folosite și pentru a lucra cu fișiere mari .csv.

Dar cum rămâne cu aplicațiile specializate? Nu există aplicații care să fie create pentru a rezolva această problemă?

Există, de fapt. CSV Explorer , de exemplu, se bazează pe procesul descris în ultimele două metode (baza de date SQL și codul Python) pentru a crea o aplicație capabilă să vizualizeze și să editeze fișiere CSV de orice dimensiune. Puteți face tot ce vă așteptați de la un instrument de foaie de calcul, cum ar fi să creați grafice sau să filtrați datele în CSV Explorer.

O altă opțiune este UltraEdit . Spre deosebire de instrumentul anterior, acesta este destinat nu numai fișierelor .csv, ci și oricărui tip de fișier text. Poate gestiona cu ușurință fișierele text și CSV de la câțiva gigaocteți, cu o interfață similară cu multe dintre editoarele gratuite despre care am discutat mai devreme. 

Singurul dezavantaj al acestor instrumente este că sunt aplicații premium, necesitând să obțineți o licență plătită pentru a le putea folosi. Puteți încerca oricând versiunile lor de încercare gratuite pentru a le verifica funcțiile sau dacă aveți o singură utilizare.

Care este cea mai bună modalitate de a deschide fișiere text și CSV mari?

În această epocă a Big Data, nu este neobișnuit să întâlniți fișiere text care rulează în gigaocteți, ceea ce poate fi chiar greu de vizualizat cu instrumente încorporate precum Notepad sau MS Excel. Pentru a putea deschide fișiere CSV atât de mari, trebuie să descărcați și să utilizați o aplicație terță parte.

Dacă tot ce doriți este să vizualizați astfel de fișiere, atunci Large Text File Viewer este cea mai bună alegere pentru dvs. Pentru a le edita efectiv, puteți încerca un editor de text bogat în funcții, cum ar fi Emacs, sau puteți alege un instrument premium precum CSV Explorer.

Tehnici precum împărțirea fișierului CSV sau importarea acestuia într-o bază de date implică prea mulți pași. Este mai bine să obțineți o licență plătită pentru un instrument premium dedicat, dacă lucrați mult cu fișiere text uriașe.