Jak otwierać naprawdę duże pliki tekstowe i CSV

MS Excel może wyświetlić 1 048 576 wierszy. Chociaż w normalnym użytkowaniu może się to wydawać naprawdę dużą liczbą, istnieje wiele scenariuszy, w których to nie wystarczy.

Niezależnie od tego, czy przeglądasz pliki dziennika, czy duże zbiory danych, łatwo natknąć się na pliki CSV z milionami wierszy lub ogromne pliki tekstowe. Ponieważ program Excel nie obsługuje tak dużych plików, jak dokładnie je otwierasz? Dowiedzmy Się.

Dlaczego zwykłe edytory tekstu nie mogą otwierać naprawdę dużych plików?

Komputer ma gigabajty pamięci, więc dlaczego edytory tekstu nie mogą otwierać dużych plików?

W grę wchodzą tu dwa czynniki. Niektóre aplikacje mają zakodowany na stałe limit ilości danych, które mogą wyświetlić. Nie ma znaczenia, ile pamięci ma twój komputer, po prostu go nie użyją.

Druga sprawa to RAM. Wiele edytorów tekstu nie ma sztywnego limitu liczby wierszy, ale nie może wyświetlać dużych plików ze względu na ograniczenia pamięci. Ładują cały plik do systemowej pamięci RAM, więc jeśli ta pamięć nie jest wystarczająco duża, proces kończy się niepowodzeniem.

Metoda nr 1: Korzystanie z bezpłatnych edytorów

Najlepszym sposobem przeglądania bardzo dużych plików tekstowych jest użycie… edytora tekstu. Nie byle jaki edytor tekstu, ale narzędzia przeznaczone do pisania kodu. Takie aplikacje zazwyczaj bez problemu radzą sobie z dużymi plikami i są bezpłatne.

Przeglądarka dużych plików tekstowych jest prawdopodobnie najprostszą z tych aplikacji. Jest naprawdę łatwy w użyciu, działa szybko i zużywa bardzo mało zasobów. Jedyny minus? Nie może edytować plików. Ale jeśli chcesz przeglądać tylko duże pliki CSV, jest to najlepsze narzędzie do tego zadania.

Do edycji dużych plików tekstowych powinieneś wypróbować Emacsa . Pierwotnie stworzony dla systemów Unix, działa doskonale również w systemie Windows i może obsługiwać duże pliki. Podobnie Neovim i Sublime Text to dwa lekkie IDE, których można używać do otwierania plików tekstowych CSV o wielkości gigabajtów.

Jeśli wszystko, czego szukasz, to wyszukiwanie danych w dużych plikach dziennika, to klogg jest narzędziem właśnie dla Ciebie. Ta aplikacja , rozwidlenie popularnego glogga , pozwala z łatwością wykonywać złożone operacje wyszukiwania w ogromnych plikach tekstowych. Ponieważ generowane komputerowo pliki dziennika mogą często zawierać miliony wierszy, klogg jest przeznaczony do bezproblemowej pracy z takimi rozmiarami plików.

Metoda nr 2: Podziel na wiele części

Cały problem z próbą otwarcia dużych plików CSV polega na tym, że są one zbyt duże. Ale co by było, gdybyś podzielił je na wiele mniejszych plików?

Jest to popularne rozwiązanie, ponieważ generalnie nie wiąże się z koniecznością poznawania interfejsu nowego edytora tekstu. Zamiast tego możesz użyć jednego z wielu rozdzielaczy CSV dostępnych online, aby podzielić duży plik na kilka łatwych do otwarcia plików. Dostęp do każdego z tych plików można uzyskać normalnie.

Jednak nie jest to najlepszy sposób na rozwiązanie tego problemu. Dzielenie dużego pliku może często prowadzić do dziwnych literówek lub nieprawidłowo skonfigurowanych plików. Co więcej, otwieranie każdej porcji osobno uniemożliwia filtrowanie całych danych naraz.

Metoda nr 3: Importuj do bazy danych

Pliki tekstowe i pliki .csv o rozmiarze wielu gigabajtów to na ogół duże zbiory danych. Dlaczego więc po prostu nie zaimportować ich do bazy danych?

SQL jest obecnie najczęściej używanym językiem znaczników baz danych. W użyciu jest wiele wersji SQL , ale najłatwiejszą jest prawdopodobnie MySQL. I na szczęście istnieje możliwość przekonwertowania pliku CSV na tabelę MySQL .

Nie jest to wcale najłatwiejsza metoda radzenia sobie z dużymi plikami CSV, dlatego zalecamy ją tylko wtedy, gdy chcesz regularnie zajmować się dużymi zbiorami danych. Jeśli MySQL brzmi zbyt twardo, zawsze możesz zamiast tego zaimportować swoje pliki .csv do MS Access .

Metoda nr 4: Analizuj za pomocą bibliotek Pythona

Kiedy pracujesz z plikiem .csv zawierającym miliony wierszy danych, oczywiście nie będziesz w stanie zrozumieć go ręcznie. Prawdopodobnie chcesz filtrować dane i uruchamiać określone zapytania, aby zrozumieć trendy.

Dlaczego więc nie napisać kodu w Pythonie, który właśnie to zrobi?

Po raz kolejny nie jest to najbardziej przyjazna dla użytkownika metoda. Chociaż Python nie jest najtrudniejszym językiem programowania do nauczenia się , to kodowanie, więc może nie być dla Ciebie najlepszym podejściem. Mimo to, jeśli musisz codziennie analizować naprawdę duże pliki CSV, możesz zautomatyzować to zadanie za pomocą kodu Pythona .

Metoda nr 5: za pomocą narzędzi Premium

Edytory tekstu, które widzieliśmy w pierwszej metodzie, nie były dedykowanymi narzędziami przeznaczonymi do przetwarzania plików CSV. Były to narzędzia ogólnego przeznaczenia, których można było używać również do pracy z dużymi plikami .csv.

Ale co ze specjalistycznymi aplikacjami? Czy nie ma aplikacji stworzonych w celu rozwiązania tego problemu?

Istnieją, faktycznie. CSV Explorer , na przykład, opiera się na tym samym procesie, który opisaliśmy w dwóch ostatnich metodach (baza danych SQL i kod Pythona), aby stworzyć aplikację zdolną do przeglądania i edytowania plików CSV o dowolnym rozmiarze. Możesz zrobić wszystko, czego oczekujesz od narzędzia arkusza kalkulacyjnego, na przykład tworzyć wykresy lub filtrować dane w Eksploratorze CSV.

Inną opcją jest UltraEdit . W przeciwieństwie do poprzedniego narzędzia, jest to przeznaczone nie tylko dla plików .csv, ale dla dowolnego typu pliku tekstowego. Może z łatwością obsługiwać pliki tekstowe i CSV o wielkości do kilku gigabajtów, z interfejsem podobnym do wielu darmowych edytorów, o których mówiliśmy wcześniej. 

Jedyną wadą tych narzędzi jest to, że są to aplikacje premium, które wymagają uzyskania płatnej licencji, aby móc z nich korzystać. Zawsze możesz wypróbować ich bezpłatne wersje próbne, aby sprawdzić ich funkcje lub jeśli masz tylko jednorazowe użycie.

Jaki jest najlepszy sposób otwierania dużych plików tekstowych i CSV?

W dobie Big Data nierzadko zdarza się napotkać pliki tekstowe o wielkości gigabajtów, które mogą być trudne nawet do przeglądania za pomocą wbudowanych narzędzi, takich jak Notatnik lub MS Excel. Aby móc otwierać tak duże pliki CSV, musisz pobrać i używać aplikacji innej firmy.

Jeśli wszystko, czego chcesz, to przeglądanie takich plików, najlepszym wyborem jest Przeglądarka dużych plików tekstowych. Aby je edytować, możesz wypróbować bogaty w funkcje edytor tekstu, taki jak Emacs, lub skorzystać z narzędzia premium, takiego jak Eksplorator CSV.

Techniki takie jak dzielenie pliku CSV lub importowanie go do bazy danych wymagają po prostu zbyt wielu kroków. Lepiej jest uzyskać płatną licencję na dedykowane narzędzie premium, jeśli często pracujesz z dużymi plikami tekstowymi.