Cara Membuka Fail Teks dan CSV yang Sangat Besar

MS Excel boleh memaparkan 1,048,576 baris. Walaupun itu mungkin kelihatan seperti jumlah yang sangat besar dalam penggunaan biasa, terdapat banyak senario yang tidak mencukupi.

Sama ada anda melihat fail log atau set data yang besar, mudah untuk menjumpai fail CSV dengan berjuta-juta baris atau fail teks yang besar. Memandangkan Excel tidak dapat menyokong fail sebesar ini, bagaimana sebenarnya anda membukanya? Mari kita ketahui.

Mengapa Penyunting Teks Biasa Tidak Boleh Membuka Fail yang Sangat Besar?

Komputer mempunyai storan gigabait, jadi mengapa penyunting teks tidak boleh membuka fail besar?

Terdapat dua faktor yang dimainkan di sini. Sesetengah aplikasi mempunyai had kod keras pada jumlah data yang boleh mereka paparkan. Tidak kira berapa banyak memori PC anda, mereka tidak akan menggunakannya.

Isu kedua ialah RAM. Banyak penyunting teks tidak mempunyai had keras pada bilangan baris, tetapi tidak boleh memaparkan fail besar kerana had memori. Mereka memuatkan keseluruhan fail ke dalam RAM sistem, jadi jika memori ini tidak cukup besar, prosesnya gagal.

Kaedah #1: Menggunakan Editor Percuma

Cara terbaik untuk melihat fail teks yang sangat besar adalah dengan menggunakan… editor teks. Bukan sebarang editor teks, tetapi alat yang dimaksudkan untuk menulis kod. Apl sedemikian biasanya boleh mengendalikan fail besar tanpa halangan dan percuma.

Pemapar Fail Teks Besar mungkin yang paling mudah daripada aplikasi ini. Ia sangat mudah untuk digunakan, berfungsi dengan pantas dan mempunyai jejak sumber yang sangat rendah. Satu-satunya kelemahan? Ia tidak boleh mengedit fail. Tetapi jika anda hanya mahu melihat fail CSV yang besar, ini adalah alat terbaik untuk tugas itu.

Untuk mengedit fail teks yang besar juga, anda harus mencuba Emacs . Asalnya dicipta untuk sistem Unix, ia berfungsi dengan baik pada Windows juga, dan boleh mengendalikan fail besar. Begitu juga, Neovim dan Sublime Text ialah dua IDE ringan yang boleh digunakan untuk membuka fail teks CSV bersaiz gigabait.

Jika semua yang anda cari adalah untuk mencari data melalui fail log yang besar, maka klogg hanyalah alat untuk anda. Garpu pengemaskinian glogg popular , aplikasi ini membolehkan anda melakukan operasi carian yang kompleks melalui fail teks yang besar dengan mudah. Memandangkan fail log yang dijana komputer selalunya boleh mempunyai berjuta-juta baris, klogg direka bentuk untuk berfungsi dengan saiz fail sedemikian tanpa masalah.

Kaedah #2: Bahagikan Kepada Berbilang Bahagian

Keseluruhan masalah dengan cuba membuka fail CSV yang besar ialah ia terlalu besar. Tetapi bagaimana jika anda membahagikannya kepada beberapa fail yang lebih kecil?

Ini adalah penyelesaian yang popular, kerana ia biasanya tidak melibatkan perlu mempelajari antara muka penyunting teks baharu. Sebaliknya, anda boleh menggunakan salah satu daripada banyak pembahagi CSV yang tersedia dalam talian untuk memecahkan fail besar kepada beberapa fail yang mudah dibuka. Setiap fail ini kemudiannya boleh diakses secara normal.

Walau bagaimanapun, ini bukan cara terbaik untuk melakukannya. Memisahkan fail besar selalunya boleh menyebabkan kesilapan menaip pelik atau fail yang tidak dikonfigurasikan dengan betul. Selain itu, membuka setiap bahagian secara berasingan menghalang anda daripada menapis keseluruhan data sekaligus.

Kaedah #3: Import Ke Pangkalan Data

Fail teks dan .csv yang memanjang kepada berbilang gigabait biasanya merupakan set data yang besar. Jadi mengapa tidak mengimportnya sahaja ke dalam pangkalan data?

SQL ialah bahasa penanda pangkalan data yang paling biasa digunakan hari ini. Terdapat banyak versi SQL yang digunakan, tetapi yang paling mudah mungkin MySQL. Dan kerana nasib baik, adalah mungkin untuk menukar fail CSV menjadi jadual MySQL .

Ini sama sekali bukan kaedah yang paling mudah untuk menangani fail CSV yang besar, jadi kami hanya mengesyorkan ini jika anda ingin berurusan dengan set data yang besar secara tetap. Jika MySQL kedengaran terlalu sukar, anda sentiasa boleh mengimport fail .csv anda ke MS Access .

Kaedah #4: Analisis Dengan Perpustakaan Python

Apabila anda bekerja dengan fail .csv dengan berjuta-juta baris data, anda jelas tidak akan dapat memahaminya secara manual. Anda mungkin ingin menapis data dan menjalankan pertanyaan khusus untuk memahami arah aliran.

Jadi mengapa tidak menulis kod Python untuk berbuat demikian?

Sekali lagi, ini bukan kaedah yang paling mesra pengguna. Walaupun Python bukanlah bahasa pengaturcaraan yang paling sukar untuk dipelajari , ia adalah pengekodan, jadi ia mungkin bukan pendekatan terbaik untuk anda. Namun, jika anda mendapati diri anda perlu menghuraikan fail CSV yang sangat besar setiap hari, anda mungkin mahu mengautomasikan tugas dengan beberapa kod Python .

Kaedah #5: Dengan Alat Premium

Editor teks yang kami lihat dalam kaedah pertama bukanlah alat khusus yang dimaksudkan untuk pemprosesan CSV. Ia adalah alatan tujuan umum yang boleh digunakan untuk berfungsi dengan fail .csv yang besar juga.

Tetapi bagaimana dengan aplikasi khusus? Adakah tiada aplikasi di luar sana yang dicipta untuk menyelesaikan masalah ini?

Ada, sebenarnya. CSV Explorer , sebagai contoh, membina proses yang kami nyatakan dalam dua kaedah terakhir (pangkalan data SQL dan kod Python) untuk mencipta aplikasi yang mampu melihat dan mengedit fail CSV dalam sebarang saiz. Anda boleh melakukan semua yang anda harapkan daripada alat hamparan seperti membuat graf atau menapis data dalam CSV Explorer.

Pilihan lain ialah UltraEdit . Tidak seperti alat sebelumnya, ini bukan hanya untuk fail .csv tetapi untuk sebarang jenis fail teks. Ia boleh mengendalikan fail teks dan CSV dengan mudah antara beberapa gigabait, dengan antara muka yang serupa dengan kebanyakan editor percuma yang kami bincangkan sebelum ini. 

Satu-satunya kelemahan dengan alat ini ialah ia adalah aplikasi premium, yang memerlukan anda mendapatkan lesen berbayar untuk dapat menggunakannya. Anda sentiasa boleh mencuba versi percubaan percuma mereka untuk menyemak ciri mereka, atau jika anda hanya menggunakan sekali sahaja.

Apakah Cara Terbaik Untuk Membuka Teks Besar dan Fail CSV?

Pada zaman Data Besar ini, adalah perkara biasa untuk menemui fail teks yang berjalan ke dalam gigabait, yang mungkin sukar untuk dilihat dengan alat terbina dalam seperti Notepad atau MS Excel. Untuk dapat membuka fail CSV yang besar seperti itu, anda perlu memuat turun dan menggunakan aplikasi pihak ketiga.

Jika anda hanya mahu melihat fail sedemikian, maka Pemapar Fail Teks Besar ialah pilihan terbaik untuk anda. Untuk benar-benar mengeditnya, anda boleh mencuba editor teks yang kaya dengan ciri seperti Emacs, atau menggunakan alat premium seperti CSV Explorer.

Teknik seperti membelah fail CSV atau mengimportnya ke dalam pangkalan data melibatkan terlalu banyak langkah. Anda lebih baik mendapatkan lesen berbayar alat premium khusus jika anda mendapati diri anda banyak bekerja dengan fail teks yang besar.