วิธีเปิดไฟล์ข้อความและ CSV ขนาดใหญ่จริงๆ

MS Excel สามารถแสดงได้ 1,048,576 แถว แม้ว่านั่นอาจดูเหมือนเป็นจำนวนมากในการใช้งานปกติ แต่ก็มีสถานการณ์มากมายที่ไม่เพียงพอ

ไม่ว่าคุณกำลังดูไฟล์บันทึกหรือชุดข้อมูลขนาดใหญ่ เป็นเรื่องง่ายที่จะเจอไฟล์ CSV ที่มีแถวหลายล้านแถวหรือไฟล์ข้อความขนาดมหึมา เนื่องจากExcelไม่สามารถรองรับไฟล์ขนาดใหญ่ขนาดนี้ได้ คุณจะเปิดได้อย่างไร ลองหากัน

เหตุใดโปรแกรมแก้ไขข้อความปกติจึงไม่สามารถเปิดไฟล์ขนาดใหญ่จริงๆ ได้

คอมพิวเตอร์มีพื้นที่เก็บข้อมูลเป็นกิกะไบต์ เหตุใดโปรแกรมแก้ไขข้อความจึงไม่สามารถเปิดไฟล์ขนาดใหญ่ได้

มีสองปัจจัยในการเล่นที่นี่ แอปพลิเคชันบางตัวมีขีดจำกัดของฮาร์ดโค้ดสำหรับข้อมูลที่สามารถแสดงได้ ไม่สำคัญว่าพีซีของคุณจะมีหน่วยความจำเท่าใด พวกเขาจะไม่ใช้มัน

ปัญหาที่สองคือ RAM โปรแกรมแก้ไขข้อความจำนวนมากไม่จำกัดจำนวนแถว แต่ไม่สามารถแสดงไฟล์ขนาดใหญ่ได้เนื่องจากข้อจำกัดของหน่วยความจำ พวกเขาโหลดไฟล์ทั้งหมดลงใน RAM ของระบบ ดังนั้นหากหน่วยความจำนี้ไม่ใหญ่พอ กระบวนการจะล้มเหลว

วิธีที่ #1: การใช้โปรแกรมแก้ไขฟรี

วิธีที่ดีที่สุดในการดูไฟล์ข้อความขนาดใหญ่มากคือการใช้... โปรแกรมแก้ไขข้อความ ไม่ใช่แค่โปรแกรมแก้ไขข้อความ แต่เป็นเครื่องมือสำหรับการเขียนโค้ด แอพดังกล่าวสามารถจัดการไฟล์ขนาดใหญ่ได้โดยไม่มีปัญหาและไม่เสียค่าใช้จ่าย

โปรแกรมดูไฟล์ข้อความขนาดใหญ่น่าจะเป็นแอปพลิเคชั่นที่ง่ายที่สุด มันใช้งานง่าย ทำงานเร็ว และใช้ทรัพยากรน้อยมาก ข้อเสียเพียงอย่างเดียว? ไม่สามารถแก้ไขไฟล์ได้ แต่ถ้าคุณต้องการดูเฉพาะไฟล์ CSV ขนาดใหญ่ นี่คือเครื่องมือที่ดีที่สุดสำหรับงาน

สำหรับการแก้ไขไฟล์ ข้อความขนาดใหญ่ คุณควรลองใช้Emacs เดิมทีสร้างขึ้นสำหรับระบบ Unix ทำงานได้ดีบน Windows เช่นกัน และสามารถจัดการไฟล์ขนาดใหญ่ได้ ในทำนองเดียวกันNeovimและSublime Textเป็น IDE น้ำหนักเบาสองตัวที่สามารถใช้เปิดไฟล์ข้อความ CSV ขนาดกิกะไบต์ได้

หากสิ่งที่คุณกำลังมองหาคือการค้นหาข้อมูลผ่านไฟล์บันทึกขนาดใหญ่kloggคือเครื่องมือสำหรับคุณ ทางแยกที่อัปเดตของglogg ยอดนิยม แอปพลิเคชันนี้ช่วยให้คุณดำเนินการค้นหาที่ซับซ้อนผ่านไฟล์ข้อความขนาดใหญ่ได้อย่างง่ายดาย เนื่องจากไฟล์บันทึกที่สร้างโดยคอมพิวเตอร์มักมีแถวเป็นล้านแถว klogg จึงได้รับการออกแบบมาให้ทำงานกับไฟล์ขนาดดังกล่าวได้โดยไม่มีปัญหา

วิธีที่ #2: แบ่งออกเป็นหลายส่วน

ปัญหาทั้งหมดของการพยายามเปิดไฟล์ CSV ขนาดใหญ่คือไฟล์มีขนาดใหญ่เกินไป แต่ถ้าคุณแบ่งไฟล์เหล่านี้ออกเป็นไฟล์ขนาดเล็กหลายไฟล์ล่ะ

นี่เป็นวิธีแก้ปัญหายอดนิยม เนื่องจากโดยทั่วไปแล้วไม่จำเป็นต้องเรียนรู้อินเทอร์เฟซของโปรแกรมแก้ไขข้อความใหม่ แต่คุณสามารถใช้ตัวแยก CSV ที่มีอยู่มากมายทางออนไลน์เพื่อแยกไฟล์ขนาดใหญ่ออกเป็นไฟล์ที่เปิดง่ายจำนวนหนึ่ง แต่ละไฟล์เหล่านี้สามารถเข้าถึงได้ตามปกติ

อย่างไรก็ตาม นี่ไม่ใช่วิธีที่ดีที่สุดในการดำเนินการเรื่องนี้ การแยกไฟล์ขนาดใหญ่มักจะนำไปสู่การพิมพ์ผิดแปลก ๆ หรือไฟล์ที่กำหนดค่าไม่ถูกต้อง ยิ่งไปกว่านั้น การเปิดแต่ละอันแยกจากกันทำให้คุณไม่สามารถกรองข้อมูลทั้งหมดพร้อมกันได้

วิธีที่ #3: นำเข้าสู่ฐานข้อมูล

ไฟล์ข้อความและ .csv ที่ขยายเป็นหลายกิกะไบต์มักเป็นชุดข้อมูลขนาดใหญ่ เหตุใดจึงไม่เพียงแค่นำเข้าไปยังฐานข้อมูล

SQL เป็นภาษามาร์กอัปฐานข้อมูลที่ใช้กันมากที่สุดในปัจจุบัน มี การใช้ SQL หลายเวอร์ชันแต่ที่ง่ายที่สุดน่าจะเป็น MySQL และโชคดีที่มันเป็นไปได้ที่จะแปลงไฟล์ CSV เป็นตาราง MySQL

นี่ไม่ใช่วิธีที่ง่ายที่สุดในการจัดการกับไฟล์ CSV ขนาดใหญ่ ดังนั้นเราแนะนำวิธีนี้เฉพาะในกรณีที่คุณต้องการจัดการกับชุดข้อมูลขนาดใหญ่เป็นประจำ หาก MySQL ฟังดูยากเกินไป คุณสามารถนำเข้าไฟล์ .csv ของคุณไปยังMS Accessแทนได้เสมอ

วิธีที่ #4: วิเคราะห์ด้วย Python Libraries

เมื่อคุณทำงานกับไฟล์ .csv ที่มีข้อมูลหลายล้านแถว คุณจะไม่สามารถทำความเข้าใจด้วยตนเองได้มากนัก คุณอาจต้องการกรองข้อมูลและเรียกใช้ข้อความค้นหาเฉพาะเพื่อทำความเข้าใจแนวโน้ม

เหตุใดจึงไม่เขียนโค้ด Pythonเพื่อทำอย่างนั้น

นี่ไม่ใช่วิธีที่เป็นมิตรต่อผู้ใช้มากที่สุด แม้ว่าPython จะไม่ใช่ภาษาการเขียนโปรแกรมที่ยากที่สุดในการเรียนรู้แต่มันคือการเขียนโค้ด ดังนั้นจึงอาจไม่ใช่แนวทางที่ดีที่สุดสำหรับคุณ อย่างไรก็ตาม หากคุณพบว่าตัวเองต้องแยกวิเคราะห์ ไฟล์CSV ขนาดใหญ่มากๆ ในแต่ละวัน คุณอาจต้องการทำให้งานเป็นแบบอัตโนมัติด้วยโค้ด Python

วิธีที่ #5: ด้วยเครื่องมือระดับพรีเมียม

โปรแกรมแก้ไขข้อความที่เราเห็นในวิธีแรกไม่ใช่เครื่องมือเฉพาะสำหรับการประมวลผล CSV เป็นเครื่องมืออเนกประสงค์ที่สามารถใช้ทำงานกับไฟล์ .csv ขนาดใหญ่ได้เช่นกัน

แต่แอพพลิเคชั่นเฉพาะทางล่ะ? ไม่มีแอพที่สร้างขึ้นเพื่อแก้ปัญหานี้หรือไม่?

มีจริง ตัวอย่างเช่น CSV Explorer สร้างขึ้นจากกระบวนการที่เราอธิบายไว้ในสองวิธีล่าสุด (ฐานข้อมูล SQL และรหัส Python) เพื่อสร้างแอปที่สามารถดูและแก้ไขไฟล์ CSV ทุกขนาด คุณสามารถทำทุกอย่างที่คุณคาดหวังจากเครื่องมือสเปรดชีต เช่น สร้างกราฟหรือกรองข้อมูลใน CSV Explorer

อีกทาง เลือกหนึ่งคือUltraEdit ไม่เหมือนกับเครื่องมือก่อนหน้านี้ เครื่องมือนี้ไม่ได้มีไว้สำหรับไฟล์ .csv เท่านั้น แต่สำหรับไฟล์ข้อความทุกประเภท สามารถจัดการข้อความและไฟล์ CSV ขนาดไม่กี่กิกะไบต์ได้อย่างง่ายดาย ด้วยอินเทอร์เฟซที่คล้ายกับโปรแกรมแก้ไขฟรีหลายตัวที่เราพูดถึงก่อนหน้านี้ 

ข้อเสียเพียงอย่างเดียวของเครื่องมือเหล่านี้คือเป็นแอปพลิเคชันระดับพรีเมียม ซึ่งคุณจะต้องได้รับใบอนุญาตแบบชำระเงินจึงจะใช้งานได้ คุณสามารถทดลองใช้เวอร์ชันทดลองฟรีได้ตลอดเวลาเพื่อตรวจสอบคุณลักษณะต่างๆ หรือหากคุณใช้งานเพียงครั้งเดียว

วิธีที่ดีที่สุดในการเปิดไฟล์ข้อความขนาดใหญ่และ CSV คืออะไร

ในยุคของ Big Data นี้ ไม่ใช่เรื่องแปลกที่จะเจอไฟล์ข้อความขนาดกิกะไบต์ ซึ่งดูได้ยากด้วยเครื่องมือที่มีมาให้อย่าง Notepad หรือ MS Excel หากต้องการเปิดไฟล์ CSV ขนาดใหญ่ คุณต้องดาวน์โหลดและใช้แอปพลิเคชันของบุคคลที่สาม

หากคุณต้องการเพียงแค่ดูไฟล์ดังกล่าว โปรแกรมดูไฟล์ข้อความขนาดใหญ่คือตัวเลือกที่ดีที่สุดสำหรับคุณ หากต้องการแก้ไขจริงๆ คุณสามารถลองใช้โปรแกรมแก้ไขข้อความที่มีคุณลักษณะหลากหลาย เช่น Emacs หรือใช้เครื่องมือระดับพรีเมียมอย่าง CSV Explorer

เทคนิคต่างๆ เช่น การแยกไฟล์ CSV หรือการนำเข้าไปยังฐานข้อมูลนั้นมีขั้นตอนมากเกินไป คุณควรได้รับใบอนุญาตแบบชำระเงินสำหรับเครื่องมือระดับพรีเมียมโดยเฉพาะ หากคุณพบว่าตัวเองต้องทำงานกับไฟล์ข้อความขนาดใหญ่อยู่บ่อยครั้ง