Cómo abrir archivos de texto y CSV realmente grandes

MS Excel puede mostrar 1.048.576 filas. Si bien eso puede parecer un número realmente grande en el uso normal, hay muchos escenarios en los que eso no es suficiente.

Ya sea que busque archivos de registro o grandes conjuntos de datos, es fácil encontrar archivos CSV con millones de filas o archivos de texto enormes. Dado que Excel no puede admitir archivos tan grandes, ¿cómo los abre exactamente? Vamos a averiguar.

¿Por qué los editores de texto normales no pueden abrir archivos realmente grandes?

Una computadora tiene gigabytes de almacenamiento, entonces, ¿por qué los editores de texto no pueden abrir archivos grandes?

Hay dos factores en juego aquí. Algunas aplicaciones tienen un límite codificado en la cantidad de datos que pueden mostrar. No importa cuánta memoria tenga su PC, simplemente no la usarán.

El segundo problema es la memoria RAM. Muchos editores de texto no tienen un límite estricto en el número de filas, pero no pueden mostrar archivos grandes debido a limitaciones de memoria. Cargan el archivo completo en la RAM del sistema, por lo que si esta memoria no es lo suficientemente grande, el proceso falla.

Método n.º 1: uso de editores gratuitos

La mejor manera de ver archivos de texto extremadamente grandes es usar... un editor de texto. No cualquier editor de texto, sino las herramientas destinadas a escribir código. Estas aplicaciones generalmente pueden manejar archivos grandes sin problemas y son gratuitas.

Large Text File Viewer es probablemente la más simple de estas aplicaciones. Es realmente fácil de usar, funciona rápido y tiene una huella de recursos muy baja. ¿El único inconveniente? No puede editar los archivos. Pero si solo desea ver archivos CSV grandes, esta es sin duda la mejor herramienta para el trabajo.

También para editar archivos de texto grandes, debe probar Emacs . Originalmente creado para sistemas Unix, también funciona perfectamente en Windows y puede manejar archivos grandes. Del mismo modo, Neovim y Sublime Text son dos IDE livianos que se pueden usar para abrir archivos de texto CSV de tamaño gigabyte.

Si todo lo que busca es buscar datos a través de grandes archivos de registro, entonces klogg es la herramienta ideal para usted. Una bifurcación de actualización del popular glogg , esta aplicación le permite realizar operaciones de búsqueda complejas a través de enormes archivos de texto con facilidad. Dado que los archivos de registro generados por computadora a menudo pueden tener millones de filas, klogg está diseñado para funcionar con tales tamaños de archivo sin problemas.

Método #2: dividir en varias partes

Todo el problema de intentar abrir archivos CSV grandes es que son demasiado grandes. Pero, ¿y si tuviera que dividirlos en varios archivos más pequeños?

Esta es una solución popular, ya que generalmente no implica tener que aprender la interfaz de un nuevo editor de texto. En su lugar, puede usar uno de los muchos divisores de CSV disponibles en línea para dividir el archivo grande en varios archivos fáciles de abrir. A continuación, se puede acceder normalmente a cada uno de estos archivos.

Sin embargo, esta no es la mejor manera de hacerlo. Dividir un archivo grande a menudo puede provocar errores tipográficos extraños o archivos configurados incorrectamente. Además, abrir cada fragmento por separado le impide filtrar todos los datos a la vez.

Método #3: Importar a una base de datos

Los archivos de texto y .csv que se extienden a varios gigabytes son generalmente grandes conjuntos de datos. Entonces, ¿por qué no simplemente importarlos a una base de datos?

SQL es el lenguaje de marcado de base de datos más común utilizado en estos días. Hay muchas versiones de SQL en uso, pero la más fácil es probablemente MySQL. Y por suerte, es posible convertir un archivo CSV en una tabla MySQL .

Este no es de ninguna manera el método más fácil para manejar archivos CSV de gran tamaño, por lo que solo lo recomendamos si desea manejar grandes conjuntos de datos de manera regular. Si MySQL suena demasiado difícil, siempre puede importar sus archivos .csv a MS Access .

Método #4: Analizar con bibliotecas de Python

Cuando trabaja con un archivo .csv con millones de filas de datos, obviamente no podrá entenderlo manualmente. Probablemente desee filtrar los datos y ejecutar consultas específicas para comprender las tendencias.

Entonces, ¿por qué no escribir el código de Python para hacer precisamente eso?

Una vez más, este no es el método más fácil de usar. Si bien Python no es el lenguaje de programación más difícil de aprender , es codificación, por lo que podría no ser el mejor enfoque para usted. Aún así, si tiene que analizar archivos CSV realmente grandes todos los días, es posible que desee automatizar la tarea con algún código de Python .

Método #5: Con Herramientas Premium

Los editores de texto que vimos en el primer método no eran herramientas dedicadas para el procesamiento de CSV. Eran herramientas de propósito general que también podían usarse para trabajar con archivos .csv de gran tamaño.

Pero, ¿qué pasa con las aplicaciones especializadas? ¿No existen aplicaciones creadas para resolver este problema?

Los hay, en realidad. CSV Explorer , por ejemplo, se basa en el mismo proceso que describimos en los últimos dos métodos (base de datos SQL y código Python) para crear una aplicación capaz de ver y editar archivos CSV de cualquier tamaño. Puede hacer todo lo que espera de una herramienta de hoja de cálculo, como crear gráficos o filtrar los datos en CSV Explorer.

Otra opción es UltraEdit . A diferencia de la herramienta anterior, esto no solo está diseñado para archivos .csv, sino también para cualquier tipo de archivo de texto. Puede manejar fácilmente archivos de texto y CSV que van desde unos pocos gigabytes, con una interfaz similar a muchos de los editores gratuitos que discutimos anteriormente. 

El único inconveniente de estas herramientas es que son aplicaciones premium y requieren que obtengas una licencia paga para poder usarlas. Siempre puede probar sus versiones de prueba gratuitas para ver sus características, o si solo tiene un uso único.

¿Cuál es la mejor manera de abrir archivos de texto grande y CSV?

En esta era de Big Data, no es raro encontrarse con archivos de texto que se ejecutan en gigabytes, que pueden ser difíciles de ver incluso con herramientas integradas como el Bloc de notas o MS Excel. Para poder abrir archivos CSV tan grandes, debe descargar y utilizar una aplicación de terceros.

Si todo lo que desea es ver dichos archivos, entonces el Visor de archivos de texto grande es la mejor opción para usted. Para editarlos, puede probar un editor de texto rico en funciones como Emacs, o elegir una herramienta premium como CSV Explorer.

Técnicas como dividir el archivo CSV o importarlo a una base de datos implican demasiados pasos. Es mejor obtener una licencia paga de una herramienta premium dedicada si se encuentra trabajando mucho con archivos de texto grandes.