매우 큰 텍스트 및 CSV 파일을 여는 방법

MS Excel은 1,048,576개의 행을 표시할 수 있습니다. 정상적인 사용에서는 이 숫자가 정말 큰 숫자처럼 보일 수 있지만 충분하지 않은 시나리오가 많이 있습니다.

로그 파일을 보든 대용량 데이터 세트를 보든 관계없이 수백만 개의 행이 있는 CSV 파일이나 막대한 텍스트 파일을 쉽게 찾을 수 있습니다. Excel은 이렇게 큰 파일을 지원할 수 없기 때문에 파일을 정확히 어떻게 여나요? 알아 보자.

일반 텍스트 편집기가 정말 큰 파일을 열 수 없는 이유는 무엇입니까?

컴퓨터에는 기가바이트의 저장 공간이 있는데 텍스트 편집기가 대용량 파일을 열 수 없는 이유는 무엇입니까?

여기에는 두 가지 요소가 작용합니다. 일부 응용 프로그램에는 표시할 수 있는 데이터의 양이 하드코딩되어 있습니다. PC의 메모리 양은 중요하지 않으며 사용하지 않습니다.

두 번째 문제는 RAM입니다. 많은 텍스트 편집기에는 행 수에 엄격한 제한이 없지만 메모리 제한으로 인해 큰 파일을 표시할 수 없습니다. 전체 파일을 시스템 RAM에 로드하므로 이 메모리가 충분히 크지 않으면 프로세스가 실패합니다.

방법 #1: 무료 편집기 사용

매우 큰 텍스트 파일을 보는 가장 좋은 방법은 텍스트 편집기를 사용하는 것입니다. 텍스트 편집기뿐만 아니라 코드 작성을 위한 도구도 있습니다. 이러한 앱은 일반적으로 장애 없이 대용량 파일을 처리할 수 있으며 무료입니다.

Large Text File Viewer는 아마도 이러한 응용 프로그램 중 가장 단순할 것입니다. 정말 사용하기 쉽고 빠르게 작동하며 리소스 사용량이 매우 적습니다. 유일한 단점? 파일을 편집할 수 없습니다. 그러나 큰 CSV 파일만 보고 싶다면 이 작업에 가장 적합한 도구입니다.

큰 텍스트 파일을 편집하려면 Emacs를 사용해야 합니다 . 원래 Unix 시스템용으로 만들어졌으며 Windows에서도 완벽하게 작동하며 대용량 파일을 처리할 수 있습니다. 마찬가지로 Neovim 과 Sublime Text는 기가바이트 크기의 CSV 텍스트 파일을 여는 데 사용할 수 있는 두 개의 경량 IDE입니다.

찾고 있는 것이 대용량 로그 파일을 통해 데이터를 검색하는 것뿐이라면 klogg 가 적합한 도구입니다. 인기 있는 glogg 의 업데이트 포크인 이 응용 프로그램을 사용하면 막대한 텍스트 파일을 통해 복잡한 검색 작업을 쉽게 수행할 수 있습니다. 컴퓨터에서 생성된 로그 파일에는 종종 수백만 개의 행이 있을 수 있으므로 klogg는 이러한 파일 크기에서 문제 없이 작동하도록 설계되었습니다.

방법 #2: 여러 부분으로 분할

큰 CSV 파일을 열려고 할 때의 전체 문제는 파일이 너무 크다는 것입니다. 하지만 이것을 여러 개의 작은 파일로 분할한다면 어떨까요?

이것은 일반적으로 새로운 텍스트 편집기의 인터페이스를 배울 필요가 없기 때문에 널리 사용되는 솔루션입니다. 대신 온라인에서 사용할 수 있는 많은 CSV 분할기 중 하나를 사용하여 대용량 파일을 열기 쉬운 여러 파일로 나눌 수 있습니다. 그러면 이러한 각 파일에 정상적으로 액세스할 수 있습니다.

그러나 이것이 최선의 방법은 아닙니다. 큰 파일을 분할하면 종종 이상한 오타가 발생하거나 파일이 잘못 구성될 수 있습니다. 또한 각 청크를 개별적으로 열면 전체 데이터를 한 번에 필터링할 수 없습니다.

방법 #3: 데이터베이스로 가져오기

여러 기가바이트로 확장되는 텍스트 및 .csv 파일은 일반적으로 큰 데이터 세트입니다. 그렇다면 데이터베이스로 가져오지 않는 이유는 무엇입니까?

SQL은 오늘날 가장 많이 사용되는 데이터베이스 마크업 언어입니다. 사용 중인 SQL에는 여러 버전이 있지만 가장 쉬운 것은 아마도 MySQL일 것입니다. 운 좋게도 CSV 파일을 MySQL 테이블로 변환 할 수 있습니다 .

이것은 결코 큰 CSV 파일을 처리하는 가장 쉬운 방법이 아니므로 정기적으로 큰 데이터 세트를 처리하려는 경우에만 이 방법을 권장합니다. MySQL이 너무 어렵게 들리면 언제든지 .csv 파일을 MS Access 로 가져올 수 있습니다 .

방법 #4: Python 라이브러리로 분석

수백만 행의 데이터가 포함된 .csv 파일로 작업할 때 수동으로 많은 것을 이해할 수 없을 것입니다. 추세를 이해하기 위해 데이터를 필터링하고 특정 쿼리를 실행하고 싶을 것입니다.

그렇다면 그렇게 하기 위해 Python 코드를 작성 하지 않는 이유는 무엇입니까?

다시 한 번 말하지만 이것은 가장 사용자 친화적인 방법이 아닙니다. Python은 배우기 가장 어려운 프로그래밍 언어는 아니지만 코딩 이므로 최선의 접근 방식이 아닐 수도 있습니다. 그래도 매일 매우 큰 CSV 파일을 분석해야 하는 경우 일부 Python 코드를 사용하여 작업을 자동화 할 수 있습니다 .

방법 #5: 프리미엄 도구 사용

첫 번째 방법에서 본 텍스트 편집기는 CSV 처리 전용 도구가 아닙니다. 큰 .csv 파일 작업에도 사용할 수 있는 범용 도구였습니다.

그러나 특수 응용 프로그램은 어떻습니까? 이 문제를 해결하기 위해 만들어진 앱은 없습니까?

실제로 있습니다. 예를 들어 CSV 탐색기는 모든 크기의 CSV 파일을 보고 편집할 수 있는 앱을 만들기 위해 마지막 두 가지 방법(SQL 데이터베이스 및 Python 코드)에서 설명한 바로 그 프로세스를 기반으로 합니다. CSV 탐색기에서 그래프 생성 또는 데이터 필터링과 같은 스프레드시트 도구에서 기대하는 모든 작업을 수행할 수 있습니다.

또 다른 옵션은 UltraEdit 입니다 . 이전 도구와 달리 이것은 .csv 파일뿐만 아니라 모든 유형의 텍스트 파일을 의미합니다. 앞에서 논의한 많은 무료 편집기와 유사한 인터페이스를 사용하여 몇 기가바이트 범위의 텍스트 및 CSV 파일을 쉽게 처리할 수 있습니다.

이러한 도구의 유일한 단점은 프리미엄 응용 프로그램이므로 사용하려면 유료 라이선스를 받아야 한다는 것입니다. 기능을 확인하거나 한 번만 사용할 수 있는 경우 언제든지 무료 평가판을 사용해 볼 수 있습니다.

큰 텍스트 및 CSV 파일을 여는 가장 좋은 방법은 무엇입니까?

이 빅 데이터 시대에 메모장이나 MS Excel과 같은 기본 제공 도구로는 보기조차 어려울 수 있는 기가바이트에 달하는 텍스트 파일을 실행하는 것은 드문 일이 아닙니다. 이렇게 큰 CSV 파일을 열려면 타사 애플리케이션을 다운로드하여 사용해야 합니다.

원하는 것이 그러한 파일을 보는 것뿐이라면 Large Text File Viewer가 최선의 선택입니다. 실제로 편집하려면 Emacs와 같은 기능이 풍부한 텍스트 편집기를 사용하거나 CSV 탐색기와 같은 프리미엄 도구를 사용할 수 있습니다.

CSV 파일을 분할하거나 데이터베이스로 가져오는 것과 같은 기술에는 너무 많은 단계가 필요합니다. 대용량 텍스트 파일을 많이 사용하는 경우 전용 프리미엄 도구의 유료 라이선스를 받는 것이 좋습니다.

Tags: #컴퓨터 팁

PSP 펌웨어를 업데이트하는 방법

컴퓨터, 무선 라우터, 게임 콘솔 등 모든 장치에 대해 펌웨어 업그레이드를 설치할 가치가 있다고 항상 믿고 있으며 앞으로도 그럴 것입니다. 이 기사에서는 PSP 장치에서 펌웨어를 업그레이드하는 데 필요한 단계를 안내합니다.

Windows에서 파티션을 활성으로 설정하거나 표시하는 방법

다른 운영 체제가 설치된 컴퓨터에 여러 파티션이 있습니까? 그렇다면 컴퓨터가 시작될 때 적절한 운영 체제를 로드하도록 Windows의 활성 파티션을 변경할 수 있습니다.

무선 라우터에서 SSID 브로드캐스트를 비활성화하는 방법

무선 라우터에서 SSID 브로드캐스트를 비활성화하는 옵션을 고려하고 있다면 관련된 실제 보안 문제를 이해해야 합니다. SSID 브로드캐스트를 비활성화하면 표준 무선 네트워크 어댑터를 사용하여 사용 가능한 네트워크를 검색할 때 네트워크 이름이 표시되지 않습니다.

여러 이미지를 PDF 파일로 변환하는 방법

이미지는 단독으로 설 수 있습니다. 그러나 때로는 여러 이미지를 하나의 PDF 파일로 결합하여 저장하거나 공유해야 합니다.

Twitter 목록을 설정하고 사용하는 방법

Twitter는 의견을 공유하고, 다른 사람과 대화하고, 소셜 미디어 프로필을 구축하여 친구를 지원하고 관심 분야를 팔로우하기에 좋은 곳입니다. 그러나 팔로우하는 계정을 추적하는 것은 어려울 수 있습니다.

Netflix 오류 코드 UI-800-3을 수정하는 방법

좋아하는 시리즈에 몰두하거나 친구들과 Netflix를 즐기는 중이라면 Netflix가 멈추거나 충돌하거나 익숙하지 않은 오류 코드가 표시되면 매우 짜증날 수 있습니다. 발생할 수 있는 일반적인 오류 중 하나는 Netflix 코드 UI-800-3입니다.

지불한 네트워크 속도를 얻는 방법

소비자 권리가 매우 중요한 세상에서 인터넷 회사가 지속적으로 '최대' 속도를 제공하거나 지불한 속도를 제공하지 못하는 것이 이상해 보입니다. 이 기사에서는 귀하가 얻을 수 있는 속도가 귀하가 얻어야 하는 속도인지 확인하기 위해 취할 수 있는 단계를 살펴봅니다.

Spotify에 음악을 제출하는 방법

Spotify에서 음악을 얻는 방법을 궁금해하는 새로운 아티스트이십니까? 디지털 시대에 음악을 배포하는 것은 예전과 매우 다릅니다.

비디오 프로젝트에서 YouTube 오디오 라이브러리를 사용하는 방법

자신의 비디오 또는 기타 미디어 프로젝트를 제작하는 경우 인터넷에서 원하는 음악을 가져올 수 없습니다. 제트 전투기를 타고 미국의 하늘을 날고 촬영을 하고 있다면 Kenny Loggins의 "Danger Zone" 노래를 사용하고 도망칠 수는 없습니다.

Discord에서 역할을 추가, 관리 및 삭제하는 방법

첫 번째 Discord 서버를 시작할 때 가장 먼저 해야 할 일 중 하나는 서버 사용자에게 할당할 수 있는 역할을 생성하는 것입니다. Discord의 역할은 그룹 내에서 특정 능력을 제공하는 위치입니다.

오디오 파일을 더 크게 만드는 방법

낮은 볼륨의 오디오 파일은 거의 쓸모가 없을 수 있으며 특히 원본 오디오를 다시 녹음할 수 없는 경우 매우 실망스럽습니다. 랩탑에서 들으려는 MP3 노래든 충분히 크지 않은 녹음된 오디오 파일이든, 거의 모든 오디오 파일의 볼륨을 높이는 작업은 데스크탑 또는 온라인 오디오 편집 소프트웨어를 사용하여 쉽게 수행할 수 있습니다.

삭제하는 대신 Facebook 계정을 비활성화하는 방법

소셜 미디어에서 휴식을 원하는 것은 이해할 수 있습니다. 확인하지 않고 방치하면 소셜 미디어 사용은 겉보기에 끝없는 시간 낭비로 바뀔 수 있습니다.

Discord 오디오 녹음 방법

주로 게이머가 사용하는 인스턴트 메시징 및 VoIP 서비스가 어떻게 교육 및 비즈니스에서 선택하는 통신 도구가 되었습니까? 대답은 매우 간단합니다.

Facebook 그룹에서 관리자를 추가하거나 제거하는 방법

혼자서 모든 일을 하고 있다면 Facebook에서 그룹을 관리하는 것이 어려울 수 있습니다. 콘텐츠를 편집 및 게시하고, 댓글 및 회원을 관리하고, 페이지 메트릭을 기반으로 보고서를 생성하는 데 도움을 줄 다른 사람이 한 명 이상 필요합니다.

Twitter 사진 및 비디오를 다운로드하는 방법

Twitter 사진 및 비디오를 다운로드하는 방법을 알고 싶습니다. 실제로 매우 간단합니다.

PDF 페이지를 이동하고 추출하는 방법

어느 시점에서 페이지를 이동하거나 페이지를 삭제하거나 페이지 또는 페이지 집합을 별도의 PDF 파일로 추출하여 PDF 파일을 편집해야 했을 것입니다. 최근에 몇 개의 PDF 페이지 순서를 변경하고 다른 페이지 세트를 별도의 PDF 파일로 추출해야 했습니다.

Windows에서 숨겨진 암호 및 저장된 암호를 찾는 방법

암호를 잊어버렸지만 컴퓨터 어딘가에 저장되어 있다는 것을 알고 있는 경우 Windows에 저장된 암호에 액세스하여 암호가 있는지 확인할 수 있습니다. Windows는 실제로 저장된 모든 암호 목록을 유지하고 원할 때 액세스할 수 있도록 합니다.

모든 주요 브라우저에서 카메라 및 마이크 액세스를 차단하는 방법

모든 웹 브라우저는 프로그램이 마이크와 웹캠에 액세스할 수 있도록 활성화된 특정 권한이 필요합니다. 마이크와 카메라에 대한 액세스를 거부하여 브라우저가 사용자를 듣거나 보지 못하도록 할 수 있습니다.

Facebook 기념 설정을 지정하는 방법

소셜 미디어는 사람들이 삶의 끝이나 사랑하는 사람이 세상을 떠났을 때 거의 고려하지 않는 것 중 하나이지만 Facebook은 더 이상 우리와 함께하지 않는 사람들에게 속한 기념 설정 및 Facebook 페이지의 세계를 만들었습니다. 이러한 추모 설정은 귀하가 사망할 때 귀하의 Facebook 계정에 발생하는 일을 결정하는 데 도움이 됩니다.