빅데이터의 13가지 상용 데이터 추출 도구

지난 블로그 에서 우리는 오픈 소스 데이터 추출 도구에 대해 이야기했습니다. "ETL 도구"의 주요 목적은 조직 전체의 다양한 데이터베이스 또는 운영 체제의 콘텐츠를 수집하고 이 모든 데이터를 중앙 데이터베이스로 이동/복사/전송하는 것입니다. 이 "중앙 집중식 데이터베이스"를 종종 "데이터 웨어하우스"라고 합니다. 또는 ETL 도구를 사용하여 간단한 SQL 문을 사용하여 만들기 어려운 복잡한 데이터 변환을 수행할 수도 있습니다.

다음은 일부 상업용 ETL 도구 목록입니다.

• IBM INFOSPHERE 데이터스테이지 –

ETL 도구이자 IBM 정보 플랫폼 솔루션 제품군 및 IBM InfoSphere의 일부입니다. 그래픽 표기법을 사용하여 데이터 통합 ​​솔루션을 구성합니다. 고성능 병렬 프레임워크를 사용하여 여러 시스템에 걸쳐 데이터를 통합하고 확장된 메타데이터 관리 및 엔터프라이즈 연결을 지원합니다. 확장 가능한 플랫폼은 분산 및 메인프레임 플랫폼에서 저장(하둡 기반) 또는 이동 중(스트림 기반) 빅 데이터를 포함한 모든 유형의 데이터를 보다 유연하게 통합합니다.

• Microsoft SQL Server 통합 서비스(SSIS) –

Microsoft SSIS는 Microsoft의 SQL Server 데이터베이스에 구축된 엔터프라이즈 데이터 통합, 데이터 변환 및 데이터 마이그레이션 도구입니다. 데이터 분석 및 정리, 데이터 웨어하우스 업데이트를 위한 추출, 변환 및 로드 프로세스 실행과 같은 다양한 통합 관련 작업에 사용할 수 있습니다.

참조:  26가지 빅 데이터 분석 기법에 대한 통찰력

• 아뎁티아 ETL 스위트 –

Adeptia는 쉽고 직관적인 인터페이스와 결합된 완전한 ETL 기능을 제공합니다. 사용자에게 다양한 파일을 변환할 수 있는 기능을 제공합니다. Adeptia ETL Suite는 IT가 아닌 사람도 사용할 수 있도록 설계되어 비즈니스 사용자가 실시간으로 데이터에 액세스하고 자신의 데이터를 운영에 맞게 변환할 수 있는 능력을 제공하는 동시에 IT가 프로세스를 관리하고 데이터가 안전하게 관리되도록 할 수 있습니다. 바르게.

• 인포매티카 파워센터 –

Informatica Power Center는 엔터프라이즈 데이터 웨어하우스 구축에 사용되는 널리 사용되는 추출, 변환 및 로드 도구입니다. Informatica PowerCenter의 주요 구성 요소는 클라이언트 도구, 서버, 리포지토리 서버 및 리포지토리입니다. Power Center 서버와 리포지토리 서버는 ETL 처리를 완료하는 ETL 계층을 구성합니다.

• IBI IWAY 데이터마이그레이터 –

Data Migrator는 데이터 웨어하우스, 데이터 마트 및 운영 데이터 저장소의 생성, 유지 관리 및 확장을 포함하여 추출, 변환 및 로드(ETL) 프로세스를 극적으로 단순화하도록 설계된 강력하고 포괄적인 자동화 도구입니다. 직관적인 인터페이스를 통해 서로 다른 컴퓨팅 플랫폼에서 이기종 데이터 구조를 포함하는 종단 간 ETL 프로세스를 빠르게 생성할 수 있습니다. 또한 변경 데이터 캡처 기능은 변경된 레코드만 데이터 소스에 로드하여 데이터를 새로 고치는 데 필요한 시간을 크게 줄이고 거의 실시간 데이터 웨어하우스를 촉진합니다.

참조:  빅 데이터 회색 영역 – 해야 할 일과 하지 말아야 할 일

• 엘릭서 데이터 ETL –

Elixir Data ETL은 비즈니스 사용자와 엔터프라이즈 수준의 데이터 처리 요구 사항을 위한 주문형 셀프 서비스 데이터 조작을 제공하도록 설계되었습니다. 시각적 모델링 패러다임은 모든 애플리케이션 처리, 엔터프라이즈 보고 및 성능 측정, 데이터 마트 또는 데이터 웨어하우징 이니셔티브에 중요한 프로세스인 데이터 추출, 집계 및 변환을 설계, 테스트 및 구현하는 데 필요한 시간을 크게 줄입니다.

• 동기화 DMX –

Syncsort DMX는 모든 데이터 변환을 고성능 인메모리 ETL 엔진으로 가져옵니다. 변환은 즉석에서 처리되므로 값비싼 데이터베이스 스테이징 영역이 필요하지 않거나 변환을 데이터베이스에 수동으로 푸시할 필요가 없습니다.

• SAS 데이터 관리 –

SAS Data Management를 사용하면 비즈니스 사용자가 직접 데이터를 업데이트하고, 프로세스를 조정하고, 결과를 분석하여 다른 프로젝트에 투입할 수 있습니다. 또한 내장된 비즈니스 용어집과 SAS 및 타사 메타데이터 관리 및 계보 시각화 기능을 통해 모든 사람이 같은 페이지를 볼 수 있습니다.

• SAP 데이터 서비스 –

프로젝트 또는 엔터프라이즈 수준에서 데이터를 통합, 변환 및 개선하는 데 도움이 됩니다. 사용자가 데이터를 통합, 변환, 개선 및 전달할 수 있도록 데이터 통합, 데이터 품질, 데이터 프로파일링 및 텍스트 데이터 처리를 위한 단일 엔터프라이즈급 솔루션을 제공합니다.

• 오라클 데이터 통합기 엔터프라이즈 에디션 –

이기종 시스템에서도 성능을 개선하고 데이터 통합 ​​비용을 줄이는 E-LT(추출 로드 및 변환) 기술을 제공합니다. 최적화된 개발자 생산성 및 확장성을 위한 엔터프라이즈 데이터 통합 ​​및 지식 모듈을 위한 고성능 및 낮은 TCO, 이기종 플랫폼 지원을 제공합니다.

• 메타 스위트 –

Meta Suite는 빠른 가치 실현 시간, 확장성, 지원되는 소스 및 대상 파일 및 데이터베이스 유형의 다양한 선택을 제공합니다. 운영 데이터를 추출, 로드 및 병합하는 일반적인 작업 외에도 데이터를 통합 및 합리화하고 마스터 데이터 관리에 대한 지원을 제공하는 데 사용할 수도 있습니다.

더 읽어보기:  빅 데이터 분석에 대한 초보자 가이드

• PERVASIVE의 데이터 통합업체 –

이제 Actian의 일부입니다. 소프트웨어가 매우 사용하기 쉽고 전문 기술이 필요하지 않지만 복잡한 통합 작업을 수행합니다. 풍부한 기능은 매우 직관적이며 디자인, 배포 및 관리를 위해 스티커 충격 없이 구성할 수 있습니다. 온프레미스 및 클라우드 버전 모두에 사용되는 완전한 기능을 갖춘 동일한 웹 UI가 있습니다.

• Sagent 데이터 흐름 –

서로 다른 소스의 데이터를 수집하는 강력하고 유연한 통합 엔진입니다. Pitney Bowes Software에서 설계했으며 비즈니스 가치를 향상시키기 위한 포괄적인 데이터 변환 도구 세트를 제공합니다. 비즈니스 이해를 돕기 위해 정보를 분석하고 의미 있는 보고서를 생성할 수 있습니다.

더 읽어보기:  2017년 상위 15개 빅 데이터 도구

소프트웨어 또는 도구를 선택하는 것은 요구 사항 유형과 비즈니스에 따라 다른 요구 사항 유형에 따라 결정됩니다. 통신 비즈니스는 의류 소매점과 비교하여 처리해야 할 크고 복잡한 데이터가 있습니다. 따라서 통신 비즈니스는 복잡한 데이터를 처리할 수 있는 기능이 있는 도구를 선택합니다. 반면 소매점은 프로그래밍 기술과 기술적 배경이 없기 때문에 덜 복잡하고 사용하기 쉬운 도구를 선택합니다.

다음 블로그에서는 참조 아키텍처의 다음 계층을 위한 도구를 나열할 것입니다.