26가지 빅 데이터 분석 기법에 대한 통찰: 1부

' 빅 데이터 '는 매우 큰 데이터 집합을 처리하기 위해 전문 기술과 기술을 적용한 것입니다. 이러한 데이터 세트는 종종 너무 크고 복잡하여 기존 데이터베이스 관리 도구를 사용하여 처리하기가 어렵습니다.

정보 기술의 급격한 성장은 업계에서 몇 가지 보완적인 조건으로 이어졌습니다. 가장 지속적이고 틀림없이 가장 현재의 결과 중 하나는 빅 데이터의 존재입니다. 빅 데이터라는 용어는 엄청난 양의 데이터가 존재함을 설명하기 위해 만들어진 캐치프레이즈입니다. 이렇게 방대한 양의 데이터를 갖게 된 결과가 바로 데이터 분석입니다.

데이터 분석 은 빅 데이터를 구조화하는 프로세스입니다. 빅 데이터 내에는 데이터 분석이 데이터의 더 나은 계산된 특성화를 가능하게 하는 다양한 패턴과 상관 관계가 있습니다. 이것은 데이터 분석을 정보 기술의 가장 중요한 부분 중 하나로 만듭니다.

그래서 26가지 빅데이터 분석기법을 소개한다. 이 목록이 완전한 것은 아닙니다.

1. A/B 테스트

A/B 테스팅은 조직이나 개인이 비즈니스 목표를 보다 효과적으로 달성하는 데 도움이 되는 웹페이지 또는 앱의 버전을 식별하기 위한 평가 도구입니다. 이 결정은 성능이 더 좋은 버전을 비교하여 이루어집니다. A/B 테스트는 일반적으로 웹 개발에서 웹 페이지 또는 페이지 구성 요소의 변경 사항이 개인 의견이 아닌 데이터에 의해 주도되는지 확인하는 데 사용됩니다.

유출 테스트 또는 버킷 테스트라고도 합니다.

참조:  빅 데이터 회색 영역 – 해야 할 일과 하지 말아야 할 일

1. 연관 규칙 학습

대규모 데이터베이스의 변수 간의 흥미로운 관계, 즉 "연관 규칙"을 발견하기 위한 일련의 기술입니다. 이러한 기술은 가능한 규칙을 생성하고 테스트하기 위한 다양한 알고리즘으로 구성됩니다.

한 가지 응용 프로그램은 시장 바구니 분석으로, 소매업체는 어떤 제품이 자주 함께 구매되는지 확인하고 이 정보를 마케팅에 사용할 수 있습니다. (일반적으로 인용되는 예는 나초를 사는 많은 슈퍼마켓 쇼핑객이 맥주도 산다는 발견입니다.)

1. 분류 트리 분석

통계 분류는 새로운 관찰이 속하는 범주를 식별하는 방법입니다. 올바르게 식별된 관찰의 훈련 세트, 즉 과거 데이터가 필요합니다.

통계 분류는 다음 용도로 사용됩니다.

• 문서를 범주에 자동 할당
• 유기체를 그룹으로 분류
• 온라인 과정을 수강하는 학생의 프로필 개발

1. 클러스터 분석

다양한 그룹을 유사한 개체의 더 작은 그룹으로 분할하는 개체 분류를 위한 통계적 방법으로, 그 유사성 특성을 미리 알 수 없습니다. 클러스터 분석의 예는 표적 마케팅을 위해 소비자를 자기 유사 그룹으로 분류하는 것입니다. 데이터 마이닝에 사용됩니다.

1. 크라우드소싱

크라우드 소싱에서 뉘앙스는 작업이나 작업이 아웃소싱되지만 지정된 전문가 또는 조직이 아닌 일반 대중에게 공개 호출 형태로 아웃소싱된다는 것입니다. 크라우드소싱은 문자 메시지, 소셜 미디어 업데이트, 블로그 등과 같은 다양한 소스에서 데이터를 수집하기 위해 배포할 수 있는 기술입니다. 이는 일종의 대규모 협업이자 웹 사용의 예입니다.

1. 데이터 융합 및 데이터 통합

정제된 위치를 달성하고 추정치를 식별하고 상황, 위협 및 그 중요성에 대한 완전하고 시기적절한 평가를 식별하기 위해 단일 및 다중 소스의 데이터 및 정보의 연관성, 상관 관계, 조합을 다루는 다단계 프로세스입니다.

데이터 융합 기술은 여러 센서의 데이터와 관련 데이터베이스의 관련 정보를 결합하여 단일 센서만 사용하여 달성할 수 있는 것보다 정확도를 높이고 보다 구체적인 추론을 달성합니다.

참조:  빅 데이터 분석에 대한 초보자 가이드

1. 데이터 수집

데이터 마이닝은 패턴을 식별하고 관계를 설정하기 위해 데이터를 정렬하는 것입니다. 데이터 마이닝은 대용량 데이터에 대해 수행되는 집합적 데이터 추출 기술을 말합니다. 데이터 마이닝 매개변수에는 연관, 시퀀스 분석, 분류, 클러스터링 및 예측이 포함됩니다.

애플리케이션에는 제안에 응답할 가능성이 가장 높은 세그먼트를 결정하기 위한 고객 데이터 마이닝, 가장 성공적인 직원의 특성을 식별하기 위한 인적 자원 데이터 마이닝 또는 고객의 구매 행동을 모델링하기 위한 장바구니 분석이 포함됩니다.

1. 앙상블 학습

다양한 학습 알고리즘 세트를 결합하여 모델의 안정성과 예측력을 즉흥적으로 만드는 기술입니다. 이것은 일종의 지도 학습입니다.

1. 유전 알고리즘

자연 진화의 개념을 기반으로 한 설계에서 유전자 조합, 돌연변이 및 자연 선택과 같은 프로세스를 사용하는 최적화 기술. 유전 알고리즘은 가장 많이 본 비디오, TV 프로그램 및 기타 형태의 미디어를 식별하는 데 사용되는 기술입니다. 유전 알고리즘을 사용하여 수행할 수 있는 진화적 패턴이 있습니다. 비디오 및 미디어 분석은 유전자 알고리즘을 사용하여 수행할 수 있습니다.

1. 기계 학습

머신 러닝은 특정 데이터 세트의 가능한 결과를 분류하고 결정하는 데 사용할 수 있는 또 다른 기술입니다. 기계 학습은 특정 이벤트 집합의 가능한 결과를 결정할 수 있는 소프트웨어를 정의합니다. 따라서 예측 분석에 사용됩니다. 예측 분석의 예는 법적 소송에서 승소할 확률이나 특정 프로덕션의 성공 가능성입니다.

1. 자연어 처리

컴퓨터 과학(역사적으로 "인공 지능"이라고 불리는 분야 내) 및 언어학의 하위 전문 분야의 기술 집합으로 컴퓨터 알고리즘을 사용하여 인간(자연) 언어를 분석합니다. 많은 NLP 기술은 일종의 기계 학습입니다. NLP의 한 가지 응용 프로그램은 소셜 미디어에서 감정 분석을 사용하여 잠재 고객이 브랜딩 캠페인에 어떻게 반응하는지 확인하는 것입니다.

1. 신경망

훈련을 통해 학습하고 구조에서 생물학적 신경망과 유사한 비선형 예측 모델입니다. 패턴 인식 및 최적화에 사용할 수 있습니다. 일부 신경망 응용 프로그램에는 지도 학습이 포함되고 다른 응용 프로그램에는 비지도 학습이 포함됩니다. 응용 프로그램의 예로는 특정 회사를 떠날 위험이 있는 고가치 고객 식별 및 사기성 보험 청구 식별이 있습니다.

더 읽어보기:  빅 데이터에 대한 놀라운 사실 40가지

1. 최적화

하나 이상의 객관적인 측정(예: 비용, 속도 또는 신뢰성)에 따라 성능을 개선하기 위해 복잡한 시스템 및 프로세스를 재설계하는 데 사용되는 수치 기술 포트폴리오입니다. 응용 프로그램의 예로는 일정, 라우팅 및 바닥 레이아웃과 같은 운영 프로세스 개선과 제품 범위 전략, 연계 투자 분석 및 R&D 포트폴리오 전략과 같은 전략적 결정을 내리는 것이 있습니다. 유전 알고리즘은 최적화 기술의 한 예입니다.

다음 블로그에서는 나머지 13가지 빅 데이터 분석 기법에 대해 설명하겠습니다.

읽기: 26가지 빅 데이터 분석 기법에 대한 통찰력의 다음 부분