26가지 빅 데이터 분석 기법에 대한 통찰: 2부

지금까지 빅 데이터 에 대한 블로그에서 빅 데이터 가 실제로 의미하는 것부터 사실과 해야 할 일과 하지 말아야 할 일에 이르기까지 빅 데이터의 다양한 측면에 대해 알게 되었습니다. 에서 이전 블로그 우리는 몇 가지 빅 데이터 분석 기법을 보았다. 이 블로그에서 목록을 더 자세히 설명합니다.

1. 패턴 인식

패턴 인식은 어떤 경우에는 기계 학습과 거의 동의어로 간주되지만 데이터의 패턴 및 규칙 인식에 중점을 둔 기계 학습의 한 분야입니다. 패턴 인식 시스템은 많은 경우 레이블이 지정된 "훈련" 데이터(지도 학습)에서 훈련되지만 레이블이 지정된 데이터를 사용할 수 없는 경우 다른 알고리즘을 사용하여 이전에 알려지지 않은 패턴을 발견할 수 있습니다(비지도 학습).

1. 예측 모델링

예측 분석은 과거 및 현재 데이터를 기반으로 미래 결과를 예측하는 다양한 기술로 구성됩니다. 실제로 예측 분석은 수천 개의 센서에서 수집한 데이터 스트림을 기반으로 제트 엔진의 고장을 예측하는 것부터 구매 대상, 구매 시점, 심지어 무엇을 기반으로 고객의 다음 행동을 예측하는 것까지 거의 모든 분야에 적용될 수 있습니다. 그들은 소셜 미디어에서 말합니다. 예측 분석 기술은 주로 통계적 방법을 기반으로 합니다.

참조:  빅 데이터 분석에 대한 초보자 가이드

1. 회귀 분석

이것은 독립 변수를 사용하고 그것이 종속 변수에 미치는 영향을 취하는 기술입니다. 이것은 인터넷 플랫폼을 통해 사랑을 찾을 확률과 같은 소셜 미디어 분석을 결정하는 데 매우 유용한 기술이 될 수 있습니다.

1. 감정 분석

감정 분석은 연구자가 주제에 대한 화자 또는 작가의 감정을 결정하는 데 도움이 됩니다. 감정 분석은 다음을 돕기 위해 사용됩니다.

• 고객 의견을 분석하여 호텔 체인의 서비스를 개선합니다.
• 고객이 실제로 요구하는 것을 해결하기 위해 인센티브와 서비스를 사용자 정의하십시오.
• 소셜 미디어의 의견을 바탕으로 소비자가 실제로 어떻게 생각하는지 확인합니다.

1. 신호 처리

신호 처리는 기본 이론, 응용 프로그램, 알고리즘 및 신호 로 광범위하게 지정된 다양한 물리적, 상징적 또는 추상적 형식에 포함된 정보를 처리하거나 전송하는 구현을 포괄하는 활성화 기술입니다 . 수학적, 통계적, 계산적, 발견적, 언어적 표현, 형식주의 및 표현, 모델링, 분석, 합성, 발견, 복구, 감지, 획득, 추출, 학습, 보안 또는 법의학 기술을 사용합니다. 샘플 애플리케이션에는 시계열 분석을 위한 모델링 또는 덜 정확한 데이터 소스 세트의 데이터를 결합하여(즉, 노이즈에서 신호 추출) 보다 정확한 판독값을 결정하기 위한 데이터 융합 구현이 포함됩니다.

1. 공간 분석

공간 분석은 원시 데이터를 유용한 정보로 바꾸는 과정입니다. 질문에 답하거나 유용한 지식을 얻기 위해 오버레이 및 기타 분석 기술을 통해 공간 데이터의 기능, 속성 및 기능의 관계를 검사하는 프로세스입니다. 공간 분석은 공간 데이터에서 새로운 정보를 추출하거나 생성합니다.

1. 통계

통계에서 탐색적 데이터 분석은 데이터 세트를 분석하여 주요 특성을 요약하는 접근 방식이며 종종 시각적 방법을 사용합니다. 통계 모델을 사용할 수도 있고 사용하지 않을 수도 있지만 주로 EDA는 형식적 모델링 또는 가설 테스트 작업을 넘어 데이터가 알려줄 수 있는 내용을 확인하기 위한 것입니다. 통계 기법은 또한 제1종 오류("거짓 긍정") 및 제2종 오류("거짓 부정")의 가능성을 줄이는 데 사용됩니다. 애플리케이션의 예로는 어떤 유형의 마케팅 자료가 수익을 가장 많이 증가시킬지 결정하기 위한 A/B 테스트가 있습니다.

참조:  빅 데이터에 대한 놀라운 사실 40가지

1. 지도 학습

지도 학습은 레이블이 지정된 학습 데이터에서 기능을 추론하는 기계 학습 작업입니다. 훈련 데이터는 훈련 예제 세트로 구성됩니다 . 지도 학습에서 각 예제는 입력 객체(일반적으로 벡터)와 원하는 출력 값( 감독 신호 라고도 함)으로 구성된 쌍 입니다. 지도 학습 알고리즘은 훈련 데이터를 분석하고 새로운 예를 매핑하는 데 사용할 수 있는 추론된 함수를 생성합니다.

1. 소셜 네트워크 분석

소셜 네트워크 분석은 통신 산업에서 처음 사용된 기술이며 이후 사회학자들이 대인 관계를 연구하기 위해 빠르게 채택했습니다. 지금은 다양한 분야의 사람들과 상업 활동 간의 관계를 분석하는 데 적용되고 있습니다. 노드는 네트워크 내의 개인을 나타내고 관계는 개인 간의 관계를 나타냅니다.

1. 시뮬레이션

예측, 예측 및 시나리오 계획에 자주 사용되는 복잡한 시스템의 동작 모델링. 예를 들어 몬테카를로 시뮬레이션은 반복되는 무작위 샘플링에 의존하는 알고리즘 클래스입니다. 즉, 각각 다른 가정을 기반으로 수천 개의 시뮬레이션을 실행합니다. 결과는 결과의 확률 분포를 제공하는 히스토그램입니다. 한 가지 응용 프로그램은 다양한 이니셔티브의 성공에 대한 불확실성을 감안할 때 재정 목표를 달성할 가능성을 평가하는 것입니다.

1. 시계열 분석

시계열 분석은 데이터의 의미 있는 통계 및 기타 특성을 추출하기 위해 시계열 데이터를 분석하는 방법으로 구성됩니다. 시계열 데이터는 산업 프로세스를 모니터링하거나 기업 비즈니스 메트릭을 추적할 때 종종 발생합니다. 시계열 분석은 시간이 지남에 따라 취한 데이터 포인트가 설명해야 하는 내부 구조(예: 자기 상관, 추세 또는 계절적 변동)를 가질 수 있다는 사실을 설명합니다. 시계열 분석의 예로는 주식 시장 지수의 시간당 가치 또는 매일 주어진 상태로 진단된 환자의 수를 들 수 있습니다.

1. 비지도 학습

비지도 학습은 레이블이 지정되지 않은 데이터에서 숨겨진 구조를 설명하는 함수를 추론하는 기계 학습 작업입니다. 학습자에게 주어진 예제에는 레이블이 지정되지 않았기 때문에 잠재적 솔루션을 평가하기 위한 오류 또는 보상 신호가 없습니다. 이는 비지도 학습을 지도 학습 및 강화 학습과 구별합니다.

그러나 비지도 학습은 데이터의 주요 기능을 요약하고 설명하려는 다른 많은 기술도 포함합니다.

1. 심상

데이터 시각화는 그림 또는 그래픽 형식으로 데이터를 준비하는 것입니다. 이를 통해 의사 결정자는 분석이 시각적으로 표시되어 어려운 개념을 파악하거나 새로운 패턴을 식별할 수 있습니다. 대화형 시각화를 사용하면 기술을 사용하여 차트와 그래프를 자세히 살펴보고 표시되는 데이터와 처리 방법을 대화식으로 변경하여 개념을 한 단계 더 발전시킬 수 있습니다.

결론

빅 데이터 분석은 정보 기술 산업에서 가장 중요한 혁신 중 하나였습니다. 실제로 빅 데이터는 거의 모든 부문과 해당 산업의 모든 부서에서 그 중요성과 필요성을 보여주었습니다. 개인의 삶조차 빅데이터의 영향을 받지 않은 삶의 측면은 없습니다. 따라서 이 엄청난 양의 데이터를 효율적으로 관리하려면 빅 데이터 분석이 필요합니다.

앞에서 말했듯이 이 목록은 완전하지 않습니다. 연구원들은 우리의 특정 용도에 대한 가치를 도출하기 위해 시간이 지남에 따라 생성 속도가 증가하는 다양한 형태로 존재하는 이 엄청난 양의 데이터를 분석하는 새로운 방법을 계속 실험하고 있습니다.