Изучение 26 методов анализа больших данных: часть 1

« Большие данные » - это применение специализированных методов и технологий для обработки очень больших наборов данных. Эти наборы данных часто настолько велики и сложны, что их становится трудно обрабатывать с помощью имеющихся инструментов управления базами данных.

Радикальный рост информационных технологий привел к появлению нескольких дополнительных условий в отрасли. Одним из наиболее устойчивых и, возможно, наиболее актуальных результатов является наличие больших данных. Термин «большие данные» - это крылатая фраза, которая была придумана для описания наличия огромных объемов данных. Результатом такого огромного количества данных является Data Analytics.

Аналитика данных - это процесс структурирования больших данных. В рамках больших данных существуют различные закономерности и корреляции, которые позволяют аналитике данных лучше рассчитывать характеристики данных. Это делает аналитику данных одной из самых важных частей информационных технологий.

Поэтому я перечисляю 26 методов анализа больших данных. Этот список ни в коем случае не является исчерпывающим.

1. A / B тестирование

A / B-тестирование - это инструмент оценки, позволяющий определить, какая версия веб-страницы или приложения помогает организации или частному лицу более эффективно достичь бизнес-цели. Это решение принимается путем сравнения того, какая версия чего-либо работает лучше. A / B-тестирование обычно используется в веб-разработке, чтобы гарантировать, что изменения веб-страницы или компонента страницы обусловлены данными, а не личным мнением.

Это также называется испытанием на разлив или ведром.

См. Также:  Серая область больших данных - что можно и чего нельзя делать

1. Изучение правил ассоциации

Набор методов для обнаружения интересных отношений, т. Е. «Правил ассоциации», между переменными в больших базах данных. Эти методы состоят из множества алгоритмов для генерации и проверки возможных правил.

Одним из приложений является анализ рыночной корзины, в котором розничный торговец может определить, какие продукты часто покупаются вместе, и использовать эту информацию для маркетинга. (Часто приводимым примером является открытие, что многие покупатели в супермаркетах, покупающие начо, также покупают пиво.)

1. Классификационный древовидный анализ

Статистическая классификация - это метод определения категорий, к которым принадлежит новое наблюдение. Для этого требуется обучающий набор правильно идентифицированных наблюдений - другими словами, исторические данные.

Статистическая классификация используется для:

• Автоматически распределять документы по категориям
• Распределите организмы по группам
• Разработайте профили студентов, которые проходят онлайн-курсы

1. Кластерный анализ

Статистический метод классификации объектов, который разбивает разнородную группу на более мелкие группы похожих объектов, характеристики сходства которых заранее неизвестны. Пример кластерного анализа - сегментирование потребителей на самоподобные группы для целевого маркетинга. Используется для интеллектуального анализа данных.

1. Краудсорсинг

В краудсорсинге нюанс заключается в том, что задача или работа передаются на аутсорсинг, но не назначенному специалисту или организации, а широкой публике в форме открытого обращения. Краудсорсинг - это метод, который можно использовать для сбора данных из различных источников, таких как текстовые сообщения, обновления социальных сетей, блоги и т. Д. Это тип массового сотрудничества и пример использования Интернета.

1. Слияние данных и интеграция данных

Многоуровневый процесс, связанный с ассоциацией, корреляцией, объединением данных и информации из одного или нескольких источников для достижения уточненной позиции, определения оценок и полных и своевременных оценок ситуаций, угроз и их значимости.

Методы слияния данных объединяют данные от нескольких датчиков и связанную информацию из связанных баз данных для достижения более высокой точности и более конкретных выводов, чем можно было бы достичь при использовании только одного датчика.

См. Также:  Руководство по аналитике больших данных для начинающих.

1. Сбор данных

Интеллектуальный анализ данных - это сортировка данных для выявления закономерностей и установления взаимосвязей. Интеллектуальный анализ данных относится к методам коллективного извлечения данных, которые выполняются с большим объемом данных. Параметры интеллектуального анализа данных включают ассоциацию, анализ последовательности, классификацию, кластеризацию и прогнозирование.

Приложения включают в себя анализ данных о клиентах для определения сегментов, которые с наибольшей вероятностью откликнутся на предложение, сбор данных о человеческих ресурсах для определения характеристик наиболее успешных сотрудников или анализ рыночной корзины для моделирования покупательского поведения клиентов.

1. Ансамблевое обучение

Это искусство комбинировать различные наборы обучающих алгоритмов вместе, чтобы улучшить стабильность и предсказательную силу модели. Это тип обучения с учителем.

1. Генетические алгоритмы

Методы оптимизации, которые используют такие процессы, как генетическая комбинация, мутация и естественный отбор, в дизайне, основанном на концепциях естественной эволюции. Генетические алгоритмы - это методы, которые используются для определения наиболее просматриваемых видео, телешоу и других средств массовой информации. Существует эволюционная закономерность, которую можно реализовать с помощью генетических алгоритмов. Видео- и медиа-аналитика может выполняться с использованием генетических алгоритмов.

1. Машинное обучение

Машинное обучение - это еще один метод, который можно использовать для категорий и определения вероятного результата определенного набора данных. Машинное обучение определяет программное обеспечение, которое может определять возможные результаты определенного набора событий. Поэтому он используется в предиктивной аналитике. Примером прогнозной аналитики является вероятность выигрыша судебных дел или успеха определенных постановок.

1. Обработка естественного языка

Набор методов из узкой области информатики (в области, исторически называемой «искусственный интеллект») и лингвистики, в которой используются компьютерные алгоритмы для анализа человеческого (естественного) языка. Многие техники НЛП относятся к типам машинного обучения. Одно из применений НЛП - использование анализа настроений в социальных сетях, чтобы определить, как потенциальные клиенты реагируют на кампанию по брендингу.

1. Нейронные сети

Нелинейные прогностические модели, обучающиеся в процессе обучения и напоминающие по структуре биологические нейронные сети. Их можно использовать для распознавания образов и оптимизации. Некоторые приложения нейронных сетей включают обучение с учителем, а другие - обучение без учителя. Примеры приложений включают выявление ценных клиентов, которые рискуют покинуть определенную компанию, и выявление мошеннических страховых требований.

Читайте также:  40 невероятных фактов о больших данных

1. Оптимизация

Набор численных методов, используемых для перепроектирования сложных систем и процессов с целью повышения их производительности в соответствии с одним или несколькими объективными показателями (например, стоимостью, скоростью или надежностью). Примеры приложений включают улучшение операционных процессов, таких как планирование, маршрутизация и планировка этажа, а также принятие стратегических решений, таких как стратегия ассортимента продукции, связанный инвестиционный анализ и стратегия портфеля НИОКР. Генетические алгоритмы являются примером техники оптимизации.

В своем следующем блоге я опишу оставшиеся 13 методов анализа больших данных.

Читайте: следующая часть обзора 26 методов анализа больших данных