Данные возникают при измерениях, наблюдениях и действиях: датчик сохраняет температуру, касса — состав покупки, сайт — время запроса. Отдельная запись ещё не объясняет происходящее. Чтобы получить вывод, данные нужно проверить, привести в удобную форму и исследовать.
Анализ данных — изучение, очистка, преобразование и обработка данных для извлечения полезной информации и принятия обоснованного решения.
Три близких понятия различаются по роли:
данные — зафиксированные значения и факты, например «измерение № 8 равно 17»;
информация — данные, организованные и снабжённые смыслом, например «значения во второй половине наблюдения выше»;
знание — подтверждённое понимание закономерности и условий её применения, позволяющее выбирать действие.
Переход от данных к знанию не происходит автоматически. Ошибка измерения, пропуск, неверная единица или неудачно выбранный метод могут привести к ложному выводу.
Почему анализ данных стал особенно важен
Цифровые устройства, сети, камеры, датчики и информационные системы создают большие и быстро растущие массивы. Их называют большими данными, когда объём, скорость поступления или разнообразие делают ручную обработку непрактичной. Одновременно выросли вычислительные мощности и появились алгоритмы, способные обрабатывать такие массивы и обнаруживать в них связи.
Большой объём сам по себе не гарантирует качества. Миллион одинаково ошибочных записей не становится надёжнее одной. До применения алгоритма нужно понять происхождение данных и проверить, соответствуют ли они вопросу.
Подготовка и описание
Обычный процесс включает несколько шагов.
1. Сформулировать вопрос и определить, какой результат нужен.
2. Собрать данные и зафиксировать смысл полей, единицы и период наблюдения.
3. Очистить набор: найти пропуски, дубликаты, невозможные значения и несогласованные форматы.
4. Преобразовать данные в подходящую таблицу или другую структуру.
5. Описать набор: найти число записей, среднее, минимальное, максимальное и часто встречающееся значение, построить сводку.
6. Решить аналитическую задачу и проверить качество результата.
7. Представить вывод вместе с ограничениями.