一文教你如何輕松實戰Python時間序列數據挖掘

來源：北大青鳥總部 2023年02月14日 16:00

摘要：本文將介紹時間序列數據挖掘開源庫——MatrixProfile，并在Python的環境下使用高效簡潔的程序來完成復雜的時間序列數據挖掘。

前言

隨著云計算和物聯網（IoT）的急速發展，我們無時無刻都被時間序列數據包圍著。從經濟管理再到工程領域，時間序列數據挖掘有著廣泛應用。例如證券市場中股票的交易價格與交易量、外匯市場上的匯率、期貨和黃金的交易價格以及各種類型的指數等，這些數據都形成一個持續不斷的時間序列。利用時間序列數據挖掘，可以獲得數據中蘊含的與時間相關的有用信息，實現知識的提取。時間序列數據挖掘是大數據挖掘研究領域里的一個重要方向之一。

眾所周知，時間序列數據本身所具備的高維性、復雜性、動態性、高噪聲特性以及容易達到大規模的特性。因此如何輕松進行時間序列數據挖掘是具有大挑戰性。本文將介紹時間序列數據挖掘開源庫——MatrixProfile，并在Python的環境下使用高效簡潔的程序來完成復雜的時間序列數據挖掘。

MatrixProfile 工作原理

MatrixProfile的基本原理很簡單?？梢韵仍囅胍粋€問題，如果從時間序列數據中提取一個片段并沿著時間序列的其余部分滑動，那么它在每個新位置與時間序列片段的重疊相似的程度是什么樣子的？更具體地說，我們可以計算子序列與同一長度的每個時間序列片段之間的歐幾里德距離，從而建立所謂的時間序列片段的距離模式（distanceprofile）。

如果子序列在數據中重復自身，則將至少有一個完全匹配，并且最小歐氏距離將為零（或在存在噪聲的情況下接近于零）。如圖所示，如果提取的子序列為重復模式（RepeatedPatterns）片段，那么重復模式片段沿著整個時間序列滑動時，與自身重復片段的最小歐式距離為零（紅色部分）。從紅色曲線可以看出，相比之下，如果子序列是高度唯一的（比如它包含一個顯著的異常值），那么匹配將很差（藍色曲線中的anomaly）。然后，在時間序列中滑動每個可能的片段，建立一個距離模式的集合。

MatrixProfile主要是進行識別異常事件（或不協調“discords”）和重復模式（或模體“motifs”）。這是兩項基本的時間序列任務。其中MatrixProfile分為兩個重要組成部分：距離模式（distanceprofile）和模式索引（profileindex）。距離模式是歸一化最小歐氏距離向量。模式索引包含其第一近鄰索引。換句話說，它是其最相似子序列的位置。

MatrixProfile主要采用了用滑動窗口的算法來計算，如下圖所示。圖中的滑動窗口X2到X5在時間序列（X1，…,X12）上滑動，分別計算滑動窗口與每個子序列的點積。當計算完所有的點積（D1,2,…,D9,2）后，應用排除區域（exclusionzone）進行處理。并將最小距離存儲在MatrixProfile的距離模式中，丟棄其余的距離。其中，由于子序列是從時間序列本身提取的，因此需要設置圖中排除區域來防止無價值匹配。比如，子序列片段（X1,X2,X3,X4）與滑動窗口（X2,X3,X4,X5）相似度非常高，被視為無價值匹配或平凡匹配。

MatrixProfile API（MPA）應用接口庫

MatrixProfile庫支持三種最常用的數據科學語言Python、R和Golang。它提供易于使用的接口函數MatrixProfileAPI（MPA），這是一個用R、Python和Golang編寫的通用代碼庫。不管是對時間序列分析毫無經驗的新手還是專家都很有幫助。而且它已經被廣泛地使用，包括如何挖掘網站用戶數據、訂單量和其他關鍵業務應用之間的關系。下面使用Python來進行實戰訓練。

MPA由三個核心組件組成：

計算（分析數據的各個成分，例如趨勢，周期性）
發現（對有序數據序列的feature提取與分類、發現不協調序列等）
可視化（通過基本繪圖顯示結果）

這三個核心功能作為底層嵌套在具有用戶可視化的界面Analyze的模塊里面，可以使那些對MatrixProfile內部工作原理一無所知的人能夠快速地利用它來處理自己的時間序列數據。

實戰分析

首先需要配置MatrixProfile的安裝環境，建議使用Anaconda。Anaconda是一個用于科學計算的Python發行版，內置很多用于學計算工具Python第三方庫，非常方便使用。然后，在AnacondaPrompt終端使用下面語句來安裝MatrixProfile庫。

pipinstall matrixprofile

安裝完后，我們將使用MatrixProfile API（MPA）應用接口庫來分析如下所示的合成時間序列。

合成時間序列生成代碼如下：

import matrixprofile as mp

import numpy as np

from matplotlib import pyplot as plt

dataset =mp.datasets.load('motifs-discords-small')

window_size = 32

profile = mp.compute(dataset['data'],window_size)

profile = mp.discover.discords(profile)

# time series

mp_adjusted = np.append(profile['mp'],np.zeros(profile['w'] - 1) + np.nan)

# Create a plot

plt.plot(np.arange(len(profile['data']['ts'])),profile['data']['ts'])

從合成的時間序列數據圖中可以發現，明顯存在模式不協調現象。圖中前面是規律震蕩變化的正弦曲線模式，而后面是兩種不同的模式。然而，一個直接的問題是，該如何選擇子序列長度。圖中橫坐標0-500范圍內是否只有兩個正弦模體？我們可以使用應用接口庫MPA中的analyze函數來自動處理這個問題，完整程序代碼如下。