时间序列表示学习

空白派

时间序列广泛出现在物联网、金融、医学诊断等应用领域。时间序列分析（分类、聚类、检索、异常检测）的需求也日益强烈。其可以通过计算时间序列之间的相似性来实现。  
       目前已有许多人工定义“弹性”距离来实现时间序列的相似性匹配，如：Dynamic Time Warp (DTW) [1], Edit distance with Real Penalty (ERP) [2],Longest Common Subsequence (LCSS) [3],Hausdorff distance [4],和Fréchet distance [5]等。这些距离在计算两条时序数据的匹配程度时考虑了时间上的偏移和扭曲，通常采用基于动态规划的算法。



上图为欧式距离，下图为DTW距离，DTW距离在两个点匹配时能够考虑时间上的弯曲



两条序列Q和C是相似的，但是在时间上出现了伸缩



DTW距离利用一个弯曲矩阵，得到最优的弯曲路径（基于动态规划算法）



匹配结果

但这些算法存在两方面的不足：

• 动态规划算法的时间复杂度是时序数据长度的平方，导致许多时间序列分析任务难以扩展到大规模的数据集；
  
• 这些距离是伪度量，因为不满足三角不等式，无法利用传统的在度量空间的索引优化技术，以及利用基于核的分类器时会产生次优性。
  

       时间序列的表示学习旨在学习一个将原始时间序列自动转换为向量表示的函数。 一旦得到了向量表示，则现有的一些分析任务变得直截了当。分类可以使用现成技术，如，k-NN分类器或基于核的分类器; 检索可以利用度量空间中传统的基于树或基于hash的索引优化。


       传统的人工定义的距离或特征表示通常是数据无关的，没法充分利用现有数据集的特点。表示学习是通过利用训练数据来学习得到向量表示，这可以克服人工方法的局限性。 表示学习通常可分为两大类，无监督和有监督表示学习。
         大多数无监督表示学习方法利用自动编码器（如去噪自动编码器[6]和稀疏自动编码器[7]等）中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而，推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外，一些无监督表示学习方法旨在近似某种特定的相似性度量。  [8]提出了一种无监督的相似性保持表示学习框架，该框架使用矩阵分解来保持成对的DTW相似性。  [9]通过学习保持DTW的shaplets，即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。



无监督表示学习：近似原始的相似性

         有监督表示学习方法可以利用数据的标签信息，更好地捕获数据的语义结构。 孪生网络[10]和三元组网络[11]是目前两种比较流行的模型，它们的目标是最大化类别之间的距离并最小化了类别内部的距离。



有监督表示学习



孪生网络



三元组网络

参考文献
[1] Efficient retrieval of similar time sequences under time warping. ICDE 1998.
[2] On the marriage of lp-norms and edit distance. VLDB 2004.
[3] Discovering similar multidimensional trajectories. ICDE 2002.
[4] An efficient algorithm for calculating the exact Hausdorff distance. TPAMI 2015.
[5] The Fréchet distance revisited and extended. TALG 2014.
[6] ECG signal enhancement based on improved denoising auto-encoder. EAAI 2016.
[7] Ensemble deep learning for regression and time series forecasting. CIEL 2014.
[8] Similarity Preserving Representation Learning for Time Series Analysis. arXiv 2017.
[9] Learning DTW-Preserving Shapelets. ISIDA 2017.
[10] Siamese neural networks for one-shot image recognition. ICML 2015.
[11] Facenet: A unified embedding for face recognition and clustering. CVPR 2015.
原文地址：https://zhuanlan.zhihu.com/p/55306421