基于深度汉克尔矩阵分解的指数重建方法

基于深度汉克尔矩阵分解的指数重建方法 (中文，English)

黄奕晖¹, 赵金奎¹, 王孜¹, Vladislav Orekhov², 郭迪³, 屈小波^1,*

¹ 厦门大学，电子科学系，福建等离子体与磁共振重点研究实验室，生物医学智能云研发中心, 中国，厦门，361005.
² Department of Chemistry and Molecular Biology and Swedish NMR Centre, University of Gothenburg, Box 465, Gothenburg 40530, Sweden.
³ 厦门理工学院，计算机与信息工程学院，中国，厦门，361024.
^* Emails: quxiaobo <at> xmu.edu.cn or quxiaobo2009 <at> gmail.com

引用

Yihui Huang, Jinkui Zhao, Zi Wang, Vladislav Orekhov, Di Guo, Xiaobo Qu, Exponential Signal Reconstruction With Deep Hankel Matrix Factorization, IEEE Transactions on Neural Networks and Learning Systems, doi: 10.1109/TNNLS.2021.3134717, 2022

概要

指数信号是信号处理领域中最重要的基本信号类型之一，在通信、成像、电子系统及核磁共振等应用中都有用到。由于加速采样或其它不可避免的原因，实际采样得到的信号有时不能满足奈奎斯特准则，导致采集数据丢失从而造成信号失真. 如何对欠采样指数信号进行重建是学术界与工业界密切关注的前沿问题。传统最优化算法计算最优解所需大量迭代次数较为耗时。而对于最前沿的深度学习方法，信号尤其是低强度弱峰的重建误差仍需要降低。

本文通过模仿现有的基于模型的低秩汉克尔重建方法，提出了一种基于深度汉克尔矩阵分解的神经网络DHMF。网络约束了指数信号转汉克尔矩阵后的低秩特性，其设计参靠了基于矩阵分解的无需奇异值分解的低秩汉克尔矩阵补全方法。由于一直可以完全通过仿真信号训练网络，我们通过仿真指数信号来学习由欠采样信号至全采样信号间的映射。实验表明，相较于最前沿的基于模型的方法与深度学习方法，所提DHMF比前者更快，比后者更具可解释性。同时，DHMF在仿真数据与真实磁共振波谱上都有着更低的重建误差，并能更好地保护弱峰。

方法

本文所提DHMF包含 P, Q, D三个更新模块以及一个数据校验模块(Fig. 1).

Fig. 1. DHMF网络结构. (a) 第 k 个迭代块结构, (b)基本DHMF所采用的时域卷积P/Q模块, (c) 加强型DHMF所采用的频域卷积P/Q模块, (d) 密集连接卷积神经网络。

第$k\text{(}k=1,2...,K)$个迭代块中各模块的设计为: $$ \begin{align} & {{\mathbf{P}}^{k+1}}={{\mathsf{\mathcal{P}}}^{k}}((\mathsf{\mathcal{R}}{{{\mathbf{\hat{x}}}}^{k}}+{{\mathbf{D}}^{k}}){{\mathbf{Q}}^{k}},{{\mathbf{Q}}^{k}},{{\mathbf{P}}^{k}}) \\ & {{\mathbf{Q}}^{k+1}}={{\mathsf{\mathcal{Q}}}^{k}}({{(\mathsf{\mathcal{R}}{{{\mathbf{\hat{x}}}}^{k}}+{{\mathbf{D}}^{k}})}^{H}}{{\mathbf{P}}^{k+1}},{{\mathbf{P}}^{k+1}},{{\mathbf{Q}}^{k}}) \\ & {{\mathbf{D}}^{k+1}}={{\mathbf{D}}^{k}}+\tau (\mathsf{\mathcal{R}}{{{\mathbf{\hat{x}}}}^{k}}-{{\mathbf{P}}^{k+1}}{{({{\mathbf{Q}}^{k+1}})}^{H}}) \\ & {{{\mathbf{\hat{x}}}}^{k+1}}=\mathsf{\mathcal{S}}(\mathbf{y},{{\mathsf{\mathcal{R}}}^{*}}({{\mathbf{P}}^{k+1}}{{({{\mathbf{Q}}^{k+1}})}^{H}}-{{\mathbf{D}}^{k+1}})) \\ \end{align} $$ 其中$\mathsf{\mathcal{P}}$和$\mathsf{\mathcal{Q}}$表示更新算子, $\mathsf{\mathcal{S}}$表示数据校验算子, $\tau $表示步长, $\mathsf{\mathcal{R}}$表示将信号向量转为汉克尔矩阵的算子，${{\mathsf{\mathcal{R}}}^{*}}$ 为其逆算子。

最终的损失函数为： $$\mathsf{\mathcal{L}}(\Theta )=\frac{1}{Q}\sum\limits_{q=1}^{Q}{\sum\limits_{k=1}^{K}{(||\mathbf{\hat{x}}_{q}^{k}({{\Theta }^{{}}})-{{\mathbf{x}}_{q}}||_{2}^{2}}}+\gamma ||{{\mathsf{\mathcal{R}}}^{*}}(\mathbf{P}_{q}^{k}(\Theta )\mathbf{Q}_{q}^{k}(\Theta )_{{}}^{H})-{{\mathbf{x}}_{q}}||_{2}^{2}),$$ 其中$\gamma $是正则化参数. 下标 q表示所有Q 个采样序列中第q个训练数据。$\Theta $是网络中可学习参数的集合，包括P，Q更新模块中的卷积层及批归一化层中的可学习权重。

结果

我们在仿真指数信号及实测的磁共振波谱上将所提DHMF与三种最前沿的方法进行对比。对比方法包括LRHM, LRHMF和DLNMR. LRHM与LRHMF是典型的迭代优化方法， DLNMR 是指数函数重建任务中最前沿的深度学习方法。

1. 网络的可解释性

Fig.2 表明DHMF隐性学习了具有低秩特性的近似解，相较DLNMR在网络重建中有着更好的解释性。

Fig. 2.各迭代块的重建波谱与奇异值分析 (a)全采样波谱, (b)-(f)第1至第5个迭代块的重建波谱 (g) 时域信号汉克尔矩阵的核范数, (h)-(l)各迭代块输出的对应奇异值。

2. 仿真信号重建

Fig.3 表明，相较其他方法，DHMF能够重建含更多谱峰的指数信号或使用更少的采样点数进行重建。Fig.4 表明DHMF能够重建出与全采样波谱最一致的峰形与谱峰强度，并在弱峰重建中有着最高的相关系数。

Fig. 3. 仿真数据在四种方法上的平均重建误差。（a） LRHM（b） LRHMF（c）DLNMR（ d） DHMF。注：每种颜色对应了在 100 次蒙特卡洛实验中方法的平均 RLNE。红线（或白线）表示了重建误差 RLNE 为 0.1（或 0.2）时的边界，在边界上方（或下方）的区域内，方法的重建误差会高于（或低于）该边界。其中 DLNMR 未能有重建误差小于 0.1 的区域，因此其红色边界没有下方区域。

Fig. 4. 四种对比方法在25%采样率的低谱峰仿真数据的重建效果。（a）是全采样的无噪信号，（b）是额外添加了标准差为 0.05 的高斯噪声的有噪信号，（c）到（f）分别是LRHM,LRHMF,DLNMR 和 DHMF 的重建信号，（h）到（m）表示将箭头所指的弱峰局部放大。（g）是各个谱峰的皮尔森线性相关系数。

3. 实测NMR信号重建

在1H-15N TROSY 波谱(Fig. 5(a)) 与 1H-15N HSQC 波谱(Fig. 6(a))的重建表明，DHMF 在实测NMR波谱上有着最可信的重建结果。

Fig. 5. 25%采样率的泛素 2D 1H-15N TROSY谱的重建效果。（a）是全采样的 NMR 谱，（b）到（e）分别是 LRHM， LRHMF， DLNMR 和 DHMF的重建谱图。这里我们额外在全采样信号中加入了标准差为 0.02 的高斯噪声。（f）和（g）箭头所指的，在一维 15N 序列上的谱峰局部放大。绿色，青色，紫色，蓝色和红色分别表示全采样谱， LRHM， LRHMF， DLNMR 和 DHMF 的重建谱。

Fig. 6. 细胞溶质 CD79b 蛋白质的2D 1H-15N HSQC谱的重建效果。（a）是全采样的 NMR 谱，（b）到（e）分别是 LRHM， LRHMF， DLNMR 和 DHMF的重建谱图。这里我们额外在全采样信号中加入了标准差为 0.01 的高斯噪声。（f）和（g）箭头所指的，在一维 15N 序列上的谱峰局部放大。绿色，青色，紫色，蓝色和红色分别表示全采样谱， LRHM， LRHMF， DLNMR 和 DHMF的重建谱。

下载

论文

致谢

1）数据与硬件支持

作者感谢Vladislav Orekhov 与 Maxim Mayzel提供的磁共振波谱数据、NVIDIA公司提供的GPU。以及中国移动提供的云服务。

2）基金

本工作获得了国际自然科学基金（62122064,61971361, 61871341,及61811530021），中国国家重点研究开发计划2017YFC00108703，厦门大学南强杰出人才计划的资助。

参考文献

[1] A. Hirose and S. Yoshida, "Generalization characteristics of complexvalued feedforward neural networks in relation to signal coherence," IEEE Trans. Neural Netw. Learn. Syst., vol. 23, no. 4, pp. 541-551, 2012.
[2] C. Qian, L. Huang, M. Cao, J. Xie, and H. C. So, "PUMA: An improved realization of MODE for DOA estimation," IEEE Trans. Aerosp. Electron. Syst., vol. 53, no. 5, pp. 2128-2139, 2017.
[3] D. Nion and N. D. Sidiropoulos, "Tensor algebra and multidimensional harmonic retrieval in signal processing for mimo radar," IEEE Trans. Signal Process., vol. 58, no. 11, pp. 5693-5705, 2010.
[4] L. Schermelleh, R. Heintzmann, and H. Leonhardt, "A guide to superresolution fluorescence microscopy," J. Cell Biol., vol. 190, no. 2, pp. 165-175, 2010.
[5] J. A. Tropp, J. N. Laska, M. F. Duarte, J. K. Romberg, and R. G. Baraniuk, "Beyond Nyquist: Efficient sampling of sparse bandlimited signals," IEEE Trans. Inf. Theory, vol. 56, no. 1, pp. 520-544, 2010.
[6] M. Vetterli, P. Marziliano, and T. Blu, "Sampling signals with finite rate of innovation," IEEE Trans. Signal Process., vol. 50, no. 6, pp. 1417-1428, 2002.
[7] M. Elad, P. Milanfar, and G. Golub, H, "Shape from moments – an estimation theory perspective," IEEE Trans. Signal Process., vol. 52, no. 7, pp. 1814-1829, 2004.
[8] X. Qu, M. Mayzel, J.-F. Cai, Z. Chen, and V. Orekhov, "Accelerated NMR spectroscopy with low-rank reconstruction," Angew. Chem.-Int. Edit., vol.54, no. 3, pp. 852-854, 2015.
[9] H. M. Nguyen, X. Peng, M. N. Do, and Z.-P. Liang, "Denoising MR spectroscopic imaging data with low-rank approximations," IEEE Trans. Biomed. Eng., vol. 60, no. 1, pp. 78-89, 2013.
[10] D. Guo, H. Lu, and X. Qu, "A fast low rank Hankel matrix factorization reconstruction method for non-uniformly sampled magnetic resonance spectroscopy," IEEE Access, vol. 5, pp. 16033-16039, 2017.