nn-list

CNN

Convolutional Neural Network - 卷积神经网络

通过卷积核在输入上滑动提取局部特征,配合池化层逐层降低空间维度。具有局部连接和权值共享的特点,擅长处理图像等具有网格结构的数据,是计算机视觉的基石。

基本上涉及到图像都用CNN

RNN

Recurrent Neural Network - 循环神经网络

通过隐藏状态在时间步之间传递信息,使网络具备"记忆"能力,适合处理文本、语音等序列数据。原始 RNN 存在梯度消失问题,后续出现了 LSTM、GRU 等改进结构。

GNN

Graph Neural Networks - 图神经网络

面向图结构数据(节点 + 边)的神经网络,核心思想是通过"消息传递"聚合邻居节点信息来更新自身表示。适用于社交网络、分子结构、知识图谱等非欧几里得数据。

GCN

Graph Convolution Networks - 图卷积网络

将卷积操作推广到图上,通过邻接矩阵对邻居特征做加权聚合,相当于在图上做一阶近似的谱卷积。是最经典、最常用的 GNN 变体之一。

GATs

Graph Attention Networks - 图注意力网络

在聚合邻居信息时引入注意力机制,为不同邻居动态分配权重,而非像 GCN 那样使用固定的归一化系数,从而更灵活地捕捉节点间的重要性差异。

Graph Auto-Encoders

Graph Auto-Encoders - 图自编码器

无监督的图表示学习方法,编码器将节点映射到低维隐空间,解码器尝试重构图结构(如邻接矩阵)。常用于链接预测和节点聚类。

GGN

Graph Generative Networks - 图生成网络

用于生成新图结构的模型,学习真实图的分布后采样出新的图。常见于分子生成、药物设计等任务。

STGNN

Spatio-Temporal GNN - 时空图神经网络

也叫 Graph Spatial-temporal Network - 图时空网络

同时建模空间维度(图结构)和时间维度(动态变化)的网络,适合交通流量预测、动作识别等时空数据场景。

ST-GCN

Spatio-Temporal GCN - 时空图卷积网络

常用于时空序列预测

尤其:

  • 数据之间有图结构关系
  • 同时有时间变化

例如:

  • 骨架动作识别

Transformer

完全基于自注意力机制(Self-Attention)的架构,摒弃了循环和卷积,能并行处理整个序列并捕捉长距离依赖。是 BERT、GPT 等大模型的核心,已成为 NLP 乃至多模态领域的主流架构。

DiT

Diffusion Transformer

AR-Transformer

Autoregressive(自回归) Transformer