深度神经网络系统

核心概念

深度神经网络是一种受生物神经系统启发的计算模型， 由大量相互连接的简单处理单元（神经元）组成。通过多层非线性变换， 网络能够从数据中学习复杂的模式和特征表示。

神经元模型

其中 xᵢ 是输入，wᵢ 是权重，b 是偏置，f 是激活函数。 神经元计算输入的加权和，然后通过激活函数产生输出。

前向传播

数据从输入层开始，逐层传递到输出层。每一层的输出作为下一层的输入。 这个过程称为前向传播，用于计算网络的预测输出。

反向传播与梯度下降

通过计算损失函数对权重的梯度，使用梯度下降法更新权重。 反向传播算法高效地计算了所有权重的梯度， 使得深度网络的训练成为可能。

损失函数

损失函数衡量网络预测与真实值之间的差距。训练的目标是最小化损失函数。 常用的损失函数包括均方误差（回归）和交叉熵（分类）。

网络架构类型

• 前馈神经网络 (FNN)：最基本的网络，信息单向流动，无反馈连接
• 卷积神经网络 (CNN)：专为图像处理设计，使用卷积核提取局部特征
• 循环神经网络 (RNN)：处理序列数据，具有记忆能力
• Transformer：基于自注意力机制，在 NLP 领域取得突破性成果

关键超参数

• 学习率 (η)：控制权重更新的步长，过大可能不收敛，过小训练慢
• 批量大小 (Batch Size)：每次更新使用的样本数
• 迭代轮次 (Epochs)：完整遍历训练集的次数
• 隐藏层数：网络的深度，影响模型的表达能力
• 每层神经元数：网络的宽度，影响模型的容量