神经网络基础
神经网络结构可视化
前向传播与反向传播流程
神经网络的基本概念
神经元模型
神经元是神经网络的基本单元，模拟了生物神经元的工作方式：
- 输入：接收多个输入信号
- 权重：每个输入都有对应的权重
- 偏置：用于调整神经元的激活阈值
- 激活函数：引入非线性变换
- 输出：产生单个输出信号
网络结构
神经网络由多层神经元组成，主要包括：
- 输入层：接收原始数据
- 隐藏层：进行特征提取和转换
- 输出层：产生最终预测结果
- 层间连接：全连接或部分连接
- 前向传播：信息从输入层流向输出层
学习过程
神经网络通过以下步骤进行学习：
- 前向传播：计算预测值
- 损失计算：评估预测误差
- 反向传播：计算梯度
- 参数更新：优化网络权重
- 迭代训练：重复以上步骤
激活函数
常用激活函数
- Sigmoid函数
- 输出范围：(0,1)
- 特点：平滑、可导
- 缺点：梯度消失问题
- ReLU函数
- 输出范围：[0,∞)
- 特点：计算简单、缓解梯度消失
- 缺点：死亡ReLU问题
- Tanh函数
- 输出范围：(-1,1)
- 特点：零中心化
- 缺点：梯度消失问题
激活函数的选择
选择激活函数时需要考虑的因素：
- 任务类型：分类/回归
- 网络深度：深层网络常用ReLU
- 计算效率：ReLU计算简单
- 梯度特性：避免梯度消失/爆炸
- 输出范围：根据任务需求选择