深度学习基础
深度学习概述
什么是深度学习？
深度学习是机器学习的一个分支，核心思想是通过多层神经网络自动提取数据的层次化特征，实现端到端的学习。它能够处理大规模、复杂的数据，广泛应用于图像、语音、文本等领域。
- 多层神经网络结构（深度模型）
- 自动特征提取与表达
- 端到端训练（无需手工特征）
- 强大的非线性建模能力
- 适合大数据和高维数据
深度学习的发展简史
- 1943年：提出第一个人工神经元模型（McCulloch & Pitts）
- 1958年：感知器（Perceptron）提出，开启神经网络研究
- 1986年：反向传播算法（BP）推动多层网络训练
- 2006年：深度信念网络（Hinton）引发深度学习热潮
- 2012年：AlexNet在ImageNet竞赛中大放异彩，推动深度学习应用
- 2014年：GAN、Seq2Seq等创新模型提出
- 2017年：Transformer架构横空出世，开启大模型时代
深度学习的主要应用
- 计算机视觉（CV）：图像分类、目标检测、图像分割、人脸识别等
- 自然语言处理（NLP）：机器翻译、文本生成、情感分析、问答系统等
- 语音与音频：语音识别、语音合成、语音分离等
- 推荐系统、金融风控、医疗诊断、自动驾驶等
深度学习基础核心概念
神经元、激活函数与网络结构
神经元是神经网络的基本单元，激活函数赋予网络非线性能力。常见网络结构有全连接网络、卷积神经网络（CNN）、循环神经网络（RNN）等。
- 激活函数：Sigmoid、ReLU、Tanh、Softmax等
- 网络结构：MLP、CNN、RNN、LSTM、Transformer等
损失函数与优化器
损失函数衡量模型预测与真实值的差距，优化器用于最小化损失并更新参数。
- 常见损失函数：均方误差（MSE）、交叉熵、二元交叉熵、Huber损失等
- 常见优化器：SGD、Adam、RMSprop、AdaGrad等
深度学习训练流程与要点
- 数据准备与预处理（归一化、增强等）
- 模型设计与搭建
- 前向传播与损失计算
- 反向传播与参数更新
- 模型评估与调优（验证集、超参数调整等）