【深度学习基础与概念】笔记（一）深度学习革命

datawhale组队学习，共读ai新圣经

一、深度学习革命的核心概念

1. 机器学习 vs 深度学习

   • 机器学习：通过数据训练算法，替代传统手工设计规则（如分类、回归）
   • 深度学习：机器学习的分支，基于神经网络，模拟人脑信息处理机制，可处理高维复杂数据（如图像、语言）
   • 通用人工智能（AGI）：大语言模型（如GPT-4）展现的跨任务能力被视为AGI雏形

2. 关键术语对比

   概念	定义	示例
   监督学习	使用标注数据训练模型	皮肤癌分类、蛋白质结构预测
   无监督学习	从无标注数据中发现模式	人脸图像生成
   自监督学习	自动从数据中生成标签	大语言模型（预测下一个词）
   迁移学习	预训练模型微调适应新任务	医疗诊断模型复用日常图像特征

二、深度学习的四大应用场景

1. 医疗诊断

   • 案例：黑色素瘤分类模型（准确率超专业医生）
   • 技术要点：使用迁移学习解决数据稀缺

2. 蛋白质结构预测

   • AlphaFold突破：通过氨基酸序列预测3D结构，误差接近实验测定水平
   • 意义：加速新药研发与生物过程理解。

3. 图像合成

   生成式模型：如GAN、扩散模型，生成与训练数据统计特性一致的新样

4. 大语言模型（LLM）

   核心机制：自回归预测（根据上文生成下文），通过海量文本自监督训练。

三、教学示例：多项式拟合中的机器学习原理

误差函数：用来确定多项式系数

1. 过拟合与泛化

   • 问题：高阶多项式（如M=9）完美拟合训练数据但测试误差剧增。
   • 根源：模型复杂度过高，拟合了噪声而非真实规律。

2. 正则化技术

   • 方法：在误差函数中添加权重惩罚项
   • 效果：抑制系数幅值，提升泛化能力

3. 模型选择与验证

   • 交叉验证：将数据分为S份，轮流用S-1份训练、1份验证，避免过拟合（图1.12）。问题：模型训练成本大幅提升，与超参数结合训练成本指数级提高。
   • 超参数调优：通过验证集选择最佳多项式阶数M或正则化强度λ。

四、神经网络发展简史与技术突破

1. 三个阶段演进

   • 单层网络（1950s-1980s）：感知机受限（仅线性可分问题）。
   • 反向传播（1980s-2000s）：引入梯度下降与可微激活函数，训练多层网络
   • 深度网络（2010s至今）：GPU算力 + 大数据 + 架构创新（如残差连接）推动爆发

2. 残差连接（ResNet）

   原理：学习残差而非直接映射，提高深层网络训练效率。