课程大纲
注:由于大模型技术迭代迅速,课程大纲可能会根据技术的迭代而动态调整,加入最新的知识,请以最终上课时的课程大纲和内容为准。
第一阶段 · 大模型开发基础
第一章:开营典礼
为什么要学习大模型开发?
对学员期望与课程目标
课程安排概览
学习评估
需要准备的工具和环境
第二章:大模型的训练与应用
大模型发展史
从大模型预训练、微调到应用
GPT结构剖析
大模型家族、类别、应用场景
RAG,Agent与小模型
第三章:大模型实操与API调用
通过API调用大模型
单论对话与多轮对话调用
开源模型与闭源模型调用
ChatGLM,Baichuan,Yi-34B调用
GPT,LLaMA模型调用
模型的部署、容器化
第四章:提示工程技术(1)
提示词的常见结构
提示词的模版化
Zero-shot与Few-shot
In-context learning
Chain of thought prompting
第五章:提示工程技术(2)
Tree of thought prompting
Graph of thought promting
Self-consistency
Active-prompt
Prompt chaining
第二阶段 · RAG基础与架构
第六章:RAG基础与架构
为什么需要RAG?
RAG的经典应用场景
RAG的经典结构与模块
向量数据库
检索与生成
第七章:【项目实战】基于RAG的PDF文档助手
产品介绍与核心功能
技术方案与架构设计
文档读取和解析
文档的切分和文档向量化
query搜索与文档排序
提示模版与大模型API接入
模型部署与Web应用
第八章:文档切分常见算法
根据每个Sentence切分
根据固定字符数切分
根据固定sentence数切分
根据递归字符来切分
根据语义相似度来切分
第九章:向量数据库常见算法
常用向量数据库以及类别
向量数据库与索引算法
到排表与搜索优化
KNN与近似KNN
Product Quantization
第十章:向量数据库算法进阶- HSNW
HSNW算法在索引中的重要性
NSW算法解读
NSW图中的搜索问题
Skip List讲解
具有层次结构的NSW
第十一章:【项目实战】基于RAG的新闻推荐系统
推荐系统原理、应用场景以及架构剖析
传统推荐算法与基于LLM推荐算法
新闻数据的准备与整理
推荐中的召回与精排
精排与Prompt构建
模型部署与测试
第三阶段 · RAG与LangChain
第十二章:LangChain基础应用
为什么需要LangChain?
通过一个小项目快速理解各个模块
LangChain调用模型
PromptTemplate的应用
输出格式设定
Pydantic Object设计
第十三章:理解Function Calling
什么是 Function Calling
自定义输出结构
基于OpenAI调用Function Calling
Function Calling的稳定性
LangChain与Function Calling
第十四章:LangChain与Retrieval组件
Document Loaders
Text Splitters
Text Embedding模型
常用的向量数据库调用
常用的Retriever
第十五章:LangChain与Chain组件
为什么需要Chain?
LLMChain, Sequential Chain
Transform Chain
Router Chain
自定义Chain
第十六章:Advanced RAG(1)
经典RAG的几个问题
Self-querying retrieval
MultiQuery retriever
Step-back prompting
基于历史对话重新生成Query
其他Query优化相关策略
第十七章:Advanced RAG(2)
Sentence window retrieval
Parent-child chunks retrieval
Fusion Retrieval
Ensemble Retrieval
RPF算法
第十八章:基于RAGAS的RAG的评估
为什么需要评估RAG
RAG中的评估思路
评估指标设计
套用在项目中进行评估
RAGAS评估框架的缺点
第十九章:实战基于Advanced RAG的PDF问答
需求理解和系统设计
经典RAG架构下的问题
检索器优化
生成器优化
系统部署与测试
第四阶段 · 模型微调与私有化大模型
第二十章:开源模型介绍
模型私有化部署的必要性
中英开源模型概览与分类
ChatGLM, Baichuan,Yi等中文开源模型
LLaMA,Mistral系列英文开源模型
微调所需要的工具和算力
第二十一章:模型微调基础
判断是否需要模型微调
模型微调对模型的影响和价值
选择合适的基座模型
数据集的准备
微调训练框架的选择
第二十二章:GPU与算力
GPU与CPU
GPU的计算特性
微调所需要的算力计算公式
常见GPU卡介绍与比较
搭建GPU算力环境
第二十三章:高效微调技术-LoRA
全量微调与少量参数微调
理解LoRA训练以及参数
PEFT库的使用
LoRA训练硬件资源评估
认识QLoRA训练
第二十四章:【项目实战】基于ChatGLM-6B+LoRA对话微调模型
理解ChatGLM模型家族以及特性
导入模型以及tokenizer
设计模型参数以及LoRA参数
训练以及部署微调模型
测试微调模型
第五阶段 · Agent开发
第二十五章:Agent开发基础
什么是Agent
什么是Plan, Action, Tools
经典的Agent开源项目介绍
编写简单的Agent程序
Agent目前面临的挑战与机遇
第二十六章:自定义Agent工具
LangChain所支持的Agent
什么需要自定义Agent
@tool decorator的使用
编写自定义Agent工具
编写完整的Agent小项目
第二十七章:深入浅出ReAct框架
回顾什么是CoT
CoT和Action的结合
剖析ReAct框架的Prompt结构
从零实现ReAct(from Scratch)
ReAct框架的优缺点分析
第二十八章:【项目实战】开源Agent项目
开源Agent项目以及分类
AutoGPT项目讲解
MetaGPT项目讲解
其他开源项目
Agent技术目前存在的问题
第二十九章:深度剖析Agent核心部件
Agent的planning
Agent的reasoning
Agent的knowledge
Agent的memory
Agent的泛化能力
第三十章:【项目实战】基于Agent的AI模拟面试
需求设计和系统设计
工具的设计
AI面试中的深度询问方案设计
提示工程设计
Memory的设计
智能体开发与部署
第三十一章:Agent其他案例分享
AI旅游规划师
AI产品销售
AI房租推荐
AI图像处理
AI网站开发
第三十二章:其他Agent前沿应用
多个Agent的协同
Agent的group行为
Agent Society
Agent的Personality
斯坦福小镇案例
第六阶段 · 智能设备与“小”模型
第三十三章:智能设备上的模型优化基础
智能设备特性以及资源限制
模型优化的必要性
常见的模型压缩技术
轻量级模型架构介绍
开源小模型
第三十四章:模型在智能设备上的部署
多大的模型适合
部署流程概述
模型转换工具
模型部署实战
性能测试与优化
第三十五章:边缘计算中的大模型挑战与机遇
边缘计算的概念和重要性
模型所要满足的要求与性能上的平衡
模型在边缘设备上的应用案例
未来“小”模型发展趋势
24年“小”模型机会
第七阶段 · 多模态大模型开发
第三十六章:多模态大模型基础
什么是多模态模型
多模态的应用场景
DALLE-3与Midjourney
Stable Diffusion与ControlNet
语音合成技术概述
主流TTS技术剖析
第三十七章:多模态模型项目剖析
多模态大模型最新进展
Sora对多模态大模型会产生什么影响
案例:MiniGPT-4与多模态问答
案例:BLIP与文本描述生成
案例:Video-LLaVA与多模态图像视频识别
第三十八章:大模型的挑战与未来
大模型技术局限性
大模型的隐私性和准确性
大模型和AGI未来
GPT商城的机会
多模态的机会
对于开发工程师未来的启示