深度解读 AI 发展四轮浪潮
技术浪潮:弱人工智能、机器学习、深度学习、大语言模型
应用浪潮:高校共识、硅谷创富、大陆崛起、中美博弈
把握浪潮:AI 大模型是打造超级个体的巨大机会
AI 大模型四阶技术总览
提示工程(Prompt Engineering)
AI 智能体(Agents)
大模型微调(Fine-tuning)
预训练技术(Pre-training)
第二章:大模型微调技术原理揭秘
大语言模型技术发展与演进
基于统计机器学习的语言模型
基于深度神经网络的语言模型
基于 Transformer 的大语言模型
大模型高效微调技术 Parameter-Efficient Fine-Tuning(PEFT) 初探
Adapter Tuning
Prefix Tuning
Prompt Tuning
P-Tuning v1
P-Tuning v2
大模型轻量级高效微调方法 LoRA
LoRA:Low-Rank Adaptation of LLMs
QLoRA:Efficient Finetuning of Quantized LLMs
AdaLoRA:Adaptive Budget Allocation for PEFT
少样本 PEFT 新方法 IA3:Few-Shot PEFT is Better and Cheaper than In-Context Learning
统一微调框架 UniPELT:A Unified Framework for Parameter-Efficient Language Model Tuning
第三章:ChatGPT 大模型训练技术解读
基于人类反馈的强化学习微调技术 RLHF
使用有监督微调 Supervised Fine-tuning(SFT)预训练语言模型
训练奖励模型 Reward Model(RM)
使用强化学习算法微调语言模型
混合专家模型 Mixture of Experts(MoE)技术架构揭秘
动态路由模型 Switch Transformer(ST)
专家选择模型 Expert Choice(EC)
通用语言模型 Generalist Language Model(GLaM)