學 AI，來極客時間！
利用大模型構建應用過程中無法避免的問題
提升 LLM 應用性能的關鍵 — 微調
主流大模型微調技術方法全覆蓋
掌握大模型微調利器
多角度實戰，全面掌握微調核心技能
課程大綱
- 預熱篇
-
- 第一章
- 第二章
第一章：AI 大模型四階技術總覽
-
深度解讀 AI 發展四輪浪潮
-
AI 大模型四階技術總覽
第二章：大語言模型技術發展與演進
-
統計語言模型
-
神經網絡語言模型
-
基于 Transformer 的大語言模型
- 大模型訓練理論+實戰篇
-
- 第三章
- 第四章
- 第五章
- 第六章
- 第七章
- 第八章
- 第九章
- 第十章
- 第十一章
- 第十二章
- 第十三章
- 第十四章
- 第十五章
- 第十六章
第三章：大模型開發工具庫 Hugging Face Transformers
-
Hugging Face Transformers 快速入門
-
大模型開發環境搭建
-
實戰 Hugging Face Transformers 工具庫
第四章：實戰 Transformers 模型訓練
-
數據集處理庫 Hugging Face Datasets
-
Transformers 模型訓練入門
-
實戰使用 Transformers 訓練 BERT 模型
第五章：大模型高效微調技術揭秘（上）
-
Before PEFT：Hard Prompt / Full Fine-tune
-
PEFT 主流技術分類介紹
-
PEFT – Soft Prompt 技術（Task-specific Tuning）
-
PEFT – Soft Prompt 技術（Prompt Encoder）
第六章：大模型高效微調技術揭秘（下）
-
PEFT 基于重參數化（Reparametrization-based）訓練方法
-
UniPELT：大模型 PEFT 統一框架（2022）
-
(IA)3：極簡主義增量訓練方法 （2022）
第七章：大模型高效微調工具 Hugging Face PEFT 入門與實戰
-
Hugging Face PEFT 快速入門AutoPeftModels、PeftModel PeftConfig PeftType | TaskType
-
實戰 PEFT 庫 LoRA 模型微調
第八章：大模型量化技術入門與實戰
-
模型顯存占用與量化技術簡介
-
Transformers 原生支持的大模型量化算法
-
實戰 Facebook OPT 模型量化
第九章：GLM 大模型家族與 ChatGLM3-6B 微調入門
-
智譜 GLM 大模型家族
-
ChatGLM3-6B 微調入門
-
實戰 QLoRA 微調 ChatGLM3-6B
第十章：實戰私有數據微調 ChatGLM3
-
實戰構造私有的微調數據集
-
實戰私有數據微調 ChatGLM3
第十一章：ChatGPT 大模型訓練技術 RLHF
-
ChatGPT 大模型訓練核心技術
-
基于人類反饋的強化學習（RLHF）技術詳解
-
基于 AI 反饋的強化學習（RLAIF）技術
第十二章：混合專家模型（MoEs）技術揭秘
-
混合專家模型（Mixture-of-Experts, MoEs）技術發展簡史
-
MoEs 與 大模型結合后的技術發展
-
MoEs 實例研究：Mixtral-8x7B-v0.1（Mistral AI, 2023）
第十三章：Meta AI 大模型 LLaMA
-
Meta LLaMA 1 大模型技術解讀
-
Meta LLaMA 2 大模型技術解讀
第十四章：實戰 LLaMA2-7B 指令微調
-
大模型訓練技術總結
-
實戰 LLaMA2-7B 指令微調
第十五章：大模型分布式訓練框架 Microsoft DeepSpeed
-
大模型分布式訓練框架 DeepSpeed
-
DeepSpeed 實戰
-
DeepSpeed 創新模塊：Inference、Compression & Science
第十六章：國產化適配-基于華為昇騰 910 微調 ChatGLM-6B
-
大模型算力設備與生態總結
-
華為昇騰全棧 AI 軟硬件平臺介紹
-
實戰：華為 Ascend 910B 微調 ChatGLM-6B 模型
- 智譜 AI GLM 篇
-
- GLM 大模型家族介紹
- GLM 模型部署微調實踐
- CogVLM 模型部署實踐
GLM 大模型家族介紹
-
GLM 系列模型發展歷程：從 GLM-10B 到 GLM-4
-
GLM-4V：VisualGLM、CogVLM、CogAgent、GLM-4V 的技術變化
-
代碼生成模型：CodeGeeX-3 及插件應用
-
圖像生成模型 CogView-3
-
超擬人大模型 CharacterGLM
-
GLM-4 All Tools
GLM 模型部署微調實踐
-
ChatGLM3-6B 開源介紹
-
ChatGLM3-6B 快速上手
-
模型微調
CogVLM 模型部署實踐
-
CogVLM 開源模型介紹和體驗
-
CogVLM 開源模型部署
強強聯合，AI 領域知名技術專家團隊手把手教學
好口碑看得見
全方位學習服務，讓你學會并學有所成
適學人群
