admin 发表于 2023-12-14 21:55:16

从0到1训练自己的大模型 揭密ChatGPT背后的技能与应用(超清)



点击下载:从0到1训练自己的大模型 揭密ChatGPT背后的技能与应用从核心原理、技术+ PEFT微调大模型+ LangChain构建知识库问答,你也能打造属于自己的大模型ChatGPT

适合人群
想训练和搭建自己的大模型服务的学员
想从0掌握ChatGPT背后核心技术的学员
技术储备
Linux、Python、数学基础
人工智能基础

目录大纲:

第1章 课程介绍
5 节|62分钟
收起
视频:
1-1 【导航】课程导学&让你快速了解课程
试看
18:25
视频:
1-2 【内容安排】课程安排和学习建议
试看
09:13
视频:
1-3 【行业发展】ChatGPT对行业、社会有什么影响,我们要如何应对
试看
21:22
视频:
1-4 【发展史】ChatGPT的简要历史
09:53
视频:
1-5 【学习须知】本课程为什么使用gpt2而不是gpt3
03:03
第2章 训练模型与开发平台环境
5 节|30分钟
收起
视频:
2-1 【认知】为什么要引入paddle?平时使用torch,学习paddle貌似没用怎么办?
04:06
视频:
2-2 【框架】paddle和torch与tensorflow对比
07:14
视频:
2-3 【NLP工具和预训练模型】paddleNLP和huggingface
03:23
视频:
2-4 【平台】介绍aistudio
07:53
视频:
2-5 【工具】介绍基于gpt4的IDE cursor
06:51
第3章 chatGPT初始技术词向量原理剖析与实战
12 节|176分钟
收起
视频:
3-1 【认知】词向量,词向量与gpt的关系
05:22
视频:
3-2 【语言模型】语言模型和评估指标PPL
13:28
视频:
3-3 【词向量模型】word2vec-cbow和skipgram
08:15
视频:
3-4 【softmax加速】是softmax 树型优化
14:46
视频:
3-5 【softmax加速】softmax负采样优化
13:49
视频:
3-6 【数据准备与预处理】word2vec实战(1)
24:53
视频:
3-7 【数据准备与预处理】word2vec实战(2)
18:49
视频:
3-8 【模型训练】word2vec实战-模型开发和训练(1)
15:17
视频:
3-9 【模型训练】word2vec实战-模型开发和训练(2)
14:33
视频:
3-10 【激活函数】常见七种激活函数对比
15:29
视频:
3-11 【预训练语言模型】RNN-LSTM-ELMO
25:49
视频:
3-12 本章梳理小结
05:06
第4章 chatGPT基石模型——基于Transformer架构的语言模型
11 节|117分钟
收起
视频:
4-1 本章介绍
01:32
视频:
4-2 seq2seq结构和注意力
15:23
视频:
4-3 seq2seq-attention的一个案例
07:37
视频:
4-4 transformer的multi-head attention 多头注意力机制
23:07
视频:
4-5 transformer的残差链接-解决梯度消失问题
07:43
视频:
4-6 transformer的layernorm-归一化提升训练稳定性
07:21
视频:
4-7 transformer的decoder 解码器
09:11
视频:
4-8 sparse-transformer 稀疏模型
08:31
视频:
4-9 transformer-xl 解决长序列的问题(1)
14:34
视频:
4-10 transformer-xl解决长序列的问题(2)
16:10
视频:
4-11 本章梳理总结
04:52
第5章 基于Transformer另一分支Bert系列分析与实战
16 节|211分钟
收起
视频:
5-1 本章介绍
01:14
视频:
5-2 metric-评估指标(BLUE-rouge-L-METOER-NIST)
22:49
视频:
5-3 常见 subword 算法(BPE-wordpiece)
07:00
视频:
5-4 常见的NLP任务
06:38
视频:
5-5 bert 预训练模型
25:29
视频:
5-6 bert情感分析实战----paddle(1)
17:22
视频:
5-7 bert情感分析实战----paddle(2)
18:48
视频:
5-8 evaluate和predict方法----paddle
10:49
视频:
5-9 bert(transformer encoder)主要源码分析----paddle(1)
14:12
视频:
5-10 bert(transformer encoder)主要源码分析----paddle(2)
12:31
视频:
5-11 bert(transformer encoder)的完整源码cache部分分析----paddle
15:21
视频:
5-12 Ernie文心一言基础模型(1)
14:35
视频:
5-13 Ernie文心一言基础模型(2)
06:27
视频:
5-14 plato百度对话模型(1)
14:56
视频:
5-15 plato 百度对话模型(2)
14:13
视频:
5-16 本章总结
07:51
第6章 chatGPT的核心技术——强化学习
18 节|275分钟
收起
视频:
6-1 RL是什么&为什么要学习RL
14:11
视频:
6-2 强化学习章介绍
02:53
视频:
6-3 RL基础概念
07:06
视频:
6-4 RL马尔可夫过程
17:39
视频:
6-5 RL三种方法(1)
16:40
视频:
6-6 RL三种方法(2)
06:07
视频:
6-7 DQN和DQN的2种改进算法(1)
13:46
视频:
6-8 DQN和DQN的2种改进算法(2)
16:21
视频:
6-9 actor-critic(1)
24:54
视频:
6-10 actor-critic(2)
08:14
视频:
6-11 TRPO+PPO(1)
23:23
视频:
6-12 TRPO+PPO(2)
18:28
视频:
6-13 DQN代码实践--torch-1
20:28
视频:
6-14 DQN代码实践--torch-2
19:05
视频:
6-15 DoubleDQN+DuelingDQ代码--torch
11:49
视频:
6-16 REINFORCE代码--torch
20:18
视频:
6-17 PPO代码实践--torch
23:03
视频:
6-18 强化学习-本章总结
10:24
第7章 chatGPT技术演变——从GPT 1 开始的大模型发展与演化
11 节|159分钟
收起
视频:
7-1 GPT1 模型
14:46
视频:
7-2 GPT2 模型
14:00
视频:
7-3 GPT3 模型-1
15:55
视频:
7-4 GPT3 模型-2
12:06
视频:
7-5 gpt-codex 基于GPT技术开发的模型
12:58
视频:
7-6 alphaCode基于GPT技术开发的模型-1
16:13
视频:
7-7 alphaCode基于GPT技术开发的模型-2
09:57
视频:
7-8 instruct-gpt 基于GPT技术开发的模型-1
13:44
视频:
7-9 instruct-gpt 基于GPT技术开发的模型-2
16:43
视频:
7-10 Antropic LLM大型语言模型
24:41
视频:
7-11 GPT-本章总结
07:21
第8章 RLHF训练类ChatGPT模型代码实战
19 节|311分钟
收起
视频:
8-1 chatGPT训练实战
08:52
视频:
8-2 SFT有监督的训练-数据处理
22:06
视频:
8-3 SFT有监督训练-trainer
18:19
视频:
8-4 SFT有监督训练-train
22:08
视频:
8-5 RM训练-model+dataset(1)
16:33
视频:
8-6 RM训练-model+dataset(2)
14:51
视频:
8-7 RM训练-trainer
13:48
视频:
8-8 RM训练-train-rm
11:43
视频:
8-9 RLHF强化学习人类反馈的训练-dataset
07:50
视频:
8-10 RLHF强化学习人类反馈的训练-model-base
12:17
视频:
8-11 RLHF强化学习人类反馈的训练-model-opt
08:11
视频:
8-12 RLHF强化学习人类反馈的训练-generation(1)
16:53
视频:
8-13 RLHF强化学习人类反馈的训练-generation(2)
16:22
视频:
8-14 RLHF强化学习人类反馈的训练-exp_maker(1)
15:14
视频:
8-15 RLHF强化学习人类反馈的训练-exp_maker(2)
17:18
视频:
8-16 RLHF强化学习人类反馈的训练-buffer-utils
28:18
视频:
8-17 RLHF强化学习人类反馈的训练-buffer-loss
18:08
视频:
8-18 RLHF强化学习人类反馈的训练-trainer
22:03
视频:
8-19 RLHF强化学习人类反馈的训练-main
19:30
第9章 低成本微调大模型方法PEFT(LoRA等) — 训练 \"ChatGLM2\" 项目
16 节|240分钟
收起
视频:
9-1 参数高效微调方法 peft-bitfit
23:14
视频:
9-2 参数高效微调方法 prefix-t
11:55
视频:
9-3 参数高效微调方法 prompt-t
10:09
视频:
9-4 参数高效微调方法 p-tuning
10:38
视频:
9-5 参数高效微调方法 p-tuningv2
09:36
视频:
9-6 参数高效微调方法 lora
05:13
视频:
9-7 高效调参方案实现 prompt_tuning-1
18:25
视频:
9-8 高效调参方案实现 prompt_tuning-2
10:12
视频:
9-9 高效调参方案实现 p-tuning
13:41
视频:
9-10 高效调参方案实现 prefix-tuning
19:42
视频:
9-11 高效调参方案实现 lora-01
17:51
视频:
9-12 高效调参方案实现 lora-02
17:40
视频:
9-13 高效调参方案实现 lora-03
11:00
视频:
9-14 AdaLora微调ChatGLM2 实战 -1
21:21
视频:
9-15 AdaLora微调ChatGLM2 实战 -2
23:55
视频:
9-16 PEFT-本章总结
15:05
第10章 langchain+训练大模型ChatGLM2 构建“知识库问答”
5 节|75分钟
收起
视频:
10-1 基于langchain的应用
12:43
视频:
10-2 langchain初探与实战
25:31
视频:
10-3 langchain实现 mini-QA
14:59
视频:
10-4 工业场景知识库LLM助手的设计
13:11
视频:
10-5 langchain和知识增强LLM总结
08:30
第11章 课程总结
2 节|33分钟
收起
视频:
11-1 课程总结(1)
17:48
视频:
11-2 课程总结(2)
15:01
本课程已完结



来源: 从0到1训练自己的大模型 揭密ChatGPT背后的技能与应用(超清)
页: [1]
查看完整版本: 从0到1训练自己的大模型 揭密ChatGPT背后的技能与应用(超清)