贪心-大模型微调实战营-应用篇

【资源介绍】：

本课程包括大模型基础，大模型指令微调，常用的开源模型微调，大模型对齐，垂直领域大模型应用5个阶段，内容涵盖大模型微调应用场景，大模型基座，LoRA参数微调，模型压缩，QLoRA参数微调，DeepSpeed训练框架解析，Megatron-LM训练框架解析，Flash Attention技术应用，微调模型Benchmark，ChatGLM，LLaMA，Mistral，MoE，大模型对齐，RLHF，DPO，垂直领域大模型应用等前沿技术等全方位知识讲解，并结合8个实战项目，帮助同学们实现学以致用。

【资源目录】:

├──01 第一周

| └──01 第一节 2024年1月21日

| | └──01 开营+大模型介绍、Transformer

├──02 第二周

| └──01 第二节 2024年1月28日

| | └──01 Transformer、Encoder、Advanced

├──03 第三周

| └──01 第三节 2024年2月25日

| | └──01 大模型微调概览 Lora微调

├──04 第四周

| └──01 第四节 2024年3月3日

| | └──01 Alpaca、AdaLoRA、QLoRA

├──05 第五周

| └──01 第五节 2024年3月17日

| | └──01 Prefix Tuning、Quantization

├──06 第六周

| └──01 助教补充课 2024年3月24日

| | └──01 llama介绍&运行&量化&部署&微调

├──07 第七周

| └──01 第六节 2024年3月31日

| | └──01 Distributed Computing、Flash Attention

├──08 第八周

| └──01 第六节补充课

| | └──01 Flash Attention cont、微调Mistral 7B

├──09 第九周

| └──01 第七节 2024年4月14日

| | └──01 强化学习

├──10 第十周

| └──01 第七节补充课 2024年4月17日

| | └──01 Optimal Policy、Intro to Monte Carlo

└──课件资料.zip 196.04M