跳转至

CMU11-667: Large Language Models: Methods and Applications

课程简介

  • 所属大学：Carnegie Mellon University
  • 先修要求：具备机器学习基础（相当于 CMU 的 10-301/10-601）和自然语言处理基础（相当于 11-411/11-611）；熟练掌握 Python，熟悉 PyTorch 等深度学习框架。
  • 编程语言：Python
  • 课程难度：🌟🌟🌟🌟
  • 预计学时：100 学时以上

该研究生课程全面介绍了大型语言模型（LLM）的方法与应用，涵盖从基础架构到前沿技术的广泛主题。课程内容包括：

  1. 基础知识：语言模型的网络架构、训练、推理和评估方法。
  2. 进阶主题：模型解释性、对齐方法、涌现能力，以及在语言任务和非文本任务中的应用。
  3. 扩展技术：大规模预训练技术、模型部署优化，以及高效的训练和推理方法。
  4. 伦理与安全：模型偏见、攻击方法、法律问题等。

课程采用讲座、阅读材料、小测验、互动活动、作业和项目相结合的方式进行，旨在为学生提供深入理解 LLM 的机会，并为进一步的研究或应用打下坚实基础。

自学建议：

  • 认真阅读每次课前指定的论文和材料。
  • 熟悉 PyTorch 等深度学习框架，动手实现模型和算法。
  • 扎实完成课程作业。

课程资源

  • 课程网站：https://cmu-llms.org/
  • 课程视频：部分讲座幻灯片和材料可在课程网站获取，完整视频可能需通过 CMU 内部平台访问。
  • 课程教材：精选论文和资料，具体阅读列表详见课程网站。
  • 课程作业：共六次作业，涵盖预训练数据准备、Transformer 实现、检索增强生成、模型比较与偏见缓解、训练效率提升等主题，详情见 https://cmu-llms.org/assignments/