CMU 11-711: Advanced Natural Language Processing (ANLP)
课程简介
- 所属大学:Carnegie Mellon University
- 先修要求:无硬性先修要求,但需具备 Python 编程经验,以及概率论和线性代数基础;有神经网络使用经验者更佳。
- 编程语言:Python
- 课程难度:🌟🌟🌟🌟
- 预计学时:100 学时
该课程为研究生级别的 NLP 入门与进阶课程,覆盖从词表征、序列建模,到注意力机制、Transformer 架构,再到大规模语言模型预训练、指令微调与复杂推理、多模态和安全性等前沿主题。与其他同类课程相比,本课程:
- 内容全面且紧跟最新研究:除经典算法外,深入讲解近年热门的大模型方法(如 LLaMa、GPT-4 等)。
- 实践性强:每次课配套代码演示与在线小测,学期末项目需复现并改进一篇前沿论文。
- 互动良好:Piazza 讨论、Canvas 测验及现场答疑,学习体验沉浸而有节奏。
自学建议:
- 提前阅读课前推荐文献,跟着阅读顺序循序渐进。
- 准备好 Python 环境并熟悉 PyTorch/Hugging Face,因为大量实战代码示例基于此。
- 扎实完成课程作业。
课程资源
- 课程网站:https://www.phontron.com/class/anlp-fall2024/
- 课程视频:课堂讲座录制并上传至 Canvas(需 CMU 帐号登录)
- 课程教材:各类经典与前沿论文+Goldberg《A Primer on Neural Network Models for Natural Language Processing》章节阅读
- 课程作业:https://www.phontron.com/class/anlp-fall2024/assignments/