Lecture 1. Intro
引入课，大致讲解了一下 AI 的定义与思想，以及如何对 Agent 进行定义与设计
这门课的核心思想是智能体（intelligent agent），将人工智能定义为“对从环境中接收感知并执行动作的智能体的研究”
人工智能当下的核心问题是构建理性智能体（rational agent，一种能够自行做出决策的主体）。理性智能体存在于一个具体的环境中，通过传感器感知环境，通过执行器采取行动
考虑两类智能体：
- 反射智能体（reflex agent）只根据当前的环境状态来做出行动，不会考虑行为的后果；
- （比如对于吃豆人，只面向最近的豆子前进）
- 规划智能体（planning agent）对当前环境建模，模拟不同行动并预测后果，从而选出最优的方案，这就是对“智能”的模拟（在确认行动前“提前思考”，和人类一样）
- （比如对于吃豆人，通过某种搜索算法前进）
两个例子的不同点
“只面向最近的豆子前进”本质上是一种硬编码反射，程序并不会知道这种走法会到达何处；“通过某种搜索算法前进”显式模拟了未来，并尝试找到最优解，得到收益最高的走法
设计智能体的第一步是定义它面对的问题，这里引入一种定义和分析 Agent 任务环境的经典框架 PEAS 框架：
- Performance Measure，对智能体的性能进行量化
- Environment，对智能体所在环境的描述（具体见下）
- Actuators，执行器（与环境交互的输出机制）
- Sensors，传感器（与环境交互的输入机制）
Performance Measure 决定如何设计 Agent 的奖励函数等调参设计
Environment 决定状态空间的大小
Sensors 决定环境的可观测性
对智能体的设计极大取决于智能体所处的环境特征：
- 是否完全可观测？如果不是，那么智能体必须在内部进行估计
- 是否随机？如果是，那么智能体必须处理不确定性，而不是无预知下的规划
- 是否是多智能体环境？如果是，那么智能体需要随机化自身的行为，避免行为被其他智能体预测
- 是否为动态环境？如果是，那么智能体需要快速对变化的环境有快速响应
- 是否已知当前环境的物理规律？如果不是，那么智能体需要有目的地采取行动，学习未知的动力规律（否则在已知状态转移模型的情况下，即使环境随机，也可以在路径规划时利用已知模型）