MathLabs

应用与计算数学

博弈论

研究理性主体之间战略决策的数学,包含纳什均衡等概念。

直观当你的最佳选择取决于他人的选择

两辆餐车都必须在看不到对方停在哪里的情况下选择在街上的停车位置。如果另一辆车选择了安静的一端,选择繁忙的一端就是最佳选择——但如果两辆车都选择繁忙的一端并瓜分同一群顾客,那就是最糟的结果。单靠优化无法解决这个问题:不存在唯一的最佳选择,只有取决于对手做什么的最佳选择。博弈论正是研究这种相互依赖决策的数学。

一个三维鞍形曲面,沿一条水平轴向上弯曲,沿与之垂直的轴向下弯曲,中心处的平坦临界点代表一个均衡:任何一方单方面改变策略都不会获益。
z=x2−y2z = x^2 - y^2:鞍形支付曲面。它沿 xx(最小化方选择的策略)方向向上弯曲,沿 yy(最大化方选择的策略)方向向下弯曲;中心的平坦点是任何一方单独改变策略都无法获利的地方——即博弈的值。

这种形状并非巧合。在许多双人竞争博弈中,一方的收益恰好是另一方收益的相反数——即零和博弈——而将收益视为双方选择的函数时,它在最小化方的策略上是凸的,在最大化方的策略上是凹的:正是上面的鞍形。中心的平坦点是一个鞍点,而它恰好对应双方的理性博弈行为。

大学标准形博弈

定义: 标准形博弈

标准形博弈由有限个参与人 1,…,n1, \dots, n 组成;对每个参与人 ii,有一个有限的纯策略集合 SiS_i;对每个参与人 ii,还有一个支付函数 ui:S1×⋯×Sn→Ru_i : S_1 \times \cdots \times S_n \to \mathbb{R},给出所有参与人同时选定的每一种策略组合下参与人 ii 的支付。

双人博弈通常写成支付矩阵。在经典的囚徒困境中,两名嫌疑人各自独立选择沉默或坦白;每格显示(行参与人的刑期年数,列参与人的刑期年数)——对各自而言数值越小越好:

囚徒困境支付矩阵(刑期年数;数值越小越好)
行 \ 列列:沉默列:坦白
行:沉默(1,1)(1, 1)(5,0)(5, 0)
行:坦白(0,5)(0, 5)(3,3)(3, 3)

大学混合策略与冯·诺伊曼极小极大定理

定义: 混合策略

参与人 ii 的混合策略是 SiS_i 上的一个概率分布 xix_i:参与人不再固定选择某个纯策略,而是随机化选择。这在没有稳定纯策略结果的博弈中最为重要——例如猜硬币游戏,其中任何可预测的纯策略选择都会被对手利用。

ui(x1,…,xn)=∑s1∈S1⋯∑sn∈Sn(∏k=1nxk(sk))ui(s1,…,sn)u_i(x_1, \dots, x_n) = \sum_{s_1 \in S_1} \cdots \sum_{s_n \in S_n} \left(\prod_{k=1}^n x_k(s_k)\right) u_i(s_1, \dots, s_n)

在双人零和博弈中,行参与人的支付矩阵 AA(一个 m×nm \times n 的实数矩阵)恰好是列参与人支付矩阵的相反数,因此行参与人希望最大化 x⊤Ayx^\top A y,而列参与人希望将其最小化,其中 xx 和 yy 分别是双方的混合策略(概率向量)。

对任意 m×nm \times n 实矩阵 AA,都有 max⁡x∈Δmmin⁡y∈Δnx⊤Ay=min⁡y∈Δnmax⁡x∈Δmx⊤Ay\max_{x \in \Delta_m} \min_{y \in \Delta_n} x^\top A y = \min_{y \in \Delta_n} \max_{x \in \Delta_m} x^\top A y,其中 Δm\Delta_m、Δn\Delta_n 分别是长度为 mm、nn 的概率向量集合。这个共同的值 vv 称为博弈的值。

为什么成立?

如果不进行随机化,「后」行动的一方(在得知对手策略之后再选择)会有优势,因此 maximin(行方先承诺)通常不超过 minimax(列方先承诺)。该定理令人惊讶之处在于,采用混合策略后这一差距会完全消失:随机化消除了后行动的任何优势,因为对手不再能够预测——并利用——一个固定的选择。

证明

弱对偶性。 对任意固定的 x0∈Δmx_0 \in \Delta_m 和 y0∈Δny_0 \in \Delta_n:min⁡yx0⊤Ay≤x0⊤Ay0≤max⁡xx⊤Ay0\min_y x_0^\top A y \le x_0^\top A y_0 \le \max_x x^\top A y_0。对左边取 max⁡x0\max_{x_0}、对右边取 min⁡y0\min_{y_0} 仍保持不等式:max⁡xmin⁡yx⊤Ay≤min⁡ymax⁡xx⊤Ay\max_x \min_y x^\top A y \le \min_y \max_x x^\top A y。这个方向完全不需要随机化的论证。

归约为线性规划。 由于 y↦x⊤Ayy \mapsto x^\top A y 是线性的,其在单纯形 Δn\Delta_n 上的最小值在某个顶点取得,即在某个纯策略 jj 处取得:min⁡yx⊤Ay=min⁡j∑i=1mxiAij\min_y x^\top A y = \min_{j} \sum_{i=1}^m x_i A_{ij}。因此行参与人的问题 max⁡xmin⁡yx⊤Ay\max_x \min_y x^\top A y 就是如下线性规划:最大化 vv,约束为 ∑i=1mAijxi≥v\sum_{i=1}^m A_{ij} x_i \ge v(对所有 j=1,…,nj = 1, \dots, n),且 x∈Δmx \in \Delta_m。

对偶规划。 由线性规划的标准对偶理论,该线性规划的对偶为:最小化 ww,约束为 ∑j=1nAijyj≤w\sum_{j=1}^n A_{ij} y_j \le w(对所有 i=1,…,mi = 1, \dots, m),且 y∈Δny \in \Delta_n —— 这恰好是列参与人问题 min⁡ymax⁡xx⊤Ay\min_y \max_x x^\top A y 的线性规划表述。

强对偶性。 原始与对偶的可行域(Δm\Delta_m 和 Δn\Delta_n)都非空且紧致,因此该线性规划可行且有界;线性规划的强对偶定理由此保证原始与对偶最优值相等:max⁡xmin⁡yx⊤Ay=min⁡ymax⁡xx⊤Ay\max_x \min_y x^\top A y = \min_y \max_x x^\top A y。结合此前弱对偶性已给出该方向的 ≤\le,等式成立,定理得证。

大学纳什均衡及其存在性

定义: 纳什均衡

策略组合 x⋆=(x1⋆,…,xn⋆)x^\star = (x_1^\star, \dots, x_n^\star) 是一个纳什均衡,是指在其他所有参与人策略保持不变的情况下,没有任何参与人能够通过单方面改变策略来提高自己的收益:对每个参与人 ii 和每个纯策略 si∈Sis_i \in S_i,都有 ui(xi⋆,x−i⋆)≥ui(si,x−i⋆)u_i(x_i^\star, x_{-i}^\star) \ge u_i(s_i, x_{-i}^\star),其中 x−i⋆x_{-i}^\star 表示除 ii 以外所有参与人的策略。

ui(xi⋆,x−i⋆)≥ui(si,x−i⋆)for every i and every si∈Siu_i(x_i^\star, x_{-i}^\star) \ge u_i(s_i, x_{-i}^\star) \quad \text{for every } i \text{ and every } s_i \in S_i

在上面的囚徒困境中,(坦白, 坦白) 是唯一的纳什均衡:无论对方怎么做,坦白都严格优于沉默,因此双方都没有偏离的动机——尽管 (沉默, 沉默) 会给两名嫌疑人带来严格更好的结果。均衡与最佳共同结果之间的这一差距正是「困境」的核心,也说明了均衡未必是有效率的。

任何有限标准形博弈(参与人数 nn 任意,每个参与人拥有有限纯策略集合 SiS_i)在混合策略下至少存在一个纳什均衡。

为什么成立?

证明在所有策略组合构成的空间上构造了一个连续的「稍微改进策略」映射:将概率向当前表现优于平均水平的纯策略倾斜。由于策略组合空间是紧致且凸的,布劳威尔不动点定理保证该映射存在一个不动点——一个映射不想再改变的组合。证明剩余的部分说明不动点恰好就是没有有利偏离的组合,即纳什均衡。

证明

设 Δ=Δ1×⋯×Δn\Delta = \Delta_1 \times \cdots \times \Delta_n,即各参与人混合策略单纯形的乘积——这是欧几里得空间中一个紧致凸子集。对 x∈Δx \in \Delta、参与人 ii 以及纯策略 j∈Sij \in S_i,定义增益函数 gij(x)=max⁡(0, ui(sij,x−i)−ui(x))g_{ij}(x) = \max\big(0,\, u_i(s_{ij}, x_{-i}) - u_i(x)\big),即参与人 ii 完全改用纯策略 jj 所能获得的收益(若该转换无益则为 00)。定义 f:Δ→Δf : \Delta \to \Delta 为 fi(x)j=xij+gij(x)1+∑k∈Sigik(x)f_i(x)_j = \dfrac{x_{ij} + g_{ij}(x)}{1 + \sum_{k \in S_i} g_{ik}(x)};由于 uiu_i 关于 xx 连续(实际上是多重线性的),gijg_{ij} 连续,故 ff 连续,且由构造可知每个 fi(x)f_i(x) 仍是概率向量。

由布劳威尔不动点定理,紧致凸集 Δ\Delta 上的连续映射 ff 存在不动点 x⋆x^\star,满足 f(x⋆)=x⋆f(x^\star) = x^\star。记 Si:=∑k∈Sigik(x⋆)S_i := \sum_{k \in S_i} g_{ik}(x^\star);对每个 (i,j)(i,j) 的不动点方程为 xij⋆(1+Si)=xij⋆+gij(x⋆)x_{ij}^\star (1 + S_i) = x_{ij}^\star + g_{ij}(x^\star),即 xij⋆Si=gij(x⋆)x_{ij}^\star S_i = g_{ij}(x^\star)。

固定参与人 ii,令 dij:=ui(sij,x−i⋆)−ui(x⋆)d_{ij} := u_i(s_{ij}, x_{-i}^\star) - u_i(x^\star),则 gij(x⋆)=max⁡(0,dij)g_{ij}(x^\star) = \max(0, d_{ij})。将不动点方程乘以 dijd_{ij} 并对 j∈Sij \in S_i 求和:左边为 Si∑jxij⋆dij=Si(∑jxij⋆ui(sij,x−i⋆)−ui(x⋆)∑jxij⋆)=Si(ui(x⋆)−ui(x⋆))=0S_i \sum_j x_{ij}^\star d_{ij} = S_i\left(\sum_j x_{ij}^\star u_i(s_{ij}, x_{-i}^\star) - u_i(x^\star)\sum_j x_{ij}^\star\right) = S_i(u_i(x^\star) - u_i(x^\star)) = 0,此处用到 ∑jxij⋆ui(sij,x−i⋆)=ui(x⋆)\sum_j x_{ij}^\star u_i(s_{ij}, x_{-i}^\star) = u_i(x^\star) 及 ∑jxij⋆=1\sum_j x_{ij}^\star = 1。

右边为 ∑jgij(x⋆) dij=∑jmax⁡(0,dij) dij=∑j: dij>0dij2≥0\sum_j g_{ij}(x^\star)\, d_{ij} = \sum_j \max(0,d_{ij})\, d_{ij} = \sum_{j:\, d_{ij} > 0} d_{ij}^2 \ge 0。令两边相等,得 ∑j: dij>0dij2=0\sum_{j:\, d_{ij}>0} d_{ij}^2 = 0,这是平方和为零,故每一项都为零:不存在使 dij>0d_{ij} > 0 的 jj。由于 ii 是任意的,对每个参与人 ii 和每个纯策略 jj 都有 ui(sij,x−i⋆)≤ui(x⋆)u_i(s_{ij}, x_{-i}^\star) \le u_i(x^\star)——这恰好就是纳什均衡的条件。因此 x⋆x^\star 是一个纳什均衡。

大学实际应用与典型例题

博弈论塑造了经济学家建模竞争与定价的方式、安全工程师分析攻击者与防御者的方式、生物学家通过进化稳定策略解释动物行为的方式,以及拍卖设计者(包括在线广告市场)构建让诚实出价成为每个参与者最佳反应的机制的方式。

例题: 网络防御博弈中的混合策略均衡

攻击者选择攻击服务器A或服务器B;防御者选择监控哪一台。若攻击者瞄准被监控的服务器,攻击会被抓获(攻击者收益 −4-4);若瞄准未被监控的服务器,攻击成功,攻击A获得 22,攻击B(价值更高)获得 66。这是一个零和博弈,攻击者的支付矩阵(行:攻击A、攻击B;列:监控A、监控B)为 A=(−426−4)A = \begin{pmatrix} -4 & 2 \\ 6 & -4 \end{pmatrix}。求攻击者的最优混合策略及博弈的值。

解答

首先检查是否存在纯策略鞍点:各行最小值为 min⁡(−4,2)=−4\min(-4,2)=-4 和 min⁡(6,−4)=−4\min(6,-4)=-4,故 maximin =−4=-4;各列最大值为 max⁡(−4,6)=6\max(-4,6)=6 和 max⁡(2,−4)=2\max(2,-4)=2,故 minimax =2=2。由于 −4≠2-4 \ne 2,不存在纯策略鞍点,因此需要混合策略。

设攻击者以概率 pp 攻击A(以概率 1−p1-p 攻击B)。若防御者监控A,期望收益为 −4p+6(1−p)=6−10p-4p + 6(1-p) = 6 - 10p;若监控B,则为 2p−4(1−p)=6p−42p - 4(1-p) = 6p - 4。最优的 pp 必须使这两者相等——否则防御者总会为攻击者选择较小的那个,攻击者则可以通过调整 pp 做得更好。

解方程 6−10p=6p−46 - 10p = 6p - 4:得 10=16p10 = 16p,即 p=10/16=5/8p = 10/16 = 5/8。攻击者应以 5/85/8 的概率攻击服务器A,以 3/83/8 的概率攻击服务器B。

博弈的值为 v=6−10(5/8)=6−6.25=−0.25v = 6 - 10(5/8) = 6 - 6.25 = -0.25:即使采取最优策略,攻击者的期望收益也略为负值,说明防御者的监控策略总体上略占优势。

例题: 标准采用博弈中的多个纯策略纳什均衡

两家智能手机制造商都必须选择充电标准A或标准B;由于网络效应与配件共享,当双方选择相同标准时利润最高。收益(企业1,企业2)为:(A,A)=(8,8)(A,A){=}(8,8),(A,B)=(2,3)(A,B){=}(2,3),(B,A)=(3,2)(B,A){=}(3,2),(B,B)=(6,6)(B,B){=}(6,6)。求所有纯策略纳什均衡。

解答

逐一检查四个格子是否存在有利的单方面偏离。在 (A,A)(A,A) 处:企业1改选B(企业2保持A)得 3<83 < 8,无利可图;由对称性企业2同样无利可图。因此 (A,A)(A,A) 是纳什均衡。

在 (B,B)(B,B) 处:企业1改选A(企业2保持B)得 2<62 < 6,无利可图;企业2对称。因此 (B,B)(B,B) 也是纳什均衡。

在 (A,B)(A,B) 处:企业1获得 22;改选B(企业2保持B)得 6>26 > 2,严格改善,因此企业1会偏离——(A,B)(A,B) 不是均衡。同理 (B,A)(B,A) 也不是均衡。

因此该博弈有两个纯策略纳什均衡,(A,A)(A,A) 和 (B,B)(B,B)——两者都在「任一企业都不愿单独偏离」的意义上是稳定的,但理论本身并不能说明市场最终会落在哪一个上;这种均衡选择问题(对应历史上VHS对Betamax的标准之争)是存在性之外一个真实存在的微妙之处。

某零和博弈(行参与人)的支付矩阵为 A=(4123)A = \begin{pmatrix} 4 & 1 \\ 2 & 3 \end{pmatrix}。不存在纯策略鞍点。该博弈的值是多少?

哪个条件正确定义了纳什均衡 x⋆x^\star?

两名嫌疑人各自选择沉默或坦白。都沉默:各判1年。都坦白:各判3年。一人坦白另一人沉默:坦白者释放(0年),沉默者判5年。无论对方怎么做,坦白都严格优于沉默。该博弈的纳什均衡是什么?

网球发球员可以选择瞄准左边或右边;接发球员猜测左边或右边。当接发球员猜错方向时,发球员赢得该分的概率为 80%80\%;当接发球员猜对方向时,概率仅为 50%50\%——两个方向对称。在混合策略纳什均衡下,发球员应将多大概率分配给瞄准左边?

参考文献

  1. John von Neumann, Oskar Morgenstern (1944). Theory of Games and Economic Behavior
  2. John F. Nash Jr. (1950). Equilibrium points in n-person games · DOI:10.1073/pnas.36.1.48
  3. John F. Nash Jr. (1951). Non-Cooperative Games · DOI:10.2307/1969529
  4. Constantinos Daskalakis, Paul W. Goldberg, Christos H. Papadimitriou (2009). The Complexity of Computing a Nash Equilibrium · DOI:10.1137/070699652