Math Labs

Toán ứng dụng và Tính toán

Lý thuyết trò chơi

Toán học của các quyết định chiến lược giữa những tác nhân duy lý, với khái niệm cân bằng Nash.

Trực giácKhi nước đi tốt nhất của bạn phụ thuộc vào nước đi của người khác

Hai xe bán đồ ăn đều phải chọn chỗ đậu trên một con phố trước khi biết chỗ đậu của xe kia. Chọn đầu phố đông đúc là tốt nhất nếu xe kia chọn đầu vắng — nhưng tệ nhất nếu cả hai cùng chọn đầu đông và chia sẻ cùng một đám đông. Chỉ tối ưu hóa thôi không giải được bài toán này: không có một lựa chọn tốt nhất duy nhất, chỉ có lựa chọn tốt nhất tùy vào việc đối thủ làm gì. Lý thuyết trò chơi là toán học của đúng loại quyết định phụ thuộc lẫn nhau này.

Mặt cong 3D dạng yên ngựa đi lên theo một trục ngang và đi xuống theo trục vuông góc, điểm phẳng ở giữa đại diện cho cân bằng — không ai được lợi khi đơn phương đổi chiến thuật.
Mặt yên ngựa z=x2−y2z = x^2 - y^2 đúng như hình dung của định lý minimax: nó đi lên theo trục xx (hướng của người chơi tối đại) và đi xuống theo trục yy (hướng của người chơi tối thiểu), nên điểm phẳng tại gốc là điểm yên ngựa — tại đó không ai có lợi nếu đơn phương đổi chiến thuật. Đó là hình dạng của hàm lợi ích zero-sum lồi–lõm, và điểm yên ngựa chính là giá trị của trò chơi.

Hình dạng này không phải ngẫu nhiên. Trong nhiều trò chơi cạnh tranh hai người, lợi ích của người chơi này chính xác bằng âm lợi ích của người kia — một trò chơi tổng bằng không — và lợi ích, nhìn như một hàm của lựa chọn cả hai người chơi, lồi theo chiến lược của người cực tiểu hóa và lõm theo chiến lược của người cực đại hóa: đúng hình dạng yên ngựa ở trên. Điểm phẳng ở trung tâm là một điểm yên ngựa, và hóa ra nó tương ứng chính xác với lối chơi duy lý của cả hai bên.

Đại họcTrò chơi dạng chuẩn tắc

Định nghĩa: Trò chơi dạng chuẩn tắc

Một trò chơi dạng chuẩn tắc gồm một tập hữu hạn người chơi 1,…,n1, \dots, n; với mỗi người chơi ii, một tập hữu hạn chiến lược thuần túy SiS_i; và với mỗi người chơi ii, một hàm lợi ích ui:S1×⋯×Sn→Ru_i : S_1 \times \cdots \times S_n \to \mathbb{R} cho biết lợi ích của người chơi ii ứng với mỗi tổ hợp chiến lược mà tất cả người chơi chọn đồng thời.

Trò chơi hai người thường được viết dưới dạng ma trận lợi ích. Trong thế lưỡng nan của tù nhân kinh điển, hai nghi phạm độc lập chọn Im lặng hoặc Khai báo; các ô cho biết (số năm tù của người chơi hàng, số năm tù của người chơi cột) — càng nhỏ càng tốt cho mỗi người:

Ma trận lợi ích thế lưỡng nan của tù nhân (số năm tù; nhỏ hơn là tốt hơn)
Hàng \ CộtCột: Im lặngCột: Khai báo
Hàng: Im lặng(1,1)(1, 1)(5,0)(5, 0)
Hàng: Khai báo(0,5)(0, 5)(3,3)(3, 3)

Đại họcChiến lược hỗn hợp và định lý minimax của von Neumann

Định nghĩa: Chiến lược hỗn hợp

Một chiến lược hỗn hợp của người chơi ii là một phân phối xác suất xix_i trên SiS_i: thay vì cam kết theo một chiến lược thuần túy, người chơi ngẫu nhiên hóa. Điều này quan trọng nhất trong các trò chơi không có kết cục chiến lược thuần túy ổn định — như trò Tung đồng xu đoán mặt, nơi bất kỳ lựa chọn thuần túy có thể đoán trước nào cũng có thể bị đối thủ khai thác.

ui(x1,…,xn)=∑s1∈S1⋯∑sn∈Sn(∏k=1nxk(sk))ui(s1,…,sn)u_i(x_1, \dots, x_n) = \sum_{s_1 \in S_1} \cdots \sum_{s_n \in S_n} \left(\prod_{k=1}^n x_k(s_k)\right) u_i(s_1, \dots, s_n)

Với trò chơi tổng bằng không hai người, ma trận lợi ích AA của người chơi hàng (ma trận số thực cỡ m×nm \times n) chính xác bằng âm ma trận của người chơi cột, nên người chơi hàng muốn cực đại hóa x⊤Ayx^\top A y còn người chơi cột muốn cực tiểu hóa nó, với xx và yy là các chiến lược hỗn hợp (vector xác suất) của hai người chơi.

Với mọi ma trận thực AA cỡ m×nm \times n, max⁡x∈Δmmin⁡y∈Δnx⊤Ay=min⁡y∈Δnmax⁡x∈Δmx⊤Ay\max_{x \in \Delta_m} \min_{y \in \Delta_n} x^\top A y = \min_{y \in \Delta_n} \max_{x \in \Delta_m} x^\top A y, với Δm\Delta_m và Δn\Delta_n là tập các vector xác suất độ dài mm và nn. Giá trị chung này vv là giá trị của trò chơi.

Vì sao đúng?

Nếu không ngẫu nhiên hóa, ai đi "sau" (chọn sau khi biết chiến lược của đối thủ) có lợi thế, nên maximin (hàng cam kết trước) nói chung nhỏ hơn hoặc bằng minimax (cột cam kết trước). Nội dung bất ngờ của định lý là với chiến lược hỗn hợp, khoảng cách này đóng hoàn toàn lại: ngẫu nhiên hóa loại bỏ mọi lợi thế của việc hành động sau, vì đối thủ không còn đoán trước — và khai thác — một lựa chọn cố định.

Chứng minh

Đối ngẫu yếu. Với mọi x0∈Δmx_0 \in \Delta_m và y0∈Δny_0 \in \Delta_n cố định: min⁡yx0⊤Ay≤x0⊤Ay0≤max⁡xx⊤Ay0\min_y x_0^\top A y \le x_0^\top A y_0 \le \max_x x^\top A y_0. Lấy max⁡x0\max_{x_0} vế trái và min⁡y0\min_{y_0} vế phải giữ nguyên bất đẳng thức: max⁡xmin⁡yx⊤Ay≤min⁡ymax⁡xx⊤Ay\max_x \min_y x^\top A y \le \min_y \max_x x^\top A y. Chiều này không cần lập luận ngẫu nhiên hóa nào cả.

Quy về quy hoạch tuyến tính. Vì y↦x⊤Ayy \mapsto x^\top A y tuyến tính, cực tiểu của nó trên đơn hình Δn\Delta_n đạt tại một đỉnh, tức tại một chiến lược thuần túy jj nào đó: min⁡yx⊤Ay=min⁡j∑i=1mxiAij\min_y x^\top A y = \min_{j} \sum_{i=1}^m x_i A_{ij}. Vậy bài toán max⁡xmin⁡yx⊤Ay\max_x \min_y x^\top A y của người chơi hàng là quy hoạch tuyến tính: cực đại hóa vv với ràng buộc ∑i=1mAijxi≥v\sum_{i=1}^m A_{ij} x_i \ge v với mọi j=1,…,nj = 1, \dots, n, và x∈Δmx \in \Delta_m.

Bài toán đối ngẫu. Theo lý thuyết đối ngẫu chuẩn của quy hoạch tuyến tính, đối ngẫu của quy hoạch này là: cực tiểu hóa ww với ràng buộc ∑j=1nAijyj≤w\sum_{j=1}^n A_{ij} y_j \le w với mọi i=1,…,mi = 1, \dots, m, và y∈Δny \in \Delta_n — chính xác là công thức quy hoạch tuyến tính cho bài toán min⁡ymax⁡xx⊤Ay\min_y \max_x x^\top A y của người chơi cột.

Đối ngẫu mạnh. Cả miền khả thi nguyên thủy và đối ngẫu (Δm\Delta_m và Δn\Delta_n) đều khác rỗng và compact, nên quy hoạch tuyến tính khả thi và bị chặn; định lý đối ngẫu mạnh cho quy hoạch tuyến tính khi đó đảm bảo giá trị tối ưu nguyên thủy và đối ngẫu trùng nhau: max⁡xmin⁡yx⊤Ay=min⁡ymax⁡xx⊤Ay\max_x \min_y x^\top A y = \min_y \max_x x^\top A y. Cùng với đối ngẫu yếu đã cho ≤\le ở chiều này, đẳng thức xảy ra, chứng minh định lý.

Đại họcCân bằng Nash và sự tồn tại

Định nghĩa: Cân bằng Nash

Một hồ sơ chiến lược x⋆=(x1⋆,…,xn⋆)x^\star = (x_1^\star, \dots, x_n^\star) là một cân bằng Nash nếu không người chơi nào có thể cải thiện lợi ích của mình bằng cách đơn phương chuyển sang chiến lược khác trong khi chiến lược của mọi người chơi khác giữ nguyên: với mọi người chơi ii và mọi chiến lược thuần túy si∈Sis_i \in S_i, ui(xi⋆,x−i⋆)≥ui(si,x−i⋆)u_i(x_i^\star, x_{-i}^\star) \ge u_i(s_i, x_{-i}^\star), với x−i⋆x_{-i}^\star là chiến lược của mọi người chơi khác ngoài ii.

ui(xi⋆,x−i⋆)≥ui(si,x−i⋆)for every i and every si∈Siu_i(x_i^\star, x_{-i}^\star) \ge u_i(s_i, x_{-i}^\star) \quad \text{for every } i \text{ and every } s_i \in S_i

Trong thế lưỡng nan của tù nhân ở trên, (Khai báo, Khai báo) là cân bằng Nash duy nhất: Khai báo luôn thắng chắc chắn Im lặng bất kể nghi phạm kia làm gì, nên không ai có động cơ đổi chiến lược — dù (Im lặng, Im lặng) cho cả hai kết cục tốt hơn hẳn. Khoảng cách giữa cân bằng và kết cục tập thể tốt nhất này chính là cốt lõi của "thế lưỡng nan", và cho thấy cân bằng không nhất thiết hiệu quả.

Mọi trò chơi dạng chuẩn tắc hữu hạn (bất kỳ số người chơi nn nào, mỗi người có tập chiến lược thuần túy hữu hạn SiS_i) đều có ít nhất một cân bằng Nash theo chiến lược hỗn hợp.

Vì sao đúng?

Chứng minh xây dựng một ánh xạ liên tục "cải thiện chiến lược một chút" trên không gian mọi hồ sơ chiến lược: đẩy xác suất về phía bất kỳ chiến lược thuần túy nào đang làm tốt hơn mức trung bình. Vì không gian hồ sơ chiến lược compact và lồi, định lý điểm bất động Brouwer đảm bảo ánh xạ này có một điểm bất động — một hồ sơ mà ánh xạ không muốn thay đổi. Phần còn lại của chứng minh cho thấy điểm bất động chính xác là một hồ sơ không có bước lệch có lợi, tức một cân bằng Nash.

Chứng minh

Đặt Δ=Δ1×⋯×Δn\Delta = \Delta_1 \times \cdots \times \Delta_n, tích các đơn hình chiến lược hỗn hợp của những người chơi — một tập con compact, lồi của không gian Euclid. Với x∈Δx \in \Delta, người chơi ii, và chiến lược thuần túy j∈Sij \in S_i, đặt hàm lợi ích tăng thêm gij(x)=max⁡(0, ui(sij,x−i)−ui(x))g_{ij}(x) = \max\big(0,\, u_i(s_{ij}, x_{-i}) - u_i(x)\big), lợi ích mà người chơi ii thu được nếu chuyển hẳn sang chiến lược thuần túy jj, hoặc 00 nếu chuyển như vậy không có lợi. Đặt f:Δ→Δf : \Delta \to \Delta bởi fi(x)j=xij+gij(x)1+∑k∈Sigik(x)f_i(x)_j = \dfrac{x_{ij} + g_{ij}(x)}{1 + \sum_{k \in S_i} g_{ik}(x)}; vì uiu_i liên tục (thực ra đa tuyến tính) theo xx, gijg_{ij} liên tục, nên ff liên tục, và mỗi fi(x)f_i(x) vẫn là vector xác suất theo cách xây dựng.

Theo định lý điểm bất động Brouwer, ánh xạ liên tục ff trên tập compact lồi Δ\Delta có một điểm bất động x⋆x^\star với f(x⋆)=x⋆f(x^\star) = x^\star. Đặt Si:=∑k∈Sigik(x⋆)S_i := \sum_{k \in S_i} g_{ik}(x^\star); phương trình điểm bất động cho mỗi (i,j)(i,j) là xij⋆(1+Si)=xij⋆+gij(x⋆)x_{ij}^\star (1 + S_i) = x_{ij}^\star + g_{ij}(x^\star), tức xij⋆Si=gij(x⋆)x_{ij}^\star S_i = g_{ij}(x^\star).

Cố định một người chơi ii và đặt dij:=ui(sij,x−i⋆)−ui(x⋆)d_{ij} := u_i(s_{ij}, x_{-i}^\star) - u_i(x^\star), nên gij(x⋆)=max⁡(0,dij)g_{ij}(x^\star) = \max(0, d_{ij}). Nhân phương trình điểm bất động với dijd_{ij} và cộng theo j∈Sij \in S_i: vế trái, Si∑jxij⋆dij=Si(∑jxij⋆ui(sij,x−i⋆)−ui(x⋆)∑jxij⋆)=Si(ui(x⋆)−ui(x⋆))=0S_i \sum_j x_{ij}^\star d_{ij} = S_i\left(\sum_j x_{ij}^\star u_i(s_{ij}, x_{-i}^\star) - u_i(x^\star)\sum_j x_{ij}^\star\right) = S_i(u_i(x^\star) - u_i(x^\star)) = 0, dùng ∑jxij⋆ui(sij,x−i⋆)=ui(x⋆)\sum_j x_{ij}^\star u_i(s_{ij}, x_{-i}^\star) = u_i(x^\star) và ∑jxij⋆=1\sum_j x_{ij}^\star = 1.

Vế phải, ∑jgij(x⋆) dij=∑jmax⁡(0,dij) dij=∑j: dij>0dij2≥0\sum_j g_{ij}(x^\star)\, d_{ij} = \sum_j \max(0,d_{ij})\, d_{ij} = \sum_{j:\, d_{ij} > 0} d_{ij}^2 \ge 0. Cho hai vế bằng nhau, ∑j: dij>0dij2=0\sum_{j:\, d_{ij}>0} d_{ij}^2 = 0, một tổng bình phương bằng 0, nên mọi số hạng triệt tiêu: không có jj nào với dij>0d_{ij} > 0. Vì ii tùy ý, ui(sij,x−i⋆)≤ui(x⋆)u_i(s_{ij}, x_{-i}^\star) \le u_i(x^\star) với mọi người chơi ii và mọi chiến lược thuần túy jj — chính xác điều kiện cân bằng Nash. Vậy x⋆x^\star là một cân bằng Nash.

Đại họcỨng dụng thực tiễn và Ví dụ minh họa

Lý thuyết trò chơi định hình cách các nhà kinh tế mô hình hóa cạnh tranh và định giá, cách kỹ sư an ninh lập luận về kẻ tấn công và người phòng thủ, cách các nhà sinh học giải thích hành vi động vật qua chiến lược ổn định tiến hóa, và cách người thiết kế đấu giá (kể cả cho thị trường quảng cáo trực tuyến) xây dựng cơ chế mà đặt giá trung thực là phản ứng tốt nhất của mỗi người tham gia.

Ví dụ: Cân bằng chiến lược hỗn hợp trong trò chơi phòng thủ mạng

Kẻ tấn công chọn tấn công Server A hoặc Server B; người phòng thủ chọn giám sát máy nào. Nếu kẻ tấn công nhắm vào máy đang được giám sát, cuộc tấn công bị bắt (lợi ích kẻ tấn công −4-4); nếu nhắm vào máy không được giám sát, tấn công thành công, thu được 22 với Server A hoặc 66 với Server B (giá trị cao hơn). Đây là trò chơi tổng bằng không với ma trận lợi ích kẻ tấn công (hàng: tấn công A, tấn công B; cột: giám sát A, giám sát B) A=(−426−4)A = \begin{pmatrix} -4 & 2 \\ 6 & -4 \end{pmatrix}. Tìm chiến lược hỗn hợp tối ưu của kẻ tấn công và giá trị của trò chơi.

Lời giải

Trước tiên kiểm tra điểm yên ngựa thuần túy: các giá trị nhỏ nhất theo hàng là min⁡(−4,2)=−4\min(-4,2)=-4 và min⁡(6,−4)=−4\min(6,-4)=-4, nên maximin =−4=-4; các giá trị lớn nhất theo cột là max⁡(−4,6)=6\max(-4,6)=6 và max⁡(2,−4)=2\max(2,-4)=2, nên minimax =2=2. Vì −4≠2-4 \ne 2, không có điểm yên ngựa thuần túy, nên cần chiến lược hỗn hợp.

Gọi kẻ tấn công tấn công A với xác suất pp (và B với xác suất 1−p1-p). Lợi ích kỳ vọng nếu người phòng thủ giám sát A là −4p+6(1−p)=6−10p-4p + 6(1-p) = 6 - 10p; nếu giám sát B là 2p−4(1−p)=6p−42p - 4(1-p) = 6p - 4. pp tối ưu phải làm hai giá trị này bằng nhau — nếu không người phòng thủ sẽ luôn chọn giá trị nhỏ hơn cho kẻ tấn công, và kẻ tấn công có thể làm tốt hơn bằng cách chỉnh pp.

Giải 6−10p=6p−46 - 10p = 6p - 4: 10=16p10 = 16p, nên p=10/16=5/8p = 10/16 = 5/8. Kẻ tấn công nên tấn công Server A với xác suất 5/85/8 và Server B với xác suất 3/83/8.

Giá trị của trò chơi là v=6−10(5/8)=6−6.25=−0.25v = 6 - 10(5/8) = 6 - 6.25 = -0.25: dù chơi tối ưu, lợi ích kỳ vọng của kẻ tấn công hơi âm, nghĩa là chiến lược giám sát của người phòng thủ nắm ưu thế nhẹ nói chung.

Ví dụ: Nhiều cân bằng Nash thuần túy trong trò chơi chọn chuẩn công nghệ

Hai hãng điện thoại thông minh đều phải chọn chuẩn sạc A hoặc chuẩn B; lợi nhuận cao nhất khi cả hai chọn cùng chuẩn, nhờ hiệu ứng mạng lưới và phụ kiện dùng chung. Lợi ích (Hãng 1, Hãng 2) là: (A,A)=(8,8)(A,A){=}(8,8), (A,B)=(2,3)(A,B){=}(2,3), (B,A)=(3,2)(B,A){=}(3,2), (B,B)=(6,6)(B,B){=}(6,6). Tìm mọi cân bằng Nash thuần túy.

Lời giải

Kiểm tra từng ô trong bốn ô để xem có bước lệch đơn phương có lợi hay không. Tại (A,A)(A,A): Hãng 1 chuyển sang B (Hãng 2 giữ nguyên A) cho 3<83 < 8, không có lợi; theo đối xứng Hãng 2 cũng không có lợi. Vậy (A,A)(A,A) là cân bằng Nash.

Tại (B,B)(B,B): Hãng 1 chuyển sang A (Hãng 2 giữ nguyên B) cho 2<62 < 6, không có lợi; đối xứng cho Hãng 2. Vậy (B,B)(B,B) cũng là cân bằng Nash.

Tại (A,B)(A,B): Hãng 1 nhận 22; chuyển sang B (Hãng 2 giữ nguyên B) cho 6>26 > 2, cải thiện chặt chẽ, nên Hãng 1 lệch — (A,B)(A,B) không phải cân bằng. Cùng lập luận, (B,A)(B,A) cũng không phải cân bằng.

Vậy trò chơi này có hai cân bằng Nash thuần túy, (A,A)(A,A) và (B,B)(B,B) — cả hai đều ổn định theo nghĩa không hãng nào muốn tự mình lệch, nhưng bản thân lý thuyết không nói được thị trường sẽ dừng ở cân bằng nào; vấn đề chọn cân bằng này (khớp với cuộc chiến chuẩn VHS đối đầu Betamax trong lịch sử) là một điểm tinh tế thật sự vượt ra ngoài sự tồn tại.

Một trò chơi tổng bằng không có ma trận lợi ích (của người chơi hàng) A=(4123)A = \begin{pmatrix} 4 & 1 \\ 2 & 3 \end{pmatrix}. Không có điểm yên ngựa thuần túy. Giá trị của trò chơi là bao nhiêu?

Điều kiện nào định nghĩa đúng một cân bằng Nash x⋆x^\star?

Hai nghi phạm mỗi người chọn Im lặng hoặc Khai báo. Cả hai Im lặng: mỗi người 1 năm tù. Cả hai Khai báo: mỗi người 3 năm tù. Một người Khai báo còn người kia Im lặng: người khai báo được thả (0 năm), người im lặng nhận 5 năm. Khai báo luôn cho kết cục tốt hơn hẳn Im lặng bất kể nghi phạm kia làm gì. Cân bằng Nash của trò chơi này là gì?

Người giao bóng tennis có thể nhắm Trái hoặc Phải; người đỡ đoán Trái hoặc Phải. Người giao thắng điểm với xác suất 80%80\% khi người đỡ đoán sai hướng, và chỉ 50%50\% khi người đỡ đoán đúng — đối xứng cho cả hai hướng. Tại cân bằng Nash chiến lược hỗn hợp, người giao nên gán xác suất bao nhiêu cho việc nhắm Trái?

Tài liệu tham khảo

  1. John von Neumann, Oskar Morgenstern (1944). Theory of Games and Economic Behavior
  2. John F. Nash Jr. (1950). Equilibrium points in n-person games · DOI:10.1073/pnas.36.1.48
  3. John F. Nash Jr. (1951). Non-Cooperative Games · DOI:10.2307/1969529
  4. Constantinos Daskalakis, Paul W. Goldberg, Christos H. Papadimitriou (2009). The Complexity of Computing a Nash Equilibrium · DOI:10.1137/070699652