Giáo trình học tăng cường và ứng dụng

Học tăng cường (Reinforcement Learning) là một trong những nhánh nghiên cứu quan trọng và đầy thách thức của trí tuệ nhân tạo và khoa học máy tính. Trong khi học có giám sát dựa trên dữ liệu được gán nhãn, học tăng cường tập trung vào cách thức một tác nhân học hỏi hành vi tối ưu thông qua quá trình tương tác thử – sai với môi trường để tối đa hóa phần thưởng tích lũy. Đây chính là nền tảng khoa học đứng sau những thành tựu đột phá trong nhiều lĩnh vực, từ điều khiển robot, xe tự hành, tối ưu hóa hệ thống tài chính, các chương trình chơi game cờ điển hình như AlphaGo, cho đến các mô hình ngôn ngữ lớn (LLMs) tiên tiến nhất hiện nay như ChatGPT, Gemini hay Claude. Trong các hệ thống này, học tăng cường từ phản hồi của con người (Reinforcement Learning from Human Feedback – RLHF) đóng vai trò then chốt, giúp căn chỉnh và tối ưu hóa phản hồi của mô hình sao cho hữu ích, an toàn và phù hợp với ý định của người dùng, biến những mô hình ngôn ngữ khổng lồ từ “hệ thống dự đoán từ” thành “trợ lý thông minh” có khả năng giao tiếp hiệu quả.

Chương I giới thiệu các khái niệm cơ bản nhất của học tăng cường thông qua ví dụ trực quan về thế giới lưới. Chương này định nghĩa chính thức các thành phần của hệ thống như trạng thái, hành động, xác suất chuyển đổi và tín hiệu phần thưởng.

Chương II tập trung vào bài toán Đánh giá chính sách thông qua khái niệm Giá trị trạng thái và Phương trình Bellman. Chương này giải thích cơ chế đệ quy để tính toán lợi tức kỳ vọng, chuyển đổi bài toán tính tổng chuỗi vô hạn thành hệ phương trình tuyến tính

Chương III đi sâu vào bài toán cốt lõi: Tìm kiếm chính sách tối ưu và Phương trình Bellman tối ưu. Chương này trình bày lý thuyết về sự tồn tại và tính duy nhất của nghiệm tối ưu dựa trên Định lý ánh xạ co ngót.

Chương IV trình bày các phương pháp Monte Carlo (MC), đánh dấu bước chuyển sang học không mô hình. Chương này giải quyết bài toán ước lượng kỳ vọng dựa trên Luật số lớn thông qua việc lấy mẫu kinh nghiệm thực tế.

Chương V cung cấp cơ sở toán học về xấp xỉ ngẫu nhiên, làm nền tảng cho các thuật toán học máy hiện đại. Chương này đi từ bài toán ước lượng trung bình gia tăng đến thuật toán Hạ gradient ngẫu nhiên (SGD), phân tích sự hội tụ và mối quan hệ giữa các chiến lược cập nhật như Batch Gradient Descent và Mini-batch.

Chương VI giới thiệu về học Sai số chênh lệch thời gian (Temporal Difference – TD Learning), phương pháp kết hợp ưu điểm của cả Monte Carlo và Quy hoạch động. Chương này trình bày các thuật toán nền tảng nhất của học tăng cường hiện đại: thuật toán Sarsa (On-policy) và Q-learning (Off-policy).

Chương VII trình bày phương pháp Hàm giá trị, giải pháp then chốt cho vấn đề bùng nổ không gian trạng thái mà các phương pháp lập bảng truyền thống không thể giải quyết. Chương này hướng dẫn cách chuyển đổi từ việc lưu trữ giá trị rời rạc sang mô hình hóa bằng các hàm tham số (tuyến tính và phi tuyến tính), sử dụng thuật toán hạ độ dốc để tối ưu hóa.

Chương VIII khép lại hành trình lý thuyết bằng việc khảo sát các ứng dụng thực tiễn sâu rộng và mang tính biến đổi của học tăng cường. Chương này phân tích các nghiên cứu điển hình trên nhiều lĩnh vực: từ phản ứng nhiệt hạch và robot học (điều khiển động cơ, cầm nắm, di chuyển), đến xử lý ngôn ngữ tự nhiên (tối ưu hóa hội thoại, căn chỉnh mô hình lớn qua RLHF, tóm tắt văn bản), giao thông vận tải (điều khiển đèn tín hiệu, lái xe tự hành), tài chính (giao dịch thuật toán, quản lý danh mục đầu tư) và thiết kế vi mạch.