Ứng dụng học sâu tăng cường trong tối ưu công suất phát trong mạng di động

Tóm tắt

Sự phát triển nhanh chóng của Internet vạn vật (IoT) đã thúc đẩy xu hướng dày đặc hóa cơ sở hạ tầng mạng, trong đó mạng siêu dày đặc (UDN) trở thành công nghệ then chốt cho 5G. Bài báo này nghiên cứu bài toán tối ưu hóa tài nguyên động nhằm cân bằng hiệu quả năng lượng (EE) và hiệu quả phổ (SE) trong môi trường 5G UDN. Do tính chất động của lưu lượng người dùng, chúng tôi đề xuất mô hình trọng số thích nghi để chuyển đổi bài toán tối ưu đa mục tiêu thành quá trình quyết định Markov (MDP). Để giải quyết vấn đề bùng nổ không gian trạng thái-hành động trong UDN, thuật toán Dueling Deep Q-Network (Dueling DQN) được áp dụng kết hợp với cơ chế truyền thông hợp tác sử dụng kỹ thuật Maximum Ratio Combining (MRC). Cơ chế này xác định 50% người dùng có chất lượng kênh thấp nhất và gán hai SgNB tốt nhất để phục vụ đồng thời, giúp tăng tỷ số tín hiệu trên nhiễu (SNR) cho người dùng yếu. Kết quả mô phỏng với 10 SGNBs và 6 người dùng cho thấy phương pháp đề xuất tiết kiệm công suất 32.5% tại mức tải cao so với phương pháp không hợp tác, đồng thời đảm bảo yêu cầu chất lượng dịch vụ (QoS) cho toàn bộ người dùng.