Sharpness aware minimization

Sharpness-Aware Minimization (viết tắt: SAM, tạm dịch là Tối thiểu hóa nhận biết độ nhọn) là một thuật toán tối ưu hóa trong học máy, được thiết kế nhằm cải thiện khả năng tổng quát hóa của mô hình. Thay vì chỉ tìm tham số có hàm mất mát thấp nhất có thể cho mạng thần kinh của mô hình, SAM tìm bộ tham số nằm trong một vùng lân cận mà ở đó giá trị của hàm mất mát thấp một cách đồng đều.^[1]

Trong quá trình huấn luyện mô hình học máy, hàm mất mát đo lường mức độ sai lệch giữa dự đoán của mô hình và nhãn thực tế. Khi tối ưu hóa, mô hình tìm kiếm bộ tham số $w$ sao cho hàm mất mát đạt giá trị thấp nhất tại một điểm cực tiểu. Tuy nhiên, không phải mọi cực tiểu đều mang lại khả năng tổng quát hóa trên các dữ liệu mới mà mô hình chưa từng học. Một cực tiểu được coi là nhọn (sharp minimum) nếu chỉ cần thay đổi nhỏ bộ tham số là hàm mất mát tăng đột ngột; ngược lại, một cực tiểu phẳng (flat minimum) là vùng rộng mà ở đó hàm mất mát thay đổi rất ít dù tham số có biến động. Điều này giúp kể cả nếu dữ liệu mới hơi khác so với dữ liệu huấn luyện, mô hình đang đứng tại cực tiểu phẳng sẽ ít bị ảnh hưởng hơn, đồng nghĩa với việc nó có khả năng tổng quát hóa tốt hơn ra dữ liệu mới.^[1]

Nguyên lý cơ bản

SAM thay đổi mục tiêu huấn luyện thông thường với suy giảm độ dốc bằng cách tối thiểu hóa một hàm mất mát không chỉ trên dữ liệu huấn luyện mà còn nhận biết vùng nào trên bề mặt hàm mất mát phẳng. Bài toán này được xây dựng dưới dạng bài toán minimax với 2 vòng lặp: vòng tối ưu hóa phía trong tìm phương án nhiễu $ε$ làm tăng hàm mất mát nhiều nhất trong vùng lân cận bán kính $ρ$ xung quanh tham số hiện tại, còn vòng tối ưu hóa bên ngoài tối thiểu hóa giá trị mất mát tệ nhất đó:^[1]

\min _{w}\max _{\|\epsilon \|_{p}\leq \rho }L_{\text{train}}(w+\epsilon )

Trong đó:

$w$ là bộ tham số (trọng số) của mô hình
$L train$ là hàm mất mát tính trên tập huấn luyện
$ε$ là tham số của độ nhiễu được thêm vào
$ρ$ là siêu tham số xác định bán kính vùng lân cận tìm kiếm

Tuy nhiên, việc giải bài toán tối đa hóa ở vòng tối ưu hóa bên trong một cách chính xác sẽ tuơng tốn kém về mặt tính toán, vì phải thực hiện thuật toán lan truyền ngược thêm một lần nữa. Thay vào đó, bài báo gốc chỉ tính giá trị xấp xỉ tương đương với một bước gia tăng độ dốc để tính mức nhiễu này chỉ với gradient hiện tại:^[1]

\epsilon (w)=\rho {\frac {\nabla L_{\text{train}}(w)}{\|\nabla L_{\text{train}}(w)\|_{2}}}

Mỗi bước huấn luyện của SAM gồm hai giai đoạn. Đầu tiên, bước leo dốc tính bộ tham số bị nhiễu $w adv = w + ε (w)$ bằng cách dịch chuyển theo hướng làm tăng hàm mất mát cục bộ nhiều nhất. Tiếp theo, bước xuống dốc cập nhật bộ tham số gốc $w$ theo gradient tính tại điểm bị nhiễu $\nabla L train (w adv)$ , thường thông qua các bộ tối ưu hóa tiêu chuẩn như SGD hoặc Adam.^[1]

Ứng dụng và hiệu suất

SAM đã được ứng dụng trong nhiều bối cảnh học máy khác nhau, chủ yếu trong thị giác máy tính. Các nghiên cứu cho thấy thuật toán này có thể cải thiện khả năng tổng quát hóa của các mô hình như mạng neuron tích chập (CNN) và vision transformer (ViT) trên các bộ dữ liệu ảnh như ImageNet, CIFAR-10 và CIFAR-100.^[1]

SAM cũng cho thấy hiệu quả khi huấn luyện mô hình khi dữ liệu có nhiều nhãn bị nhiễu, đạt kết quả tương đương với các phương pháp được thiết kế đặc thù cho vấn đề này.^[2] Một số nghiên cứu chỉ ra rằng SAM và các biến thể của nó có thể cải thiện khả năng tổng quát hóa ngoài phân phối (out-of-distribution generalization), tức là khả năng của mô hình hoạt động tốt trên cả những tập dữ liệu từ các phân phối không xuất hiện trong quá trình huấn luyện; trong đó SAM vượt trội so với Adam trên tám biến thể được thử nghiệm với mức cải thiện trung bình 4,76%.^[3] Thuật toán cũng đạt kết quả tốt khi miễn dữ liệu dần thay đổi theo thời gian (gradual domain adaptation) thay vì ngay lập tức, khi SAM cải thiện lỗi trên miền mục tiêu cuối cùng nhỉnh hơn trung bình 0,82% so với Adam.^[3]

Hạn chế

Hạn chế chính của SAM là chi phí tính toán, do mỗi bước tối ưu hóa yêu cầu hai lần tính gradient: một cho bước leo dốc và một cho bước xuống dốc. Điều này khiến thời gian huấn luyện tăng khoảng gấp đôi so với các bộ tối ưu hóa tiêu chuẩn.^[1] Thuật toán cũng đưa vào siêu tham số $ρ$ tượng trưng cho bán kính vùng tìm vị trí nhiễu lân cận cần được tinh chỉnh cho mỗi bài toán cụ thể.^[1]

Các tính chất hội tụ trên lý thuyết của SAM vẫn đang được nghiên cứu. Có công trình cho thấy với bước học cố định, SAM có thể không hội tụ về một điểm dừng mà vẫn liên tục giao động.^[4] Ngoài ra, việc sử dụng cách xấp xỉ một bước gia tăng độ dốc để tìm vị trí nhiễu tệ nhất thay vì tính toán chính xác có thể làm giảm độ chuẩn xác dần theo thời gian qua quá trình huấn luyện.^[5]

Bên cạnh đó, mặc dù mục tiêu của SAM là nhằm tìm kiếm cực tiểu phẳng, không phải mọi cực tiểu phẳng đều dẫn đến tổng quát hóa tốt. Dinh và cộng sự chỉ ra rằng với các mạng neuron sử dùng hàm kích hoạt ReLU, người ta luôn có thể biến đổi tham số của một mô hình để điểm cực tiểu trở nên nhọn hơn hoặc phẳng hơn tùy ý, trong khi hàm số mà mô hình biểu diễn hoàn toàn không thay đổi. Điều này cho thấy độ phẳng của cực tiểu phụ thuộc vào cách tham số hóa mô hình và do đó không phải lúc nào cũng có thể được dùng làm thước đo đáng tin cậy cho khả năng tổng quát hóa..^[6]

Biến thể và mở rộng

Hướng nghiên cứu chính về SAM tập trung vào hai mục tiêu: giảm chi phí tính toán và cải thiện chất lượng của điểm cực tiểu phẳng tìm được.

Giảm chi phí tính toán. Vì mỗi bước SAM cần tính gradient hai lần, nhiều biến thể được đề xuất nhằm rút ngắn thời gian huấn luyện. SAMPa song song hóa bước leo dốc và bước xuống dốc trên hai luồng tính toán độc lập nhằm giữ nguyên chất lượng hội tụ trong khi giảm thời gian chờ giữa hai bước.^[7] Một hướng khác là chỉ áp dụng nhiễu lên một tập con thưa thớt của tham số thay vì toàn bộ, làm giảm khối lượng tính toán mà vẫn duy trì hiệu quả tìm kiếm vùng phẳng.^[8] Hướng tiếp cận thứ ba sử dụng thông tin gradient từ các bước huấn luyện trước (lookahead),^[9] hoặc chỉ thực hiện bước SAM cách nhau mỗi một vài vòng thay vì ở tất cả các vòng tối ưu hóa mô hình.^[10]

Cải thiện chất lượng cực tiểu phẳng. SAM gốc định nghĩa bán kính vùng lân cận $ρ$ cố định và đồng nhất cho mọi tham số. ASAM (Adaptive SAM, SAM thích ứng) điều chỉnh bán kính này theo tỷ lệ của từng tham số, khắc phục vấn đề bất biến tái tham số hóa mà Dinh và cộng sự chỉ ra do khi tham số có độ lớn khác nhau, cùng một bán kính tuyệt đối sẽ tạo ra nhiễu không đồng đều về mặt hình học.^[5] CR-SAM thêm vào hàm tối ưu hóa hạng phạt dựa trên vết của ma trận Hessian (thước đo độ cong trung bình của bề mặt hàm mất mát) để buộc mô hình tránh các vùng có bề mặt quá cong ngay từ đầu.^[11] Một hướng khác thay nhiễu cố định của SAM bằng nhiễu ngẫu nhiên dựa theo phân phối Gaussian, giúp tránh trường hợp một hướng nhiễu cố định vô tình dẫn mô hình vào vùng cục bộ không đại diện cho cấu trúc chung của bề mặt hàm mất mát.^[12]

Về lý thuyết, Andriushchenko và Flammarion phân tích hành vi của SAM và chỉ ra rằng thuật toán không chỉ đơn thuần tìm điểm có hàm mất mát thấp mà còn có xu hướng tự động ưu tiên các vùng mà bề mặt hàm mất mát ít cong hơn xung quanh điểm đó. Điều này giúp giải thích một phần tại sao SAM vẫn cải thiện khả năng tổng quát hóa trong thực tế dù độ phẳng có thể không phải lúc nào cũng giúp tổng quát hóa tốt hơn.^[4]

Ứng dụng trong học liên kết

Trong học liên kết, nhiều thiết bị huấn luyện cục bộ trên dữ liệu riêng rồi gửi cập nhật về một máy chủ trung tâm để tổng hợp thành mô hình toàn cục. Trong thực tế, dữ liệu giữa các thiết bị thường có phân phối không đồng nhất (not independent and identically distributed, non-IID), khiến các mô hình cục bộ có xu hướng hội tụ về các cực tiểu nhọn và làm giảm chất lượng mô hình toàn cục sau tổng hợp.^[13]^[14]^[15]

Năm 2022, hai nhóm nghiên cứu độc lập cùng đề xuất hướng tiếp cận tương tự: thay thế SGD bằng SAM trong quá trình huấn luyện cục bộ tại mỗi thiết bị. Caldarola và cộng sự chỉ ra rằng kết hợp SAM ở phía thiết bị với trung bình trọng số ngẫu nhiên (stochastic weight averaging) ở phía máy chủ cải thiện đáng kể khả năng tổng quát hóa trên nhiều bộ dữ liệu thị giác máy tính trong cả hai tình huống dữ liệu đồng nhất và không đồng nhất.^[13] Qu và cộng sự kết hợp thêm một thuật toán momentum để kéo mô hình cục bộ gần hơn với mục tiêu toàn cục, đồng thời cung cấp phân tích hội tụ lý thuyết.^[14]

Các nghiên cứu sau đó tập trung vào việc thu hẹp khoảng cách giữa độ phẳng cục bộ và toàn cục. FedSpeed kết hợp SAM với một số hạng hiệu chỉnh gần đúng (prox-correction) nhằm giảm sự lệch hướng giữa mục tiêu cục bộ và toàn cục, cho phép mỗi thiết bị thực hiện nhiều bước cập nhật hơn giữa các vòng giao tiếp.^[16] FedSMOO tiến xa hơn bằng cách đặt bộ tối ưu hóa SAM tại máy chủ thay vì tại thiết bị: máy chủ dùng SAM để hiệu chỉnh số hạng chính quy hóa động, từ đó dẫn hướng cực tiểu cục bộ của mỗi thiết bị về vùng phẳng của hàm mất mát toàn cục.^[17]

Fan và cộng sự chỉ ra rằng việc tìm cách "hướng dẫn" độ phẳng cục bộ đến độ phẳng toàn cục cũng không có mấy ý nghĩa vì việc tính nhiễu từ dữ liệu cục bộ không thể phản ánh được đúng hướng nhiễu toàn cục. Thay vào đó, họ đề xuất FedLESAM để mỗi thiết bị tự ước tính hướng nhiễu toàn cục bằng cách lấy hiệu giữa hai mô hình toàn cục liên tiếp nhận từ máy chủ.^[18] FedGMT cũng tính độ nhọn toàn cục tại thiết bị bằng cách dùng quỹ đạo của mô hình toàn cục qua nhiều các vòng huấn luyện, qua đó chỉ cần sử dụng một lần lan truyền ngược tại mỗi bước tối ưu hóa thay vì hai.^[15]

Kế đến, FedGloSS tách hoàn toàn bước tính nhiễu ra khỏi phía thiết bị. Toàn bộ bước gia tăng độ dốc của SAM được thực hiện tại máy chủ sau khi tổng hợp mô hình bằng cách sử dụng cập nhật tham số của vòng trước để tính xấp xỉ phần nhiễu mà không cần thiết bị phải thực hiện bước tính toán nào.^[19]

Tham khảo

^ ^a ^b ^c ^d ^e ^f ^g ^h Foret, Pierre; Kleiner, Ariel; Mobahi, Hossein; Neyshabur, Behnam (2021). "Sharpness-Aware Minimization for Efficiently Improving Generalization". International Conference on Learning Representations (ICLR) 2021. arXiv:2010.01412.
^ Zhuang, Juntang; Gong, Ming; Liu, Tong (2022). "Surrogate Gap Minimization Improves Sharpness-Aware Training". International Conference on Machine Learning (ICML) 2022. PMLR. tr. 27098–27115.
^ ^a ^b Schapiro, Samuel; Zhao, Han (2024). "Towards Understanding the Role of Sharpness-Aware Minimization Algorithms for Out-of-Distribution Generalization". arXiv:2412.05169 [cs.LG].
^ ^a ^b Andriushchenko, Maksym; Flammarion, Nicolas (2022). "Towards Understanding Sharpness-Aware Minimization". International Conference on Machine Learning (ICML) 2022. PMLR. tr. 612–639.
^ ^a ^b Kwon, Jungmin; Kim, Jeongseop; Park, Hyunseo; Choi, Il-Chul (2021). "ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks". International Conference on Machine Learning (ICML) 2021. PMLR. tr. 5919–5929.
^ Dinh, Laurent; Pascanu, Razvan; Bengio, Samy; Bengio, Yoshua (2017). "Sharp Minima Can Generalize For Deep Nets". Proceedings of the 34th International Conference on Machine Learning. Quyển 70. PMLR. tr. 1019–1028.
^ Xie, Wanyun; Pethick, Thomas; Cevher, Volkan (2024). "SAMPa: Sharpness-aware Minimization Parallelized". arXiv:2410.10683 [cs.LG].
^ Mi, Peng; Shen, Li; Ren, Tianhe; Zhou, Yiyi; Sun, Xiaoshuai; Ji, Rongrong; Tao, Dacheng (2022). "Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach". Advances in Neural Information Processing Systems (NeurIPS) 2022. arXiv:2210.05177.
^ Yu, Runsheng; Zhang, Youzhi; Kwok, James (2024). "Improving Sharpness-Aware Minimization by Lookahead". International Conference on Learning Representations (ICLR) 2024.
^ Liu, Yong; Mai, Siqi; Chen, Xiangning; Hsieh, Cho-Jui; You, Yang (tháng 6 năm 2022). "Towards Efficient and Scalable Sharpness-Aware Minimization". IEEE. tr. 12350–12360. doi:10.1109/CVPR52688.2022.01204. ISBN 978-1-6654-6946-3. {{Chú thích tạp chí}}: Chú thích magazine cần |magazine= (trợ giúp)
^ Wu, Tao; Luo, Tie; Wunsch, Donald C. (2024). "CR-SAM: Curvature Regularized Sharpness-Aware Minimization". Proceedings of the AAAI Conference on Artificial Intelligence. Quyển 38. tr. 6144–6152. arXiv:2312.13555.
^ Liu, Yong; Mai, Siqi; Cheng, Minhao; Chen, Xiangning; Hsieh, Cho-Jui; You, Yang (2022). "Random Sharpness-Aware Minimization". Advances in Neural Information Processing Systems. Quyển 35. tr. 24543–24556.
^ ^a ^b Caldarola, Debora; Caputo, Barbara; Ciccone, Marco (2022). "Improving Generalization in Federated Learning by Seeking Flat Minima". Computer Vision – ECCV 2022. Springer. tr. 654–672. arXiv:2203.11834. doi:10.1007/978-3-031-20050-2_38.
^ ^a ^b Qu, Zhe; Li, Xingyu; Duan, Rui; Liu, Yao; Tang, Bo; Lu, Zhuo (2022). "Generalized Federated Learning via Sharpness Aware Minimization". Proceedings of the 39th International Conference on Machine Learning (ICML). PMLR. tr. 18250–18280. arXiv:2206.02618.
^ ^a ^b Li, Yuhang; Liu, Tong; Cui, Yangguang; Hu, Ming; Li, Xiaoqiang (2025). "One Arrow, Two Hawks: Sharpness-aware Minimization for Federated Learning via Global Model Trajectory". International Conference on Machine Learning (ICML) 2025.
^ Sun, Yan; Shen, Li; Huang, Tiansheng; Ding, Liang; Tao, Dacheng (2023). "FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy". International Conference on Learning Representations (ICLR) 2023. arXiv:2302.10429.
^ Sun, Yan; Shen, Li; Chen, Shixiang; Ding, Liang; Tao, Dacheng (2023). "Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape". Proceedings of the 40th International Conference on Machine Learning (ICML). PMLR. tr. 32991–33013. arXiv:2305.11584.
^ Fan, Ziqing; Hu, Shengchao; Yao, Jiangchao; Niu, Gang; Zhang, Ya; Sugiyama, Masashi; Wang, Yanfeng (2024). "Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization". Proceedings of the 41st International Conference on Machine Learning (ICML). PMLR. tr. 12858–12881. arXiv:2405.18890.
^ Caldarola, Debora; Cagnasso, Pietro; Caputo, Barbara; Ciccone, Marco (2025). "Beyond Local Sharpness: Communication-Efficient Global Sharpness-aware Minimization for Federated Learning". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). tr. 25187–25197. arXiv:2412.03752.