LeCun liên tục chuyển tiếp, tác phẩm mới VISReg giải quyết vấn đề cốt lõi "sụp đổ biểu diễn" trong mô hình thế giới JEPA
Mô hình thế giới JEPA dựa trên nền tảng học tự giám sát (SSL) mà Yann LeCun ủng hộ từ năm 2017. Tuy nhiên, SSL thường đối mặt với vấn đề "sụp đổ biểu diễn" (representation collapse), khiến mô hình ánh xạ các đầu vào khác nhau vào quá ít vector, làm giảm khả năng phân biệt. Các phương pháp phổ biến hiện nay sử dụng nhiều thủ thuật phức tạp, dễ vỡ và khó giải thích.
Công trình mới VISReg (Variance-Invariance-Sketching Regularization) do LeCun đánh giá cao, giải quyết vấn đề cốt lõi này bằng cách tách mục tiêu chính quy hóa thành hai phần độc lập: **"quy mô" (scale)** và **"hình dạng" (shape)**.
- **Quy mô:** Kiểm soát phương sai của từng chiều biểu diễn, đảm bảo gradient vẫn mạnh ngay cả khi bắt đầu sụp đổ.
- **Hình dạng:** Sử dụng khoảng cách Sliced Wasserstein (SWD) và kỹ thuật "stop-gradient" để căn chỉnh hình dạng phân phối biểu diễn với phân phối Gauss chuẩn, mà không ảnh hưởng đến quy mô.
VISReg đạt được ba ưu điểm chính:
1. **Ổn định & Hiệu quả:** Không cần các thủ thuật huấn luyện phức tạp (như EMA, mạng giáo viên-học sinh), dễ điều chỉnh tham số và mở rộng. Độ phức tạp tính toán tuyến tính, thấp hơn so với VICReg.
2. **Khả năng tổng quát hóa mạnh mẽ:** Trên 15 bộ dữ liệu (gồm 8 nội miền và 6 ngoại phân phối - OOD), VISReg vượt trội hoặc ngang bằng các phương pháp SSL hàng đầu như DINO, MAE, I-JEPA. Đặc biệt, khi được đào tạo trên ImageNet-22K (~14 triệu ảnh), nó đạt hiệu suất OOD tương đương DINOv2 được đào tạo trên tập dữ liệu lớn gấp 10 lần.
3. **Linh hoạt:** Cho kết quả cạnh tranh trong nhiều tác vụ như phân loại ảnh, phân vùng ngữ nghĩa (ADE20K) và hướng dẫn mô hình sinh ảnh. Nó cũng thể hiện tính mạnh mẽ trên dữ liệu chất lượng thấp như phân phối đuôi dài (ImageNet-LT).
Tóm lại, VISReg cung cấp một giải pháp chính quy hóa đơn giản, mạnh mẽ và có thể giải thích được cho vấn đề sụp đổ biểu diễn, thúc đẩy sự phát triển của các mô hình thế giới SSL và JEPA mà không phụ thuộc vào lượng dữ liệu khổng lồ hay các kỹ thuật heuristic.
marsbit07/28 10:15
