"Dữ liệu nguồn" trong học chuyển giao, không nhất thiết phải là hình ảnh, văn bản hay âm thanh.
Một nhóm nhiễu được lấy mẫu ngẫu nhiên từ phân phối Gauss, không có bất kỳ ngữ nghĩa nào, vẫn có thể giúp mô hình học tốt hơn với một lượng nhỏ dữ liệu được gán nhãn.
Công trình nghiên cứu này có tên là Thích ứng Nhiễu Bán giám sát (Semi-Supervised Noise Adaptation, SSNA), bài báo đã được công bố trên ICML 2026.

Nhóm SSNA tiếp tục đề xuất Khung Thích ứng Nhiễu (Noise Adaptation Framework, NAF), nó sử dụng nhiễu được tạo ngẫu nhiên để xây dựng cấu trúc phân loại có tính phân biệt, và chuyển giao cấu trúc này sang dữ liệu mục tiêu thực tế, từ đó nâng cao hiệu quả học tập của mô hình trong các tình huống có ít dữ liệu được gán nhãn.

△NAF chiếu miền nhiễu và miền mục tiêu vào không gian biểu diễn chung, và căn chỉnh chúng ở cấp độ lớp. Hình ảnh từ bài báo.
Trong trường hợp chỉ có 4 mẫu được gán nhãn cho mỗi lớp, dựa trên mạng xương sống ResNet-18, độ chính xác của NAF trên CIFAR-10, CIFAR-100, DTD-47 và Caltech-101, so với đường cơ sở học có giám sát tiêu chuẩn ERM (Tối thiểu hóa rủi ro thực nghiệm, Empirical Risk Minimization) chỉ sử dụng các mẫu có nhãn để huấn luyện, lần lượt tăng lên 12.35, 7.61, 4.38 và 2.74 điểm phần trăm. Hiện tại, mã nguồn của bài báo đã được mở, chi tiết xem cuối bài.
Thay miền nguồn thực tế bằng nhiễu
Học chuyển giao truyền thống thường yêu cầu một miền nguồn có nhiều nhãn. Nhưng dữ liệu nguồn thực tế không phải lúc nào cũng dễ dàng có được. Các hạn chế về quyền riêng tư, bảo mật và bản quyền đều có thể khiến dữ liệu miền nguồn không thể chia sẻ. SSNA cố gắng loại bỏ tiền đề này: miền nguồn không còn đặt các mẫu thực tế, mà thay thế bằng nhiễu được tạo ra từ phân phối xác suất đơn giản.
Cách làm cụ thể không phức tạp, giả sử nhiệm vụ mục tiêu bao gồm C lớp, nhóm nghiên cứu đầu tiên lấy mẫu ngẫu nhiên một vector trung bình cho mỗi lớp trong không gian 1024 chiều, và sử dụng ma trận đơn vị làm ma trận hiệp phương sai, từ đó xây dựng C phân phối Gauss, sau đó lấy mẫu 50 vector nhiễu từ mỗi phân phối. Miền nhiễu và miền mục tiêu sử dụng cùng một tập chỉ mục lớp, mỗi lớp nhiễu được định trước tương ứng với một chỉ mục lớp mục tiêu, nhưng sự tương ứng này bản thân không chứa thông tin ngữ nghĩa.
Chỉ số ở đây bản thân không có ngữ nghĩa. Lớp nhiễu 0 không tự nhiên đại diện cho "mèo", chỉ là trước khi bắt đầu huấn luyện, các nhà nghiên cứu cố định nó tương ứng với một lớp nhất định trong miền mục tiêu. Thứ thực sự được chuyển giao, không phải là kiến thức thị giác về mèo hay chó, mà là cấu trúc phân biệt được hình thành trong miền nhiễu.
Các nhiễu cùng lớp được ép lại gần nhau, các nhiễu khác lớp bị kéo ra xa. Chỉ cần cấu trúc này có thể được căn chỉnh với miền mục tiêu, nó có thể cung cấp ranh giới phân loại rõ ràng hơn cho các mẫu mục tiêu thực tế.
Một số nhãn vẫn là cần thiết
Nhiễu có thể thay thế dữ liệu nguồn thực tế, nhưng không thể hoàn toàn thay thế nhãn miền mục tiêu. Lý do rất trực tiếp: nhiễu đến từ một không gian khác, chỉ số lớp lại được chỉ định một cách nhân tạo, mô hình phải dựa vào một lượng nhỏ mẫu mục tiêu đã được gán nhãn, mới biết được lớp nhiễu 0 cuối cùng nên căn chỉnh với lớp thực tế nào.
Trong bài báo, khi giảm số lượng mẫu được gán nhãn cho mỗi lớp xuống 0 trên CIFAR-100, độ chính xác của ERM và NAF chỉ lần lượt là 0.97% và 1.34%, đều gần mức ngẫu nhiên. Một khi cung cấp một lượng nhỏ nhãn, NAF liên tục vượt trội hơn ERM.
Vì vậy, kết luận của công trình này là: Trong thiết lập phân loại bán giám sát, miền nguồn thực tế không nhất thiết là điều kiện cần thiết để đạt được chuyển giao tích cực.
NAF chủ yếu làm ba việc
Xoay quanh giới hạn tổng quát được đưa ra trong bài báo, NAF chia mục tiêu huấn luyện thành ba phần.
Đầu tiên học tốt một số nhãn thực tế nhỏ
Bộ mã hóa miền mục tiêu ánh xạ các mẫu thực tế vào không gian biểu diễn chung, bộ phân loại sử dụng một lượng nhỏ mẫu được gán nhãn để tính toán tổn thất entropy chéo. Phần này giống với học có giám sát thông thường, dùng để thiết lập cầu nối giữa lớp nhiễu và lớp thực tế.
Sau đó để nhiễu hình thành cấu trúc lớp rõ ràng
Bộ chiếu nhiễu chịu trách nhiệm ánh xạ các vector ngẫu nhiên vào cùng một không gian biểu diễn, bộ phân loại thì nhận dạng các nhiễu này theo chỉ số lớp được định trước. Sau khi huấn luyện, các nhiễu cùng lớp dần dần tập trung lại, các nhiễu khác lớp tách biệt nhau.
Cuối cùng căn chỉnh hai bên
NAF cũng sẽ tính toán sự khác biệt phân phối giữa miền nhiễu và miền mục tiêu. Mô-đun căn chỉnh phân phối không giới hạn cách triển khai cụ thể, bài báo đã so sánh nhiều phương án khác nhau, cuối cùng trong thí nghiệm sử dụng kinh nghiệm Độ tương đồng miền âm (Negative Domain Similarity, NDS) làm cơ chế mặc định. NDS đồng thời so sánh giá trị trung bình toàn cục và giá trị trung bình của từng lớp của hai miền, và sử dụng độ tương đồng cosine để đẩy chúng lại gần nhau. Giá trị trung bình lớp của các mẫu mục tiêu chưa được gán nhãn, được ước tính lặp đi lặp lại bởi nhãn giả do mô hình tạo ra.
Toàn bộ mục tiêu có thể viết thành

. Trong đó,

chịu trách nhiệm phân loại các mẫu mục tiêu thực tế có gán nhãn ít,

chịu trách nhiệm phân loại nhiễu,

chịu trách nhiệm căn chỉnh phân phối miền mục tiêu và miền nhiễu. Giới hạn tổng quát được đưa ra trong bài báo cũng tương ứng với ba mục này: sai số thực nghiệm miền mục tiêu, sai số thực nghiệm miền nhiễu, và sự khác biệt phân phối giữa hai miền trong không gian biểu diễn chung.
Từ CIFAR đến ImageNet, nhiễu đều có thể mang lại lợi ích
Thí nghiệm chính bao gồm 8 tập dữ liệu hình ảnh và 1 tập dữ liệu phân loại văn bản. Ngoại trừ ImageNet-1K, các nhiệm vụ thị giác đều sử dụng 4 mẫu được gán nhãn cho mỗi lớp, các mẫu huấn luyện còn lại được sử dụng làm dữ liệu không có nhãn.
Trên ResNet-18, mức cải thiện Top-1 của NAF so với ERM lần lượt đạt: CIFAR-10 +12.35, CIFAR-100 +7.61, DTD-47 +4.38, Caltech-101 +2.74 điểm phần trăm.

△
Phân loại chi tiết cũng hiệu quả. Khi sử dụng ResNet-18, NAF trên CUB-200, Oxford Flowers-102 và Stanford Cars-196 so với ERM lần lượt tăng 8.94, 5.51 và 7.74 điểm phần trăm.
Trên ImageNet-1K quy mô lớn hơn, nhóm nghiên cứu giữ lại 100 mẫu được gán nhãn cho mỗi lớp. NAF đạt độ chính xác 37.10%, cao hơn ERM 0.99 điểm phần trăm. Trên nhiệm vụ văn bản AG News-4, NAF sử dụng BERT đạt 82.82%, cao hơn 78.64% của ERM 4.18 điểm phần trăm.
NAF cũng có thể trực tiếp tích hợp vào các phương pháp bán giám sát hiện có. Bài báo kết nối nó với UDA, FixMatch, FlexMatch, DebiasMatch, DST, LERM và SA-FixMatch, tổng thể đều thu được lợi ích. Lấy kết quả huấn luyện 20 epoch trên CIFAR-10 làm ví dụ, sau khi tích hợp NAF, độ chính xác của UDA và FixMatch lần lượt tăng 20.83 và 9.91 điểm phần trăm.
Điều thực sự hữu ích không phải là "ngẫu nhiên", mà là cấu trúc
Tại sao nhiễu có thể giúp ích? Các thí nghiệm loại bỏ của bài báo đưa ra câu trả lời hướng đến cùng một yếu tố: giữa các lớp có cấu trúc có thể tách rời hay không.
Nhóm nghiên cứu đầu tiên ép tất cả các lớp nhiễu thành cùng một điểm. Bằng cách này, miền nhiễu hoàn toàn mất đi cấu trúc phân biệt, NAF không những không có lợi ích, mà còn xuất hiện chuyển giao tiêu cực rõ rệt. Độ chính xác CIFAR-10 giảm từ 58.15% của ERM xuống 33.34%, CIFAR-100 giảm từ 42.24% xuống 6.79%.
Ngược lại, khi từ từ kéo lớn khoảng cách giữa các trung tâm lớp nhiễu, độ chính xác CIFAR-100 tăng từ 43.80% lên 49.78%. Điều này cho thấy lớp nhiễu càng dễ phân biệt, thì cấu trúc hướng dẫn có thể cung cấp thường càng mạnh.
Số lượng nhiễu lại không quá quan trọng. Khi tăng số nhiễu cho mỗi lớp từ 10 lên 100, độ chính xác luôn ổn định ở khoảng 50%; tăng lên 200 thì còn giảm nhẹ. Dựa trên điều này, bài báo cho rằng chỉ cần có thể hình thành mẫu có thể tách rời, một lượng nhỏ nhiễu là đủ để phát huy tác dụng.

△
Nhóm nghiên cứu còn đơn giản hóa miền nhiễu thành một điểm trung tâm cho mỗi lớp. Dù điểm trung tâm cố định hay có thể học, kết quả đều cao hơn ERM; trong đó, điểm trung tâm có thể học tốt hơn điểm cố định, nhưng vẫn thấp hơn NAF hoàn chỉnh.
Trong thí nghiệm chuyển giao từ Amazon sang Caltech-10, dữ liệu nguồn thực tế tổng thể vẫn hơn một chút, nhưng miền nguồn nhiễu đã có thể nâng độ chính xác từ 83.51% của ERM lên khoảng 88% đến 89%. Điều này cũng đưa ra một định vị thực tế hơn: khi không có được dữ liệu nguồn thực tế, nhiễu tổng hợp có thể trở thành một giải pháp thay thế chi phí thấp.
Nó cũng khác với tăng cường dữ liệu thông thường. Tăng cường dữ liệu thường thực hiện xoay, cắt, nội suy hoặc tạo sinh xung quanh mẫu thực tế; SSNA thì đầu tiên xây dựng một miền nhiễu độc lập, sau đó hoàn thành căn chỉnh xuyên miền trong không gian biểu diễn.
Tổng kết: Không có ngữ nghĩa, cấu trúc vẫn có thể chuyển giao
Công trình này cung cấp một góc nhìn mới khá phản trực giác cho học chuyển giao: Dữ liệu nguồn có thể giúp nhiệm vụ mục tiêu, không nhất thiết hoàn toàn phụ thuộc vào ngữ nghĩa thực tế của nó, cấu trúc lớp được hình thành trong không gian biểu diễn cũng có thể trở thành tri thức có thể chuyển giao.
Chính NAF đã lợi dụng điểm này, để nhiễu ngẫu nhiên hình thành cấu trúc có tính phân biệt trong không gian biểu diễn chung, sau đó thông qua một lượng nhỏ mẫu được gán nhãn để truyền nó cho dữ liệu thực tế. Kết quả thí nghiệm cho thấy, ngay cả khi miền nguồn không chứa hình ảnh, văn bản hay âm thanh thực tế, chỉ cần giữ lại cấu trúc lớp phù hợp, vẫn có thể có tác động tích cực đến nhiệm vụ mục tiêu.
Nói cách khác, thứ mà học chuyển giao chuyển giao, có lẽ không chỉ là "dữ liệu nói gì", mà còn bao gồm "dữ liệu được tổ chức như thế nào trong không gian biểu diễn". Điều này cũng mở ra một hướng nghiên cứu mới cho các tình huống bị hạn chế về quyền riêng tư, nhạy cảm về bản quyền hoặc khó có được dữ liệu nguồn thực tế.
Tiêu đề bài báo: Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
Địa chỉ bài báo: https://arxiv.org/pdf/2606.00558
Địa chỉ mã nguồn: https://github.com/AIResearch-Group/SSNA
Video giải thích: https://www.bilibili.com/video/BV1UV7h61EvW/
Bài viết này từ tài khoản WeChat "量子位", tác giả: Nhóm SSNA






