Các mô hình văn bản-tạo-ảnh luôn mở rộng mô hình, dữ liệu và sức mạnh tính toán, nhưng lượng thông tin trong Caption đi kèm hình ảnh huấn luyện, lại hiếm khi được nghiên cứu một cách hệ thống như một biến số độc lập. Đội Seed của ByteDance phát hiện: Caption bằng ngôn ngữ tự nhiên dài ra không có nghĩa là mô hình nhận được nhiều sự giám sát thị giác hơn; so với độ dài, lượng thông tin gắn với hình ảnh trong Caption mới là yếu tố dự đoán tốt hơn về tổn thất huấn luyện cuối cùng mà mô hình khuếch tán đạt được.
Dựa trên phát hiện này, đội ngũ đề xuất Structured Prompt, và đồng thời cải thiện điều kiện văn bản từ cả hai phía Diffusability và Promptability, cuối cùng đạt được sự cải thiện đáng kể trong các nhiệm vụ tạo ảnh phức tạp, suy luận và kiến thức thế giới.
Hình 1 trong bài báo | Độ dài ngôn ngữ tự nhiên nhanh chóng bão hòa; điều kiện có cấu trúc tiếp tục tăng thông tin hình ảnh và giảm tổn thất huấn luyện khuếch tán theo một quan hệ thống nhất.
Trong vài năm qua, sự tiến bộ của mô hình văn bản-tạo-ảnh hầu như diễn ra theo một con đường quen thuộc: mô hình lớn hơn, nhiều dữ liệu hơn và sức mạnh tính toán huấn luyện cao hơn.
Nhưng giữa mô hình văn bản-tạo-ảnh và mô hình ngôn ngữ tồn tại một khác biệt dễ bị bỏ qua. Mô hình ngôn ngữ có thể học tự giám sát trực tiếp từ chuỗi văn bản; mô hình văn bản-tạo-ảnh thì phụ thuộc vào cặp hình ảnh và Caption, học "loại văn bản nào tương ứng với nội dung thị giác nào". Hình ảnh có thể chứa nhiều vật thể, thuộc tính, vị trí, hành động và mối quan hệ, nhưng chỉ những phần được Caption mô tả chính xác và liên kết rõ ràng, mới có thể được truyền đến mô hình như một điều kiện văn bản giám sát.
Vì vậy, một câu hỏi cơ bản xuất hiện: Ngoài việc tiếp tục mở rộng mô hình, dữ liệu và sức mạnh tính toán, chúng ta có thể làm cho mô hình tạo học tốt hơn bằng cách tăng lượng thông tin hình ảnh mà Caption mang theo không?
Trong nghiên cứu mới này, đội Seed của ByteDance đã nghiên cứu vấn đề này. Kết luận cốt lõi có thể tóm tắt trong một câu:
Thứ thực sự mở rộng cùng với điều kiện văn bản, không phải là số lượng token của Caption, mà là lượng thông tin hình ảnh trong đó có thể được mô hình sử dụng.
- Tiêu đề bài báo: Scaling Properties of Text Conditioning in Visual Generation
- Tác giả: Zilong Chen, Chaorui Deng, Kunchang Li, Hongyi Yuan, Haoqi Fan Tổ chức: ByteDance Seed
- Bài báo:https://arxiv.org/abs/2607.29679
- Trang chủ dự án:https://heheyas.github.io/context-scaling
- Mã nguồn:https://github.com/heheyas/context-scaling
- Mô hình:https://huggingface.co/collections/heheyas/context-scaling
- Demo trực tuyến:https://heheyas-context-scaling.hf.space/
- Hugging Face Paper:https://huggingface.co/papers/2607.29679
Prompt Dài Hơn,
Tại Sao Mô Hình Không Mạnh Hơn?
Một cách làm trực quan là viết Caption huấn luyện hoặc Prompt người dùng dài hơn, chi tiết hơn. Nhiều token hơn trông có vẻ sẽ mang lại nhiều sự giám sát hơn, và cũng nên giúp mô hình tạo ra hình ảnh phức tạp hơn.
Thí nghiệm lại đưa ra câu trả lời khác. Trên nhiều hệ thống văn bản-tạo-ảnh mã nguồn mở hiện có, Prompt ngôn ngữ tự nhiên nhanh chóng bão hòa khi độ dài tăng, và kết quả đầu ra cuối cùng thậm chí còn thấp hơn biểu hiện của Prompt ngắn nhất tương ứng của chúng. Ngay cả khi được huấn luyện chuyên biệt trên cùng một bộ Caption văn bản dài, lợi ích cũng rất hạn chế.
Để nhìn rõ hiện tượng này, đội ngũ đã thiết kế một thí nghiệm tái tạo hình ảnh với mạng xương cố định. Đối với cùng một hình ảnh tham chiếu, đội ngũ xuất phát từ cùng một bộ chú thích hoàn chỉnh, tạo ra bốn Caption ngôn ngữ tự nhiên với mức độ chi tiết tăng dần, sau đó sử dụng cùng mô hình Qwen-Image và seed ngẫu nhiên để thử khôi phục hình ảnh đó. Các Caption này mô tả cùng các thực thể và mối quan hệ, các phiên bản sau chủ yếu tăng độ dài bằng cách bổ sung và triển khai diễn đạt ngôn ngữ tự nhiên.
Điều đáng ngạc nhiên là, mặc dù Caption dài ra đáng kể, chất lượng tái tạo hình ảnh hầu như không cải thiện thêm. Phần văn xuôi mới được thêm vào chủ yếu là giải thích, viết lại hoặc kết nối nội dung đã xuất hiện, chứ không liên tục tăng thêm các biến thị giác mới, có thể sử dụng ổn định.
Hình 3 trong bài báo | Thí nghiệm tái tạo xương cố định: NL Caption tiếp tục dài ra thì tái tạo có xu hướng bão hòa, khôi phục từng bước các trường SP thì tiếp tục cải thiện.
Điều này cho thấy, độ dài Caption chỉ là một biến đại diện yếu. Một văn bản có thể viết rất dài, nhưng vẫn không nói rõ ràng: một thuộc tính nào đó thuộc về vật thể nào, hai vật thể có mối quan hệ gì, vị trí của chúng ở đâu, và thứ bậc trước sau của chúng trong khung hình.
Làm Thế Nào Để Đo Lường Lượng Thông Tin Hình Ảnh Thực Sự Trong Caption?
Nếu số lượng token không đủ để đo lường độ mạnh yếu của sự giám sát, thì cần đo trực tiếp lượng thông tin gắn với hình ảnh trong Caption. Để làm điều này, đội ngũ đã cải tiến hai chỉ số bổ sung từ các nghiên cứu trước đó: Grounded Perplexity Gain (GPG) và Effective Detailness (ED).
GPG: Hình ảnh làm cho Caption trở nên "dễ dự đoán hơn" bao nhiêu.
GPG là một chỉ số "hộp trắng" cần đọc xác suất token của mô hình. Đối với cùng một Caption, đội ngũ lần lượt cho một mô hình ngôn ngữ hình ảnh bị đóng băng nhìn thấy và không nhìn thấy hình ảnh cặp đôi, và tính toán mức tăng log-likelihood của các token nội dung Caption sau khi hình ảnh xuất hiện. Nếu Caption chứa nhiều thông tin liên kết chặt chẽ với hình ảnh đó, việc nhìn thấy hình ảnh sẽ làm tăng đáng kể khả năng dự đoán của mô hình đối với các token này.
ED: Caption bao phủ bao nhiêu thuộc tính hình ảnh đáng tin cậy.
ED là một chỉ số ngữ nghĩa "hộp đen" không phụ thuộc vào xác suất token. Nó trích xuất các thuộc tính có ngữ cảnh thực thể từ hình ảnh và Caption riêng biệt, sau đó tính toán độ chính xác của thuộc tính Caption và độ nhạy của thuộc tính hình ảnh. Cuối cùng sử dụng F0.5 coi trọng độ chính xác hơn, áp dụng hình phạt mạnh hơn đối với các mô tả trong Caption không có căn cứ hình ảnh.
Hai chỉ số mô tả cùng một vấn đề từ các góc độ khác nhau: GPG tập trung vào sự phụ thuộc thống kê giữa hình ảnh và văn bản, ED tập trung vào việc Caption có bao phủ chính xác nội dung thị giác có thể xác minh được hay không.
Hình 6 trong bài báo | Định nghĩa và xu hướng đo lường của GPG và ED.
Lượng Thông Tin Caption Có Thể Dự Đoán Tổn Thất Huấn Luyện Của Mô Hình Khuếch Tán
Tiếp theo, đội ngũ cố định hình ảnh, kiến trúc mô hình, cách khởi tạo, cấu hình tối ưu hóa và ngân sách huấn luyện, chỉ thay đổi Caption huấn luyện. Toàn bộ thí nghiệm bao gồm 15 cấu hình Caption: ba phiên bản ngôn ngữ tự nhiên với độ dài khác nhau, sáu phiên bản Structured Prompt khôi phục từng bước các trường, và sáu biến thể biểu đạt không gian hoặc che phủ trường. Mỗi cấu hình đều bắt đầu từ cùng một checkpoint tiếp tục huấn luyện BAGEL và huấn luyện độc lập một mô hình khuếch tán.
Kết quả cho thấy, số lượng token của Caption ngôn ngữ tự nhiên không có mối quan hệ thống nhất với kết quả huấn luyện; nhưng khi trục hoành được thay bằng lượng thông tin Caption, các cấu hình với định dạng và mức độ chi tiết khác nhau lại nằm trên một đường cong có tính quy luật cao:
- Tổn thất khuếch tán sau hội tụ có quan hệ gần như tuyến tính với GPG, Pearson r = -0.984;
- Tổn thất khuếch tán sau hội tụ có xu hướng luỹ thừa với ED, Pearson r trong không gian log-log = -0.971;
- Thứ hạng của GPG và ED đối với các cấu hình Caption khác nhau cũng rất nhất quán, Spearman ρ = 0.96.
Đội ngũ gọi đây là các thuộc tính scaling của text conditioning. Đây không phải là một định luật lý thuyết đúng với mọi mô hình, mà là kết quả hiệu chuẩn thực nghiệm dưới kiến trúc và công thức huấn luyện cố định. Nhưng nó mang lại hai giá trị trực tiếp.
Thứ nhất, nó biến lượng thông tin Caption từ một khái niệm mơ hồ về "chất lượng dữ liệu" thành một biến huấn luyện có thể kiểm soát và đo lường: khi mô hình, hình ảnh và sức mạnh tính toán không đổi, lượng thông tin có thể dự đoán tổn thất huấn luyện cuối cùng mà mô hình đạt được.
Thứ hai, sau khi hoàn thành một lần hiệu chuẩn, có thể sử dụng GPG hoặc ED để so sánh các phương án Caption ứng viên dưới cùng một công thức huấn luyện, trước khi quyết định có đầu tư vào việc huấn luyện mô hình khuếch tán đắt đỏ hay không. Đối với sáu biến thể Caption không tham gia khớp, hai chỉ số này vẫn có thể dự đoán khá chính xác tổn thất hội tụ của chúng.
Hình 7 trong bài báo | Dưới công thức huấn luyện cố định, tổn thất hội tụ thể hiện mối quan hệ ổn định theo lượng thông tin Caption.
Structured Prompt:
Giúp Thông Tin Không Chỉ Nhiều Hơn Mà Còn Dễ Sử Dụng Hơn Cho Mô Hình
Các thí nghiệm trước đã tiết lộ một điểm then chốt: Chỉ tăng thêm văn xuôi ngôn ngữ tự nhiên là không đủ, thông tin mới cần được tổ chức một cách ổn định, rõ ràng.
Vì vậy, đội ngũ đề xuất Structured Prompt (SP), sử dụng biểu diễn JSON có cấu trúc cho các biến thị giác trong một hình ảnh. Nó bao gồm ba cấp độ:
- Cấp toàn cục: ý định bức tranh, cảnh quan, bầu không khí, phong cách, ánh sáng và thông tin nhiếp ảnh;
- Cấp phần tử: danh tính, thuộc tính, hành động, vị trí, độ sâu tùy chọn và thông tin nhiếp ảnh cục bộ của mỗi chủ thể;
- Cấp quan hệ: vị trí, che khuất, tương tác và quan hệ ngữ nghĩa giữa các phần tử khác nhau.
So với văn bản tự do, điểm mấu chốt của SP không chỉ là hình thức "JSON", mà là đưa các biến thị giác khác nhau vào các trường được đặt tên ổn định, giảm sự mơ hồ về quy thuộc thuộc tính, quan hệ không gian và liên kết đối tượng. Trong thí nghiệm tái tạo xương cố định, khi các trường SP được khôi phục từng bước, chất lượng tái tạo tiếp tục cải thiện; trong quá trình quét huấn luyện hoàn chỉnh, việc tăng phạm vi bao phủ trường cũng đồng thời làm tăng GPG, ED và giảm tổn thất khuếch tán sau hội tụ.
Hình 5 trong bài báo | Structured Prompt tổ chức các biến thị giác toàn cục, cấp phần tử và liên phần tử vào các trường được đặt tên.
Để tạo SP hoàn chỉnh trên dữ liệu huấn luyện quy mô lớn, đội ngũ đã xây dựng một quy trình chú thích image-to-SP. VLM đa năng phụ trách ngữ nghĩa toàn cục và nội dung cục bộ, Sapiens bổ sung bằng chứng tư thế người, DepthAnything V2 cung cấp độ sâu tương đối, SAM 2.1 cung cấp manh mối mặt nạ và che khuất, cuối cùng VLM thống nhất các thông tin này thành một SP hoàn chỉnh nhất quán.
Hình 8 trong bài báo | VLM cùng các chuyên gia về tư thế, độ sâu, phân đoạn cùng xây dựng Structured Prompt hoàn chỉnh.
Đội ngũ gọi khả năng mà một biểu diễn Caption có thể bộc lộ và tổ chức sự giám sát hình ảnh cho mô hình khuếch tán là Diffusability. SP cải thiện chính là phía này: không thay đổi kiến trúc mô hình khuếch tán, mà giúp mô hình học được nhiều biến thị giác hơn, rõ ràng hơn từ điều kiện văn bản.
Promptability:
Có Cấu Trúc Tốt, Vẫn Cần LLM Điền Vào Cho Tốt
Khi huấn luyện, có thể trích xuất SP hoàn chỉnh từ hình ảnh cặp đôi, nhưng khi tạo thực tế chỉ có một câu yêu cầu từ người dùng, không có hình ảnh tham chiếu hoặc chú thích oracle. Hệ thống vẫn cần một LLM prompter để mở rộng yêu cầu người dùng thành một SP chi tiết, mạch lạc và không vi phạm các ràng buộc ban đầu.
Đội ngũ gọi khả năng cụ thể hóa điều kiện có cấu trúc từ yêu cầu người dùng là Promptability. Chất lượng tạo đầu cuối phụ thuộc vào tác động chung của cả hai phía:
Chất Lượng Tạo = Diffusability × Promptability
Dấu nhân ở đây là một góc nhìn tổ chức, không phải công thức nhân toán học khớp từ dữ liệu: Diffusability mô tả những gì mô hình khuếch tán có thể học từ biểu diễn Caption, Promptability mô tả liệu LLM có thể thực sự điền vào một thực thể Caption chất lượng cao trong quá trình suy luận hay không.
Hình 4 trong bài báo | Structured Prompt kết nối chú thích, đo lường, huấn luyện diffuser, huấn luyện prompter và tạo cuối cùng.
Trước tiên, đội ngũ cố định schema SP và Qwen-Image diffuser, chỉ thay thế LLM prompter zero-shot. Khi Qwen3.5 được mở rộng từ 0.8B lên 397B, GenEval++ ở chế độ thinking tăng từ 46.4% lên 86.8%. Ngoại trừ mô hình nhỏ nhất dễ lặp lại trong quá trình suy nghĩ và không thể xuất JSON hợp lệ, chain-of-thought ở các quy mô khác đều mang lại sự cải thiện hơn nữa. Điều này cho thấy, năng lực mô hình và khả năng suy luận của LLM đa năng, có thể chuyển hóa trực tiếp thành kết quả tạo hình ảnh tốt hơn thông qua giao diện Caption.
Nhưng LLM zero-shot vẫn có xu hướng tạo ra SP thiếu thông tin, bố cục đơn giản. Để tiếp tục nâng cao Promptability, đội ngũ áp dụng huấn luyện ba giai đoạn:
SFT học phân phối nội dung SP mà mô hình khuếch tán kỳ vọng, không chỉ là định dạng JSON;
Cold-start chưng cất từ các privileged reasoning traces có hình ảnh cặp đôi về "làm thế nào để suy luận SP chỉ dựa trên yêu cầu người dùng";
RFT tiếp tục tối ưu hóa trên rollout do chính prompter tạo và render, được verifier lọc các trajectory có độ tin cậy cao, sau đó cung cấp sự giám sát token dày đặc thông qua on-policy self-distillation của image-conditioned teacher.
Các thí nghiệm loại bỏ cho thấy, ba giai đoạn đảm nhận các vai trò khác nhau: SFT mang lại sự cải thiện cấu trúc lớn nhất trong một giai đoạn, cold-start tăng cường suy luận từ yêu cầu người dùng đến SP, còn verifier-gated OPSD đạt kết quả mạnh nhất trên phân phối của chính prompter.
Hình 9 trong bài báo | Sau khi cố định schema và diffuser, chất lượng tạo tăng theo quy mô LLM prompter và chế độ reasoning.
Hình 10 trong bài báo | Huấn luyện prompter ba giai đoạn: SFT, cold-start và verifier-gated RFT.
Biểu Diễn Có Cấu Trúc,
Cũng Giúp Quá Trình Tạo Dễ Lặp Lại Sửa Chữa Hơn
Biểu diễn trường hóa của SP còn có một lợi thế tự nhiên: khi hình ảnh tạo ra xuất hiện lỗi, hệ thống có thể định vị và sửa đổi các trường đối tượng, thuộc tính, quan hệ hoặc bố cục tương ứng, thay vì viết lại toàn bộ Prompt ngôn ngữ tự nhiên.
Dựa trên điều này, đội ngũ đã xây dựng vòng lặp refine-render-judge. Trong mỗi vòng, prompter tạo hoặc sửa đổi SP dựa trên yêu cầu người dùng và phản hồi lịch sử, diffuser cố định render hình ảnh, online judge sau đó đưa ra PASS/FAIL và vấn đề cụ thể đối với việc tuân thủ Prompt, cấu trúc và chất lượng thị giác. Nếu thất bại, vòng tiếp theo chỉ cần điều chỉnh xung quanh các trường liên quan.
Thí nghiệm cho thấy, tăng ngân sách lặp lại có thể tiếp tục cải thiện biểu hiện về cấu trúc, căn chỉnh và GSB; nhưng độ dài suy luận hiệu quả không dài. Đối với prompter đã được huấn luyện, ngay cả khi cho phép tối đa 8 vòng, trung bình chỉ sử dụng 2.31 vòng; từ Tmax = 4 tăng lên 8, lợi ích đã rất nhỏ. Điều này cho thấy, văn bản-tạo-ảnh thực sự có lợi từ việc sửa lỗi lặp lại, nhưng trong cài đặt hiện tại không cần trajectory reasoning dài ở phía prompt: sau khi sửa các lỗi quy cách chính, các vòng bổ sung sẽ nhanh chóng bão hòa.
Hình 14 trong bài báo | Vòng lặp suy luận agentic refine-render-judge.
Hình 15 trong bài báo | Vòng lặp có thể sửa các vấn đề về tách đối tượng, quan hệ và bố cục tổng thể.
Cùng Một Bộ Qwen-Image,
Giao Diện Có Cấu Trúc Mang Lại Cải Thiện Lớn Đến Mức Nào?
Hệ thống cuối cùng bao gồm SP-trained diffuser và LLM prompter đã được huấn luyện. Nó dẫn đầu các mô hình trọng số mã nguồn mở được so sánh trong hầu hết các chỉ số được báo cáo, và đạt được hoặc vượt qua các hệ thống đóng được so sánh trong hầu hết các đánh giá, lợi thế đặc biệt rõ ràng trong các nhiệm vụ kết hợp, suy luận và kiến thức thế giới.
Quan trọng hơn là matched control. Để loại trừ lời giải thích "chỉ là được huấn luyện nhiều hơn một chút", đội ngũ sử dụng cùng kiến trúc Qwen-Image, hình ảnh huấn luyện, giai đoạn huấn luyện và ngân sách hoàn toàn giống nhau, để huấn luyện thêm một hệ thống luôn sử dụng Caption ngôn ngữ tự nhiên tự do. Kết quả như sau:
Bảng 2 trong bài báo | So sánh đầy đủ với các hệ thống văn bản-tạo-ảnh tiêu biểu. Ảnh chụp màn hình giữ nguyên định nghĩa đánh giá, in đậm và chú thích trong bài báo.
Việc huấn luyện bổ sung Matched NL thực sự mang lại một số cải thiện, nhưng không đủ để tái hiện kết quả của hệ thống SP. Điều này cho thấy, lợi ích không thể đơn giản quy cho backbone lớn hơn hoặc huấn luyện nhiều hơn, mà liên quan chặt chẽ đến giao diện Caption có cấu trúc được sử dụng giữa prompter và diffuser.
Hình 11 trong bài báo | So sánh định tính về quan hệ không gian phức tạp, số lượng và liên kết thuộc tính.
Bước Tiếp Theo Không Chỉ Là Scale Mô Hình,
Mà Cũng Phải Scale Chính Điều Kiện
Điểm xuất phát của nghiên cứu này rất đơn giản: Đối với mô hình văn bản-tạo-ảnh, Caption không phải là siêu dữ liệu không quan trọng, mà là giao diện chính để nội dung hình ảnh đi vào học tập điều kiện văn bản.
Khi Caption chỉ dài ra, các token mới có thể chỉ là viết lại và trải rộng; khi thông tin hình ảnh được trích xuất chính xác, liên kết rõ ràng và tổ chức ổn định, cùng một mô hình tạo mới có thể học được nhiều hơn từ đó. GPG và ED biến thông tin này thành một biến có thể đo lường, Structured Prompt nâng cao Diffusability, LLM scaling, post-training và tinh chỉnh agentic ngắn hạn thì nâng cao Promptability.
Vì vậy, bước scaling tiếp theo của văn bản-tạo-ảnh không nên chỉ quan tâm đến "mô hình chịu trách nhiệm render lớn đến mức nào", mà còn nên quan tâm:
Điều kiện văn bản được truyền đến mô hình, thực sự mang theo bao nhiêu thông tin hình ảnh mà nó thực sự có thể học và sử dụng?
Bài viết từ tài khoản công chúng "机器之心"
