Model teks-ke-gambar terus berkembang dalam hal skala model, data, dan daya komputasi, namun informasi yang terkandung dalam Caption pelatihan gambar jarang dipelajari sebagai variabel independen secara sistematis. Tim Seed ByteDance menemukan bahwa semakin panjang Caption dalam bahasa alami, bukan berarti model mendapatkan lebih banyak supervisi visual yang dapat digunakan; dibandingkan panjangnya, volume informasi dalam Caption yang terikat dengan gambar lebih mampu memprediksi kerugian pelatihan akhir yang dicapai oleh model difusi.
Berdasarkan penemuan ini, tim mengusulkan Structured Prompt, dan secara bersamaan meningkatkan kondisi teks dari sisi Diffusability dan Promptability, yang akhirnya menghasilkan peningkatan signifikan dalam tugas generasi kompleksitas komposisi, penalaran, dan pengetahuan dunia.
Gambar 1 Makalah | Panjang bahasa alami cepat jenuh; kondisi terstruktur terus meningkatkan informasi gambar, dan mengurangi kerugian pelatihan difusi sepanjang hubungan yang seragam.
Beberapa tahun terakhir, kemajuan model teks-ke-gambar hampir mengikuti rute yang familiar: model yang lebih besar, data yang lebih banyak, dan daya komputasi pelatihan yang lebih tinggi.
Tapi ada perbedaan yang mudah diabaikan antara model teks-ke-gambar dan model bahasa. Model bahasa dapat belajar secara self-supervised langsung dari urutan teks; model teks-ke-gambar bergantung pada pasangan gambar dan Caption untuk mempelajari "teks seperti apa yang sesuai dengan konten visual seperti apa". Gambar mungkin mengandung banyak objek, atribut, posisi, gerakan, dan hubungan, tetapi hanya bagian yang dideskripsikan secara akurat dan terikat jelas oleh Caption yang dapat disupervisikan sebagai kondisi teks kepada model.
Kemudian, muncul pertanyaan mendasar: selain terus memperbesar model, data, dan daya komputasi, dapatkah kita membuat model generatif belajar lebih baik dengan meningkatkan informasi gambar yang dibawa oleh Caption?
Dalam karya baru ini, tim Seed ByteDance meneliti masalah ini. Kesimpulan utamanya dapat diringkas menjadi satu kalimat:
Yang benar-benar berkembang dengan perluasan kondisi teks, bukan jumlah token Caption, melainkan informasi gambar di dalamnya yang dapat dimanfaatkan model.
- Judul Makalah: Scaling Properties of Text Conditioning in Visual Generation
- Penulis: Zilong Chen, Chaorui Deng, Kunchang Li, Hongyi Yuan, Haoqi Fan Institusi: ByteDance Seed
- Makalah:https://arxiv.org/abs/2607.29679
- Halaman Proyek:https://heheyas.github.io/context-scaling
- Kode:https://github.com/heheyas/context-scaling
- Model:https://huggingface.co/collections/heheyas/context-scaling
- Demo Online:https://heheyas-context-scaling.hf.space/
- Hugging Face Paper:https://huggingface.co/papers/2607.29679
Prompt Menjadi Lebih Panjang,
Mengapa Model Tidak Menjadi Lebih Kuat?
Cara intuitif adalah dengan membuat Caption pelatihan atau Prompt pengguna menjadi lebih panjang dan lebih rinci. Token yang lebih banyak terlihat seharusnya berarti supervisi yang lebih banyak, dan juga seharusnya membantu model menghasilkan gambar yang lebih kompleks.
Eksperimen memberikan jawaban yang berbeda. Pada berbagai sistem teks-ke-gambar open source yang ada, Prompt bahasa alami dengan cepat jenuh seiring bertambahnya panjang, bahkan output akhirnya lebih rendah daripada performa Prompt terpendek masing-masing. Bahkan jika dilatih secara khusus pada set Caption teks panjang yang sama, manfaatnya sangat terbatas.
Untuk melihat fenomena ini lebih jelas, tim merancang eksperimen rekonstruksi gambar dengan jaringan inti (backbone) tetap. Untuk gambar referensi yang sama, tim menghasilkan empat Caption bahasa alami dengan tingkat detail yang meningkat dari anotasi lengkap yang sama, kemudian menggunakan model Qwen-Image dan seed acak yang sama untuk mencoba merekonstruksi gambar tersebut. Caption-caption ini mendeskripsikan entitas dan hubungan yang sama, versi berikutnya terutama meningkatkan panjang dengan melengkapi dan menguraikan ekspresi bahasa alami.
Yang mengejutkan, meskipun Caption menjadi jauh lebih panjang, kualitas rekonstruksi gambar hampir tidak meningkat lagi. Prosa baru lebih banyak menjelaskan, menulis ulang, atau menghubungkan konten yang sudah muncul, dan tidak terus menambahkan variabel visual baru yang dapat digunakan dengan stabil.
Gambar 3 Makalah | Eksperimen rekonstruksi backbone tetap: Rekonstruksi NL Caption cenderung jenuh setelah terus memanjang, pemulihan bertahap field SP terus membaik.
Ini menunjukkan bahwa panjang Caption hanyalah variabel proksi yang lemah. Sebuah teks bisa ditulis sangat panjang, tetapi tetap tidak menjelaskan dengan jelas: atribut mana yang dimiliki oleh objek mana, hubungan apa antara dua objek, posisi masing-masing di mana, serta hierarki depan-belakang mereka dalam gambar.
Bagaimana Mengukur Informasi Gambar Sebenarnya di Dalam Caption?
Jika jumlah token tidak cukup untuk mengukur kekuatan supervisi, perlu mengukur langsung informasi yang terikat dengan gambar di dalam Caption. Untuk itu, tim memodifikasi dua metrik komplementer dari karya yang ada: Grounded Perplexity Gain (GPG) dan Effective Detailness (ED).
GPG: Seberapa banyak gambar membuat Caption menjadi "lebih dapat diprediksi".
GPG adalah metrik white-box yang memerlukan pembacaan probabilitas token model. Untuk Caption yang sama, tim meminta model bahasa-visual yang dibekukan (freeze) untuk melihat dan tidak melihat gambar yang dipasangkan, dan menghitung peningkatan log-likelihood token konten Caption setelah gambar muncul. Jika Caption mengandung banyak informasi yang terikat erat dengan gambar tersebut, melihat gambar seharusnya secara signifikan meningkatkan kemampuan model untuk memprediksi token-token ini.
ED: Seberapa banyak atribut gambar yang dapat diandalkan yang dicakup oleh Caption.
ED adalah metrik semantik black-box yang tidak bergantung pada probabilitas token. Metrik ini mengekstrak atribut dengan konteks entitas secara terpisah dari gambar dan Caption, kemudian menghitung akurasi atribut Caption dan recall atribut gambar. Akhirnya digunakan F0.5 yang lebih menekankan akurasi, memberikan hukuman lebih kuat pada deskripsi dalam Caption yang tidak memiliki dasar gambar.
Dua metrik ini menggambarkan masalah yang sama dari sudut yang berbeda: GPG fokus pada ketergantungan statistik antara gambar dan teks, ED fokus pada apakah Caption secara akurat mencakup konten visual yang dapat diverifikasi.
Gambar 6 Makalah | Definisi dan tren pengukuran GPG dan ED.
Volume Informasi Caption Dapat Memprediksi Kerugian Pelatihan Model Difusi
Selanjutnya, tim menetapkan gambar, arsitektur model, cara inisialisasi, konfigurasi optimasi, dan anggaran pelatihan, hanya mengubah Caption pelatihan. Seluruh eksperimen mencakup 15 konfigurasi Caption: tiga versi bahasa alami dengan panjang berbeda, enam versi Structured Prompt dengan pemulihan field bertahap, serta enam varian ekspresi spasial atau penyembunyian field. Setiap konfigurasi dimulai dari checkpoint BAGEL continued-training yang sama, dan melatih model difusi secara independen.
Hasilnya menunjukkan bahwa jumlah token Caption bahasa alami tidak memiliki hubungan yang seragam dengan hasil pelatihan; tetapi ketika sumbu horizontal diganti menjadi volume informasi Caption, konfigurasi dengan format dan tingkat detail yang berbeda jatuh pada kurva yang sangat teratur:
- Diffusion loss setelah konvergensi memiliki hubungan hampir linier dengan GPG, Pearson r = -0,984;
- Diffusion loss setelah konvergensi memiliki tren hukum pangkat dengan ED, Pearson r dalam ruang log-log = -0,971;
- Peringkat GPG dan ED untuk konfigurasi Caption yang berbeda juga sangat konsisten, Spearman ρ = 0,96.
Tim menyebutnya sebagai scaling properties dari text conditioning. Ini bukan hukum teoretis yang berlaku untuk semua model, melainkan kalibrasi empiris yang diperoleh dengan resep pelatihan dan arsitektur tetap. Tetapi ini membawa dua nilai langsung.
Pertama, ini mengubah volume informasi Caption dari konsep "kualitas data" yang kabur menjadi variabel pelatihan yang dapat dikontrol dan diukur: ketika model, gambar, dan daya komputasi tetap, volume informasi dapat memprediksi kerugian pelatihan akhir yang dicapai model.
Kedua, setelah satu kali kalibrasi, dalam resep pelatihan yang sama, kita dapat terlebih dahulu membandingkan kandidat skema Caption menggunakan GPG atau ED, baru kemudian memutuskan apakah akan menginvestasikan pelatihan model difusi yang mahal. Untuk enam varian Caption yang tidak ikut dalam fitting, kedua metrik masih dapat memprediksi kerugian konvergensinya dengan cukup akurat.
Gambar 7 Makalah | Dalam resep pelatihan tetap, kerugian konvergensi menunjukkan hubungan yang stabil dengan volume informasi Caption.
Structured Prompt:
Membuat Informasi Tidak Hanya Lebih Banyak, Tetapi Juga Lebih Mudah Digunakan Model
Eksperimen sebelumnya mengungkapkan poin kunci: hanya menambah prosa bahasa alami tidak cukup, informasi baru juga perlu diorganisir dengan cara yang stabil dan jelas.
Oleh karena itu, tim mengusulkan Structured Prompt (SP), menggunakan representasi JSON terstruktur untuk variabel visual dalam sebuah gambar. Ini mencakup tiga tingkat:
- Tingkat global: niat gambar, adegan, suasana, gaya, pencahayaan, dan informasi fotografi;
- Tingkat elemen: identitas, atribut, gerakan, posisi, kedalaman opsional, dan informasi fotografi lokal dari setiap subjek;
- Tingkat hubungan: posisi, oklusi, interaksi, dan hubungan semantik antara elemen yang berbeda.
Dibandingkan dengan teks bebas, kunci SP bukan hanya penampilan "JSON", tetapi memasukkan variabel visual yang berbeda ke dalam field bernama yang stabil, mengurangi ambiguitas dalam kepemilikan atribut, hubungan spasial, dan pengikatan objek. Dalam eksperimen rekonstruksi backbone tetap, seiring field SP dipulihkan secara bertahap, kualitas rekonstruksi terus meningkat; dalam sweep pelatihan lengkap, peningkatan cakupan field juga secara bersamaan meningkatkan GPG, ED, dan menurunkan diffusion loss setelah konvergensi.
Gambar 5 Makalah | Structured Prompt mengorganisir variabel visual global, tingkat elemen, dan antar-elemen ke dalam field bernama.
Untuk menghasilkan SP lengkap pada data pelatihan skala besar, tim membangun pipeline anotasi image-to-SP. VLM umum bertanggung jawab atas semantik global dan konten lokal, Sapiens melengkapi bukti pose manusia, DepthAnything V2 menyediakan kedalaman relatif, SAM 2.1 menyediakan mask dan petunjuk oklusi, dan akhirnya VLM menyatukan informasi ini menjadi SP lengkap yang konsisten.
Gambar 8 Makalah | VLM bersama ahli pose, kedalaman, segmentasi membangun Structured Prompt lengkap.
Tim menyebut kemampuan representasi Caption untuk mengekspos dan mengorganisir supervisi gambar kepada model difusi sebagai Diffusability. SP meningkatkan sisi ini: tanpa mengubah arsitektur model difusi, memungkinkan model mempelajari lebih banyak variabel visual yang lebih jelas dari kondisi teks.
Promptability:
Dengan Struktur yang Baik, LLM Juga Perlu Mengisinya dengan Baik
Saat pelatihan, SP lengkap dapat diekstraksi dari gambar yang dipasangkan, tetapi saat generasi aktual, hanya ada permintaan satu kalimat dari pengguna, tidak ada gambar referensi atau anotasi oracle. Sistem juga memerlukan LLM prompter untuk memperluas permintaan pengguna menjadi SP yang detail, koheren, dan tidak melanggar kendala asli.
Tim menyebut kemampuan untuk menginstansiasi kondisi terstruktur dari permintaan pengguna sebagai Promptability. Kualitas generasi end-to-end bergantung pada interaksi kedua sisi ini:
Kualitas Generasi = Diffusability × Promptability
Tanda perkalian di sini adalah perspektif organisasi, bukan formula perkalian matematis yang diperoleh dari fitting: Diffusability menggambarkan apa yang dapat dipelajari model difusi dari representasi Caption, Promptability menggambarkan apakah LLM benar-benar dapat mengisi instans Caption berkualitas tinggi saat inferensi.
Gambar 4 Makalah | Structured Prompt menghubungkan anotasi, pengukuran, pelatihan diffuser, pelatihan prompter, dan generasi akhir.
Pertama, tim menetapkan skema SP dan diffuser Qwen-Image, hanya mengganti LLM prompter zero-shot. Seiring Qwen3.5 diskalakan dari 0.8B hingga 397B, GenEval++ dalam mode thinking meningkat dari 46.4% menjadi 86.8%. Kecuali model terkecil cenderung mengulang dalam proses berpikir dan tidak dapat mengeluarkan JSON yang valid, chain-of-thought membawa peningkatan lebih lanjut pada skala lainnya. Ini menunjukkan bahwa kemampuan model dan penalaran LLM umum dapat langsung diubah menjadi hasil generasi gambar yang lebih baik melalui antarmuka Caption.
Tapi LLM zero-shot masih cenderung menghasilkan SP dengan informasi yang tidak memadai dan komposisi yang sederhana. Untuk meningkatkan Promptability lebih lanjut, tim mengadopsi pelatihan tiga tahap:
SFT belajar distribusi konten SP yang diharapkan model difusi, bukan hanya format JSON;
Cold-start mendistilasi "cara menurunkan SP hanya berdasarkan permintaan pengguna" dari privileged reasoning traces yang memiliki gambar berpasangan;
RFT terus mengoptimalkan pada rollout yang dihasilkan dan dirender oleh prompter sendiri, diseleksi oleh verifier untuk mendapatkan trajectory dengan kepercayaan tinggi, lalu memberikan supervisi token padat melalui on-policy self-distillation dari teacher yang dikondisikan gambar.
Eksperimen ablasi menunjukkan bahwa ketiga tahap memainkan peran berbeda: SFT membawa peningkatan struktur satu tahap terbesar, cold-start memperkuat penurunan dari permintaan pengguna ke SP, sementara verifier-gated OPSD mencapai hasil terkuat pada distribusi prompter itu sendiri.
Gambar 9 Makalah | Setelah skema dan diffuser ditetapkan, kualitas generasi meningkat dengan skala LLM prompter dan mode reasoning.
Gambar 10 Makalah | Pelatihan prompter tiga tahap: SFT, cold-start, dan verifier-gated RFT.
Representasi Terstruktur,
Juga Membuat Proses Generasi Lebih Mudah Diperbaiki Secara Iteratif
Representasi SP yang berupa field juga memiliki keunggulan alami: ketika gambar yang dihasilkan mengalami kesalahan, sistem dapat menemukan dan memodifikasi field objek, atribut, hubungan, atau tata letak yang sesuai, daripada menulis ulang seluruh Prompt bahasa alami.
Berdasarkan ini, tim membangun loop refine-render-judge. Di setiap putaran, prompter menghasilkan atau merevisi SP berdasarkan permintaan pengguna dan umpan balik sejarah, diffuser tetap merender gambar, dan judge online memberikan PASS/FAIL serta masalah spesifik terkait kepatuhan Prompt, struktur, dan kualitas visual. Jika gagal, putaran berikutnya hanya perlu menyesuaikan field yang relevan.
Eksperimen menunjukkan bahwa menambah anggaran iterasi dapat terus meningkatkan performa struktur, keselarasan, dan GSB; tetapi panjang penalaran efektif tidak terlalu panjang. Untuk prompter yang sudah dilatih, meskipun diperbolehkan maksimal 8 putaran, rata-rata hanya menggunakan 2.31 putaran; dari Tmax = 4 meningkat menjadi 8, manfaatnya sudah sangat kecil. Ini menunjukkan bahwa teks-ke-gambar memang mendapat manfaat dari koreksi kesalahan iteratif, tetapi dalam pengaturan saat ini tidak memerlukan trajectory reasoning prompt-side yang panjang: setelah kesalahan spesifikasi utama diperbaiki, putaran tambahan akan cepat jenuh.
Gambar 14 Makalah | Siklus penalaran agentic refine-render-judge.
Gambar 15 Makalah | Loop mampu memperbaiki masalah pemisahan objek, hubungan, dan tata letak keseluruhan.
Qwen-Image yang Sama,
Seberapa Besar Peningkatan yang Dibawa oleh Antarmuka Terstruktur?
Sistem akhir terdiri dari diffuser yang dilatih dengan SP dan LLM prompter yang telah dilatih. Sistem ini memimpin di hampir semua metrik yang dilaporkan dibandingkan dengan model berbobot open source yang dibandingkan, dan dalam kebanyakan evaluasi mencapai atau melampaui sistem closed-source yang dibandingkan, dengan keunggulan terutama terlihat pada tugas komposisi, penalaran, dan pengetahuan dunia.
Yang lebih kunci adalah matched control. Untuk menyingkirkan penjelasan "hanya lebih banyak pelatihan", tim menggunakan arsitektur Qwen-Image yang sama persis, gambar pelatihan, tahap pelatihan, dan anggaran, untuk melatih tambahan satu set sistem yang selalu menggunakan Caption bahasa alami bebas. Hasilnya sebagai berikut:
Tabel 2 Makalah | Perbandingan lengkap dengan sistem teks-ke-gambar representatif. Screenshot mempertahankan definisi evaluasi, penebalan, dan catatan kaki dalam makalah.
Pelatihan tambahan Matched NL memang membawa beberapa peningkatan, tetapi jauh dari cukup untuk mereproduksi hasil sistem SP. Ini menunjukkan bahwa manfaat tidak dapat dengan mudah dikaitkan dengan backbone yang lebih besar atau pelatihan yang lebih banyak, tetapi erat kaitannya dengan antarmuka Caption terstruktur yang digunakan antara prompter dan diffuser.
Gambar 11 Makalah | Perbandingan kualitatif hubungan spasial kompleks, jumlah, dan pengikatan atribut.
Langkah Selanjutnya Bukan Hanya Men-scale Model,
Tetapi Juga Men-scale Kondisi Itu Sendiri
Titik awal pekerjaan ini sederhana: bagi model teks-ke-gambar, Caption bukan metadata yang tidak penting, tetapi antarmuka utama di mana konten gambar memasuki pembelajaran kondisi teks.
Ketika Caption hanya menjadi lebih panjang, token baru mungkin hanya menulis ulang dan menguraikan; ketika informasi gambar diekstraksi secara akurat, terikat dengan jelas, dan diorganisir dengan stabil, model generasi yang sama baru dapat belajar lebih banyak darinya. GPG dan ED membuat informasi ini menjadi variabel yang dapat diukur, Structured Prompt meningkatkan Diffusability, sedangkan penskalaan LLM, post-training, dan pemurnian agentic jarak pendek meningkatkan Promptability.
Oleh karena itu, penskalaan berikutnya dalam teks-ke-gambar tidak hanya harus fokus pada "seberapa besar model yang bertanggung jawab atas rendering", tetapi juga harus memperhatikan:
Kondisi teks yang diteruskan ke model, sebenarnya membawa berapa banyak informasi gambar yang benar-benar dapat dipelajari dan digunakan?
Artikel ini dari akun WeChat "Machine Heart"
