Kim Lôi phát từ Thượng Hải QbitAI | Tài khoản công chúng QbitAI
Vừa qua,lĩnh vực sinh ảnh đã chào đón một mô hình nội địa mới—
Không chỉ xuất 8K gốc, mà còn là loại tự vẽ phác thảo, tự thiết kế, tự kiểm tra bài tập!
Nhìn này, bức ảnh 8K siêu dài dưới đây, chính là nó tạo ra:
△Kích thước ảnh bị giới hạn, ảnh gốc 51M, phóng to chữ vẫn rõ nét
Chủ đề của cuộn trường ảnh này là “WAIC 9 năm 2018—2026”; từ trái qua phải, thời gian trải dần, và bao hàm những điểm nhấn của từng kỳ hội.
Có lẽ bạn sẽ thắc mắc, ảnh lớn thế này, chi tiết có ổn không?
Câu hỏi hay, chúng ta hãy “cầm kính lúp” để xem kỹ hơn:
Từng chữ rõ ràng, từng chữ rõ ràng.
Đây chính là mô hình mới nhất vừa được SenseTime ra mắt tại WAIC 2026—Nhật Nhật Tân SenseNova U1 Pro.
Nói đơn giản, U1 Pro là một hệ thống giao hàng hướng tới nhiệm vụ đa phương thức phức tạp, nó cần hoàn thành hiểu, lập kế hoạch, tổ chức thông tin, sinh đa phương thức, kiểm tra sửa chữa và giao hàng cuối cùng xoay quanh mục tiêu, hạt nhân là sự thống nhất gốc của hiểu, sinh và hành động.
Sau khi xem toàn bộ buổi ra mắt, chúng ta có thể tóm tắt điểm sáng của U1 Pro thành ba điểm sau:
Xuất 8K gốc: Điểm mấu chốt không chỉ là pixel cao hơn, mà còn duy trì văn bản, bố cục và chi tiết trong khung hình siêu lớn;
Tư duy đan xen ảnh văn: Mô hình có thể liên tục hoàn thành phác thảo, tinh chỉnh, tô màu, kiểm tra và điều chỉnh xoay quanh mục tiêu;
Hướng tới giao hàng thành phẩm: Các kịch bản SenseTime nhắm tới bao gồm infographic, quy hoạch đô thị, kịch bản phân cảnh phim, poster học thuật và thiết kế thương mại, hy vọng mô hình ít lặp lại rút thăm may rủi hơn, nhiều kết quả thực sự có thể đem dùng hơn.
Nếu như các mô hình sinh ảnh trước đây so ai vẽ giống hơn, ai xuất ảnh nhanh hơn, thì U1 Pro có vẻ đẩy vấn đề thêm một bước nữa:
Một bức ảnh có thể ít phụ thuộc vào con người dọn dẹp tàn cuộc, tự mình làm xong cả cỗ máy sống này không?
Để kiểm tra hiệu quả thực tế của U1 Pro, chúng tôi lại đưa cho nó bốn câu hỏi.
Sinh ảnh 8K “Hai Mươi Bốn Tiết Khí”
Kiểm tra thực tế đầu tiên, tiếp tục thử thách khung ảnh siêu dài của U1 Pro.
Chúng tôi yêu cầu nó xoay quanh Hai Mươi Bốn Tiết Khí, sinh một bức ảnh dài 8K trải ngang.
Nhiệm vụ này thực chất vẫn kiểm tra khả năng bắt chi tiết của AI, ví dụ 24 tên tiết khí và thứ tự không được sai; mỗi tiết khí phải tương ứng với vật hậu và màu sắc mùa phù hợp; 24 đơn vị dọc cần phân biệt lẫn nhau, đồng thời duy trì phong cách thị giác hoàn chỉnh; màu sắc từ xuân tới đông cũng cần chuyển tiếp tự nhiên.
Xem ảnh U1 Pro sinh ra:
Từ tổng thể, mô hình thực sự đặt 24 nút vào cùng một bố cục ngang.
Nó không xử lý kết quả thành 24 hình nền kích thước giống nhau, không liên quan nhau. Chiều cao núi nước, vị trí thực vật và khoảng trống mỗi ô đều thay đổi, vì vậy hình ảnh có được nhịp điệu như kết hợp bình phong và cuộn trường.
Vậy nên U1 Pro đã là một ứng viên ổn định có thể xuất ảnh siêu dài 8K.
Kiểm tra thực tế thứ hai, chúng tôi yêu cầu nó thiết kế một poster thị giác phòng thí nghiệm cao cấp, chủ thể gọi là “Máy móc quan sát và hiểu con người như thế nào”.
Prompt yêu cầu trung tâm hình ảnh xuất hiện một nhân vật quay lưng về phía ống kính, hơi nghiêng người, phần đầu và thân trên chồng khung phát hiện, trục tọa độ, hình tròn hình học, quỹ đạo chuyển động, theo dõi ánh mắt, lưới không gian và nút dữ liệu.
Xem chi tiết:
Điều khá bất ngờ là, các mô hình sinh ảnh thông thường chỉ cần nhắc tới từ khóa “công nghệ”, “robot”, đa số có lẽ sẽ chọn tông màu xanh công nghệ.
Nhưng U1 Pro trực tiếp tránh điểm này, đường nét vàng đậm, nền đen và cảm giác hạt giấy tạo thành cấp bậc thị giác tương đối hoàn chỉnh. Trọng tâm rõ ràng, lượng thông tin cao, nhưng hình ảnh không hoàn toàn mất kiểm soát.
Câu hỏi thứ ba, là một bức sơn hà đồ kiến trúc cổ phong chất liệu lưu ly.
Yêu cầu đồng thời xuất hiện núi xanh ngọc, sông xanh, thác nước, bảo tháp, sơn môn, đình đài, hành lang cầu, cung điện, rừng hoa đào, cây tùng, mây lành, và một kiến trúc tương lai mang ngôn ngữ cấu trúc phương Đông.
Về chất liệu, sơn thể phải như lưu ly, ngọc thạch và pháp lam cùng nung, bề mặt có ánh sáng chảy, tầng men và viền vàng; mặt nước phải có cảm giác thông suốt và phản chiếu; kiến trúc thì không được biến thành mô hình 3D rẻ tiền.
Kết quả U1 Pro sinh ra như sau:
Từ bức ảnh sinh cuối cùng, mô hình có thể tổ chức sơn thể lưu ly, hệ thống nước, kiến trúc cổ và kiến trúc tương lai thành một thế giới tương đối hoàn chỉnh, đã thể hiện khả năng thực thi yêu cầu phong cách phức tạp của nó.
Ba câu hỏi đầu đều là đại cảnh, ảnh siêu dài và bố cục phức tạp, vì vậy nhiệm vụ cuối cùng, chúng tôi thử một poster phim mang tính thương mại, có thể giao hàng trực tiếp.
Prompt như sau:
Thiết kế một poster phim gốc, tổng thể là poster thành phẩm có độ hoàn thiện cao, có thể sử dụng trực tiếp để quảng bá ra rạp, khí chất giữa thi ý phương Đông, sử thi hồi hộp và phim nghệ thuật hiện đại, có sức tác động thị giác mạnh mẽ và thẩm mỹ cao cấp.
Trong kết quả cuối cùng, vẫn từng chữ rõ ràng, và hiệu ứng tổng thể chính là cảm giác có thể sử dụng thương mại trực tiếp!
Sau bốn câu hỏi, điểm mạnh của U1 Pro không chỉ ở 8K.
Nó càng giỏi tổ chức hình ảnh xoay quanh một mục tiêu hoàn chỉnh, đặt thông tin, bố cục, nhân vật, chất liệu và phong cách vào cùng một nhiệm vụ.
Ngoài ra, như biểu đồ cấu trúc, ảnh thương mại được v.v., U1 Pro đều có thể đảm đương:
Từ một lần sinh ảnh, đến tự kiểm tra
Điểm chung của mấy bức ảnh trong thực tế, đã không chỉ ở chất lượng hình ảnh.
Cho dù là ảnh dài Hai Mươi Bốn Tiết Khí, hay poster phức tạp và sơn hà lưu ly, U1 Pro đều cần đồng thời ghi nhớ nhiều yêu cầu, và liên tục xử lý thông tin, bố cục, phong cách và chi tiết trong cùng một hình ảnh.
Điều này cũng tương ứng với một vấn đề rất thực tế trong công cụ sinh ảnh hiện nay.
Hiện nay nhiều mô hình đã có thể sửa đổi lặp lại qua ngôn ngữ tự nhiên, nhưng nhiệm vụ chỉ cần hơi phức tạp một chút, kết quả vẫn dễ mất kiểm soát. Sửa đúng một bộ phận, các khu vực khác thay đổi theo; hình ảnh trông rất chuyên nghiệp, nhưng văn bản và cấu trúc không chịu nổi kiểm tra; sửa vài vòng, kết cấu, nhân vật và nền cũng có thể dần chạy lệch.
CEO SenseTime Từ Lập tại hiện trường đã khái quát vấn đề này thành:
Có thể tương tác, không bằng có thể giao hàng.
U1 Pro chọn hướng đi, là kéo dài một lần sinh ảnh thành một quy trình sáng tạo liên tục.
“Suy nghĩ” nói ở đây, không phải là hiển thị cho người dùng một chuỗi dài lý luận văn bản, mà gần hơn với sáng tạo liên tục đan xen hình ảnh và văn bản.
Trong quá trình trao đổi giữa đồng sáng lập SenseTime, nhà khoa học trưởng Lâm Đạt Hoa với QbitAI, ông cho biết:
SenseTime ở giai đoạn U1 đã quan sát thấy mầm mống sáng tạo liên tục. Mô hình có thể vẽ phác thảo trước, sau đó bổ sung chi tiết, tô màu, dần dần sinh hình ảnh hoàn chỉnh. Nhóm cũng từ đó thấy, mô hình thị giác có cơ hội tiếp cận cách làm việc của nhà thiết kế, đẩy khả năng sinh ảnh đến khâu sản xuất thực tế của thiết kế nội dung.
Từ đó, tiến vào U1 Pro, quy trình này mở rộng thành một vòng khép kín:
Hiểu mục tiêu, lập kế hoạch nhiệm vụ, tổ chức thông tin, sinh nội dung, kiểm tra vấn đề, liên tục sửa chữa, cuối cùng hoàn thành giao hàng.
Lấy ví dụ cuộn trường 9 năm WAIC chúng tôi hiển thị lúc đầu, mô hình trước hết cần tiêu hóa tài liệu 9 năm, sau đó quyết định sự kiện phân bố như thế nào, các năm nối tiếp ra sao, núi nước và thành phố tổ chức thế nào, thông tin văn bản đặt ở đâu, cuối cùng còn phải duy trì phong cách thị giác phương Đông thống nhất.
8K gốc, khó khăn xa hơn vài pixel
Mặc dù xuất 8K gốc, là một nhãn hiệu rất nổi bật của U1 Pro lần này, nhưng độ khó tăng lên sau khi độ phân giải tăng mạnh, cũng tăng cùng lúc.
Bởi vì độ phân giải càng cao, số lượng Token thị giác cũng tăng, lượng tính toán Attention và chiếm dụng bộ nhớ hiển thị cũng tăng theo.
Đối với điều này, một giải pháp then chốt SenseTime sử dụng là sử dụng Patch lớn 32×32.
Như Lâm Đạt Hoa nói, mô hình sinh ảnh thông thường có thể sử dụng Patch 16×16, nếu một Patch tương ứng một hoặc một nhóm Token, sau khi cạnh mở rộng gấp đôi, tổng số Token thị giác có thể giảm xuống còn một phần tư ban đầu.
Điều này tương đương chia một bức ảnh thành các ô lớn hơn, ô ít đi, áp lực tính toán sẽ giảm; nhưng đồng thời, ô lớn cũng dễ mất chi tiết hơn.
Để giải quyết vấn đề này, nhóm lại thêm vào Noise Control tự thích ứng, sử dụng chiến lược huấn luyện có tính mục tiêu hơn cho vùng chi tiết; giữ lại một chồng lấp nhất định giữa các Patch, đồng thời tối ưu hóa lấy mẫu không gian, thiết kế Loss và cấu trúc mô hình.
Các phương thức này cùng kiểm soát quy mô ngữ cảnh, tránh 8K mang lại tăng trưởng bùng nổ, đồng thời cố gắng giữ lại chữ nhỏ, kết cấu và cấu trúc.
Tóm lại, U1 Pro mở rộng ô, trước tiên giảm tổng lượng, sau đó qua chồng lấp và huấn luyện tinh tế hơn, tìm lại chi tiết bên trong ô lớn.
Sinh ảnh, cũng đang sao chép đường lối AI Coding
Từ góc độ ngành, điểm đáng quan tâm hơn của U1 Pro, là nó tương ứng với một lần thay đổi mô hình sản phẩm.
Để hiểu thay đổi này, chúng ta thực chất có thể nhìn AI Coding.
AI Coding ban đầu là Copilot, giúp nhà phát triển chuyên nghiệp bổ sung code; tiếp theo là Vibe Coding, người dùng biểu đạt nhu cầu bằng ngôn ngữ tự nhiên; sau nữa, Coding Agent bắt đầu phân giải nhiệm vụ, viết code, gọi công cụ, kiểm tra và sửa chữa, đảm nhận công trình hoàn chỉnh.
Giá trị mô hình cũng chuyển từ “viết bao nhiêu dòng code”, sang “có thể đưa dự án ra không”.
Mà nội dung đa phương thức, cũng đang xuất hiện thay đổi tương tự:
Giai đoạn một là sinh điểm đơn.
Giai đoạn hai là dẫn dắt ý đồ, người dùng có thể liên tục sửa đổi.
Giai đoạn ba hướng tới giao hàng nội dung cấp độ hệ thống.
Mô hình không chỉ sinh một bức ảnh, còn phải hiểu mục tiêu, tổ chức thông tin, duy trì tính nhất quán dài hạn, kiểm tra lỗi, và giao kết quả có thể sử dụng.
Điều mà Coding mang lại cho SenseTime, là một khi một công nghệ đột phá đường đỏ công nghiệp, thực sự mang lại thay đổi sản xuất lực, thì có cơ hội mở ra không gian thương mại lớn hơn.
SenseTime từ đó phán đoán, tư duy đan xen ảnh văn và thống nhất hiểu sinh, cũng có thể mở ra con đường thiết kế thị giác đặc sắc này.
Đương nhiên, U1 Pro hiện tại không thể nói là hoàn hảo.
Bởi vì sinh bất đồng bộ nghĩa là người dùng dùng thời gian chờ đổi lấy độ hoàn thiện cao hơn; khả năng chỉnh sửa, chi phí và ổn định vẫn cần xác minh bằng dự án thực tế; kịch bản thiết kế chuyên nghiệp cũng không chỉ dựa vào một bức ảnh cuối cùng, lớp, phần tử vector, quản lý phiên bản và hợp tác nhóm cũng quan trọng.
Nhưng có thể xác định là, phương hướng đã trở nên rõ ràng—
Khi sinh ảnh từ bỏ rút thăm may rủi lặp lại, bắt đầu chịu trách nhiệm cho kết quả, thì cuộc cạnh tranh của Agent đa phương thức, mới thực sự bắt đầu.
Bài viết này từ tài khoản công chúng “QbitAI” (ID:QbitAI), tác giả: Quan tâm khoa học kỹ thuật tiền duyên
