​机器学习模型的内核级证明机制

Odaily星球日报Dipublikasikan tanggal 2025-06-11Terakhir diperbarui pada 2025-06-11

Abstrak

zkCuda将持续向高效、高扩展性、高适配性的通用证明框架迈进。

原文作者:Zhiyong Fang

"如何吃掉一头大象?一口一口地吃。"

近年来,机器学习模型以惊人的速度实现跨越式发展。随着模型能力的提升,其复杂性亦同步激增——当今先进模型往往包含数百万乃至数十亿参数。为应对此等规模挑战,多种零知识证明系统应运而生,这些系统始终致力于在证明时间、验证时间与证明大小三者间实现动态平衡。

表 1 :模型参数规模的指数级增长

​机器学习模型的内核级证明机制

尽管当前零知识证明领域的大部分工作集中在优化证明系统本身,但一个关键维度却常常被忽视——如何将大规模模型合理拆分为更小、更易于处理的子模块以进行证明。你可能会问,这一点为什么如此重要?

下面我们来详细解释:

现代机器学习模型的参数数量往往以十亿计,即便在不涉及任何密码学处理的情况下,也已占用极高的内存资源。而在零知识证明(Zero-Knowledge Proof, ZKP)的场景下,这一挑战被进一步放大。

每一个浮点数参数都必须被转换为代数域(Arithmetic Field)中的元素,这一转换过程本身会导致内存占用增加约 5 至 10 倍。此外,为了在代数域中精确模拟浮点运算,还需额外引入操作开销,通常也在 5 倍左右。

综合来看,模型整体内存需求可能提升至原始规模的 25 至 50 倍。例如,一个拥有 10 亿个 32 位浮点参数的模型,仅存储转换后的参数就可能需要 100 至 200 GB 内存。再考虑中间计算值与证明系统本身的开销,整体内存占用轻易突破 TB 级别。

当前主流的证明系统,如 Groth 16 和 Plonk,在未经优化的实现中,通常假设所有相关数据可同时加载至内存中。这种假设虽然在技术上可行,但在实际硬件条件下极具挑战性,极大限制了可用的证明计算资源。

Polyhedra 的解决方案:zkCuda

什么是 zkCuda?

如我们在《zkCUDA 技术文档》中所述:
Polyhedra 推出的 zkCUDA 是一个面向高性能电路开发的零知识计算环境,专为提升证明生成效率而设计。在不牺牲电路表达能力的前提下,zkCUDA 可充分利用底层证明器和硬件并行能力,实现快速的 ZK 证明生成。

zkCUDA 语言在语法和语义上与 CUDA 高度相似,对已有 CUDA 经验的开发者十分友好,且其底层以 Rust 实现,确保安全性与性能兼备。

借助 zkCUDA,开发者可以:

  • 快速构建高性能 ZK 电路;

  • 高效调度并利用分布式硬件资源,如 GPU 或支持 MPI 的集群环境,实现大规模并行计算。

为什么选择 zkCUDA?

zkCuda 是一套受 GPU 计算启发设计的高性能零知识计算框架,能够将超大规模的机器学习模型拆分为更小、更易管理的计算单元(kernels),并通过类似 CUDA 的前端语言实现高效控制。这一设计带来了以下关键优势:

1. 精准匹配的证明系统选择

zkCUDA 支持对每个计算 kernel 进行细粒度分析,并为其匹配最适合的零知识证明系统。例如:

  • 对于高度并行的计算任务,可选用如 GKR 等擅长处理结构化并行度的协议;

  • 对于规模较小或结构不规则的任务,则更适合使用如 Groth 16 这类在紧凑计算场景下具有低开销的证明系统。

通过定制化选择后端,zkCUDA 能最大化发挥各类 ZK 协议的性能优势。

2. 更智能的资源调度与并行优化

不同的证明 kernel 对 CPU、内存和 I/O 的资源需求差异显著。zkCUDA 可准确评估每个任务的资源消耗,并智能排程,最大化整体吞吐能力。

更重要的是,zkCUDA 支持在异构计算平台之间进行任务分发——包括 CPU、GPU 和 FPGA——从而实现硬件资源的最优利用,显著提升系统级性能。

zkCuda 与 GKR 协议的天然契合

尽管 zkCuda 被设计为一个兼容多种零知识证明系统的通用计算框架,但它与 GKR(Goldwasser-Kalai-Rothblum)协议在架构上具有天然的高度契合性。

​机器学习模型的内核级证明机制

在架构设计上,zkCUDA 通过引入多项式承诺机制,将各个子计算内核连接起来,确保所有子计算基于一致的共享数据运行。这一机制对于保持系统完备性至关重要,但也带来了显著的计算成本。

相比之下,GKR 协议提供了一种更高效的替代路径。与传统零知识系统要求每个内核完整证明其内部约束的方式不同,GKR 允许将计算正确性的验证从内核输出递归回溯至输入。这一机制使得跨内核的正确性得以传递,而非在每个模块中完全展开验证。其核心思想类似于机器学习中的梯度反向传播,通过计算图追踪和传导正确性主张。

虽然在多路径中合并这类“证明梯度”带来了一定复杂性,但正是这一机制,构成了 zkCUDA 与 GKR 之间的深度协同基础。通过对齐机器学习训练流程中的结构特性,zkCUDA 有望实现更紧密的系统集成和大模型场景下更高效的零知识证明生成。

初步成果与未来方向

我们已完成 zkCuda 框架的初始开发,并在多个场景中成功进行了测试,包括 Keccak 和 SHA-256 等密码学哈希函数,以及小规模的机器学习模型。

展望未来,我们希望进一步引入现代机器学习训练中的一系列成熟工程技术,如内存优化调度(memory-efficient scheduling)与计算图级优化(graph-level optimization)。我们相信,将这些策略融合进零知识证明生成流程,将极大提升系统的性能边界与适配灵活性。

这只是一个起点,zkCuda 将持续向高效、高扩展性、高适配性的通用证明框架迈进。

原文链接

Bacaan Terkait

Ethereum Turun 45% Sejak Awal Tahun – Lalu Mengapa SharpLink dan Paus Masih Membeli?

Meskipun harga Ethereum (ETH) turun 20-45% sejak awal tahun, minat institusional terhadap aset kriptu terkemuka ini tetap kuat. SharpLink, setelah jeda delapan bulan, kembali membeli 5.000 ETH senilai sekitar $7,88 juta, diikuti penambahan 26.324 LSETH senilai $45,54 juta. Total kepemilikannya kini mencapai 876.285 ETH, menunjukkan keyakinan pada utilitas jangka panjang dan pendapatan staking Ethereum, meski menghadapi kerugian belum terealisasi hampir $1,71 miliar. Tren akumulasi ini juga tercermin pada aktivitas "paus" (whale), dengan satu dompet baru mengakumulasi 18.361 ETH senilai $28,9 juta dalam sembilan hari terakhir, menandakan persiapan untuk pergerakan harga di masa depan. Namun, kepercayaan yang kembali bangun ini belum sepenuhnya tercermin dalam permintaan institusional yang lebih luas. ETF Spot Ethereum justru mencatat arus keluar bersih, dengan penarikan $12,85 juta pada 26 Juni. Meski demikian, total aset yang dipegang penerbit ETF masih signifikan, senilai lebih dari $8,38 miliar, yang mengindikasikan penyesuaian posisi berkelanjutan daripada pelepasan total. Pada intinya, akumulasi oleh treasury perusahaan dan paus mendukung prospek jangka panjang Ethereum, tetapi pemulihan berkelanjutan masih bergantung pada membaiknya sentimen pasar dan arus masuk ETF yang lebih kuat untuk mengimbangi tekanan penjualan institusional yang masih ada.

ambcrypto1j yang lalu

Ethereum Turun 45% Sejak Awal Tahun – Lalu Mengapa SharpLink dan Paus Masih Membeli?

ambcrypto1j yang lalu

Baru Saja, DeepSeek V4 Perbarui DSpark, Kecepatan Inference Meningkat 80%

Baru-baru ini, DeepSeek V4 diperbarui dengan framework *Speculative Decoding* baru bernama **DSpark**, yang diklaim meningkatkan kecepatan inferensi hingga 80%. Pembaruan ini, yang juga disertai open-sourcing framework **DeepSpec**, berfokus pada optimasi teknikal dan peningkatan performa, bukan perubahan arsitektur model inti. DSpark mengimplementasikan **Semi-Autoregressive Generation** untuk menjaga throughput tinggi dan meningkatkan akurasi token yang dihasilkan oleh model draf (*draft model*). Inovasi utamanya adalah **Confidence-Scheduled Verification**, yaitu sistem penjadwalan yang cerdas dan adaptif. Sistem ini menggunakan *Confidence Head* untuk memperkirakan probabilitas penerimaan setiap token kandidat dan secara dinamis menyesuaikan panjang verifikasi berdasarkan beban kerja sistem (*hardware-aware*), sehingga mengalokasikan daya komputasi hanya ke token yang paling potensial. Dalam pengujian di berbagai domain (penalaran matematika, generasi kode, percakapan), DSpark menunjukkan peningkatan signifikan dibandingkan model *state-of-the-art* seperti Eagle3 dan DFlash. Pada kondisi *throughput* yang setara, DSpark meningkatkan kecepatan respons pengguna sebesar 57%-85% untuk model DeepSeek-V4 Flash dan Pro. DeepSpec, yang dirilis bersamaan, adalah *codebase* lengkap untuk melatih dan mengevaluasi model draf *speculative decoding*. Framework ini menyediakan pipeline standar (persiapan data, pelatihan, evaluasi) dan mendukung beberapa algoritma (DSpark, DFlash, Eagle3) serta model target (Qwen3, Gemma), memudahkan peneliti dan insinyur untuk mengembangkan dan menerapkan teknik percepatan inferensi pada model bahasa besar mereka sendiri.

marsbit2j yang lalu

Baru Saja, DeepSeek V4 Perbarui DSpark, Kecepatan Inference Meningkat 80%

marsbit2j yang lalu

Ternyata Beginilah Cara Karpathy Menggunakan Claude?

Sejak bergabung dengan Anthropic, aktivitas Andrej Karpathy di komunitas terbuka berkurang drastis. Baru-baru ini, sebuah dokumen bernama CLAUDE.md yang diklaim sebagai panduan penggunaan Claude milik Karpathy beredar di komunitas. Isinya berisi sejumlah prinsip ketat untuk memandu AI dalam menulis kode, yang bertujuan mengurangi kesalahan umum model bahasa besar (LLM). Prinsip-prinsip utama mencakup: 1) **Baca dahulu sebelum menulis** – pahami struktur dan gaya kode proyek yang ada. 2) **Berpikir sebelum menulis kode** – klarifikasi asumsi, pertimbangkan trade-off, dan uraikan rencana. 3) **Tetap sederhana** – hindari desain berlebihan, abstraksi prematur, dan fleksibilitas yang tidak diperlukan. 4) **Modifikasi terarah** – lakukan perubahan minimal yang sesuai dengan gaya kode asli, jangan melakukan reformatting atau pembersihan yang tidak relevan. 5) **Verifikasi dan uji** – pastikan kode berfungsi seperti yang diharapkan dengan pengujian yang tepat. 6) **Debug secara sistematis** – jangan menebak, selidiki akar masalahnya. 7) **Hati-hati dengan dependensi** – hindari menambah dependensi yang tidak perlu. 8) **Komunikasi yang jelas** – jelaskan apa yang dilakukan dan alasannya. Dokumen ini juga menyoroti pola kegagalan umum seperti abstraksi yang salah, "optimistic path", dan "halusinasi pengetahuan". Meskipun keaslian dokumen ini diragukan, isinya sangat selaras dengan pemikiran Karpathy yang telah banyak mengkritik kelemahan LLM dalam pemrograman. Prinsip-prinsip ini, yang juga telah dijadikan template populer di GitHub, dianggap dapat meningkatkan efektivitas dan mengurangi kesalahan saat menggunakan asisten AI seperti Claude untuk pengembangan perangkat lunak.

marsbit3j yang lalu

Ternyata Beginilah Cara Karpathy Menggunakan Claude?

marsbit3j yang lalu

Riset BIT: Halving 2028 Bukanlah Akhir, Perombakan Sejati Industri Pertambangan Bitcoin Baru Dimulai

Industri penambangan Bitcoin sedang mengalami penyesuaian struktural paling kompleks sejak kelahiran protokolnya. Meski harga Bitcoin bertahan di sekitar $61.000 dan hash rate global mendekati 1 ZH/s (hampir rekor tertinggi), profitabilitas penambang terus memburuk. Beberapa indikator—seperti biaya produksi, pendapatan dari biaya transaksi, ekspansi hash rate, dan anggaran keamanan industri—menunjukkan bahwa sektor ini beroperasi di ambang titik impas. Pengurangan hadiah blok (halving) 2028 diprediksi akan mempercepat proses konsolidasi ini. Masalah utamanya bukan hanya berasal dari penurunan subsidi blok pasca-halving, tetapi juga transisi yang belum tuntas ke model pendapatan berbasis biaya transaksi. Banyak perusahaan penambangan kini beralih dari sekadar memproduksi Bitcoin menjadi operator infrastruktur, operator energi, dan penyedia infrastruktur komputasi untuk AI/HPC. Dengan demikian, fokus kompetisi bergeser dari ekspansi hash rate menuju peningkatan model bisnis. Data menunjukkan bahwa dengan harga Bitcoin sekitar $61.000, pendapatan teoritis harian penambang seharusnya sekitar $78 juta, namun kenyataannya hanya sekitar $33 juta—terjadi selisih sekitar 136%. Pendapatan dari biaya transaksi juga rendah, hanya sekitar $220.000 per hari, jauh di bawah perkiraan historis sebesar $9,7 juta. Biaya listrik sendiri menyerap 71,5% dari total pendapatan industri pada tahun 2025. Setelah halving 2028, biaya produksi dasar Bitcoin diproyeksikan naik menjadi sekitar $93.289, yang akan mendorong konsolidasi industri ke perusahaan-perusahaan besar dengan modal kuat dan pendapatan yang terdiversifikasi. Masa depan industri ini terletak pada transformasi dari bisnis "penambangan" murni menjadi bisnis "infrastruktur", yang mengandalkan sumber pendapatan lain seperti manajemen energi dan layanan hosting komputasi AI/HPC. Bagi investor, pertanyaan kuncinya adalah perusahaan mana yang dapat berhasil bertransformasi dan membangun keunggulan kompetitif yang lebih tangguh dalam lanskap baru ini.

marsbit3j yang lalu

Riset BIT: Halving 2028 Bukanlah Akhir, Perombakan Sejati Industri Pertambangan Bitcoin Baru Dimulai

marsbit3j yang lalu

Trading

Spot
活动图片