# Artikel Terkait Transformer

Pusat Berita HTX menyediakan artikel terbaru dan analisis mendalam mengenai "Transformer", mencakup tren pasar, pembaruan proyek, perkembangan teknologi, dan kebijakan regulasi di industri kripto.

10.000 Jam Data Manusia, Melatih Model Gerakan Implisit Dunia Bergerak Seluruh Tubuh Global Pertama

Perusahaan kecerdasan embodied Zhi Zai Wu Jie merilis **Being-M0.7**, model aksi-dunia laten (Latent World-Action Model) global pertama yang dirancang untuk operasi mobile-manipulasi seluruh tubuh robot humanoid. Model ini mengatasi tiga tantangan utama dalam pengembangan robot humanoid: 1) biaya pengumpulan data demonstrasi robot fisik yang tinggi dan langka, 2) beban komputasi besar dari model prediksi video piksel, dan 3) kurangnya koordinasi antara kontrol gerak dan manipulasi. Being-M0.7 dilatih awal dengan lebih dari **10.000 jam data multimodal berpusat pada manusia** (video sudut pandang orang pertama, data gerakan manusia), menggunakan arsitektur **Vision-Motion Mixture of Transformers (MoT)**. Arsitektur ini memungkinkan pelatihan bersama data berpasangan (video-gerakan), data video murni, dan data gerakan murni. Model kemudian diadaptasi ke tubuh robot spesifik melalui sejumlah kecil data demonstrasi robot fisik dengan bantuan **Action Expert** yang ringan. Model ini menggunakan representasi gerak seragam yang ringkas (hanya kepala, kedua tangan, dan kaki) untuk menjembatani perbedaan morfologi antara manusia dan robot, serta menerapkan prediksi dalam ruang laten (bukan ruang piksel) untuk fokus pada informasi semantik yang relevan dengan kontrol dan mengurangi kebisingan. Kemampuannya diuji dalam empat demonstrasi tugas menantang di dunia nyata dengan robot Unitree G1: * **Menangkap ikan di akuarium:** Mengoordinasikan gerak seluruh tubuh untuk menangkap target dinamis dalam cairan. * **Mengambil objek melalui cermin:** Menyimpulkan posisi objek tersembunyi menggunakan informasi pantulan cermin. * **Memindahkan dan mengambil objek secara berurutan:** Menjaga pemahaman status dalam tugas jangka panjang dengan banyak subtugas. * **Memindahkan kotak sambil menghindari rintangan:** Menyesuaikan orientasi tubuh dan langkah untuk melewati celah sempit sambil membawa beban. Hasilnya menunjukkan kemampuan model dalam **perencanaan jangka panjang, penalaran ruang, penggunaan alat, dan koordinasi seluruh tubuh yang adaptif** berdasarkan prediksi keadaan masa depan. Pendekatan ini menggeser fokus kompetisi robot humanoid dari demonstrasi gerak murni ke kemampuan model yang dapat diskalakan, dengan memanfaatkan data perilaku manusia yang melimpah sebagai landasan untuk pembelajaran dan transfer pengetahuan ke robot.

marsbit07/15 01:53

10.000 Jam Data Manusia, Melatih Model Gerakan Implisit Dunia Bergerak Seluruh Tubuh Global Pertama

marsbit07/15 01:53

Mengubah Bentuk Transformer, LLM Bisa Jadi Lebih Pintar

Penelitian terbaru dari Mila, Universitas Cornell, dan Universitas Montreal mengajukan pertanyaan mendasar: "Bagaimana jika, tanpa menambahkan satu parameter pun, kita hanya menggeser posisi parameter yang sudah ada dalam model?" Ini menyoroti asumsi implisit pada hampir semua model bahasa berbasis Transformer sejak 2017: semua lapisan mendapatkan alokasi parameter yang sama rata. Eksperimen dengan model 440M parameter membuktikan bahwa mengalokasikan lebih banyak kapasitas (lebar jaringan feed-forward) ke lapisan awal dan mengurangi di lapisan akhir—tanpa mengubah total parameter atau FLOPs—secara signifikan meningkatkan kinerja. Pendekatan ini, yang disebut **Tapered Language Models (TLMs)**, mengubah distribusi parameter dari persegi panjang menjadi berbentuk baji dengan pola menurun. Dari tiga pola penurunan yang diuji (linier, cosinus, sigmoid), pola **penurunan cosinus** terbukti paling optimal. Pada model 440M parameter, metode ini menurunkan nilai perplexity dari 16.28 menjadi 14.44—peningkatan 1.84 poin yang "gratis". Keunggulan ini konsisten diuji pada empat arsitektur model berbeda (termasuk yang menggunakan mekanisme gating dan memori) pada skala 760M dan 1.3B parameter. Analisis mendalam menunjukkan alasan di balik efektivitasnya: lapisan awal lebih banyak melakukan pemrosesan dan penciptaan informasi baru, sementara lapisan dalam cenderung hanya mengulang atau memperkuat sinyal yang sudah ada. Dengan demikian, menggeser kapasitas ke depan adalah alokasi sumber daya yang lebih cerdas. Implikasi penelitian ini luas dan efisien. Daripada hanya bersaing menambah parameter atau membuat arsitektur lebih jarang, industri AI memiliki "tuas gratis" tersembunyi dengan hanya mengoptimalkan **bentuk** distribusi parameter internal model, tanpa biaya komputasi tambahan. Konsep ini berpotensi diterapkan tidak hanya pada LLM, tetapi juga pada model vision Transformer, difusi, dan multimodal.

marsbit06/29 12:56

Mengubah Bentuk Transformer, LLM Bisa Jadi Lebih Pintar

marsbit06/29 12:56

Kedelapan 'Bapak' Transformer, Di Mana Mereka Sekarang?

Delapan penulis asli makalah Transformer “Attention Is All You Need” dari Google Brain kini telah meninggalkan perusahaan. Mereka kini tersebar di berbagai perusahaan dan bidang di industri AI. Ashish Vaswani mendirikan Essential AI, namun kabarnya sedang dalam proses direkrut oleh Nvidia. Noam Shazeer, setelah keluar-masuk Google, kini bergabung dengan OpenAI. Niki Parmar bergabung dengan Anthropic setelah sebelumnya mendirikan Essential AI bersama Vaswani. Jakob Uszkoreit beralih ke bioteknologi dengan mendirikan Inceptive. Llion Jones menjadi CTO di Sakana AI di Tokyo. Aidan N. Gomez adalah CEO dan salah satu pendiri Cohere, perusahaan AI untuk bisnis. Łukasz Kaiser tetap berada di penelitian dan menjadi kontributor kunci di OpenAI. Illia Polosukhin beralih ke blockchain sebagai salah satu pendiri NEAR Protocol. Meskipun telah berpisah dan mengambil jalur karir yang berbeda, visi bersama mereka tetap sama: terus mencari arsitektur AI baru yang lebih baik daripada Transformer yang mereka ciptakan sembilan tahun lalu.

marsbit06/28 05:36

Kedelapan 'Bapak' Transformer, Di Mana Mereka Sekarang?

marsbit06/28 05:36

Karya Baru Tim He Kaiming: Menghapus VAE dan Data Privat, Hasil Generasi Gambar dari Teks Justru Lebih Baik

Tim riset Kai Ming He meluncurkan model teks-ke-gambar yang sangat sederhana bernama MiniT2I, yang menantang pendekatan rumit yang umum digunakan saat ini. Model ini menghilangkan komponen standar seperti pengkode VAE, mekanisme injeksi kondisi AdaLN, data privat, dan tahap penyelarasan RL/DPO. Sebagai gantinya, MiniT2I dilatih secara langsung di ruang piksel RGB menggunakan target pemadanan aliran pada model Transformer. MiniT2I mengadopsi arsitektur MM-JiT yang sederhana, menggantikan mekanisme modulasi kondisi kompleks dengan dua blok adaptor teks ringan dan menghapus cabang AdaLN. Model ini dilatih secara dua tahap hanya menggunakan data publik: pra-pelatihan pada dataset CC12M yang diberi keterangan ulang, dan penyempurnaan pada sekitar 120 ribu pasangan gambar-teks berkualitas tinggi. Dengan hanya 258 juta parameter (versi B/16), MiniT2I mencapai skor 0,87 pada GenEval dan 84,2 pada DPG-Bench, mengungguli model lain di ruang piksel yang jauh lebih besar. Keunggulannya meliputi biaya komputasi yang lebih rendah, arsitektur yang lebih mudah dipahami, dan hasil yang sebanding dalam hal kualitas dan keragaman gaya dengan model besar seperti SD3-Medium dalam beberapa skenario. Namun, model ini masih memiliki keterbatasan seperti artefak batas patch, efek samping CFG pada ruang piksel, dan kinerja yang lebih rendah dalam rendering teks dibandingkan sistem industri, yang memerlukan data yang lebih khusus.

marsbit06/22 10:20

Karya Baru Tim He Kaiming: Menghapus VAE dan Data Privat, Hasil Generasi Gambar dari Teks Justru Lebih Baik

marsbit06/22 10:20

Dua Legenda Hilang dalam Tiga Hari: Bendungan Talenta AI Google, Mulai Jebol?

Dalam tiga hari, Google kehilangan dua tokoh legendaris AI. Noam Shazeer, penulis inti makalah Transformer dan pemimpin bersama Gemini, meninggalkan Google untuk bergabung dengan OpenAI. Dua hari kemudian, John Jumper, pemenang Nobel Kimia 2024 dan pemimpin inti AlphaFold, meninggalkan Google DeepMind untuk bergabung dengan Anthropic. Tren ini diperkuat dengan keputusan mantan anggota pendiri OpenAI, Andrej Karpathy, yang bergabung dengan Anthropic pada Mei. Kehilangan ini mencerminkan tren yang lebih luas: aliran talenta AI puncak dari Google ke OpenAI dan Anthropic. Penyebabnya adalah perbedaan mendasar dalam misi. Bisnis inti Google adalah iklan, sehingga penelitian AI sering kali harus selaras dengan tujuan komersial. Sebaliknya, OpenAI berfokus pada AGI untuk kemanusiaan, sementara Anthropic berfokus pada keamanan AI, memungkinkan peneliti berkonsentrasi penuh pada kemajuan teknologi. Faktor lain termasuk prospek kekayaan dari IPO yang akan datang di OpenAI dan Anthropic, yang menawarkan potensi imbalan ekuitas yang jauh lebih besar dibandingkan dengan raksasa matang seperti Google. Selain itu, penggabungan Google Brain dan DeepMind pada 2023 dianggap gagal menyelesaikan ketegangan antara penelitian jangka panjang dan tekanan komersialisasi. Google masih memiliki aset kuat seperti infrastruktur komputasi dan data, tetapi kehilangan talenta kritis ini merupakan tantangan struktural yang mendalam. Di bidang AI, retensi talenta terbaik ternyata lebih sulit daripada membangun model yang paling canggih sekalipun.

marsbit06/20 04:06

Dua Legenda Hilang dalam Tiga Hari: Bendungan Talenta AI Google, Mulai Jebol?

marsbit06/20 04:06

Seluruh Dunia Mengagumi Kedatangan Noam, Namun Utang OpenAI Semakin Menebal

OpenAI mengumumkan perekrutan Noam Shazeer, salah satu penulis kunci makalah "Attention Is All You Need", sebagai pemimpin penelitian arsitektur, yang disambut antusias. Namun, di saat yang sama, laporan keuangan teraudit perusahaan mengungkapkan kerugian operasional besar: $20,92 miliar pada 2025 dan pembakaran tunai $3,7 miliar pada kuartal pertama 2026. Artikel ini mempertanyakan logika di balik perekrutan bintang mahal ini dengan latar belakang tekanan keuangan yang parah. Inti masalah OpenAI bukanlah kekurangan bakat teknis, tetapi model bisnisnya: biaya komputasi yang sangat tinggi (termasuk $10,59 miliar untuk sewa daya komputasi dari Microsoft), sambil mengandalkan basis pengguna gratis yang luas dengan hanya 50 juta pengguna berbayar. Sementara itu, OpenAI telah kehilangan banyak pendiri dan peneliti inti seperti Ilya Sutskever dan Jan Leike, menunjukkan pergeseran fokus dari penelitian eksplorasi ke iterasi produk. Perekrutan Noam dilihat sebagai "pembelian cemas" yang lebih bertujuan untuk menciptakan narasi yang kuat guna mendukung valuasi IPO yang sangat tinggi (hingga $1 triliun), daripada menyelesaikan masalah profitabilitas mendasar. Sebagai perbandingan, Anthropic dilaporkan mendekati profitabilitas dengan fokus pada klien korporat yang memberikan aliran pendapatan yang lebih stabil dan dapat diprediksi. Artikel menyimpulkan bahwa tanah subur untuk inovasi berkelanjutan datang dari budaya internal yang mempertahankan talenta, bukan dari menyewa bintang mahal, dan bahwa lembar neraca tidak peduli dengan kejeniusan individu, melainkan dengan jalur yang jelas menuju keberlanjutan keuangan.

marsbit06/19 02:30

Seluruh Dunia Mengagumi Kedatangan Noam, Namun Utang OpenAI Semakin Menebal

marsbit06/19 02:30

Mendadak, Kepala Bersama Gemini Google Direkrut OpenAI

Noam Shazeer, ilmuwan terkemuka di bidang AI dan penulis utama makalah Transformer "Attention Is All You Need", telah meninggalkan Google DeepMind untuk bergabung dengan OpenAI. Di OpenAI, ia akan menjabat sebagai Lead for Architecture Research, bertanggung jawab untuk mengeksplorasi arsitektur model AI generasi berikutnya. Shazeer sebelumnya adalah co-CEO dan pendiri Character.AI sebelum kembali ke Google pada 2024 sebagai pemimpin bersama proyek Gemini. Kepindahannya ke OpenAI dianggap sebagai kerugian signifikan bagi Google, mengingat kontribusi besarnya dalam mengembangkan teknologi inti seperti Transformer dan MoE yang mendasari model-model AI mutakhir. Langkah ini mencerminkan persaingan ketat di industri AI untuk merekrut talenta top. Di OpenAI, Shazeer diharapkan dapat memimpin penelitian tentang evolusi arsitektur AI di luar Transformer, yang telah mendominasi selama hampir satu dekade.

marsbit06/18 04:21

Mendadak, Kepala Bersama Gemini Google Direkrut OpenAI

marsbit06/18 04:21

Setelah 10 Tahun Menunggu, Akhirnya Altman Mendapatkan Orang yang Diinginkannya

Setelah dua tahun kembali ke Google dengan nilai akuisisi senilai $27 miliar, legenda AI Noam Shazeer mengumumkan kepergiannya untuk bergabung dengan OpenAI. Shazeer, salah satu penulis utama makalah revolusioner "Attention Is All You Need" yang melahirkan arsitektur Transformer, dikonfirmasi akan menjabat sebagai Kepala Penelitian Arsitektur di OpenAI. CEO OpenAI Sam Altman menyambut kabar ini dengan menyatakan bahwa Shazeer telah menjadi salah satu orang yang paling ingin diajak kerjasama sejak awal pendirian OpenAI, sebuah proses yang memakan waktu 10 tahun. Para peneliti utama OpenAI juga menyambut hangat, menyoroti kontribusi mendalam Shazeer dalam Transformer, MoE (Mixture of Experts), dan decoding efisien yang membentuk perkembangan AI modern. Shazeer, salah satu karyawan penting awal Google, sebelumnya pernah meninggalkan perusahaan pada 2021 karena kekecewaan terhadap birokrasi dan mendirikan Character.AI. Ia direkrut kembali oleh Google DeepMind pada 2024 dan ditunjuk sebagai salah satu pemimpin teknis proyek inti Gemini. Kepergiannya dalam waktu kurang dari dua tahun dianggap sebagai pukulan signifikan bagi pengembangan Gemini, memicu komentar miring mengenai masa depan model tersebut. Perpindahan Shazeer ini dilihat sebagai kemenangan besar bagi OpenAI dalam perebutan bakat AI.

marsbit06/18 04:17

Setelah 10 Tahun Menunggu, Akhirnya Altman Mendapatkan Orang yang Diinginkannya

marsbit06/18 04:17

Alumni Tsinghua '00 Wang Guan Kembali Hadir dengan Karya Baru: Gunakan Token 1/900, Komputasi 1/432, Ubah Paradigma Model Pra-Latihan Transformer

Alumni muda 00-an Universitas Tsinghua, Wang Guan, dan timnya merilis karya baru: model pra-pelatihan efisien HRM-Text, yang menggunakan model rekursif berlapis (HRM) untuk menggantikan Transformer standar. Dengan hanya 1B parameter dan dilatih pada 40B token unik dengan biaya sekitar $1.500, HRM-Text mencapai performa setara model sumber terbuka 2B hingga 7B dalam benchmark seperti MMLU (60,7%) dan GSM8K (84,5%). Metode ini menggunakan 100-900 kali lebih sedikit token pelatihan dan 96-432 kali lebih sedikit perhitungan dibanding baseline standar. Arsitekturnya membagi komputasi menjadi modul H (lambat) dan L (cepat) dengan pembaruan rekursif multi-langkah, sementara target pelatihannya berfokus hanya pada bagian jawaban dalam pasangan instruksi-jawaban, menggunakan masker PrefixLM. Pendekatan ini menunjukkan bahwa prior struktural dan target pelatihan yang ditargetkan dapat secara signifikan menurunkan ambang batas pra-pelatihan. Namun, ada batasan seperti cakupan pengetahuan yang terbatas dan kebutuhan validasi skala lebih besar di masa depan.

marsbit05/26 03:18

Alumni Tsinghua '00 Wang Guan Kembali Hadir dengan Karya Baru: Gunakan Token 1/900, Komputasi 1/432, Ubah Paradigma Model Pra-Latihan Transformer

marsbit05/26 03:18

Pendiri a16z: Di Era Agent, Hal yang Benar-Benar Penting Telah Berubah

Wawancara Marc Andreessen, pendiri a16z, membahas evolusi AI dan dampak era agent. AI bukanlah fenomena baru, melainkan hasil akumulasi penelitian 80 tahun yang kini matang dengan kemampuan: LLM, reasoning, coding, dan agent yang mampu peningkatan diri. Arsitektur agent (LLM + shell + file system + markdown + cron/loop) memanfaatkan komponen perangkat lunak yang sudah ada, memungkinkan statusnya disimpan dan dipindahkan. Interaksi berbasis agent akan menggantikan GUI tradisional, di mana manusia memberikan tujuan dan agent menjalankannya. Siklus investasi AI saat ini didukung perusahaan besar dengan likuiditas kuat, berbeda dengan gelembung dot-com 2000. Kendala utama bukan hanya GPU, tetapi juga CPU, memori, dan jaringan. Sumber terbuka (open source) dan inferensi di perangkat lokal (edge) akan menjadi krusial untuk biaya, privasi, dan latensi. Tantangan nyata meliputi keamanan siber, identitas digital, infrastruktur pembayaran untuk agent, serta resistensi kelembagaan. AI tidak akan langsung diadopsi secara global, tetapi akan mengubah cara kerja dan organisasi secara fundamental.

marsbit04/20 00:08