Jawaban langsung: Pada 1 prompt coding yang sama, program GPT-6 Luna lulus 11 dari 11 peta. Program ClaudeClaude ProLangganan berbayar asisten AI Claude dari Anthropic. Langganan ini membuka connector ke alat luar.Buka glosarium Haiku 5.5 lulus 10 dari 11. Peta yang gagal tidak punya jalan, dan program Haiku 5.5 tidak kembali dalam 2 detik.

Kondisi utama: Angka ini dari 1 panggilan per model pada 10 Oktober 2026, lewat OpenRouter, effort medium. Harga daftar sama: $0,10 token masuk dan $0,50 token keluar per 1 juta token. Tagihan panggilan ini $0,0015631 untuk Luna dan $0,0016013 untuk Haiku 5.5.

Batas: Ini bukan papan peringkat. perbandingan harga Haiku 5.5 dan GPT-6 Luna melaporkan 108 panggilan pada 6 tugas bisnis pendek. Di sana kedua model lulus 54 dari 54, dan tagihan Haiku 5.5 sebesar 1,9x sampai 3,3x tagihan Luna. Prompt coding ini tidak mengulang rasio itu.

Gambar di bawah adalah tangkapan terminal penilai, bukan diagram susun. Kedua program dijalankan pada 11 peta yang sama.

Terminal penilai kedua program. Haiku 5.5 skor 10 dari 11, Timeout pada peta dua pintu. GPT-6 Luna skor 11 dari 11.
(1) Claude Haiku 5.5 mengembalikan Timeout pada peta dua pintu dan skor 10/11. (2) GPT-6 Luna mengembalikan STUCK pada peta itu dan skor 11/11. (3) 10 peta lain cocok. Ini terminal penilai, bukan diagram susun.

Tantangan Relay Hero

Kami menamai uji ini Relay Hero. Model menulis 1 fungsi Python, plan(dungeon). Fungsi itu mengembalikan jalur hero di petak, atau STUCK bila tidak ada jalur.

Prompt berbahasa Inggris. Isi yang sama masuk ke kedua model. Tidak ada pesan sistem. Tidak ada tool. Tidak ada giliran perbaikan.

Aturan yang model terima:

  • Petak berbentuk persegi. Baris dipisah newline. Tiap baris sama panjang.
  • S adalah mulai. G adalah tujuan. Keduanya ada 1.
  • # adalah tembok. Hero tidak boleh masuk.
  • . adalah lantai. t adalah jebakan, HP turun 3. Langkah itu ilegal bila HP menjadi 0 atau kurang.
  • p adalah ramuan. Kunjungan pertama membuat HP menjadi min(20, HP + 5). Kunjungan berikut tidak mengubah apa pun.
  • k adalah kunci. Kunjungan pertama menambah 1 kunci. Kunjungan berikut tidak menambah lagi.
  • d adalah pintu. Masuk menghabiskan 1 kunci. Masuk dengan 0 kunci adalah ilegal.
  • Hero mulai dengan HP 10 dan 0 kunci. Langkah hanya U, D, L, atau R.
  • Pilih jalur terpendek. Bila panjang seri, pilih HP tertinggi di G. Bila masih seri, pilih string terkecil menurut urutan kamus.
  • Bila tidak ada jalur, kembalikan STUCK. Fungsi harus kembali dalam 2 detik pada petak sampai 8 x 8.

Prompt memberi 2 contoh. Sudut S. / .G jawabannya DR. Tembok S#G / ... jawabannya DRRU. Sembilan peta lain tidak ada di prompt.

Oracle ditulis sebelum panggilan model. Oracle punya pencari jalur dan pemeriksa langkah yang terpisah. Tiap jawaban non-STUCK kami putar ulang sel demi sel. Kami juga menolak jalur yang lebih pendek dari jawaban oracle.

Cara panggilan disusun

Kedua permintaan memakai POST https://openrouter.ai/api/v1/chat/completions. Batas max_tokens adalah 16.000. Field reasoning.effort berisi medium. Fallback penyedia dimatikan. data_collection bernilai deny.

ItemClaude Haiku 5.5GPT-6 Luna
Slug OpenRouteranthropic/claude-haiku-5.5openai/gpt-6-luna
ID model vendorclaude-haiku-5-5gpt-6-luna
Penyedia yang menjawabAnthropicOpenAI
Status dan finishHTTP 200, stopHTTP 200, stop
Waktu sampai jawaban utuh1.516 ms881 ms

Waktu diukur di klien, dari kirim permintaan sampai badan jawaban tiba. Angka itu mencakup jaringan. Ini 1 sampel, bukan uji latensi.

finish: stop berarti batas 16.000 token tidak memotong jawaban. Kegagalan Haiku 5.5 terjadi saat program dijalankan, bukan saat model menulis.

Harga daftar kami baca dari tabel harga Anthropic, ikhtisar model Haiku 5.5, pengumuman Claude Haiku 5.5, halaman model GPT-6 Luna, dan pengumuman GPT-6 Sol dan Luna. Untuk prompt sampai 100.000 token, Haiku 5.5 berharga $0,10 masuk dan $0,50 keluar per 1 juta token. Di atas 100.000 token, harga Haiku 5.5 menjadi $0,50 dan $2,50. Luna memakai $0,10 dan $0,50 sampai 272.000 token masuk. Prompt uji ini jauh di bawah kedua ambang.

Token dan tagihan

OpenRouter mengembalikan usage. Token reasoning masuk ke dalam token keluar. Kami cek ulang dengan rumus harga daftar. Hasilnya cocok sampai digit terakhir pada usage.cost.

Haiku 5.5: 553 / 1.000.000 x $0,10 + 3.092 / 1.000.000 x $0,50 = $0,0016013.

GPT-6 Luna: 406 / 1.000.000 x $0,10 + 3.045 / 1.000.000 x $0,50 = $0,0015631.

Papan skor 1 prompt coding. Haiku 5.5 lulus 10 dari 11 peta dengan tagihan $0,0016013. GPT-6 Luna lulus 11 dari 11 dengan tagihan $0,0015631.
(1) Jumlah peta lulus, token masuk, token keluar, token reasoning, dan tagihan OpenRouter tiap model. (2) Harga daftar $0,10 per 1 juta token masuk dan $0,50 per 1 juta token keluar. (3) Ini 1 panggilan per model pada 10 Oktober 2026, bukan papan peringkat.

Teks prompt sama, tetapi penghitung token tidak sama. Haiku 5.5 menghitung 553 token masuk. Luna menghitung 406. Selisihnya 147 token, atau 36% lebih banyak pada Haiku 5.5, untuk karakter yang sama.

Token keluar hampir sejajar: 3.092 lawan 3.045. Token reasoning 2.270 lawan 2.353. Bagian reasoning adalah 2.270 dari 3.092 token keluar Haiku 5.5, dan 2.353 dari 3.045 token keluar Luna. Sisa token keluar, yaitu kode yang terlihat, adalah 822 lawan 692.

Pada kurs JISDOR 9 Oktober 2026, 1 dolar AS sama dengan Rp17.884. Tanggal uji jatuh pada Sabtu, jadi kurs yang dipakai adalah kurs Jumat. Satu panggilan Haiku 5.5 setara Rp28,64. Satu panggilan Luna setara Rp27,95.

Seribu panggilan prompt yang sama berharga $1,6013000 untuk Haiku 5.5 dan $1,5631000 untuk Luna. Dalam rupiah, angka itu Rp28.637,65 dan Rp27.954,48. Selisih 1.000 panggilan adalah $0,0382000, atau Rp683,17.

Harga per token tidak memilih pemenang pada prompt ini. Selisih tagihan kecil. Selisih skor ada pada 1 peta. cara menghitung biaya API menunjukkan rumus yang sama untuk model lain. spesifikasi GPT-6 Luna menyimpan batas konteks Luna.

Skor 11 peta

Penilai menjalankan fungsi di proses terpisah. Tiap peta punya batas 2 detik. Jawaban harus sama persis dengan string oracle, bukan hanya mencapai G.

PetaAda di promptOracleHaiku 5.5GPT-6 Luna
sudutYaDRLulusLulus
tembokYaDRRULulusLulus
lurusTidakRRLulusLulus
tertutupTidakSTUCKLulusLulus
kunciTidakRRRLulusLulus
dua pintuTidakSTUCKWaktu habisLulus
memutarTidakDRRULulusLulus
seri HPTidakRDRLulusLulus
ramuanTidakRDRRRRULulusLulus
belahTidakDDRRLulusLulus
kunci dan jebakanTidakDRRRULulusLulus

Dua peta di dalam prompt lulus pada keduanya. Tiga peta yang menguji aturan seri juga lulus pada keduanya: memutar pintu (DRRU), seri HP (RDR), dan tembok tengah (DDRR). Peta ramuan (RDRRRRU) juga lulus. Jadi kedua program dapat mencari jalur yang ada.

Peta dua pintu adalah satu-satunya selisih. Bentuk petanya SkddG. Ada 1 kunci dan 2 pintu. Pintu pertama menghabiskan kunci. Pintu kedua tidak bisa dimasuki. Tidak ada jalur lain ke G. Oracle mengembalikan STUCK.

Peta satu baris S, k, d, d, G. Satu kunci tidak membuka dua pintu. Haiku 5.5 tidak kembali dalam 2 detik. GPT-6 Luna mengembalikan STUCK.
(1) Hero mulai di S dengan HP 10 dan 0 kunci. (2) Pintu pertama menghabiskan satu-satunya kunci. (3) Pintu kedua ilegal, dan tidak ada jalur lain ke G. (4) Haiku 5.5 terus berjalan. Luna berhenti dan mengembalikan STUCK.

Program Luna menyimpan kunjungan pertama tiap state. State berisi posisi, HP, jumlah kunci, dan ramuan atau kunci yang sudah diambil. State yang sudah ada dilewati. Saat antrean habis, fungsi mengembalikan STUCK.

Program Haiku 5.5 menyimpan jalur terpendek pada lapisan langkah saat ini, termasuk jalur terkecil menurut urutan kamus. Program itu tidak menyimpan state dari lapisan sebelumnya. Pada peta tanpa jalan, tiap lapisan masih punya langkah. Loop tidak bertemu kondisi berhenti. Penilai memotong proses pada detik ke-2 dan mencatat waktu habis.

Kegagalan itu ada di kode, bukan di lemparan dadu 1 sampel. Peta lain tidak memicu loop karena tujuan ditemukan, lalu fungsi kembali. Peta tanpa tujuan tidak memberi alasan untuk kembali.

Yang tidak boleh disimpulkan

Jangan pindahkan agentAgent AIProgram AI yang mengerjakan langkah pekerjaan sendiri, misalnya membaca pesan, menyiapkan balasan, lalu mencatat hasilnya.Buka glosarium produksi hanya karena Luna menang pada 11 peta ini. Jangan buang Haiku 5.5 hanya karena 1 loop. Tugas Anda bisa membalik hasilnya.

Uji 9 Oktober 2026 tetap berlaku untuk tugas pendek yang artikel itu ukur. Di sana Haiku 5.5 menulis lebih banyak token. Di prompt coding ini, token keluar kedua model berdekatan. Dua tugas, dua rasio. Hitung tugas Anda sendiri.

Uji ini tidak mengukur computer use, perbaikan lewat tool, atau dokumen di atas 100.000 token. Uji ini juga tidak mengukur usaha high atau max. Kami hanya mengirim medium.

Waktu 881 ms dan 1.516 ms adalah 1 sampel jaringan plus generasi. Jangan memakai selisih itu sebagai janji latensi.

Kedua program lulus peta yang jalurnya ada, termasuk peta yang aturan seri mengubah jawabannya. Kelemahan yang terukur adalah berhenti saat jalan tidak ada. Itu syarat agent coding: program harus kembali, bukan berjalan terus.

Checklist sebelum mengunci model

Pemilik keputusan adalah orang yang memilih model untuk agent. Simpan objek usage dan log penilai. Berhenti bila biaya per tugas yang lulus sudah Anda terima, atau bila program tidak kembali pada batas waktu.

  1. Simpan teks prompt dan slug model. Jangan meringkas prompt setelah panggilan.
  2. Kunci penyedia. Matikan fallback, supaya token tidak pindah ke model lain.
  3. Kirim nilai effort yang sama. Catat nilai itu di samping skor.
  4. Catat token masuk, token keluar, token reasoning, dan usage.cost.
  5. Nilai program dengan peta yang tidak ada di prompt.
  6. Beri batas waktu tiap peta. Loop tanpa akhir harus gagal.
  7. Baca kode saat 1 peta gagal. Jangan berhenti di angka skor.
  8. Ulangi pada tugas produksi Anda sebelum memindahkan agent.

Langkah berikutnya

Batas di atas tetap berlaku. Satu prompt tidak memilih model untuk seluruh operasi. Buka AI Workflow Audit bila tugas agent Anda belum terpetakan, lalu ukur biaya per tugas yang lulus pada kumpulan itu. perbandingan harga Haiku 5.5 dan GPT-6 Luna tetap menjadi rujukan untuk tugas bisnis pendek.

Sumber