Cache

Prompt panjang yang awalnya sama berulang kali, seperti riwayat percakapan atau berkas proyek di alat coding, bisa dibaca dari cache penyedia. Token yang terbaca dari cache ditagih dengan harga cache, jauh di bawah harga input biasa.

Harga

Tiap model punya tiga harga per 1 juta token: input, cache, dan output. Harga cache ada di halaman Model di console dan di tabel harga halaman depan. Semuanya rupiah.

Cara melihat token cache

Endpoint	Field di usage
/v1/chat/completions	prompt_tokens_details.cached_tokens
/v1/responses	input_tokens_details.cached_tokens
/v1/messages	cache_read_input_tokens (baca) dan cache_creation_input_tokens (tulis)

Halaman Pemakaian menampilkan persentase cache tiap request dan grafik token cache per hari.

Cara mendapat lebih banyak cache

• Taruh bagian yang tetap di awal prompt (instruksi sistem, dokumen) dan bagian yang berubah di akhir. Cache bekerja pada awalan yang sama persis.
• Pakai satu API key untuk satu aplikasi. Request dari satu API key untuk satu model ditempelkan ke satu penyedia selama penyedia itu sehat, bawaannya 3600 detik, supaya awalan yang sama bertemu cache yang sama.
• Cache punya masa hidup di sisi penyedia. Jeda yang lama antar request bisa menghapusnya. Cache hit lebih mungkin bila awalan prompt yang sama diulang tidak lama setelahnya.

Cache di paket langganan

Setiap jatah paket menentukan apakah token cache ikut dihitung: penuh, sebagian, atau tidak sama sekali. Lihat Langganan.