AijenTeknologi

Apa Itu Token dan Context Window AI? Penjelasan untuk Pemula

Mengapa AI lupa instruksi di tengah chat? Pahami token dan context window, bedanya dengan memori AI, dampaknya ke biaya, dan cara kamu menghematnya.

Tim AijenBelajar AI5 menit baca
Apa Itu Token dan Context Window AI? Penjelasan untuk Pemula
Daftar isi
  1. Apa itu token dalam AI?
  2. Apa itu context window?
  3. Apa bedanya context window dengan memori AI?
  4. Mengapa AI lupa instruksi di tengah chat?
  5. Bagaimana token memengaruhi biaya dan kecepatan?
  6. Bagaimana cara menghemat context window?
  7. Kapan kamu butuh context window besar?
  8. Pertanyaan yang Sering Diajukan

ChatGPT atau Claude mulai lupa aturan yang kamu berikan di awal chat? Itu tanda chat sudah terlalu panjang. AI hanya mampu "melihat" sejumlah teks dalam satu chat, dan batas itu disebut context window. Teks dihitung dalam token, yaitu potongan kata. Solusinya sederhana: minta ringkasan, buka chat baru, lalu copy-paste ringkasannya.

Apa itu token dalam AI?

Token adalah satuan teks terkecil yang diproses model bahasa. Model tidak membaca huruf demi huruf atau kata demi kata seperti manusia. Teksmu dipecah dulu menjadi potongan. Setiap potongan diberi nomor yang dapat diolah model.

Satu token dapat berupa satu kata pendek, sebagian kata panjang, angka, atau tanda baca. Kata umum biasanya menjadi satu token. Kata yang jarang muncul dipecah menjadi beberapa token. Karena itu, jumlah token tidak sama dengan jumlah kata. Perbandingannya juga berbeda antarmodel, karena setiap model memiliki tokenizer sendiri. Anggap saja sebagai perkiraan kasar, bukan hitungan pasti.

Apa itu context window?

Context window adalah "meja kerja" model: seluruh teks yang dapat dipertimbangkan model saat menyusun jawaban. Isinya mencakup instruksi sistem, riwayat chat, dokumen yang kamu upload, hasil dari tool, dan jawaban yang sedang ditulis model.

Ukurannya dihitung dalam token. Dokumentasi resmi Anthropic menjelaskan bahwa context window mencakup seluruh riwayat chat, termasuk jawaban model, dan ukurannya berbeda antarmodel. Beberapa model terbaru menawarkan jendela hingga satu juta token (lihat dokumentasi context window Claude). Angka ini berubah seiring rilis model, sehingga periksa halaman resmi sebelum mengambil keputusan.

Apa bedanya context window dengan memori AI?

Keduanya sering tertukar. Context window bersifat sementara. Isinya hanya ada selama chat berjalan dan dibaca ulang model setiap kali menjawab. Memori jangka panjang adalah fitur terpisah yang menyimpan informasi di luar chat.

Artinya, model tidak "mengingat" kamu secara alami. Seluruh chat dikirim ulang sebagai konteks pada setiap giliran. Begitu isinya melewati batas, sebagian harus dibuang atau diringkas. Di situlah lupa terjadi.

Mengapa AI lupa instruksi di tengah chat?

Ada dua alasan:

  1. Saat chat mendekati batas, sistem memangkas atau meringkas bagian awal. Aturan yang kamu tulis di pesan pertama ikut hilang.
  2. Walaupun semuanya masih muat, perhatian model tidak selalu merata. Pada konteks yang sangat panjang, detail di bagian tengah lebih mudah terlewat dibanding bagian awal atau akhir.

Besarnya jendela tidak menjamin ingatan yang sempurna. Chat yang terlalu panjang dan bercampur topik memperbesar masalah ini. Mulailah chat baru untuk setiap tugas, lalu bawa ringkasan singkat yang bersih. Konteks yang berantakan juga memperbesar peluang halusinasi AI.

Bagaimana token memengaruhi biaya dan kecepatan?

Layanan AI berbasis API umumnya menghitung biaya dari jumlah token yang masuk dan keluar. Semakin banyak teks yang kamu kirim, semakin besar biayanya. Respons juga cenderung lebih lambat. Di aplikasi chat biasa, kamu tidak melihat tagihan per token. Namun, batas penggunaan harian atau per jam tetap dipengaruhi panjang chat.

Seluruh riwayat dikirim ulang setiap giliran, sehingga chat panjang makin berat dari waktu ke waktu. Untuk bisnis yang menjalankan otomasi bervolume tinggi, mengirim konteks seperlunya adalah salah satu cara paling efektif menekan biaya.

Bagaimana cara menghemat context window?

Beberapa kebiasaan sederhana sudah cukup:

  • Buka chat baru untuk tugas yang berbeda.
  • Letakkan instruksi penting di awal, lalu ulangi singkat di akhir bila tugasnya panjang.
  • Upload hanya bagian dokumen yang relevan, bukan seluruh arsip.
  • Minta AI meringkas progres pada titik tertentu, lalu bawa ringkasan itu ke chat baru.
  • Jangan copy-paste teks yang sama berulang kali.

Kebiasaan ini sejalan dengan dasar prompt engineering untuk pemula. Prompt yang ringkas, terstruktur, dan spesifik umumnya mengungguli prompt panjang yang bertele-tele.

Ingin belajar mengelola konteks dan menulis prompt yang efektif di Claude? Materinya ada di kelas Claude Mastery.

Kapan kamu butuh context window besar?

Jendela besar berguna untuk menganalisis kontrak panjang, membandingkan beberapa dokumen sekaligus, atau menelusuri kode program. Untuk tugas harian seperti membalas email, merangkum rapat, atau menyusun caption, jendela standar sudah memadai.

Bila pengetahuan bisnismu sangat besar, memasukkan semuanya ke satu chat bukan solusi terbaik. Pendekatan yang lebih rapi adalah memberi AI akses ke sumber pengetahuan yang tersusun. Hanya bagian yang relevan dimuat saat dibutuhkan. Bila kamu baru mengenal istilah semacam ini, daftar istilah AI untuk pemula dan roadmap belajar AI empat minggu dapat menjadi pegangan berikutnya.

Bila kamu ingin belajar Claude secara terstruktur dari dasar, mulai dari kelas Claude Mastery.

Pertanyaan yang Sering Diajukan

Apakah satu token sama dengan satu kata? Tidak, karena satu kata dapat menjadi satu token atau beberapa token, bergantung pada panjang dan seberapa umum kata itu. Hitungan pastinya berbeda antarmodel.

Apakah context window yang lebih besar selalu lebih baik? Tidak selalu, karena biaya dan waktu respons ikut naik. Detail di bagian tengah konteks panjang juga lebih mudah terlewat.

Mengapa AI tiba-tiba mengabaikan aturan yang saya tulis di awal? Biasanya karena chat sudah terlalu panjang, sehingga bagian awal terpangkas atau kurang diperhatikan. Buka chat baru dengan instruksi yang ringkas untuk memperbaikinya.

Apakah AI mengingat chat saya sebelumnya? Tidak secara otomatis, karena model hanya melihat isi context window saat itu. Ingatan antarsesi bergantung pada fitur memori atau dokumen proyek yang diaktifkan terpisah.

Bagaimana cara mengetahui jumlah token teks saya? Gunakan alat penghitung token yang disediakan penyedia model di dokumentasi atau konsol developer. Untuk chat biasa, perkiraan kasar sudah cukup.

Apakah token memengaruhi biaya penggunaan AI di bisnis? Ya, terutama pada penggunaan API, karena biaya dihitung dari token masukan dan keluaran. Konteks yang efisien menurunkan biaya.

Pelajari langsung praktiknya

Kelas Claude Mastery di Aijen Learning: materi runut, tutor AI, dan sertifikat.

Lihat kelas

Artikel terkait

Bacaan lanjutan yang relevan untukmu.

Ingin menerapkan AI di bisnismu?

Ceritakan kebutuhannya dalam konsultasi 30 menit, gratis dan tanpa kewajiban melanjutkan.

Jadwalkan konsultasi