Jika Sahabat berkenan dan memiliki keikhlasan, mari bersama mendukung Suara Salira agar tetap dapat menghadirkan berita, informasi, karya jurnalistik, serta menemani pendengar melalui Radio Internet 24 Jam “100 Persen Nostalgia”. Setiap bentuk dukungan, sekecil apa pun dan sesuai kemampuan serta keikhlasan Sahabat, sangat berarti bagi keberlanjutan Suara Salira untuk terus berkarya dan hadir di tengah masyarakat. Klik di sini untuk memberikan dukungan kepada Suara Salira. Terima kasih atas kepercayaan, perhatian, dan dukungan Sahabat selama ini.
SUARA SALIRA | TEKNOLOGI – Aktivitas bot menjadi salah satu tantangan bagi pengelola website. Tidak semua bot memiliki tujuan buruk, tetapi sebagian dapat menghasilkan trafik otomatis, melakukan scraping, membebani server, hingga mencoba mencari celah keamanan. Karena itu, penggunaan Managed Challenge Cloudflare dapat menjadi salah satu langkah untuk meningkatkan perlindungan website.
Cloudflare memiliki kemampuan untuk memeriksa trafik sebelum permintaan diteruskan ke server website. Dengan konfigurasi yang tepat, pengunjung manusia tetap dapat mengakses halaman, sementara trafik yang dianggap mencurigakan dapat diperiksa terlebih dahulu.
Yang tidak kalah penting, crawler terpercaya seperti mesin pencari tetap perlu mendapatkan perlakuan yang berbeda. Jika seluruh bot diblokir tanpa pengecualian, proses pengindeksan website dapat ikut terganggu.
Mengapa Website Perlu Perlindungan dari Bot?
Tidak semua kunjungan ke sebuah website berasal dari manusia. Saat sebuah halaman dibuka, server dapat menerima permintaan dari browser, crawler mesin pencari, aplikasi otomatis, maupun berbagai jenis bot.
Sebagian crawler memang memiliki fungsi penting. Googlebot, misalnya, membantu mesin pencari menemukan dan memahami halaman website. Namun, ada pula bot yang melakukan permintaan dalam jumlah besar tanpa memberikan manfaat bagi pemilik situs.
Trafik otomatis yang berlebihan dapat meningkatkan penggunaan sumber daya server. Selain itu, aktivitas scraping juga dapat mengambil konten website secara otomatis.
Karena itu, pengelola website membutuhkan sistem yang mampu membedakan trafik berdasarkan tingkat kepercayaannya.
Apa Itu Managed Challenge Cloudflare?
Managed Challenge Cloudflare merupakan mekanisme pemeriksaan yang dapat digunakan untuk membantu menentukan apakah sebuah permintaan berasal dari pengguna yang layak mendapatkan akses.
Berbeda dari CAPTCHA tradisional yang selalu menampilkan teka-teki kepada pengguna, Managed Challenge memungkinkan Cloudflare menentukan bentuk pemeriksaan berdasarkan kondisi permintaan.
Jika pemeriksaan berhasil, pengguna dapat melanjutkan ke website. Dengan demikian, perlindungan dapat diterapkan tanpa harus selalu memberikan pengalaman yang sama kepada setiap pengunjung.
Pendekatan seperti ini cukup menarik bagi website yang menerima banyak trafik dari internet terbuka.
Verified Bots Tetap Perlu Diberi Akses
Salah satu bagian penting dalam konfigurasi perlindungan bot adalah Verified Bots.
Pengelola website sebaiknya tidak langsung menganggap semua bot sebagai ancaman. Crawler mesin pencari memiliki fungsi penting dalam proses indeks dan penemuan konten.
Cloudflare menyediakan penanda cf.client.bot untuk mengenali bot yang telah diverifikasi sebagai crawler yang dikenal. Dengan memanfaatkan penanda tersebut, pengelola website dapat membuat pengecualian sebelum menerapkan pemeriksaan kepada trafik lainnya.
Konsepnya sederhana.
Verified Bot dikenali terlebih dahulu. Setelah itu, trafik yang bukan Verified Bot dapat diberikan pemeriksaan tambahan.
Pendekatan ini lebih baik dibandingkan sekadar memeriksa tulisan seperti Googlebot pada User-Agent. Sebab, User-Agent dapat dipalsukan oleh bot otomatis.
Mengapa Tidak Cukup Memblokir Semua Bot?
Memblokir semua bot memang terlihat sederhana. Namun, cara tersebut dapat menimbulkan masalah.
Mesin pencari menggunakan crawler untuk menemukan halaman baru. Jika crawler tersebut ikut diblokir, konten website dapat mengalami hambatan dalam proses crawling dan indexing.
Selain itu, ada bot lain yang sebenarnya berguna, misalnya crawler dari layanan tertentu yang membantu memantau website atau menyediakan fungsi tertentu.
Karena itu, strategi yang lebih masuk akal adalah memisahkan bot terpercaya dari trafik yang perlu diperiksa.
Konfigurasi Cloudflare Free
Perlindungan tersebut juga dapat diterapkan pada pengguna Cloudflare Free dengan memanfaatkan Custom Rules yang tersedia pada dashboard Cloudflare.
Dalam konfigurasi yang dibahas, rule pertama digunakan untuk mengenali Verified Bots melalui expression:
cf.client.bot
Kemudian action yang digunakan adalah Skip untuk memberikan pengecualian terhadap rule tertentu.
Setelah itu, rule berikutnya dapat digunakan untuk menangani request yang bukan Verified Bot:
not cf.client.bot
Action yang digunakan adalah Managed Challenge.
Dengan pola tersebut, alurnya menjadi lebih mudah dipahami.
Verified Bot
Crawler yang dikenali Cloudflare sebagai Verified Bot tidak diarahkan ke challenge yang dibuat untuk trafik lainnya.
Pengunjung Selain Verified Bot
Request yang bukan Verified Bot mendapatkan Managed Challenge. Pengunjung manusia kemudian dapat melewati pemeriksaan tersebut dan melanjutkan akses.
Mengapa Menggunakan Managed Challenge?
Managed Challenge memberikan pendekatan yang lebih fleksibel dibandingkan langsung menggunakan Block.
Jika sebuah request belum tentu berbahaya, memblokirnya secara langsung dapat meningkatkan risiko false positive. Challenge memberikan kesempatan kepada pengguna yang sah untuk membuktikan bahwa akses tersebut valid.
Karena itu, Managed Challenge dapat menjadi pilihan yang lebih aman ketika tujuan utama adalah mengurangi trafik otomatis tanpa langsung menutup akses bagi seluruh pengunjung yang belum dikenal.
Perlindungan Berlaku untuk Halaman Website
Ketika Custom Rule dibuat tanpa membatasi hostname atau path tertentu, rule tersebut dapat diterapkan terhadap request yang sesuai di zone Cloudflare.
Artinya, perlindungan tidak hanya harus berlaku pada halaman utama.
Misalnya, sebuah website memiliki:
- halaman utama;
- halaman berita;
- halaman kategori;
- halaman arsip;
- halaman pencarian;
- dan halaman lainnya.
Selama request tersebut melewati Cloudflare dan memenuhi expression yang dibuat, rule dapat ikut diterapkan.
Hal ini penting bagi website berita karena bot tidak selalu mengakses halaman depan. Bot otomatis justru dapat langsung meminta URL artikel tertentu.
Bagaimana dengan Subdomain?
Subdomain juga dapat memperoleh perlindungan Cloudflare apabila subdomain tersebut menggunakan proxy Cloudflare.
Misalnya:
salira.tv
dir.salira.tv
Jika record DNS subdomain menggunakan status Proxied, request subdomain tersebut melewati jaringan Cloudflare.
Namun, ada hal yang perlu diperhatikan. Status proxy, konfigurasi rule, hostname, dan cookie clearance dapat memengaruhi apakah pengguna melihat challenge pada setiap akses.
Jadi, tidak tepat menganggap bahwa setiap URL pasti akan menampilkan challenge setiap kali dibuka.
Jangan Mengandalkan Nama Googlebot
Salah satu kesalahan yang perlu dihindari adalah membuat aturan seperti:
User-Agent contains "Googlebot"
kemudian langsung memberikan akses.
Masalahnya, bot lain dapat mengubah User-Agent dan berpura-pura menjadi Googlebot.
Karena itu, identifikasi bot terpercaya sebaiknya menggunakan mekanisme verifikasi yang disediakan oleh Cloudflare, bukan sekadar mencocokkan teks User-Agent.
Pendekatan tersebut membuat konfigurasi keamanan menjadi lebih masuk akal dan tidak mudah dimanipulasi.
Uji Konfigurasi Setelah Rule Aktif
Setelah rule diterapkan, pengelola website sebaiknya melakukan pengujian.
Pertama, akses website menggunakan browser biasa. Jika Managed Challenge muncul kemudian pengguna dapat masuk, berarti mekanisme pemeriksaan berjalan.
Selanjutnya, pengelola dapat memeriksa Security Events pada Cloudflare untuk melihat bagaimana request dikategorikan.
Pengujian juga penting dilakukan pada halaman yang berbeda. Jangan hanya menguji homepage karena bot dapat mengakses URL artikel secara langsung.
Untuk website yang memiliki subdomain, subdomain juga sebaiknya diuji secara terpisah.
Perlindungan Bot Harus Tetap Seimbang
Keamanan website tidak hanya tentang memblokir sebanyak mungkin request.
Konfigurasi yang terlalu agresif dapat membuat pengguna asli mengalami challenge berulang kali. Bahkan crawler yang sebenarnya penting dapat ikut terganggu jika rule dibuat tanpa pengecualian.
Sebaliknya, konfigurasi yang terlalu longgar dapat membuat bot otomatis tetap memperoleh akses tanpa pemeriksaan berarti.
Karena itu, pendekatan yang lebih baik adalah menggunakan beberapa lapisan.
Verified Bot dapat diberikan pengecualian, sedangkan trafik lain dapat diperiksa menggunakan Managed Challenge. Setelah sistem berjalan, data dari Security Events dapat digunakan untuk mengevaluasi apakah aturan tersebut perlu diperketat atau dilonggarkan.
Kesimpulan
Melindungi website dari bot tidak selalu berarti harus memblokir seluruh trafik otomatis. Website tetap membutuhkan crawler terpercaya untuk membantu mesin pencari menemukan dan mengindeks konten.
Dengan memanfaatkan Cloudflare Free, pengelola website dapat mulai membangun perlindungan menggunakan Custom Rules. Salah satu pendekatan yang dapat digunakan adalah mengenali Verified Bots terlebih dahulu, kemudian menerapkan Managed Challenge kepada request yang bukan Verified Bot.
Pendekatan tersebut memberikan keseimbangan antara keamanan dan aksesibilitas. Pengunjung manusia masih memiliki kesempatan untuk melewati pemeriksaan, sementara trafik otomatis yang tidak dikenali dapat diberikan lapisan verifikasi tambahan.
Pada akhirnya, konfigurasi keamanan terbaik bukanlah konfigurasi yang paling agresif, melainkan konfigurasi yang mampu mengurangi trafik berbahaya tanpa mengorbankan pengunjung dan crawler yang memang dibutuhkan website.
Reporter: Tim Redaksi Suara Salira
Editor: P. Pirmansyah