How to Block Wget, Curl and Another User Agent from Nginx + Easyengine

mrfdn.com - Cara Memblokir Wget dari Nginx untuk Meningkatkan SEO Website Anda

Pada artikel ini, kita akan membahas cara memblokir wget atau agen pengguna (user agent) lainnya dari mengakses server web Anda yang di-hosting dengan Nginx.

Langkah-langkah ini membantu meningkatkan SEO (Search Engine Optimization) situs Anda dengan menghindari akses yang tidak diinginkan atau aktivitas yang mungkin merugikan.

Pengenalan tentang Nginx

Nginx adalah server web populer yang dikenal karena kinerjanya yang cepat dan efisien.

Pada server Nginx, kita dapat menggunakan modul ngx_http_access_module untuk mengontrol akses berdasarkan agen pengguna dari permintaan klien.

Mengapa Memblock Agen Pengguna Wget dan Lainnya

Beberapa alasan mengapa Anda mungkin ingin memblokir akses dari agen pengguna tertentu, seperti wget, curl, dan alat serupa lainnya, adalah untuk:

1. Mencegah Pengambilan Konten Otomatis: Beberapa skenario pengambilan konten otomatis dapat menyebabkan beban server yang berlebihan dan dapat mempengaruhi kinerja situs Anda.

2. Perlindungan dari Serangan: Beberapa alat pengambilan konten otomatis dapat digunakan oleh peretas untuk mengeksploitasi kelemahan potensial pada situs web Anda.

3. Melindungi Konten: Menghalangi akses dari alat pengambilan konten otomatis dapat membantu melindungi konten situs Anda dari digandakan atau digunakan tanpa izin.

Langkah-langkah untuk Memblokir Wget dari Nginx

Berikut adalah langkah-langkah yang perlu Anda ikuti untuk memblokir akses dari wget atau agen pengguna lainnya di Nginx:

Langkah 1: Buka file konfigurasi Nginx untuk situs web Anda. Biasanya, file ini berada di /etc/nginx/nginx.conf atau /etc/nginx/sites-available/nama_situs.conf.

Langkah 2: Di dalam blok server, tambahkan baris berikut untuk membuat blok khusus untuk agen pengguna wget:

server {
    # Konfigurasi server Anda yang sudah ada berada di sini

    location / {
        if ($http_user_agent ~* (wget|curl|libwww|python|perl|ruby)) {
            return 403; # Forbidden
        }

        # Konfigurasi lokasi lainnya berada di sini
    }

    # Blok server lain atau konfigurasi lainnya jika Anda memiliki beberapa server
}

Langkah 3: Simpan file konfigurasi dan kemudian muat ulang Nginx agar perubahan dapat diterapkan:

sudo nginx -t  # Periksa apakah konfigurasi valid
sudo service nginx reload  # Muat ulang Nginx untuk menerapkan perubahan

Konfigurasi untuk EasyEngine

Konfigurasi di atas bisa ditempatkan juga pada EasyEngine panel.

Caranya, masuk ke /opt/easyengine/sites/domainanda.com/config/nginx/custom/user.conf lalu paste baris ini saja:

location / {
    if ($http_user_agent ~* (wget|curl|libwww|python|perl|ruby)) {
        return 403; #Forbidden
    }
}

Setelah itu lakukan reload dengan perintah ee site reload domainanda.com

Kesimpulan

Dengan mengikuti langkah-langkah di atas, Anda dapat dengan mudah memblokir akses dari agen pengguna wget dan alat pengambilan konten otomatis lainnya di Nginx.

Dengan melakukan ini, Anda dapat melindungi situs web Anda dari potensi ancaman keamanan, mengurangi beban server yang tidak perlu, dan meningkatkan kinerja situs secara keseluruhan.

Dengan demikian, SEO situs Anda juga dapat ditingkatkan karena situs yang lebih aman dan efisien memiliki potensi untuk mendapatkan peringkat lebih baik di hasil pencarian mesin telusur.