Shopify Robots.txt – Semua yang perlu Anda Ketahui

Jika Anda baru saja menerima email dari Google tentang file txt Shopify Robots Anda yang diblokir, Anda mungkin bertanya-tanya apa ini dan bagaimana cara memperbaikinya.

Pada artikel ini saya akan menjelaskan semua yang perlu Anda ketahui tentang file txt Shopify Robots Anda, cara kerjanya, dan apa arti semua peringatan itu.

Pastikan untuk membaca sampai akhir artikel sehingga Anda bisa mendapatkan pemahaman penuh tentang apa yang normal, dan hal-hal apa yang harus diwaspadai.

Tonton Tutorial Video Singkat kami

Pembaruan 2021: File Shopify Robots.txt sekarang Dapat Diedit

Apa itu file robots.txt?

File robots.txt adalah file yang memberi tahu bot mesin pencari ini halaman mana yang dapat mereka akses dan mana yang tidak.

Perayap mesin telusur (alias: Googlebot) adalah robot yang merayapi web dan mengunjungi banyak situs web untuk lebih memahami tentang semua itu.

Jika Anda memiliki toko Shopify, perayap mesin pencari kemungkinan besar memiliki situs Anda di masa lalu dan melaporkan informasi yang mereka temukan kembali ke Google.

Tujuan dari file robots.txt adalah untuk mencegah situs Anda kewalahan dengan “permintaan” yang dapat memperlambatnya.

Indeks meskipun diblokir oleh Robots.txt?

Contoh halaman yang diblokir Robots.txt

Misalnya, mesin pencari seperti Google dapat merayapi halaman produk di situs Anda untuk mencari lebih banyak data, tetapi mereka tidak dapat merayapi halaman checkout Anda… mengapa demikian?

Ini ada hubungannya dengan langkah-langkah keamanan serta SEO. Halaman checkout tidak perlu diberi peringkat untuk SEO, jadi sebaiknya diblokir dari crawler.

Anda tidak ingin bot merayapi halaman checkout Anda, sebenarnya Anda ingin halaman ini diblokir oleh robots.txt Shopify.

Ketika pergi mengatakan mereka telah "mengindeks" halaman ini, itu hal yang baik. Ketika sebuah halaman “diindeks” itu berarti Google mengunjungi halaman tersebut, mengetahui isinya dan memenuhi syarat untuk ditampilkan pada hasil pencarian.

Halaman apa yang tidak boleh diblokir oleh robots.txt?

Anda pasti harus menyadari setiap halaman yang diblokir oleh robots.txt.

Salah satu cara yang baik untuk memantau ini adalah dengan mendaftar untuk mendapatkan akun Google Search Console gratis. Ini akan mengirimi Anda email otomatis dan memperingatkan Anda tentang potensi masalah apa pun.

Ingat saja Google mengirimkan pemberitahuan email tentang SEMUA halaman yang diblokir oleh robots.txt, bahkan halaman yang benar-benar normal, jadi tidak perlu panik. Lihat bagian di bawah.

Kapan Anda harus benar-benar khawatir? Misalnya jika Anda melihat halaman produk diblokir oleh file robots.txt Anda, ini bisa menjadi masalah potensial dan layak untuk diteliti.

Halaman apa yang harus diblokir oleh robots.txt?

Beberapa halaman umum yang akan Anda lihat diblokir adalah: daftar, login, checkout, dan checkout untuk beberapa nama.

Ingatlah bahwa ini benar-benar normal dan tidak ada yang perlu dikhawatirkan. Ini bekerja seperti yang diharapkan.

Contoh:

amysdogtreats.com/account/register

amysdogtreats.com/account/login

amysdogtreats.com/checkout

amysdogtreats.com/checkouts

Di mana file robots.txt saya berada?

Anda dapat menemukan file robots.txt Anda di direktori root nama domain utama toko Shopify Anda.

Jadi itu akan terlihat seperti nama situs web Anda slash robots.txt

Misalnya: amysdogtreats.com/robots.txt

Bisakah saya mengedit file robots.txt Shopify saya?

Tidak.

Jawaban sederhananya adalah Anda tidak dapat mengedit file robots.txt Anda jika menggunakan layanan hosting seperti Shopify.

File robots txt Anda ditangani secara otomatis untuk Anda oleh Shopify, dan Anda dapat yakin bahwa mereka melakukan pekerjaan dengan benar.

Misalnya, halaman keranjang belanja Anda akan diblokir dari mesin pencari. Ini berguna untuk SEO Anda karena memungkinkan halaman produk Anda ditemukan lebih mudah oleh pelanggan di hasil pencarian.

Apa gunanya jika pelanggan menemukan halaman keranjang belanja Anda di situs web Anda? Idenya adalah untuk membantu peringkat halaman produk Anda lebih tinggi daripada halaman checkout Anda.

Bagaimana cara menyembunyikan halaman dari mesin pencari?

Seperti yang dinyatakan Google dalam dokumen bantuan mereka, “Anda tidak boleh menggunakan robots.txt sebagai sarana untuk menyembunyikan halaman web Anda dari hasil Google Penelusuran.”

Jika Anda ingin menyembunyikan halaman dari mesin pencari, Google menyarankan Anda menggunakan noindex .

Dengan toko shopify, ini akan mengharuskan Anda untuk menambahkan beberapa kode ke liquid.file tema Anda ke noindex halaman tertentu.

Bagaimana cara menguji file Robots.txt Anda?

Google memiliki penguji yang dapat Anda gunakan untuk menguji file robots txt Anda yang dapat ditemukan di sini.

Ini adalah alat yang berguna jika Anda ingin melihat URL spesifik mana yang diblokir dari perayap web Google.

Aplikasi SEO Shopify Terbaik untuk pemantauan Google

Aplikasi SEO Shopify terbaik yang tersedia untuk memantau aktivitas Google Anda adalah Get Clicked SEO. Aplikasi ini menghilangkan tebakan untuk memperbarui SEO situs Anda.

Fitur utama dari Get Clicked SEO adalah ia menawarkan "Kode cuplikan kaya" otomatis yang kuat yang dapat membantu Anda mendapatkan visibilitas di konsol pencarian Google.

Cuplikan kaya adalah ulasan dan peringkat pelanggan yang muncul di hasil pencarian dengan bintang kuning, harga, dan ketersediaan stok.

Beberapa fitur utama lainnya dari Get Clicked SEO adalah membantu Anda memperbarui judul halaman, deskripsi meta, dan gambar teks alternatif. Ini juga memiliki alat pemantauan kata kunci serta alat penelitian kata kunci (ini satu-satunya aplikasi SEO di Shopify yang memiliki keduanya!)

Dapatkan Diklik SEO adalah satu-satunya aplikasi Shopify buatan AS yang menyediakan layanan pelanggan VIP, bersama dengan tutorial video untuk membantu Anda melalui perjalanan SEO Anda.

Jika Anda belum menginstal Get Clicked SEO hari ini, Anda dapat mencoba uji coba gratis 7 hari mereka (uang kembali 100% dijamin jika Anda tidak menyukai aplikasinya).

Kesimpulan

Terima kasih telah membaca artikel ini semua tentang apa itu file robots txt dan bagaimana Anda dapat memantau milik Anda untuk memastikan tidak ada hal mencurigakan yang terjadi. Singkatnya, kami membahas bahwa file robots.txt Anda dibuat dan dikelola secara otomatis oleh Shopify.

Jika situs web eCommerce Anda tidak dihosting oleh Shopify, silakan lihat dokumen bantuan Google untuk cara mengedit file ini.

Kami juga membahas halaman mana yang boleh diblokir oleh Google dan halaman mana yang tidak boleh diblokir. Dan terakhir, kami menyelesaikan tutorial ini dengan menunjukkan di mana Anda dapat menemukan file Anda dan cara mengujinya dengan alat Google.

Jika Anda memiliki pertanyaan lebih lanjut tentang file txt robot Shopify Anda, jangan ragu untuk menghubungi tim kami di Adolab di sini atau tinggalkan komentar di bawah.