1. Hello Guest, selamat datang di Forum WinPoin. Kamu bisa bertanya, berdiskusi, sharing, dan ngobrolin apapun seputar Windows, Windows Phone, PC, Gadget, atau hal seputar Teknologi lainnya. Selamat berkomunitas! ;)

Cara Buat Robot.txt

Discussion in 'General' started by SyamsQ, Jul 24, 2014.

  1. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    Untuk di robot.txt satu aja....
    Code:
    Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED 
     
  2. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Maaf master, tapi yang saya lihat ada 3 sitemap.
     
  3. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    yang di Robot.txt ? apa saja memang ?
     
  4. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Ini Master, isi robotnya.
    Sitemap: http://yuzsite.blogspot.com/sitemap.xml
    Sitemap: http://yuzsite.blogspot.com/feeds/posts/default?orderby=UPDATED
    Sitemap: http://yuzsite.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=999
     
  5. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    owh ya.... lupa itu blog lama ku... :ketawa:

    ya bebas sih...
    namun sebenarnya satu juga cukup...
     
  6. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Masters, Manfaat robots.txt itu buat apa? maksud disallow: /search bagaimana? kenapa disallow: /search bukannya allow: /search :tidaak1:

    Tolong gan. soalnya di webmaster saya jadi Error Crawl.
    [attachment=3754]
    Setelah dibuka dibrowser masih ada, tapi jadi pemberitahuan error saya bingung.
     

    Attached Files:

  7. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    fungsinya untuk mengetahui yang mana yang harus diindex dan tidak....
    gunakan disallow: /search , untuk mencegah duplikat...
    kemungkinan ada url blog yang menuju halaman 404...
     
  8. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Gan, berarti kayak yang di gambar 2014/07/search/* itu efek dari disallow: /search, tapi saya masih bingung kenapa bisa jadi 404 di webmaster error crawl.? Tetapi kalau link yang digambar saya buka masih ada.
     
  9. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    owh..,
    begini..., pemecah malsalahnya ini menu html nav kamu :
    nah itu salah !, Mengapa ? jika url di htmlmu begini 'search/label/Islam/' sama dengan posisi_halaman _link_berada/search/label/Islam/
    jika kita membukanya berada di homepage maka akan benar.... nanti akan begini "http://www.syamsq.com/search/label/Islam"

    tapi klo di halaman lain minsal saya buka halaman artikel blog mu (url http://www.syamsq.com/2014/07/template-kompimales-blogspot.html) dan membuka link navbar Islam tadi, maka link tadi akan menjadi "http://www.syamsq.com/2014/07/search/label/Islam/" dan ini yang membuat 404...

    jadi google akan meng crawl semua link yang ada di blog mu termasuk yang berada navbar, karena saat di index link error maka 404...

    memperbaikinya ganti kode html navbar mu dengan ini :

    Code:
    <nav id='menu'>
    <input type='checkbox'/>
    <label>≡<span>Navigasi</span></label>
    <ul>
    <li><a href='/' title='Etalase'>Etalase</a></li>
    <li><a href='http://www.syamsq.com/search/label/Tekno/' title='Tekno'>Teknologi</a></li>
    <li><a href='http://www.syamsq.com/search/label/Kesehatan/' title='Kesehatan'>Kesehatan</a></li>
    <li><a class='prett' href='http://www.syamsq.com/search/label/Islam/' title='Islam'>Islam</a>
    <ul class='menus'>
    <li><a href='http://www.syamsq.com/search/label/Quran/' title='Quran'>Quran</a></li>
    <li><a href='http://www.syamsq.com/search/label/Hadits/' title='Hadits'>Hadits</a></li>
    <li><a href='http://www.syamsq.com/search/label/Tokoh/' title='Tokoh'>Tokoh</a></li>
    </ul>
    </li>
    <li><a href='http://www.syamsq.com/search/label/Pendidikan/' title='Pendidikan'>Pendidikan</a></li>
    </ul>
    </nav>
    atau tambahkan garis miring di awal url "/' jadinya begini "/search/label/Pendidikan/" bukan "search/label/Pendidikan/"

    [hr]

    lalu apa masalah dengan disallow: /search ? pernah gak lagi googling menemukan url yang malah pencaharian saja.....
    nah maka dari itu direkomendasikan harus disallow: /search.... karena ya kita juga pengunjung merasa kecewa klo lagi googling kebukanya malah halaman pencaharian yang gak ada isinya.... selain itu kurang bagus untk SERP :goodjob:
     
  10. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Gan itukan yang ada di menu, sudah gak ada syamsq.com/2014/07/search/label/kesehatan
    Tapi ada yang error gak ada dimenu ada juga error di crawl smartphone
    Ini error desktop [attachment=3758]

    ini error mobile
    [attachment=3759]
     

    Attached Files:

  11. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    ya itukan cuma contoh... yg lain juga.. sudah diubahkan ?? ya sudah masalah satu tuntas...
    tinggal error yg
    dan yg mobile
     
  12. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Gan, saya cuma memperbaiki yang dimenu. kalau yang lain-lain yang bukan dimenu bagaimana?
     
  13. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    pelan pelan...
    satu sudah kini satu lagi :ketawa:
    untuk memperbaiki yang mobile... tambahkan kode dibawah di robot.txt
    Code:
    Use-agent:  Googlebot
    Disallow: /*?m*
     
  14. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Saya makenya begini:

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent:*
    Disallow: /search
    Disallow: /w
    Disallow: /?m=1
    Disallow: /?m=0
    Disallow: /*?m=1
    Disallow: /*?m=0
    Disallow: /*/*/*.html?m=0
    Disallow: /*/*/*.html?m=1
    Disallow: /view/*
    Disallow: /*/*/*.html?showComment=*
    
    Sitemap: http://www.syamsq.com/feeds/posts/default?orderby=UPDATED
    Code
    Code:
    Use-agent:  Googlebot
    Disallow: /*?m*
    ditaruh dimana?

    Apakah ada perbedaan antara /*?m*, /*?m=1, /*?m=0?
     
  15. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    wew..., gak efektif....
    jadi begini saja :

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent:*
    Disallow: /search
    Disallow: /w
    Disallow: /?m*
    Disallow: /*?m*
    Disallow: /*/*/*.html?m*
    Disallow: /view/*
    Disallow: /*/*/*.html?showComment=*
    tanda bintang mewakili apa saja jadi m* bisa m=1 bisa juga m=0
     
  16. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Sudah saya terapkan gan. Setelahnya harus bagaimana?
     
  17. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,373
    berarti tinggal duplikat yang
    Code:
    -/
    2i-c/
    s
    nah klo yang ini....
    saya juga angkat tangan, :peace:
    mungkin bisa nuggu beberapa hari. terjadi duplikat yg ini lagi apa gak :woa:
    coba deh tanya ke mimin Febian, dan momod SabunColek
     
  18. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    589
    Siap gan, saya tunggu mimin Febian, dan momod SabunColek
     

Share This Page