1. Hello Guest, selamat datang di Forum WinPoin. Kamu bisa bertanya, berdiskusi, sharing, dan ngobrolin apapun seputar Windows, Windows Phone, PC, Gadget, atau hal seputar Teknologi lainnya. Selamat berkomunitas! ;)

Cara Buat Robot.txt

Discussion in 'General' started by SyamsQ, Jul 24, 2014.

  1. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Gan, Gimana caranya buat robot.txt?
    Saya sudah buka google tapi banyak banget dan beda-beda. Terakhir saya copy dari web orang pakai cara saya buka http://www.namablog.com/robots.txt setelah itu saya copy isinya. Tetapi tadi saya coba buka punya saya sudah berubah seperti standar sitemap generator. :tidaak1:
     
  2. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,353
    blogger/wordpress ?
    klo blogger sudah ada klo ingin diedit ada di peraturan..
    klo wordpress juga sudah ada kan ?

    hati hati sama robot txt, salah dikit bisa bahaya lo...
     
  3. Ambrizal Suryadinata

    Ambrizal Suryadinata Saya Ganteng Staff Member

    Joined:
    Jan 25, 2014
    Messages:
    2,587
    Coba aja buka google webmaster disana ada panduannya.
     
  4. Febian

    Febian Administrator Staff Member

    Joined:
    May 7, 2013
    Messages:
    8,032
    Bener itu
    Paling enak ya liat aja contoh robots.txt orang, terus ubah aja url yang gak ingin km index apa.

    Copy aja code dibawah ini, ubah url nya dengan url yang tidak ingin km index, simpan dengan nama robots.txt, upload di root server

    segampang itu sih robots.txt

    aku masih gak ngeh dengan punya kamu tiba2 berubah seperti sitemap? kn robots.txt itu file txt biasa
    apa sih nama domainnya biar aku periksa?
     
  5. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Kalau seperti ini betul atau salah? Tolong dikoreksi gan.
    User-agent: Mediapartners-Google
    Disallow:

    User-agent: Googlebot
    Allow: /
    Disallow: /search
    Disallow: /w
    Disallow: /?m=0
    Disallow: /*/*/*.html?m=0
    Disallow: /view/*
    Disallow: /*/*/*.html?showComment=*

    User-agent:*
    Allow: /
    Disallow: /search
    Disallow: /w
    Disallow: /?m=0
    Disallow: /*/*/*.html?m=0
    Disallow: /view/*
    Disallow: /*/*/*.html?showComment=*l‎

    Sitemap: http://www.syamsq.com/feeds/posts/default?orderby=UPDATED
     
  6. stefanus aggasia

    stefanus aggasia Active Member

    Joined:
    Nov 8, 2013
    Messages:
    3,004
    gak berani komen apa-apa aku nyimak aja gak ngerti soalnya sama yang beginian
     
  7. Febian

    Febian Administrator Staff Member

    Joined:
    May 7, 2013
    Messages:
    8,032
    gak usah dikasih allow: / gak masalah, krn defaultnya bakal allow all lalu bot cuman baca mana aja yang disallow
    terus googlebot gak perlu disendiriin, karena kuliat isi value nya sama dengan yang User-agent:*, Googlebot udah termasuk didalamnya jd langsung aja pake yang wildcard User-agent:*

    jadinya yang bener begini:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent:*
    Disallow: /search
    Disallow: /w
    Disallow: /?m=0
    Disallow: /*/*/*.html?m=0
    Disallow: /view/*
    Disallow: /*/*/*.html?showComment=*

    Sitemap: http://www.syamsq.com/feeds/posts/defaul...by=UPDATED
     
  8. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Gan, sebenarnya kode apa ini:
    Disallow: /?m=0
    Disallow: /*/*/*.html?m=0

    Soalnya kalau coba buka di hp url blog jadi syamsq.com/?m=0 atau syamsq.com/?m=1. saya pernah baca url kayak gini buat duplikat konten. Saya masih bingung.
     
  9. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,353
    klo begitu url untuk web desktop tidak diindex ?
    klo saya sih di blog gak pake begituan.... :ketawa:
     
  10. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585

    Bang Yuzz pakai apaan? :kagum:
     
  11. Febian

    Febian Administrator Staff Member

    Joined:
    May 7, 2013
    Messages:
    8,032
    nah loh..kirain memang halaman itu pengen km no index..hihihi
    pastikan dl kamu mengetahui dulu url-url apa yang mau di no index..kunjungi aja url nya utk memastikan
    * = wildcard, bisa diganti dengan karakter apa saja, mewakili halaman apapun.

    Contoh:

    /*/*/*.html?m=0 --> artinya segala halaman yang endingnya .html?m=0 bakal di no index, tidak pedulu karakter di depannya apa

    URL tentu beda2 tiap blog tergantung setting permalink nya.

    Jadi ketahui dulu halaman apa aja yg mau di no index sebelum memasukkannya ke robots.txt
    kalau aku hanya sekedar bantu mereview cara penulisannya saja..gak sampe neliti daleman url nya
     
  12. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Saya sebenarnya gak ngerti gan. cuma ikut-ikutan yang saya pahami.
    Saya baca disalah-satu blog di google yang menjelaskan kalau ?m=0, ?m=1 berbahaya makanya saya masukkin.

    CARA MENGATASI DUPLIKAT META DESCRIPTION DAN KONTEN
    Menghindari duplikat meta description dan konten bisa menjaga kualitas blog
    Cara mengatasi duplikat meta description di blogspot cukup sederhana. Anda bisa menggunakan Google Webmaster Tools untuk melakukan ini. Tapi sebelumnya mungkin teman-teman blogger perlu mengetahui alasan kenapa meta description yang yang terduplikasi di banyak halaman bisa menjadi masalah bagi blog kita.

    Ada yang namanya penalti atau sanksi untuk duplikat konten. Jika blog anda terindex dengan beberapa URL yang menghidangkan duplikat content, maka bisa jadi blog anda dalam masalah. Sebagai sanksinya bisa saja laju index blog anda akan berkurang dan ranking pun akan drop perlahan. Jadi mau tidak mau kita harus mengatasi masalah duplikat konten di dalam blog kita ini.....

    Contoh konten duplikat bisa terjadi dalam format Arsip seperti di bawah ini:
    http://trikmud ahseo.blogspot.com/2012/05
    http://trikmud ahseo.blogspot.com/2012_05_01_archive.html
    Kedua format di atas adalah arsip untuk bulan Mei 2012

    Atau juga bisa terjadi dalam format berikut:
    http://trikmud ahseo.blogspot.com/2013/03/cara-cara-memasang-lagu-di-blog-otomatis-diputar.html
    http://trikmud ahseo.blogspot.com/2013/03/cara-cara-memasang-lagu-di-blog-otomatis-diputar.html?m=0
    http://trikmud ahseo.blogspot.com/2013/03/cara-cara-memasang-lagu-di-blog-otomatis-diputar.html?m=1
    Ketiga URL di atas akan membuka halaman yang sama....

    Ada juga dalam bentuk URL untuk feeder komentar.... Semuanya itu bisa menimbulkan duplikat konten, yang jika sudah terlalu banyak akan menimbulkan masalah bagi blog anda....

    Jadi untuk mencegah itu (atau setidaknya meminimalkan) kita bisa melakukan 3 hal di bawah ini.
     
  13. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,353
    apaan apanya ? robot txt atau blog nya ?

    tapi sih blog saya yg blogspot, pake dafault robot txt gak mengindex tuh google sampai ?m=1 segala macam....
     
  14. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Soalnya saya juga punya blog lain yang kena sandbox, saya terauma :desperate2: takut kena lagi apalagi sampai kena banned. makanya dari sekarang saya mau perbaiki masalah seperti ini. Supaya nantinya tinggal isi artikel.
     
  15. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,353
    Google Sanbox itu karena

    1. Melakukan optimasi yang terlalu over atau berlebihan.
    2. Terlalu banyak ping yang di submit dalam sehari.
    3. Terlalu banyak backlink yang masuk.
    4. Artikel copas atau plagiat, karena tidak ada sumbernya.
    5. Terlalu banyak mengulang kata yang sama.
     
  16. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Master,
    No 4. bagaimana cara mencantumkan sumber dari tulisan yang dicopy?
    No 5. Maksud 'megulang kata' itu bagai mana? seperti kata : yang, diantara, saya. bukannya kata umum yang tidak bisa dihindari pengulangannya. Apalagi kata 'dan.'
     
  17. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,353
    4 : jangan pernah full copas... minimalnya 50% kata berubah lebih banyak yang diubah lebih baik... gunakan bahasa sendiri di artikel... sertakan link refrensi.. yang oenting ada link aktif ke website refensi
    5 : yang gak gtu juga kali :ketawa: , maksudnya seperti paragraf pengulangan... :cool:.
     
  18. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    :desperate2: Gan, tolong bantuannya. robots.txt saya yang ada didalam google webmaster berbeda dari robots.txt di setting blogspot. Cara mengatasinya bagaimana?
     
  19. Yusril Ibnu

    Yusril Ibnu Winpoin Staff Staff Member

    Joined:
    May 12, 2014
    Messages:
    6,353
    bisa lebih jelas.. ? :peace:
     
  20. SyamsQ

    SyamsQ Member

    Joined:
    Apr 16, 2014
    Messages:
    585
    Maaf gan,
    Agan memasukkan berapa sitemap kedalam robots.xt?
     

Share This Page