User-Agent: * Disallow: /images/ Disallow: /forum/ Disallow: /verhalen_show.php Disallow: /verhalen_reageren.php Disallow: /verhalen.php Disallow: /stuurmail.php Disallow: /meeting.php Disallow: /links.php Disallow: /search.php Disallow: /about.php Disallow: /verhalen/ #Disallow: /*? Disallow: /*& #Door Joostjuh wijzigingen worden de verhalen alsnog weer opgenomen door Google #(fancy URL's --> URL rewrite). Daarom moet: http://www.comingout.nl/content/verhalen/ #ook toegevoegd worden. # #Disallow: /*? blokkeert Google van het uitlezen van alle links waar een vraagteken instaat na de domeinnaam #Disallow: /*& blokkeert Google van het uitlezen van alle links waar een & teken in staat, #dat wil zeggen: sowieso alle verhalen! #Vraagteken zou ook alle andere site onderdelen blokkeren... aangezien die #ook als variabele aangeroepen worden # #Marc, 16-08-2008 #als je forum.comingout doorzet naar comingout, dan moet robots.txt #in de root ook aangepast worden! Zie: #~/html/comingout.nl/forum$ more robots_leesmij.txt #Marc, 13 maart 2004.