Robots.txt - Durchführung des Internet Marketings

• Suchmaschinen suchen als erstes nach http://www.domain.xx/robots.txt
  Wenn nicht vorhanden entstehen 404er Fehler in der Logfile Analyse (Webserver Statistik)
  
  
• Standard robots.txt  » info
  
  
• The Web Robots Pages (Offiziell aber kompliziert)   » info
  
  
• Mit der Datei robots.txt Seiten und Verzeichnisse für Robots sperren
  (Verständlich)   » info
  
  
• robots.txt Generator von Searchcode oder in den Google Webmaster Tools
  
  
• robots.txt Checker von Motoricerca (mittelmässig) oder in den Google Webmaster Tools
  
  
• Unbedingt sitemap.xml Verweis einfügen (sitemaps.org Standard)
  
  
• Lästige (Ro)Bots mittels .htaccess vom Server aussperren   » info