OdoBan Tvätt: Hur man använder OdoBan i tvättmaskin [Bästa alternativet för sköljmedel]

Jag har en liten webbplats för vilken den nuvarande robots.txt ser ut så:

User-agent: * Disallow: Sitemap: https://www.myawesomesite.com/sitemap.xml 

Nu vill jag lägga till en annan regel så (med målet att inte tillåta SomeStupidBot för att genomsöka min webbplats):

User-agent: SomeStupidBot Disallow: / Sitemap: https://www.myawesomesite.com/sitemap.xml 

Jag är osäker på hur jag kombinerar ovanstående två rules till en robots.txt.

  • Om en bot är riktigt dum kan du inte blockera den via robots.txt, du måste kontrollera dina webbplatsloggar och baserat på IP-adress + användaragent måste du blockera den på htaccess. Men de flesta av robotarna hedrar din robots.txt och de kan också ha dokumentsidor för att veta hur man blockerar den.

För att kombinera dem lägger du helt enkelt till det andra regelblocket (gruppen) i filen, med ett linjeavstånd, så här:

User-agent: * Disallow: User-agent: SomeStupidBot Disallow: / Sitemap: https://www.myawesomesite.com/sitemap.xml 

Beställningen spelar ingen roll (den mest specifika - baserat på längd - vinner). Endast ett block bearbetas av botten.

Observera att Sitemap direktivet ingår inte i gruppen. Det är ett oberoende direktiv som ofta visas i slutet av filen (även om platsen inte spelar någon roll).

Som @MEGA redan har sagt är den första gruppen överflödig i detta fall. Det är dock upp till dig om du behåller det (det kommer det vanligtvis att vara något du vill inte att andra bots ska krypa).

Som standard har alla robotar tillåtelse att genomsöka alla delar av din webbplats med eller utan den första koden du angav.
Så för att inte tillåta en bot lägger du bara till den andra koden:

User-agent: SomeStupidBot Disallow: / 

och ta bort:

User-agent: * Disallow: 

Jag är inte expert på robots.txt, men enligt min förståelse så är det så.

  • 1 Detta skulle fungera, men jag rekommenderar att du behåller båda reglerna. På så sätt kan du enkelt lägga till tillåtna regler för alla bots.

fungerat för dig: Charles Robertson | Vill du kontakta oss?