♫ \ "Minecraftable \" - Minecraft Parody Song of Maroon 5 \ "Animals \"

Används spindlar någonsin av någon annan än sökmotorer och spammare? Om någon ville samla in information från webben, skulle de någonsin använda dem? Tack

Några skäl som en bot kan användas som kommer att tänka på mig är:

  • Vissa kataloger genomsöker en webbplats för sin metainformation (vanligtvis efter att en webbplats har skickats till katalogen)

  • Kontextuella annonstjänster som Adsense använder bots för att ta reda på vad en sida handlar om så relevanta annonser kan visas

  • Webmasters kan använda bots för att hitta potentiella länkningspartners. Detta Maj faller inom kategorin spammare men jag vill lista det för personer som inte använder det skadligt.

  • Webmasters kan använda bots för att verifiera att en länk som publicerats i en länkutbyte har varit och fortfarande finns på partnerns webbplats

  • 2 Bra lista. En till: Bots används för att skanna webbplatser för uppdateringar av aggregeringstjänster (även om de ibland kan använda RSS-flöden).

Du kan använda en spindel för att genomsöka din egen webbplats och leta efter trasiga länkar.

Det finns många, många potentiella användningsområden för webcrawlar - en översikt av Wikipedia's lista över Open Source Web Crawlers eller exempel på Spidering Hacks som tillhandahålls av O'Reilly kan hjälpa till att illustrera de många sätt som webbmästare och programmerare använder andras tjänster och information.

Förutom "vänliga" spindlar kan du också förvänta dig att se massor av skördare för spambotinformation, skrapor, kontaktformulärsspammare och sårbarhetsskannrar (som Nessus) i webbplatsens åtkomstloggar.

Alla som är bekanta med skript och har intresse för andra webbplatsers tjänster kan implementera en spindel av viss variation.

fungerat för dig: Charles Robertson | Vill du kontakta oss?