Heute stelle ich hier alle wichtigen Suchmaschinen Bots vor. Diese Liste erhebt nicht den Anspruch auf Vollständigkeit. Ich würde gerne diese Liste vervollständigen, also wer noch ander User Agenten von Suchmaschinen identifiziert hat, kann sie gerne als Kommentar posten.
Abacho Bots
-
AbachoBOT Abacho
AbachoBOT (Mozilla compatible) Abacho
Crawler admin@crawler.de Crawler.de
Crawler V 0.2.x admin@crawler.de Crawler.de
Alexa Bots
-
crawler@alexa.com
IAArchiver-1.0 Alexa (209.237.238.1xx)
ia_archiver Alexa (209.237.238.1xx)
ia_archiver-web.archive.org Alexa (209.237.238.1xx)
ia_archiver/1.6 Alexa (209.237.238.1xx)
AltaVista Bots
-
AltaVista Intranet V2.0 AVS EVAL search@freeit.com
AltaVista Intranet V2.0 Compaq Altavista Eval sveand@altavista.net
AltaVista Intranet V2.0 evreka.com crawler@evreka.com
AltaVista V2.0B AV Fetch 1.0
AVSearch-3.0(AltaVista/AVC)
Scooter-3.0.EU
Scooter-3.0.FS
Scooter-3.0.HD
Scooter-3.0.VNS
Scooter-3.0QI
Scooter-3.2
Scooter-3.2.BT
Scooter-3.2.DIL
Scooter-3.2.EX
Scooter-3.2.JT
Scooter-3.2.NIV
Scooter-3.2.SF0
Scooter-3.2.snippet
Scooter-3.3dev
Scooter-ARS-1.1
Scooter-ARS-1.1-ih
scooter-venus-3.0.vns
Scooter-W3-1.0
Scooter-W3.1.2
Scooter/1.0
Scooter/1.0 scooter@pa.dec.com
Scooter/1.1 (custom)
Scooter/2.0 G.R.A.B. V1.1.0
Scooter/2.0 G.R.A.B. X2.0
Scooter/3.3
Scooter/3.3.QA.pczukor
Scooter/3.3.vscooter
Scooter/3.3_SF
Scooter2_Mercator_x-x.0
Scooter_bh0-3.0.3
Scooter_trk3-3.0.3
ASK Bots
-
ask.24x.info
Mozilla/2.0 (compatible; Ask Jeeves)
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Mozilla/4.0 [en] (Ask Jeeves Corporate Spider)
Mozilla/5.0 (compatible; Ask Jeeves/Teoma)
Teoma MP (65.214.36.xx[x])
teomaagent crawler-admin@teoma.com (65.214.36.xx[x])
teomaagent1 [crawler-admin@teoma.com] (65.214.36.xx[x])
teoma_agent1 (65.214.36.xx[x])
Baidu Bots
-
BaiDuSpider
Baiduspider+
Exalead Bots
-
Exabot-Images/1.0 (193.47.80.xx)
Exabot-Test/1.0 (193.47.80.xx)
Exabot/2.0 (193.47.80.xx)
Exabot/3.0 (193.47.80.xx)
Exalead NG/MimeLive Client (convert/http/0.120) (193.47.80.xx)
NG/1.0 (193.47.80.xx)
NG/4.0.1229 (193.47.80.xx)
Google Bots
-
DoCoMo/1.0/P502i/c10 (Google CHTML Proxy/1.0) (216.239.39.x)
Generic Mobile Phone (compatible; Googlebot-Mobile/2.1)
Google Talk
Googlebot-Image/1.0 (66.249.72.xxx)
Googlebot-Image/1.0 (66.249.72.xxx)
Googlebot/2.1 66.249.64.XXX
Googlebot/2.1 66.249.64.XXX
Googlebot/Test 66.249.64.XXX
gsa-crawler (Enterprise; GID-01422; jplastiras@google.com) (216.239.xx.xx)
gsa-crawler (Enterprise; GID-01742;gsatesting@rediffmail.com) (216.239.xx.xx)
gsa-crawler (Enterprise; GIX-02057; dm@enhesa.com) (212.35.100.1xx)
gsa-crawler (Enterprise; GIX-03519; cknuetter@stubhub.com) (129.41.20.1xx)
gsa-crawler (Enterprise; GIX-0xxxx; enterprise-training@google.com) (216.239.xx.xx)
KDDI-SN22 UP.Browser/6.0.7 (GUI) MMP/1.1 (Google WAP Proxy/1.0) (216.239.33.x)
Mediapartners-Google/2.1 ( http://www.googlebot.com/bot.html)
Mozilla/4.0 (MobilePhone SCP-5500/US/1.0)
NetFront/3.0 MMP/2.0 (compatible; Googlebot/2.1) 66.249.66.xxx
Mozilla/4.0 (MobilePhone SCP-5500/US/1.0) NetFront/3.0 MMP/2.0 FAKE
(compatible; Googlebot/2.1) 66.249.66.xxx
Mozilla/5.0 (compatible; Googlebot/2.1)
Nokia-WAPToolkit/1.2 googlebot(at)googlebot.com
Nokia7110/1.0 (05.01) (Google WAP Proxy/1.0)
Inktomi Bots
-
Inktomi Search
Mozilla/3.0 (Slurp/cat) 72.30.61.xx(x)
Mozilla/3.0 (Slurp/si) 72.30.61.xx(x)
Mozilla/5.0 (compatible; Yahoo! Slurp China) (202.160.180.xxx)
Mozilla/5.0 (compatible; Yahoo! Slurp) (via 66.196.xx.xxx)
Mozilla/5.0 (Slurp/cat; slurp@inktomi.com)
Mozilla/5.0 (Slurp/si; slurp@inktomi.com)
Slurp/2.0 (slurp@inktomi.com)
Slurp/2.0-KiteWeekly (slurp@inktomi.com)
Slurp/si (slurp@inktomi.com)
Slurpy Verifier/1.0‚ 72.30.61.xx(x)
Mirago Bots
-
ExperimentalHenrytheMiragoRobot
HeinrichderMiragoRobot
HeinrichderMiragoRobot(http://www.miragorobot.com/scripts/deinfo.asp)
HenriLeRobotMirago (http://www.miragorobot.com/scripts/frinfo.asp)
HenrytheMiragoRobot
HenryTheMiragoRobot (http://www.miragorobot.com/scripts/mrinfo.asp)
MSN Bots
-
msnbot-media/1.0
msnbot-Products/1.0
MSNBOT/0.xx 131.107.xxx.xxx 204.95.96.xxx – 204.95.111.xxx 207.46.xxx.xxx
msnbot/x.xx 131.107.xxx.xxx 204.95.96.xxx – 204.95.111.xxx 207.46.xxx.xxx
MSNPTC/1.0 131.107.xxx.xxx 204.95.96.xxx – 204.95.111.xxx 207.46.xxx.xxx
Yahoo! Bots
-
DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0) (203.216.197.xxx)
Mozilla/4.0 Yahoo Mindset (66.228.182.1xx)
Mozilla/4.0 (compatible; crawlx, crawler@trd.overture.com) (68.142.211.1xx)
Mozilla/4.0 (compatible; Y!J; for robot study; keyoshid) Ya(203.141.52.)
Mozilla/4.0 (compatible; Yahoo Japan; for robot study; kasugiya) (202.93.76.xx)
SpiderMan (202.165.102.xxx)
Y!J-BSC/1.0 (211.14.8.2xx)
Y!J-SRD/1.0 (203.216.197.xxx)
Y!J/1.0 (211.14.8.2xx)
Y!OASIS/TEST no-ad Mozilla/4.08 [en](X11; I; FreeBSD 2.2.8-STABLE i386)
Y!TunnelPro Y!TunnelPro
Yahoo! Mindset Yahoo Mindset (66.228.182.1xx)
Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5 ) (209.191.83.1xx)
Yahoo-MMAudVid/1.0
(mms dash mmaudvidcrawler dash support at yahoo dash inc dot com) (206.190.43.xx)
Yahoo-MMCrawler/3.x (mm dash crawler at trd dot overture dot com) (66.77.73.xx)
Yahoo-Test/4.0
Yahoo-VerticalCrawler-FormerWebCrawler/
3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler (66.77.73.3x)
YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5
YahooSeeker-Testing/v3.9 (compatible; Mozilla 4.0; MSIE 5.5) ( 68.142.195..x)
YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5) ( 66.196.93.x)
YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5) ( 66.196.93.x)
YahooSeeker/1.1 (compatible; Mozilla 4.0; MSIE 5.5) ( 66.196.93.x)
YahooSeeker/bsv3.9 (compatible; Mozilla 4.0; MSIE 5.5) ( 68.142.195..x)
YahooSeeker/CafeKelsa-dev (compatible; Konqueror/3.2; FreeBSD
cafekelsa-dev-webmaster@yahoo-inc.com ) (64.157.137.xxx)
Nutch-0.9-dev Unknown Yahoo robot
Hallo, ich bin der Gründer dieses Blogs. Am Anfang habe ich hier nur über SEO-Themen und Suchmaschinen geschrieben. Jetzt schreibe ich hier zusätzlich noch über Technik Themen und andere Dinge, die mich interessieren. Wenn ich Dich inspiriert habe, oder Du Hilfe bei einem Onlinemarketing Thema benötigst, scheue Dich nicht mich zu kontaktieren.
Danke für Dein zielführenden Kommentar.
Abacho würde ich nicht als wichtig einstufen.
Nette Liste. Wäre allerdings interessant, wenn du sie noch um „bösartige“ Bots erweitern würdest.
Google bot fuer .mobi domains:
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Ich werde demnächst eine neue Liste mit bösartigen Bots und Bots die einfach nur unnötig den Traffic aufblähen zusammenstellen.
Hi Sammy,
schicke Liste 🙂 Hab Dir mal die kurzen Eckdaten zu unserem Bot ebenso reingeschrieben, in der Hoffnung das er nicht auf der Black-Bot Liste landet ^^ 🙂
seekXL/V1.01 (212.14.64.XX)
Gruss
seekXL 🙂
Hallo Klasse liste – aber ich weiß immer noch nicht was das für bots sind ob gut oder schlecht naja komisch ist das aber was sind das sollen das alles suchmaschinen sein? oder Bösartige User ??
Gut das wars 🙂
Lg Alex
sicher mit dem exabot? was soll der bringen? siehe hier: http://www.nwlab.net/know-how/user-agent/ gruss matth