All posts under crawler

Video: Matt Cutts erklärt wie die Google Websuche funktioniert

Matt Cutts ist der Leiter des Webspam-Teams von Google. In diesem Video erklärt er einmal wie die Google-Suche funktioniert. Besonders interessant ist dabei der Aspekt, dass die Crawler in der Lage sind, dass gesamte Web in einer halben Sekunde (!) zu durchsuchen. Unglaublich. Mit dem Laden des Videos akzeptieren Sie[…]

Read More »

Das Grauen mit den Crawlern: XING

Drüben auf Blog Age schreibt Peter Schink, welche Sicherheitsproblematik in Bezug auf Datencrawler bei XING bestehen. Er hat selbst durch den ein oder anderen Test feststellen können, dass die Daten bei XING nicht durchweg sicher vor den Augen von Crawlern also auch Suchmaschinen geschützt sind. Im Corporate-Blog von XING gibt[…]

Read More »