Crawler of spider
De functie van de crawler of spider is het zoeken naar en ophalen van webpagina's en bestanden. Het programma doorzoekt en index nieuwe en eerder aangemelde websites. De crawler haalt de informatie uit een website en de mate waartoe de crawler hiertoe in staat is, is zeer afhankelijk van de gebruikte technieken en technische invulling van een website.
Los van inhoud, bepaalt de technische invulling van in website in belangrijke mate de doorzoekbaarheid van een website door een crawler en de opname in een zoekmachine.
» meer over principe - werking zoekmachines.
Invloed technische invulling website op crawler - zoekmachine
Standaard HTML is uitstekend doorzoekbaar door een crawler en de informatie wordt in potentie in zijn geheel opgenomen.
Daarintegen zijn programmacodes in Javascript vaak (bijna altijd) onleesbaar voor de crawler. Links, teksten e.d. die dus via Javascript gegenereerd worden zijn daarmee onzichtbaar voor de crawlers. Dit kan ernstige gevolgen hebben voor de leesbaarheid van uw site (door crawlers) en indexering in de zoekmachine.
Ook dynamisch gegenereerde url's (vaak gegenereerd door door Content Management Systemen) zijn crawler onvriendelijk. Content Management Systemen gebruiken vaak bepaalde programmacodes die de doorzoekbaarheid van een website door de crawler ernstig beperken.
Het gebruik van frames, flash (ronduit crawler onvriendelijk) levert ook problemen. Er zijn wel oplossingen overigens, maar dat is dan meer in een work-around.
» meer over principe - werking zoekmachines.
Website Promotie Software