Crawler on ohjelma, jota käytetään hakukoneoptimoinnissa. Se selaa verkkosivustoja ja kerää tietoja, jotka voidaan käyttää hakukoneiden indeksointiin. Crawlerit lukevat sivuston sisältöä ja tallentavat sen hakukoneen tietokantaan, jotta hakukoneet voivat löytää sivuston ja näyttää sen tulokset hakutuloksissa. Crawlerit voivat myös analysoida sivuston sisältöä ja auttaa hakukoneita ymmärtämään, mitä sivusto kertoo. Tämä auttaa hakukoneita luokittelemaan sivuston oikein ja näyttämään sen oikeassa paikassa hakutuloksissa. Crawlerit ovat tärkeä osa hakukoneoptimointia, koska ne auttavat hakukoneita löytämään ja indeksoimaan sivuston sisällön, jotta se näkyisi hakutuloksissa.
Katso muu SEO-sanasto.