Lényegében minden keresőmotor néhány nagyobb weboldaltól indul el, azután megpróbálnak új honlapokat találni, főként a létező weboldalak kapcsolódásai révén. Vagyis egy viszonylag új honlapról, amelyik semmivel sincs még összekötve, vélhetően a Google sem fog tudni.
Emellett számos weboldalt hoznak létre a tartalommenedzsment-rendszerek is, méghozzá különböző változatokban, igazodva ahhoz, amikor éppen egy adott felhasználó látogatja meg az oldalt. Ezek a dinamikusan létrejövő oldalak számos, a felhasználók által módosítható web 2.0-ás elemet is tartalmaznak. Vagyis például a Facebookon keletkező bejegyzések követéséhez a keresőmotoroknak gyakorlatilag szinkronban kellene üzemelniük a világ valamennyi számítógépével.