حجم وسیع اطلاعات بر روی شبکه وب باعث می‌گردد تا پاسخ‌دهی به کاوش‌های ارسالی از سوی کاربرن، بدون دسترسی به تمام متون و فقط با استفاده از فایل‌های نمایه صورت گیرد. بدین منظور، در سطح شبکه از روش‌های مختلف نمایه‌سازی استفاده می‌گردد. روش نمایهء انتهای کتاب، استفاده از ابرداده‌ها، شاخه‌های موضوعی و ساختار متمرکز و پراکنده در فن‌آوری موتورهای کاوش از روش‌های دیگر می‌باشد. بسیاری از موتورهای کاوش از یک ساختار متمرکز خزنده-نمایه‌ساز، سود می‌جونید. خزنده‌ها برنامه‌های نرم‌افزاری هستند که عمل پیمایش وب را انجام داده و صفحات جدید و یا به روز در آمده را به سرویس‌دهنده‌ای که قرار است این صفحات در آنجا نمایه شوند، می‌فرستند. در ساختار پراکنده که بسیار موءثرتر از نوع متمرکز است، مشکلات ناشی از استفاده از ساختار متمرکز چون: 1) دریافت درخواست صفحات، توسط خزنده‌های متفاوت موتورهای کاوش، از سرویس‌دهندگان وب؛ 2) افزایش ترافیک در وب به علت استخراج تمام اشیا و اجزا صفحات وب و نادیده گرفتن اکثر آن‌ها هنگام نمایه‌سازی؛ 3) جمع‌آوری اطلاعات بدون همکاری و آگاهی سایر خزنده‌ها و موتورهای کاوش، مورد توجه قرار گرفته و مرتفع شده است.
