دنیای وب منبع عظیمی از اطلاعات است که روزبه‌روز برحجم آن افزوده می‌شود. در حال حاضر میلیاردها صفحه که اطلاعات فراوانی از موضوعات مختلف را در بر دارند، بر روی سرورهای مختلف جا خوش کرده اند. این در حالیست که تولد سایتهای جدید و گسترش سایتهای موجود نیز به طور فزاینده ای به این حجم اطلاعات می افزاید. نرخ رشد اطلاعات تا بدانجاست که امروزه مشکل دسترسی به اطلاعات جدی تر از نبود اطلاعات است. امروزه چالش عمده اکثر کاربران دستیابی به اطلاعات است. به عبارت دیگر اگر کاربری دنبال موضوعی خاص باشد، کدام صفحه را باید بخواند؟ از میان این تعداد عظیم صفحات موجود، کدام صفحه نیاز او را برآورده می کند؟اگر سایتی باشد که به کاربران در یافتن اطلاعات کمک کند، قطعا مورد توجه خواهد بود. خوشبختانه چنین سایتی وجود دارد و ما آنرا با نام موتور جستجوگر می شناسیم.موتور جستجوگر سایتی است که برای کمک به کاربران در یافتن اطلاعات موجود در سایتهای دیگر طراحی شده است. موتور جستجوگر سایتی است که با گرفتن عبارتی مختصر، کاربر را با لیستی از سایت ها روبرو می‌کند که به موضوع مورد علاقه او مرتبط می‌باشند.آمارها نشان می دهند که افراد بسیاری سفر در دنیای وب را با موتورهای جستجوگر آغاز می‌کنند و مراجعه به موتورهای جستجوگر چنان عادی شده است که جستجو کردن و کار با موتورهای جستجوگر، دومین فعالیت عمده کاربران در دنیای وب (بعد از ارسال و دریافت نامه های الکترونیکی)، محسوب می شود.هر چه بر محبوبیت وب افزوده می گردد، نیاز به بایگانی کردن اطلاعات آن نیز بیشتر می‌شود؛ موتور جستجوگر نیز در واقع این اطلاعات را بایگانی کرده، در زمان مورد نیاز و به سرعت در اختیار کاربران قرار می‌دهد. بدون موتور جستجوگر، وب تنها به بخش کوچکی از موفقیت امروزین خود دست می‌یافت زیرا موتور جستجوگر، اینترنت را به رسانه‌ای قابل استفاده برای همه کرده است (از هیچ کس توقع نمی‌رود تعداد زیادی از آدرس های وب را به یاد داشته باشد).آن چه که موتورهای جستجوگر انجام می دهند- با درجات متفاوتی از موفقیت- فراهم کردن یک وسیله جستجوی ساده است. وقتی یک کاربر وب عبارتی را جستجو می‌کند، موتور جستجوگر لیستی از سایت ها را ارائه می‌کند که تعداد آنها از چند صد مورد تا چند میلیون متغیر می‌باشد.