وب را مي توان منبع بزرگي از اطلاعات دانست كه براي اكثر پرسش هاي كاربران پاسخ هاي قابل قبولي را در خود جاي داده است. امروزه با وجود ميليون ها وب سايت و ميلياردها صفحه وب و انبوهي از فايل ها و مستندات قابل دسترس، افراد گوناگون براي دريافت پاسخ پرسش هاي خود راهي بهتر و سريع تر از مراجعه به اينترنت سراغ ندارد.
اما سوال اصلي اين است كه براي رسيدن به اطلاعات مورد نظر بايد به كدام وب سايت مراجعه نمود تا از ميان انبوه اطلاعات موجود در اينترنت به صفحه مطلوب رسيد؟ شايد اگر براي حل اين معضل راه حل مناسبي ابداع نشده بود، استفاده عمومي از وب تا اين حد گسترش پيدا نمي كرد.
تا مدت ها كار دسته بندي صفحات وب به صورت دستي و بدون استفاده از نرم افزار خاصي انجام مي شد تا اين كه كم كم ايده توليد موتورهاي جستجوميان برنامه نويسان شكل گرفت و از سال ۱۹۹۳ به تدريج نرم افزارهايي براي جستجو در محتواي صفحات وب توليد شد. در همين زمان بود كه مفهومي به نام Web Robot پا به دنياي فن آوري اطلاعات گذاشت؛ يعني نرم افزاري كه به صورت خودكار صفحات وب را احضار نموده و با بررسي محتواي صفحات، اقدام به نمايه سازي آنها مي كند.
تا اوايل سال ۲۰۵۰ موتورهاي جستجوي متعددي توسط شركتهاي مختلف در اختيار كاربران وب قرار گرفت كه تعدادي از آنها مانند Excite.com ،Lycos.com Altavista.com و Ask.com همچنان مورد استفاده قرار مي گيرند اما بايد جدي ترين تلاش ها در اين زمينه را مربوط به موتورهاي جستجوي Google وYahoo و نيز موتور جستجوي شركت مايكروسافت دانست كه با عنوان MSN شروع به كار كرد و هم اينك به Bing تغيير نام داده است.
امروزه موتور جستجوي گوگل به مدد الگوريتم قدرتمندي كه توسط يك دانشجوي جوان به نام آري بيجا نوشته شد توانسته در دنياي موتورهاي جستجو به رقيب بلامنازع تبديل شود و تقريبا ساير رقبا را به حاشيه براند، قرار گرفتن گوگل در ميان سايت پربيننده دنيا نشان مي دهد كه جستجو در اينترنت براي اغلب كاربران تبديل به دروازه اي جهت ورود به دنياي وسيع وب شده؛ هدفي كه پايه گذاران موتور جستجو سال ها به دنبال آن بودند و اكنون اين هدف محقق شده است
هنگامي كه كليد واژه اي را در يكي از موتورهاي جستجو مثل yahoo.com google.com يا bing.com وارد مي كنيد، در كمتر از يك ثانيه، ليستي از نشاني وب سايتها و صفحات حاوي كليدواژه در اختيار شما قرار مي گيرد و تعداد نتايج به دست آمده مي تواند بين صفر تا چند ميليون نتيجه متغير باشد. اين سوال ممكن است براي هر كاربر موتورهاي جستجو پيش بيايد كه يافتن اين تعداد نتيجه در اين زمان كوتاه چگونه امكان پذير است؟ براي پاسخ به اين سوال بايد اجزاء تشكيل دهنده يك موتور جستجو را كه در اغلب آنها مشترك است با هم مرور كنيم.
- Spider با Robot: اسپايدر يا روبوت نرم افزاري است كه وظيفه جمع آوري اطلاعات موردنياز براي يك موتور جستجو را برعهده دارد. اسپايدر به صورت خودكار، به صفحات مختلف سر مي زند. كد HTML و محتواي آن را بررسي مي كند و با دنبال نمودن پيوندها، اطلاعات موردنياز را در اختيار ساير بخش هاي موتور جستجو قرار مي دهد.
- Crawler: كرالر يا خزنده برنامه ديگري است كه اسپايدر را مديريت مي كند يعني مشخص مي كند كه به سراغ كدام صفحات برود و چه پيوندهايي را دنبال كند. علاوه بر اين براي مرور مجدد صفحات قبلي و به روز كردن اطلاعات موجود درباره آنها برنامه ريزيمي كند.
- Indexer: وظيفه نمايه كردن اطلاعات را برعهده دارد به اين معني كه اطلاعات را از اسپايدر دريافت نموده و آنها را مورد تجزيه و تحليل قرار مي دهدتا مشخص شود چه كليدواژه هايي در صفحه وب وجود دارد، در كجاي صفحه و چندبار تكرار شده اند و نشاني آنها بر روي وب چيست.
- Database: نتيجه تجزيه و تحليل صورت گرفته توسط Indexer براي پايگاه داده ارسال ميشود. در اين بخش، داده ها گروه بندي، كدگذاري و فشرده شده و در پايگاه داده عظيم موتور جستجو ذخيره مي شوند.
- Ranker: عمده تفاوت موجود در توانايي موتورهاي جستجو براي پاسخگويي مناسب به كاربران به سيستم رتبه بندي موتور جستجو برمي گردد. در اين بخش عبارت وارد شده توسط كاربر مورد بررسي قرار مي گيرد و Ranker نتايج موجود در پايگاه داده را بر حسب ميزان ارتباط با كليدواژه ها، به صورت نزولي مرتب مي كند و به عنوان نتيجه برمي گرداند.
هر قدر سيستم رتبه بندي يك موتور قوي تر باشد و پايگاه داده توانايي ذخيره سازي حجم بيشتري از اطلاعات را داشته باشد، نتايج به دست آمده از جستجو كاربردي تر و فاقد موارد غيرمرتبط خواهد بود.
منبع:موتورهاي جستجو
۱۱:۲۰
- ۶ بازديد
- ۰ نظر