|
||||||
 |
|
موتور جستجوگر چگونه کار می کند؟!
قتي جستجويي در يک موتور جستجوگر انجام و نتايج جستجو ارايه مي شود، كاربران در واقع نتیجه كار بخش ھاي متفاوت موتور جستجوگر را مي بینند. موتور جستجوگر قبلا "پايگاه داده اش را آماده كرده است و اين گونه نیست كه درست در ھمان لحظه جستجو، تمام وب را بگردد. بسیاري از خود مي پرسند كه چگونه امكان دارد گوگل در كمتر از يك ثانیه تمام سايت ھای وب را بگردد و میلیون ھا صفحه را در نتايج جستجوی خود ارايه كند؟ نه گوگل و نه ھیچ موتور جستجوگر ديگري توانايي انجام اين كار را ندارند .ھمه آنھا در زمان پاسخ گويي به كاربران، تنھا در پايگاه داده اي كه در اختیار دارند به جستجو مي پردازند و نه در وب ! موتور جستجوگر به كمك بخش ھای متفاوت خود، اطلاعات مورد نیاز را قبلا" جمع آوري، تجزيه و تحلیل مي كند و آنرا در پايگاه داده اش ذخیره مي نمايد و به ھنگام جستجوی کاربر تنھا در ھمین پايگاه داده می گردد . بخش ھاي مجزاي يك موتور جستجوگر عبارتند از :يا عنکبوت • Spider يا خزنده • Crawler يا بايگانی کننده • Indexer يا پايگاه داده • Database يا سیستم رتبه بندی • Ranker ( الف ) : عنکبوت Spiderنرم افزاري است كه كار جمع آوري اطلاعات مورد نیاز يك موتور جستجوگر را بر عھده دارد. ، (Robot) اسپايدر يا روبوت اسپايدر به صفحات مختلف سر مي زند، محتواي آنھا را مي خواند، اطلاعات مورد نیاز را جمع آوري مي كند و آنرا در اختیار ساير بخش ھاي موتور جستجوگر قرار مي دھد . كار يك اسپايدر، بسیار شبیه كار كاربران وب است. ھمانطور كه كاربران، صفحات مختلف را بازديد مي كنند، اسپايدر صفحات را مي بیند اما كاربران نتیجه HTML ھم درست اين كار را انجام مي دھد با اين تفاوت كه اسپايدر كدھاي حاصل از كنار ھم قرار گرفتن اين كدھا را. اما يک اسپايدر آنرا چگونه می بیند؟ صفحات را HTML براي اين كه شما ھم بتوانید دنیاي وب را از ديدگاه يك اسپايدر ببینید، كافي است كه كدھاي مشاھده کنید. آيا اين دنیاي متني برای شما جذاب است؟ اسپايدر، به ھنگام مشاھده صفحات، از خود بر روي سرورھا رد پا برجای مي گذارد. شما اگر اجازه دسترسي به آمار ديد و بازديدھاي صورت گرفته از يک سايت و اتفاقات انجام شده در آنرا داشته باشید، مي توانید مشخص كنید كه اسپايدر كدام يک از موتورھاي جستجوگر صفحات سايت را مورد بازديد قرار داده اند. انجام می شود تحلیل آمار ھمین ديد و بازديدھا می باشد. SEM يکی از فعالیتھاي اصلی که در اسپايدرھا كاربردھاي ديگري نیز دارند، به عنوان مثال عده اي از آنھا به سايت ھاي مختلف مراجعه مي كنند و فقط مي گردند. (Email) به بررسي فعال بودن لینك ھاي آنھا مي پردازند و يا به دنبال آدرس پست الكترونیكي 2ب) : خزنده - Crawler كراولر، نرم افزاري است كه به عنوان يك فرمانده براي اسپايدر عمل مي كند. آن مشخص مي كند که اسپايدر كدام صفحات را مورد بازديد قرار دھد. در واقع کراولر تصمیم مي گیرد كه كدام يك از لینك ھای صفحه ای كه اسپايدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است ھمه آنھا را دنبال كند، بعضي ھا را دنبال كند و يا ھیچ كدام را دنبال نكند. کراولر، ممكن است قبلا "برنامه ريزي شده باشد که آدرس ھای خاصی را طبق برنامه، در اختیار اسپايدر قرار دھد تا از آنھا ديدن کند. دنبال كردن لینك ھای يک صفحه به اين بستگي دارد كه موتور جستجوگر چه حجمي از اطلاعات يک سايت را مي تواند در پايگاه داده اش ذخیره كند و ھمچنین ممكن است اجازه دسترسي به بعضي از صفحات به موتورھاي جستجوگر داده نشده باشد . شما به عنوان دارنده سايت، ھمان طور كه دوست داريد موتورھاي جستجوگر اطلاعات سايت شما را با خود ببرند، مي توانید آنھا را از بعضي از صفحات سايت تان دور كنید و اجازه دسترسي به محتواي آن صفحات را به آنھا ندھید. انجام مي شود كه در Robots تنظیم میزان دسترسي موتورھاي جستجوگر به محتوای يک سايت توسط پروتكل مي گويند. (Crawling) مقالات دیگر سایت به آن پرداخته شده است. به عمل کراولر ، خزش ج) :بايگانی كننده - Indexerتمام اطلاعات جمع آورش شده توسط اسپايدر در اختیار ايندکسر قرار مي گیرد. در اين بخش اطلاعات ارسالي مورد تجزيه و تحلیل قرار مي گیرند و به بخش ھاي متفاوتي تقسیم مي شوند. تجزيه و تحلیل بدين معني است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمي دارد، كلمات موجود در آن كدام است، کلمات چندبار تكرار شده است، كلمات در كجاي صفحه قرار دارند و . ... در حقیقت ايندکسر، صفحه را به پارامترھای آن خرد می کند و تمام اين پارامترھا را به يک مقیاس عددی تبديل می کند تا سیستم رتبه بندي بتواند پارامترھای صفحات مختلف را با ھم مقايسه کند. در زمان تجزيه و تحلیل اطلاعات، ايندکسر براي كاھش حجم داده ھا از بعضي كلمات كه بسیار رايج ھستند صرفنظر و ... . از اين گونه كلمات ھستند. is ،www ،the ،an ، a مي کند. كلماتي نظیر د ) :پايگاه داده - DataBaseتمام داده ھاي تجزيه و تحلیل شده در ايندکسر، به پايگاه داده ارسال مي گردد. در اين بخش داده ھا گروه بندي، كدگذاري و ذخیره مي شود. ھمچنین داده ھا قبل از آنكه ذخیره شوند، طبق تکنیکھای خاصی فشرده مي شوند تا حجم كمي از پايگاه داده را اشغال كنند . يك موتور جستجوگر بايد پايگاده داده عظیمي داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دھد و البته اطلاعات قديمي را ھم به روز رسانی نمايد .بزرگي و به روز بودن پايگاه داده يك موتور جستجوگر براي آن امتیاز محسوب مي گردد . يكي از تفاوتھاي اصلي موتورھاي جستجوگر در حجم پايگاه داده آنھا و ھمچنین روش ذخیره سازي داده ھا در پايگاه داده است . ه ) :سیستم رتبه بندی - Rankerبعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گويي به سوالات كاربران است. كاربران چند منتظر پاسخ مي مانند . Enter آن وارد مي كنند و سپس با فشردن (Search Box) كلمه را در جعبه جستجوي برای پاسخگويي به درخواست کاربر، ابتدا تمام صفحات موجود در پايگاه داده كه به موضوع جستجو شده، مرتبط ھستند، مشخص مي شوند. پس از آن سیستم رتبه بندي وارد عمل شده، آنھا را از بیشترين ارتباط تا كمترين ارتباط مرتب مي كند و به عنوان نتايج جستجو به كاربر نمايش می دھد. حتي اگر موتور جستجوگر بھترين و كامل ترين پايگاه داده را داشته باشد اما نتواند پاسخ ھاي مرتبطي را ارايه كند، يك موتور جستجوگر ضعیف خواھد بود. در حقیقت سیستم رتبه بندي قلب تپنده يك موتور جستجوگر است و تفاوت اصلي موتورھاي جستجوگر در اين بخش قرار دارد. سیستم رتبه بندي براي پاسخ گويي به سوالات كاربران، پارامترھاي بسیاري را در نظر مي گیرد تا بتواند بھترين الگوريتم) ياد مي كنند . Algo ( به طور خلاصه از آن به SEM پاسخ ھا را در اختیار آنھا قرار دارد. حرفه اي ھاي دنیاي الگوريتم، مجموعه اي از دستورالعمل ھا است كه موتور جستجوگر با اعمال آنھا بر پارامترھاي صفحات موجود در پايگاه داده اش، تصمیم مي گیرد که صفحات مرتبط را چگونه در نتايج جستجو مرتب كند. در حال حاضر قدرتمندترين سیستم رتبه بندي را گوگل در اختیار دارد. مي توان با ادغام کردن اسپايدر با کراولر و ھمچنین ايندکسر با پايگاه داده، موتور جستجوگر را شامل سه بخش زير دانست که اين گونه تقسیم بندی ھم درست می باشد :•کراولر •بايگانی •سیستم رتبه بندی تذکر- برای سھولت در بیان مطالب بعدی ھر گاه صحبت از بايگانی کردن (شدن) به میان می آيد، مقصود اين است که صفحه تجزيه و تحلیل شده و به پايگاه داده موتور جستجوگر وارد مي شود. براي آنكه تصور درستي از نحوه كار يك موتور جستجوگر داشته باشید داستان نامتعارف زير را با ھم بررسي مي كنیم. داستان ما يک شکارچی دارد. او تصمیم به شكار می گیرد: -کار کراولر : او قصد دارد براي شكار به منطقه حفاظت شده ابیورد، واقع در شھرستان درگز (شمالی ترين شھر خراسان بزرگ) برود . Robots : -پروتكلابتدا تمام محدوديت ھاي موجود براي شكار در اين منطقه را بررسي مي كند: •آيا در اين منطقه می توان به شکار پرداخت؟ •کدام حیوانات را می توان شکار کرد؟ •حداکثر تعداد شکار چه میزانی است؟ •و . ... فرض می کنیم او مجوز شكار يک اوريال (نوعي آھو) را از شكارباني منطقه دريافت مي كند . -کار اسپايدر او اوريالي رعنا را شكار مي كند و سپس آنرا با خود به منزل می برد. -کار ايندکسر شكار را تكه تكه كرده، گوشت، استخوان، دل و قلوه، كله پاچه و ... آنرا بسته بندي مي كند و بخش ھای زايد شکار را دور می ريزد . -کار پايگاه داده بسته ھاي حاصل را درون فريزر قرار داده، ذخیره می کند . -کار سیستم رتبه بندی مھمانان سراغ او مي آيند و ھمسر او بسته به ذائقه مھمانان براي آنھا غذا طبخ مي كند. ممكن است عده اي كله پاچه، عده اي آبگوشت، عده اي جگر و ... دوست داشته باشند. پخت غذا طبق سلیقه مھمانان کار سختی است. ممكن است ھمه آنھا آبگوشت بخواھند اما آنھا مسلما" بامزه ترين آبگوشت را مي خواھند! نکته ھا :•شکارچی می توانست برای شکار کبک يا اوريال و يا ھر دو به آن منطقه برود ھمانطور که موتور جستجوگر می تواند از سرور سايت شما انواع فايل (عکس، فايل متنی، فايل اجرايي و ...) درخواست کند. •غذای خوشمزه را می توانید با نتايج جستجوی دقیق و مرتبط مقايسه کنید. اگر شکارچی بھترين شکار را با خود به منزل ببرد اما غذايي خوشمزه و مطابق سلیقه مھمانان طبخ نگردد، تمام زحمات ھدر رفته است. •به عنوان آخرين نکته اين مقاله ياد آوری می کنم که به شکار اوريالی رعنا آن ھم در منطقه حفاظت شده ابیورد، اصلا فکر نکنید. اما توصیه می شود که حتما از طبیعت بکر آن ديدن فرمايید (بدون اسلحه.!) برگرفته از سایت: www.irsat.org |
