موتورهای جستجو چگونه کار می کنند

وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارایه می شود، کاربران در واقع نتیجه کار بخش های متفاوت موتور جستجوگر را می بینند. موتور جستجوگر قبلا" پایگاه داده اش را آماده کرده است و این گونه نیست که درست در همان لحظه جستجو، تمام وب را بگردد. بسیاری از خود می پرسند که چگونه ممکن است گوگل در کمتر از یک ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه کند؟

گوگل و هیچ موتور جستجوگر دیگری توانایی انجام این کار را ندارند. همه آنها در زمان پاسخ گویی به جستجوهای کاربران، تنها در پایگاه داده ای که در اختیار دارند به جستجو می پردازند و نه در وب! موتور جستجوگر به کمک بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا" جمع آوری، تجزیه و تحلیل می کند، آنرا در پایگاه داده اش ذخیره می نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می گردد.

پیشنهاد آسان مگ : انواع تبلیغات در شبکه نمایشی گوگل

موتور های جستجو سه بخش اصلی دارند:

Crawl: برای پیدا کردن محتوا در اینترنت می گردند، و هر لینک، URL و کدی که برسند آن را بررسی می کنند.

Index: در این قسمت موتورهای جستجو هر محتوایی را که در پروسه crawling پیدا کرده اند را ذخیره و سازماندهی می کنند. هر صفحه ای که ایندکس می شود اماده ی نمایش به عنوان سوالات مربوطه کاربران در موتورهای جستجو است.

Rank: قسمت هایی از محتوا فراهم می شود که بهترین پاسخ به سوالات جستجو کننده است. به زبان ساده تر نتایج جستجو را به نحوی مرتب می سازد که جواب بهتری برای جستجو کننده نمایش داده شود.

کراولینگ (Crawl)موتورهای جستجو

کراولینگ پروسه کشفی است که موتورهای جستجو انجام می دهند. موتورهای جستجو تیمی از ربات ها که به عنوان کراولرها(crawlers) و عنکبوت ها(spiders) شناخته می شوند را برای کشف و اپدیت محتوا می فرستد. محتوا در اینترنت از همدیگر متفاوت هستند. یک محتوا می تواند صفحه ی وب، عکس، ویدیو، PDF و غیره باشند. اما در کل محتوا صرف نظر از فرمت آن ها با لینک پیدا می شوند.

ربات ها شروع می کنند که چند صفحه وب را بررسی کنند، سپس به دنبال لینک های موجود در آن صفحه می روند تا اینکه URLهای جدید را پیدا می کنند. این پروسه به همین نحو ادامه پیدا می کند و محتوای کراولر ها می توانند هر لحظه محتوای جدیدی را کشف کنند و آن را یه ایندکس خود اضافه می کنند. حال پایگاه داده ای بسیار عظیم از URL ها کشف و ذخیره شده است و بعدا زمانی که یک جستجو کننده به دنبال اطلاعاتی می گردد، موتور های جستجو گر بتوانند محتوای موجود بر روی URL را برای کاربر بازیابی کنند.

ایندکس (Index)موتورهای جستجو

موتور های جستجو سعی می کنند که اطلاعات فوق العاده زیادی را که در مرحله ی پیش به کشف کرده اند را دسته بندی و ذخیره کنند و محتوای را که به اندازه ی کافی مناسب هستند را برای کاربران عرضه می کنند.

رنکینگ (Rank)موتور جستجو

وقتی یک نفر جستجویی را انجام می دهد، موتور جستجو صفحه ی اول خود را برای مرتبط ترین محتوا اماده می کند سپس این صفحه را بر اساس مرتبط ترین محتوا مرتب می کند به امید اینکه بتواند در پرسش کاربر را به درستی جواب بدهد. این مرتب سازی نتایج جستجو بر اساس مرتبط ترین محتوا را رنکینگ می گویند. در کل می توان فهمید هر سایتی که بالاتر قرار گرفته است موتور جستجو فکر می کند بهترین جواب برای جستجوی شما است.

امکان این وجود دارد که شما ربات و کراولرهای موتور جستجو را بلاک کنید که به بخش یا کل سایت شما دسترسی نداشته باشند و نتوانند آن قسمت ها را ایندکس کنند. تا زمانی که شما بخواهید موتور های جستجو از سایت شما دور باشند مشکلی نیست و موتور های جستجو نمی توانند محتوای شما را ایندکس کنند و لی در غیر این صورت شما باید مطمئن باشید که سایت شما به جستجو گر ها اجازه ی ورود می دهد.