Back to Question Center
0

سيمالت إسلاماباد إكسيرت & نداش؛ ما تحتاج إلى معرفته حول زاحف الويب

1 answers:

A محرك البحث الزاحف هو التطبيق الآلي، البرنامج النصي أو البرنامج الذي يذهب عبر الشبكة العالمية بطريقة مبرمجة لتوفير معلومات محدثة لمحرك بحث معين. هل تساءلت يوما لماذا تحصل على مجموعات مختلفة من النتائج في كل مرة تكتب فيها الكلمات الرئيسية نفسها على بنغ أو غوغل؟ وذلك لأن صفحات الويب يتم تحميلها كل دقيقة. كما يتم تحميلها برامج الزحف على شبكة الإنترنت تشغيل عبر صفحات الويب الجديدة.

يقول مايكل براون، خبير بارز من سيمالت ، إن زواحف الويب، والمعروفة أيضا بالفهرسة الآلية وعناكب الويب، تعمل على خوارزميات مختلفة لمحركات البحث المختلفة. تبدأ عملية الزحف إلى الويب بتحديد عناوين ورل الجديدة التي يجب زيارتها إما لأنها تم تحميلها للتو أو لأن بعض صفحات الويب لها محتوى جديدا. وتعرف عناوين ورل التي تم تحديدها باسم البذور في مصطلح محرك البحث.

يتم في نهاية المطاف زيارة عناوين ورل هذه وإعادة زيارتها بناء على عدد مرات تحميل المحتوى الجديد إليها والسياسات التي توجه العناكب. خلال الزيارة، يتم تحديد جميع الارتباطات التشعبية على كل من صفحات الويب وإضافتها إلى القائمة. عند هذه النقطة، من المهم أن نوضح بعبارات واضحة أن محركات البحث المختلفة تستخدم خوارزميات وسياسات مختلفة. وهذا هو السبب في أنه ستكون هناك اختلافات عن نتائج غوغل ونتائج بنغ للكلمات الرئيسية نفسها حتى وإن كان هناك الكثير من أوجه التشابه أيضا

زواحف الويب القيام بعمل هائل حفظ محركات البحث ما يصل إلى التاريخ. والواقع أن وظيفتهم صعبة للغاية بسبب ثلاثة أسباب أدناه

1. حجم صفحات الويب على شبكة الإنترنت في كل وقت من الأوقات. أنت تعرف أن هناك عدة ملايين من المواقع على شبكة الإنترنت، ويجري إطلاق المزيد من كل يوم. وكلما زاد حجم الموقع على الشبكة، كلما كان من الصعب على الزاحف أن يصل إلى التاريخ.

2..وتيرة إطلاق المواقع. هل لديك أي فكرة عن عدد المواقع الجديدة التي يتم إطلاقها يوميا؟

3. التردد الذي يتم تغيير المحتوى حتى على المواقع الموجودة وإضافة صفحات ديناميكية.

هذه هي القضايا الثلاث التي تجعل من الصعب على العناكب على شبكة الإنترنت أن تكون محدثة. بدلا من الزحف إلى مواقع الويب على أساس من يأتي أولا يخدم أولا، والكثير من العناكب على شبكة الإنترنت إعطاء الأولوية لصفحات الويب والارتباطات التشعبية. وتستند عملية تحديد الأولويات إلى 4 سياسات عامة فقط لمحركات البحث.

1. يتم استخدام سياسة التحديد لاختيار الصفحات التي يتم تنزيلها للزحف أولا.

2. يتم استخدام نوع سياسة إعادة الزيارة لتحديد متى ومتى يتم إعادة النظر في صفحات الويب للتغييرات المحتملة.

3. يتم استخدام سياسة التوازي لتنسيق كيفية توزيع الزواحف لتغطية سريعة لجميع البذور.

(4). يتم استخدام سياسة الاستدراك لتحديد كيفية الزحف إلى عناوين ورل لتجنب التحميل الزائد لمواقع الويب.

للتغطية السريعة والدقيقة للبذور، يجب أن يكون للزاحف تقنية زحف كبيرة تسمح بتحديد أولويات صفحات الويب وتضييقها، كما يجب أن يكون لها أيضا بنية محسنة للغاية. فهذان الأمران سيسهلان عليهما الزحف إلى مئات الملايين من صفحات الويب وتنزيلها في غضون بضعة أسابيع.

في حالة مثالية، يتم سحب كل صفحة على شبكة الإنترنت من الشبكة العالمية، وتؤخذ من خلال تنزيل متعددة الخيوط بعد ذلك، يتم وضع قائمة على صفحات الويب أو عناوين ورل قبل تمريرها من خلال جدولة مخصصة للأولوية. يتم أخذ عناوين ورل ذات الأولوية من خلال برنامج تحميل متعدد الخيوط مرة أخرى بحيث يتم تخزين بياناتها الوصفية ونصها للزحف السليم.

حاليا، هناك العديد من العناكب محرك البحث أو الزواحف. الأداة التي تستخدمها غوغل هي برنامج زاحف غوغل. وبدون عناكب الويب، ستعود صفحات نتائج محرك البحث إما إلى نتائج صفرية أو محتوى قديم نظرا لأن صفحات الويب الجديدة لن يتم إدراجها مطلقا. في الواقع، لن يكون هناك أي شيء مثل البحث على الانترنت.

November 29, 2017
سيمالت إسلاماباد إكسيرت & نداش؛ ما تحتاج إلى معرفته حول زاحف الويب
Reply