טוען...
קטגוריה: מנועי חיפוש, פורסם:04.12.2007
בעלי אתרים ברחבי הרשת, בעיקר כאלו של אתרי החדשות הגדולים, אינם מרוצים כל כך מהאופן בו מנועי החיפוש סורקים את התוכן שלהם. השיטה הנוכחית, בה משתמשים בקובץ הגדרות מיוחד, ישנה מידי, לטענתם, ויש צורך בקביעת פרוטוקול פעולה עבור רובוטי הסריקה.
מנהלים של אתרי התוכן המובילים בעולם אינם מרוצים כל-כך מרובוטי הסריקה של מנועי החיפוש. כל מנועי החיפוש הגדולים משתמשים ברובוטים אוטומטיים (תוכנות מחשב מיוחדות) הסורקים את הרשת ואוספים מידע אודות אתרים. הרובוטים בודקים את מידת רענון המידע, התוספות של האתר, מספר הגולשים הנכנסים ועוד, וכך מדרגים את האתרים בהתאם למדד מיוחד שפיתחו כל אחד ממנועי החיפוש. פעולת חיפוש זו, לטענתם של מנהלי האתרים, צריכה להיות תחת פיקוד קפדני.
עד כה, סוכם באופן בלתי רשמי, כי בעלי אתרים יכולים להוסיף לאתר קובץ מיוחד בשם Robots.txt ובו הנחיות לרובוטי הסריקה. בעלי האתרים יכולים להגיד לרובוט איזה חלקים מהאתר אסור לו לסרוק, איזה מותר לו לסרוק רק מספר פעמים מועט ועוד. בתחילה, הבעיה העיקרית הייתה רובוטי הסריקה נכנסו לאתרים פעמים רבות ו"גנבו" רוחב פס מגולשים אמיתיים. כדי ליצור מסגרת פעולה בין בעלי האתרים לבין מנועי החיפוש, הוסכם על ניסוח הקובץ המיוחד. עם זאת, כעת ארגוני אתרים שונים מרחבי הרשת מצביעים על כך שבעלי האתרים אינם מרוצים מן הסידור הישן.
הארגונים טוענים כי הסידור שנקבע בשנות ה90 אינו מבטא באופן נאמן את המציאות וכי הכלים שהקובץ מאפשר לבעלי האתרים מוגבלים מידי. הדרישה היא כי מנועי החיפוש יעבדו לפי פרוטוקול חדש בשם Automated Content Access Protocol שיאפשר לבעלי האתרים שליטה גדולה יותר על אופן סריקת האתר שלהם. למרות שגוגל הודיעה כי אכן יש צורך בשינויים מסוימים באופן הסריקה, יש עדיין דרך ארוכה עד להסכמה בנושא. חברות החיפוש מעוניינות לבחון את ההשלכות השונות של השינוי ולבדוק כיצד שינוי שכזה ישפיע על דירוג האתרים השונים ברשת.
 |
 |
|
|
טוען...