'Cheating' the search engines

[Rasputin]

Type in a phrase, and we not only expect it to find millions of relevant websites, but we also expect it to list the best or most important sites first.

We have come to expect a lot from search engines.

Google has tried to counteract 'link bombs'

Woe betide a search engine that requires me to click to page two of the results before I find the site I am looking for.


Generally they do a decent job but, up until very recently, if you were to search on the term "miserable failure", top of the Google search results was the official George Bush page on the official White House site.

Bush trick

This is an example of how even the biggest search engines can be manipulated.

Essentially, the web is a collection of pages, all linking to each other.

If you are searching for something, search engines like Google, Ask, and Yahoo! will first find all the pages they think are relevant.

Then, crucially, they need to decide which order to display search results in. One of the most important factors in deciding how relevant particular sites are is to count how many other sites link to it.

The more references, or links there are to a site, the more important it is deemed to be.

Because lots of people quote and link the BBC website, for example, the BBC site is seen as relevant and a good hit. That is why the site ranks quite highly for many search terms.

An underground movement of bloggers exploited this fact, to create a "link bomb". They encouraged thousands of their peers to include a link to the Bush homepage in their blogs, and label it "miserable failure".

With all of these links, the main search engine algorithms were fooled into thinking this was a relevant result for that search term, and Bush was driven to the top of the rankings. Mr Bush had been link bombed.


Politicians have been targeted by bloggers

At first, the search engines ignored it - it was not their job to censor search results, however controversial.

Nor did they censor other link bombs - googling "liar" would show Tony Blair's homepage first.

Link bombs are usually self-defeating - as they become successful, other popular sites begin to discuss the bombs, and end up becoming more popular than the link bomb, driving it from number one.

Apostolos Gerasoulis, co-inventor of search technology for Ask.com said: "I don't think this is the problem though. This is just fun."

"Why we don't remove it, or why the search engines don't remove it, is because as long as we give relevant results for most of the queries that you type then we're OK.

"The impact of this bombing, as it is called, is minimal, insignificant. It might be two or three examples," he added.

Google decided to tweak its search algorithm to spot link bombs, and the miserable failure dropped away. On other search engines, such as Ask, it remains high.

If they build the right page, it is OK, if they build a great page it's OK but the problem comes when they really try to cheat you

Apostolos Gerasoulis search expert

The link bomb actually achieved what any business would love to have - the number one search result in their category.

The ideal place to be is in the centre of the search result, the so-called natural search result, online marketer Fadi Shuman, explained.

"You get 80% of the clicks from the natural results. That is where we all want to be. The way to achieve that is through search engine optimisation."

Optimisation is produced by making the website as visible to search engines as possible and having other sites linking to it.

However search engine optimisation also has a darker side.

Blacklisted

In February 2006, BMW Germany got into hot water over its website.

The problem was that the site was laden with keywords which customers could not see, but which search engines could.

They were there specifically to boost the rankings. Google has rules to guard against so-called black hat methods - specifically, "don't present different content to search engines than you do to your users".

Once discovered, Google blacklisted the site and dropped it from their search results altogether until BMW redesigned the site.

Jason Duke, search engine optimiser, said: "We try and persuade people to link to us, whether that be via content, whether that be via methods of creating controversy in the marketplace."

It is an ongoing battle of sorts, between the search engines and the optimisers who would love to work the system to their clients' advantage. Although both sides prefer to call it an uneasy truce.

Mr Gerasoulis added: "If they build the right page, it's OK, if they build a great page, it's OK. But the problem comes when they really try to cheat you."

[Rasputin]

ما به جايی رسيده ايم که انتظارات زيادی از موتورهای جستجوگر داريم.
واژه ای را تايپ کنيد و ببينيد که ما نه تنها انتظار داريم که ميليونها وبسايت مرتبط را بيابيم، بلکه انتظار داريم که بهترين و مهمترين وبسايت ها در صدر اين فهرست قرار داشته باشند.

مشکل اينجاست که در بعضی موتورهای جستجوگر بايد روی صفحه دوم فهرست نتايج کليک کرد تا بتوان سايت مورد نظر را يافت.

موتورهای جستجوگر معمولا بسيار مفيد و ساده هستند. اما اخيرا برخی وبلاگ نويس ها کار را خراب کردند: مثلا وقتی شما "ورشکسته بدبخت" را جستجو می کرديد وبسايت رسمی جورج بوش در کاخ سفيد می آمد.

حيله بوشی

اين مثال نشان می دهد که حتی بزرگترين موتورهای جستجوگر هم می توانند مورد سوء استفاده قرار گيرند.

بطورکلی شبکه اينترنت چيزی نيست جز مجموعه ای از صفحات مرتبط به هم.

اگر شما بدنبال چيزی می گرديد، موتورهای جستجوگری نظير گوگل، اسک و ياهو نخست صفحه هايی را می يابند که بنظر می رسد بيش از بقيه به موضوع مورد نظر شما ارتباط دارند.

در مرحله بعدی، نتايج اين جستجو بايد به نحوی اولويت بندی شوند.

يکی از مهمترين عوامل تعيين کننده ترتيب و اولويت بندی فهرست نتايج، تعداد وبسايت هايی است که به هر يک از اين سايتها لينک شده اند.

هر چه تعداد ارجاع ها و لينک های يک سايت بيشتر باشد، اهميت آن نيز بيشتر مفروض می شود.

برای نمونه از آنجايی که بسياری از مردم از بی بی سی نقل قول می کنند و يا به آن لينک می دهند، وبسايت بی بی سی در موارد متعددی در صدر نتايج جستجوها قرار دارد.

يک جنبش زيرزمينی وبلاگ نويس ها از اين واقعيت سوء استفاده کرده و يک "بمب لينکی" درست کرده است.

اين وبلاگ نويسها همديگر را تشويق می کنند که به وبسايت رسمی بوش لينک بدهند و آن را "ورشکسته بدبخت" بنامند.

مجموعه اين لينک ها الگوريتم يا سيستم محاسبات عددی موتورهای جستجوگر را فريب داده بطوريکه اين جستجوگرها گمان می کردند که وبسايت رسمی جورج بوش بيش از ساير وبسايتها با "ورشکسته بدبخت" مرتبط است.

موتورهای جستجو گر در ابتدا به اين مسئله توجه چندانی نشان ندادند زيرا نمی خواستند در سيستم جستجو سانسور ايجاد کنند.

آنها موتور جستجوگر گوگل که "دروغگو" را به وبسايت تونی بلر نخست وزير بريتانيا مرتبط می کرد هم سانسور نکردند.

بمب های لينکی معمولا خاصيت خود انهدامی دارند. يعنی هنگامی موفق هستند که بقيه سايت های پرطرفدار به آنها لينک می دهند و به اين ترتيب اين سايت ها از بمب لينکی پرطرفدارتر شده و آن را از صدر فهرست نتايج حذف می کنند.

آپوستولوس گراسوليس يکی از مبتکرين فناوری جستجوی اسک دات کام می گويد: "من فکر نمی کنم که اين اصلا مشکلی باشد. اين تنها يک سرگرمی است."

وی می افزايد: "علت اين که ما اين سايت ها را حذف نمی کنيم اين است که ماداميکه ما نتايج مرتبط برای بيشتر جستجوهايی که مردم تايپ می کنند را ارائه می دهيم همه چيز درست است."

"تاثير اين نوع بمباران ها ناچيز است. شايد تنها دو سه نمونه باشد."

گوگل سعی کرد که با تغيير سيستم الگوريتم بمب لينکی را پيدا کند و "ورشکسته بدبخت" را حذف کند.

اما در موتورهای جستجوگر ديگر نظير اسک اين عبارت همچنان در صدر نتايج جستجو قرار دارد.

بمب لينکی در واقع دستاوردی داشته که همه شرکت های تجاری بدنبال آن هستند و آن اين است که در صدر جستجوی گروه مربوط به خود قرار داشته باشند.

فادی شومن که بازارياب اينترنتی است می گويد بهترين جا برای يک کمپانی، مرکز نتيجه جستجو است که به آن نتيجه جستجوی طبيعی نيز می گويند.

وی می افزايد: "شما ۸۰ درصد از کليک هايی که بر روی وبسايت ها می شود را از طريق اين نتايج جستجوی طبيعی دريافت می کنيد."

بهينه سازی هنگامی حاصل می شود که يک وبسايت هم حداکثر لينک با وبسايت های ديگر را داشته باشد و هم برای موتورهای جستجوگر نمايان باشد.

اما بهينه سازی موتورهای جستجوگر يک وجه تاريک هم دارد.

فهرست سياه

در فوريه سال ۲۰۰۶ کمپانی آلمانی بی ام و بر سر وبسايتش وارد معرکه ای شد.

مشکل اين بود که وبسايت اين کمپانی پر از لغات کليدی بود که مشتريان نمی ديدند اما برای موتورهای جستجوگر قابل مشاهده بود.

اين لغات کليدی برای اين در وبسايت گنجانده شده بودند که رده بندی آن را ارتقا دهند.

گوگل مقرراتی عليه اينگونه شعبده بازی ها دارد: "مطالبی که به موتورهای جستجوگر می دهيد بايد با مطالبی که به کاربران خود می دهيد يکی باشد."

گوگل وقتی به حيله بی ام و پی برد وبسايت آن را از موتور جستجوگر خود حذف کرد تا اينکه اين کمپانی مجبور شد وبسايت خود را مجددا طراحی کند.

اين نبردی است که بين موتورهای جستجوگر و بهينه سازها که می خواهند از سيستم موجود حداکثر بهره برداری را برای مشتريان خود بکنند در جريان است.