“Use robots.txt to prevent crawling of search results pages or other auto-generated pages that don’t add much value for users coming from search engines.”

(Lähde: http://www.google.com/support/webmasters/bin/answer.py?answer=35769 )

Kiinnittäisin huomiota loppuosaan joka siis täsmentää että suositus koskee sellaisia sivuja jotka eivät juurikaan palvele hakukoneista saapuvia.

Pohdinta metatietomallista on osuvaa, mutta sivuston omistajalla on aika suuri valta painottaa mitkä yhdistelmät ovat olennaisia.

Toinen kriteeri on se, voisiko hakutulossivulle linkittää myös sivuston navigaatiossa, niin että siitä olisi hyötyä käyttäjille.

Jos vaikkapa “Porvoo”+”vuokra-asunnot”+”julkaistu viimeisen 7 päivän aikana” olisi tällainen linkitetty “oletushaku”, silloin se voitaisiin päästää hakukoneiden indeksiin ja haut kuten “Porvoo”+”vuokra-asunnot”+”kaikki julkaistut” yms. voisivat olla niitä, joiden indeksoituminen estetään.

Googlen kannalta olisi olennaista varmaan indeksoida vain listaukset jotka on tehty jonkun metatietomallin perusteella, kuten “Porvoo” ja “vuokra-asunnot” yhdistelmä. Saman listauksen tarkennukset ainakin pitäisi jättää pois indeksoitavista, kuten “Porvoo”+”vuokra-asunnot”+”julkaistu viimeisen 7 päivän aikana”, esimerkiksi.

Mutta kuten Juha toteaa - mihin vedetään raja?

Juhan määritelmän mukaan moni oikeaoppisesti 301-uudelleenohjauksia tekevä sivusto sortuisi cloakingiin, koska Google näyttää hakutuloksissa muodon http://www.domain.com (ks. esim. site:netbooster-agency.fi).”

On muutamia tapauksia, joissa sivusto on niin vahva, että se listautuu vaikka kyseessä olisi 301, mutta yleisimmin ohjaukset on toteutettu väärin. Kyllä esimerkiksi geo-targetointi on sallittua, mutta oma suhtautumiseni kaikkiin ohjauksiin on hieman niin ja näin, varsinkin kun tällä hetkellä noiden määritysten mukaista “raamattua” käy läpi “ei niin pätevät” googlen hakukonekesätyöpoliisit.

“Kaikki sisäiset hakutulokset eivät ole indeksoituessaan kiellettyä spämmiä: esim. Etuovessa voisi olla googlaajillekin varsin hyödyllinen hakutulos vaikkapa Porvoon vuokra-asunnoista. Tässä olisi kyse siitä hallitusta hakutulosten indeksoinnista, josta Lasse puhui.”

Googlen määritysten mukaan sisäisten haun tuloksia ei kuitenkaan saisi indeksoida, ymmärrän eettisen näkökulmasi, mutta mihin vedetään raja? Kuka määrittää sen, että onko hyödyllistä vai eikö?

1. “Cloaking” tarkoittaa hakukoneoptimoinnista puhuttaessa yleensä sitä että tarkoituksella esitetään hakukoneille muuta kuin ihmisille.

Juhan määritelmän mukaan moni oikeaoppisesti 301-uudelleenohjauksia tekevä sivusto sortuisi cloakingiin, koska Google näyttää hakutuloksissa muodon http://www.domain.com (ks. esim. site:netbooster-agency.fi).

2. Kaikki sisäiset hakutulokset eivät ole indeksoituessaan kiellettyä spämmiä: esim. Etuovessa voisi olla googlaajillekin varsin hyödyllinen hakutulos vaikkapa Porvoon vuokra-asunnoista. Tässä olisi kyse siitä hallitusta hakutulosten indeksoinnista, josta Lasse puhui.

Kertoo siitä, että sivusto ei ole tarpeeksi vahva ko. termillä.

Lähes tulkoon tuntuisi, että mitä isompi talo siellä on ollut takana koodamassa sitä sivustoa niin sitä enemmän mielenkiintoisempia purkkavirityksiä siellä, joita mm. nuo javascript- ja muut epämääräiset ohjaukset edustavat.

Kun tässä nyt viljelen cloaking-sanaa, niin pistetään nyt vähän lisätietoa cloakingista samalla:

http://www.seokirja.com/cloaking-eli-sisallon-naamiointi-huijaa-hakukoneita/

Miten sitten erotan cloaking? Simppeliä, site:www.domain.com, ja sen jälkeen kokeilee esimerksi etusivua - jos etusivu ohjautuu muualle mutta näkyy kuitenkin http://www.yritys.fi -osoitteella, eikä esimerkiksi http://www.yritys.fi/etusivu -osoitteella googlessa on kyseessä cloaking.

http://www.google.fi/search?hl=fi&q=etuovi&btnG=Google-haku&meta=&aq=f&oq=

Kiitos Juha hyvistä kommenteista. Tuo etusivun puuttuminen Googlen indeksistä on tosiaan sen tason ongelma johon kannattaisi jo joku palokunta soittaa hätiin.

Todennäköisesti jossain käydään keskustelua, että kuuluuko tämä asioihin jotka teknisen toimittajan pitäisi huomioida oletuksena vai pitääkö asiakkaan osata vaatia tällaisia asioita.

Monia isoja verkkopalveluitahan koodataan porukalla joka ei ole erityisen web-orientoitunutta. Silloin asiakkaalta odotetaan tavallista enemmän näkemystä ja ymmärrystä web-kanavan erityispiirteistä (kuten se että Google täytyy huomioida kaikessa tekemisessä).