vu2000... Domain neuerdings von Google gecrawlt

    Hallo,
    es ist zwar kein Fehler, aber haben andere auch dieses Problem? Und wie habt Ihr es gelöst.


    Seit einigen Tagen erscheinen mehrere unserer Webseiten neben der richtigen Domain auch mit der alternativen Domain in den Suchergebnissen bei Google, was ja sehr leicht zu duplicate Content führen könnte. Da wir ab und zu diese alterativen Domains nutzen, ist eine 301-Umleitung eher kontraproduktiv. Reicht hier ein Eintrag in der robots.txt?
    Warum tritt diese Problem erst jetzt auf? Wir nutzen i-mscp schon seit Jahren. Liegt es an der Version 1.2.1? Außer diesem Update haben wir nichts wesentliches verändert.


    Danke schon mal
    Michael


    Nachtrag: Es scheint nur die Ubuntu Version 14.04 betroffen zu sein, die 12.04 Server erscheinen nicht bei Google. - Wir werden im Forum von ubuntuusers.de ebenfalls anfragen, die Lösung teilen wir aber auf alle Fälle auch hier mit, soll ja kein Cross-posting werden.

    Welche Version verwendest auf der 12.04? Ich vermute eher, dass die entsprechende Website zuerst via vu* errichtet und anschließend nicht vollständig umgezogen wurde, wodurch noch paar alte Links bestehen blieben. Dadurch hat Google dann die Alternative URL gefunden..

    Hallo,
    auch auf der 12.04 ist die 1.2.1 im Einsatz.
    Der zweite Aspekt mag vielleicht für eine Seite zutreffen, da ich aufgrund einer lokalen Testversion diese Alternativ-URL genutzt habe. Fakt ist aber, das alle Seiten von Google gefunden werden - wir haben einfach den Servernamen zum Suchen eingegeben. Ergebnis: 14.04er alle Seiten, 12.04er keine Seite. Bemerkt haben wir es vor drei Tagen, gefunden werden sie offenbar seit ca. einer Woche.
    Gestern abend habe ich noch einen der 14.04 Server auf die 1.2.2 upgedatet - keine Ahnung, ob das einen Erfolg gebracht hat, da müssen wir wohl abwarten.


    Nachtrag: Wir haben die Sache erst einmal entschärft und für die wichtigste Seite eine 301-Weiterleitung eingerichtet - damit ist wenigstens der Druck raus und wir können in Ruhe weitersuchen.

    Google analysiert alle Inhalte des Netzes. Dazu bedienen sie sich einiger zig-Tausend Algorythmen. Das beginnt einfach beim DNS und den offenen Links. Was spricht dagegen, eine Errorseite zu provozieren? Wenn da etwas von i-MSCP steht, werden die bekannten Vorgabewerte probiert. Ein Grund, warum ich diese stets verändere. Im Übrigen tun das Yahoo und Bing ebenso. Und die schwarzen Schafe. Besonders tragisch wird das, wenn eigentlich unsichtbare (lesegeschützte) Verzeichnisse offenliegen. Es kann also sehr schwer werden, sich dagegen zu wehren.