Globale Verfügbarkeit von Unknowns-Forenbeiträgen in Suchmaschinen

  • Hallo Sankt Peter!


    Ich habe gerade mit Erstaunen festgestellt, dass Forenbeiträge hier bei Google in der Trefferliste auftauchen, z.B. google mal nach: Cutthroat Caverns Euro (mit Einschränkung Seiten aus Deutschland)


    Bei mir ist dann als 5. Treffer eine Liste aller Beiträge, die ich auf Unknowns überhaupt geschrieben habe. So ganz passt mir das irgendwie nicht...


    Verwendest Du keine robots.txt?
    (http://www.bjoernsworld.de/suchmaschinen/robots-txt.html)



    Ist das tatsächlich so gewünscht?

  • Und falls Du immer schon mal die #1 sein wolltest:


    Google mal: mysql Sankt Peter



    Lass die Welt wissen wie es um deine mysql Kenntnisse bestellt ist... :D

  • Zitat

    Original von ingo
    Hallo,


    du postest in einem öffentlichen Forum und wunderst dich, dass diese Treffer in ner Suchmaschine angezeigt werden?


    Korrekt!


    Weil es für Foren eher unüblich ist, dass Beiträge über Suchmaschinen zu finden sein sollen.



    Schon mal versucht einen Spielbox-Forenbeitrag zu googeln? Warum klappt das wohl nicht?

  • Zitat

    Original von Eric


    Korrekt!


    Weil es für Foren eher unüblich ist, dass Beiträge über Suchmaschinen zu finden sein sollen.


    Da sind wir hier aber nicht das einzige Forum bei dem das so ist. Ich hab damit auch kein Problem. Warum Du?

    heffernan
    ------------------------------------------
    We have to wear these shorts !
    It's an offical company issue !!!

  • Hiho,


    Ehrlich gesagt sehe ich auch kein SInn darin die Foren auszunehmen. Wenn das der Betreiber das beim SB Forum so entschieden hat, dann gut. Aber generell ist es doch wohl wünschenswert.


    Atti

  • Das sehen aber 95% der Forenbetreiber eigentlich anders.


    robots.txt zu benutzen ist absolut üblich, keine zu haben eher die absolute Ausnahme, bzw. auch sträflich leichtsinnig. Allein damit der Crawler nicht einfach beim Verfolgen aller Links nicht auch mal ein paar "Daten löschen Links" aktiviert...


    Deshalb bin ich so erstaunt, dass Sankt Peter keine benutzt.



    Und dann nennt mal bitte ein paar weitere Spieleforen, bei denen die Beiträge über Google zu finden sind?



    Und sowas als Google-Treffer serviert zu bekommen stört Euch nicht?
    http://www.unknowns.de/wbb2/search.php?action=user&userid=110&phpMyAdmin=VATe6rnmNnf4nOOQyLLOqRANw13
    http://www.unknowns.de/wbb2/search.php?action=user&userid=37&phpMyAdmin=VATe6rnmNnf4nOOQyLLOqRANw13
    http://www.unknowns.de/wbb2/search.php?action=user&userid=148&phpMyAdmin=VATe6rnmNnf4nOOQyLLOqRANw13

    5 Mal editiert, zuletzt von Eric ()

  • Zitat

    Original von Eric
    Und dann nennt mal bitte ein paar weitere Spieleforen, bei denen die Beiträge über Google zu finden sind?


    Zum Beispiel das Größte: Alle Foren von Boardgamegeek sind bei Google zu finden...


    Eine Robots.txt kann man ja trotzdem nutzen, um z.B. kritische Funktionen des Forums oder die Suchfunktion auszuschließen.

  • Zitat

    Original von Eric
    Das sehen aber 95% der Forenbetreiber eigentlich anders.


    Wo sind die denn alle? Ausser Dir hat sich noch keiner zu Wort gemeldet.


    Zitat

    Und dann nennt mal bitte ein paar weitere Spieleforen, bei denen die Beiträge über Google zu finden sind?


    Ein Spieleforum ist es zwar nicht, dafür findest Du im Haustechnik Dialog auch jeden Forumsbeitrag über Google. Das ist auch Sinn der Sache. Wie sollen Interessierte denn sonst Zugang zu Fachkompetenz finden wenn die Kompetenz sich versteckt? Als Aussenstehender hast Du ein Problem und googlest das. Von dort gelangst Du weiter in entsprechende Foren (z.B.). Findest Du in jedem Bereich. Egal ob Eltern, Bastler, Gartenbau, Spiele, Kleidung, Malen, etc. Was glaubst Du wie einige hier zu Unknowns gekommen sind?



    Zitat


    Was soll mich denn daran stören?
    Das die Welt erfahren kann dass ich mal nach Oberschwaben gefahren bin, dafür aber nicht nach Essen fahre? Dss ich ein bekennender Puerto Rico Fan bin und Himalaya das einzige Spiel mit Sichtschirm ist das mir gefällt (trotz Sichtschirm)? Das sind nun wirklich keine streng geheimen Informationen und ich glaube auch nicht dass ich irgendwelche Nachteile habe weil das jetzt im Netz steht.


    Wenn ich nicht wollte dass es einer weiß, hätt ichs nicht geschrieben. So einfach ist das.

    heffernan
    ------------------------------------------
    We have to wear these shorts !
    It's an offical company issue !!!

    Einmal editiert, zuletzt von heffernan ()

  • Hiho,


    Wie kommst du zu der Annahme das 95% der Betreiber das anders sehen?


    Beispiele:


    BGG: http://www.google.de/search?hl=de&client=firefox-a&rls=com.ubuntu%3Ade%3Aunofficial&hs=6Jb&q=Parts+Factory+without+car+factory&btnG=Suche&meta=
    Micha's Spieleforum: http://www.google.de/search?hl=de&q=Die+mit+dem+neuen+Cover%2C+neuer+Spielregel+&btnG=Google-Suche&meta=&aq=f&oq=
    Spieleforum.de: http://www.google.de/search?hl=de&q=Bei+den+Karten%2C+die+man+ausspielt+steht+bei+z.B+Decolonization%3A&btnG=Google-Suche&meta=&aq=f&oq=


    Ich denke eher das min. 95% der Foren in Google Indiziert sind.


    Die search.php in die Robots.txt aufzunehmen ist allerdings sinnvoll, da muss ich dir zustimmen.


    Wenn BGG die Foren aus den Suchmaschinen nehmen würde, wäre es nicht gerade ein Mehrwert.
    Wenn man Daten-Löschen-Links hat, die ohne Authentifizierung funktionieren, muss man vermutlich NICHT auf Google warten - das findet schon jemand anderes vorher raus.


    Atti

  • Okay, vermutlich bin ich dann bezüglich der Üblichkeit der Suchbarkeit von Forenbeiträgen auf einem veralteten Stand. Ich kannte das eigentlich nur vor irgendwelchen Support-Foren, damit die Kunden nicht dieselbe Frage dort 10x stellen. Aber die genannten Beispiele muss ich dann mal zur Kenntnis nehmen.



    Aber die robots.txt sollte an sich trotzdem Pflicht sein. Meinetwegen dann nicht um Forenbeiträge an sich für die Crawler zu sperren, aber zumindest um unliebsame Crawler fernzuhalten (Empfehlungsliste kann man googeln) und ein paar andere Bereiche abzusperren:


    profile.php
    memberslist.php
    team.php
    search.php
    pms.php
    admin.php


    Logdateien



    (Bösartige Crawler halten sich natürlich nicht unbedingt an so eine robots.txt, aber die meisten schon...)

    3 Mal editiert, zuletzt von Eric ()

  • Hiho,


    Erics auflistung halte ich allerdings auch für eine sehr sinnvolle Ergänzung. Mich wundert ein wenig das es nicht mit der Software (wbb2) mitgeliefert wird - das kann ich ja kaum glauben. :)


    "Bösartige" crawler halten sich NIE an die Robots!


    Atti

    • Offizieller Beitrag

    Danke für den Hinweis...


    Jetzt haben wir auch eine robots.txt


    Wobei ich nicht weiß, ob ich die in das richtige Verzeichnis gepackt habe?

    "We are the unknowns. Lower your shields and surrender your ships. We will add your biological and technological distinctiveness to our own. Your culture will adapt to service us. Resistance is futile."


    Meine Spiele: Klick mich

  • Nabend,


    Zitat

    Original von Sankt Peter
    Danke für den Hinweis...


    Jetzt haben wir auch eine robots.txt


    Wobei ich nicht weiß, ob ich die in das richtige Verzeichnis gepackt habe?


    steht doch auf der Seite, die Eric verlinkt hat ;)


    Zitat

    ...und diese im Stammverzeichnis der Domain plazieren...

    • Offizieller Beitrag
    Zitat

    Original von ingo
    Ich nochmal,



    ich denke, das Root-Verzeichnis dieses Webs ist der richtige Platz. :)


    Eben, das meine ich ja...

  • Ich nochmal,


    und wenn du dir nicht sicher bist, mit dem Ding hier


    https://www.google.com/accounts/ServiceLogin?service=sitemaps&passive=true&nui=1&continue=https%3A%2F%2Fwww.google.com%2Fwebmasters%2Ftools%2Fhome%3Fhl%3Dde&followup=https%3A%2F%2Fwww.google.com%2Fwebmasters%2Ftools%2Fhome%3Fhl%3Dde&hl=de


    kannst du deine Seite testen (auch bzgl. der robots). Ansonsten würd ich einfach mal 1und1 anschreiben und die fragen, oder haben die keinen Kundenservice?

  • Hallo nochmal,


    Zitat

    Original von Sankt Peter
    Jedenfalls nicht ins root... ;)


    in echt versteh ich das noch nicht ganz (aber ich hab auch noch nie so'n webspace gebucht). Du mietest da so nen (managed) Server bei 1und1. Die versprechen dir Webspace mit php und mysql. Daher läuft das ganze wahrscheinlich mit nem apache httpd und nem php und mysql mod. Jetzt hat so'n Indianer nen docroot-Verzeichnis, in das std.-mäßig die Webs kommen.


    Und ich denk mal, dass zumindest dieser Ordner für den Kunden frei zur Verfügung steht. Und wenn du nun dein unknowns-Zeugs darein legst, solltest du doch damit das Ziel erreicht haben...


    Falls das alles kompletter Blödsinn ist, kann ja vielleicht Atti nochma was dazu sagen (hört sich so an, als wenn der berufsmäßg die Admin-Schiene fährt und sich damit auskennt).


    Ansonsten würd ich ma in die Webspace-Doku gucken (die es mit Sicherheit gibt und die sehr sehr wahrscheinlich auch was über ne robots.txt schreibt) oder 1und1 anmailen...

    • Offizieller Beitrag

    Also die Datei ist jetzt sozusagen in meinem zugänglichen Hauptverzeichnis. Kann man irgendwie testen, ob das jetzt funktionuckelt?

  • die frage ist eher ob die Spider sich an die Vorgaben halten ;) Aber mir fällt momentan nur die Möglichkeit ein in den Web-Logs zu schauen ob die Spider sich nun von den "gesperrten" Seiten fernhalten.


    Was die Eingangsfrage angeht, also ich sehe das ähnlich wie die meisten hier, ein Forum lebt von Besuchern und bietet Informationen, um "Userinzucht" zu vermeiden ist ein Forum darauf angewiesen neue User zu aquirieren und das geht am einfachsten via Google&Co. Naja und wer das nicht mag der soll zurück an den guten alten Stammtisch gehen und den Provinzmief atmen.

  • Hiho,


    Klar kann man das Testen: http://www.unknowns.de/robots.txt


    Klappt. Aber jetzt hast du die grosse Kelle ausgepackt, oder? - Damit dürfte Unkunwn nicht mehr in Google oder anderen Suchmaschinen auftauchen - zumindest nicht für Inhalte aus dem Forum.


    Atti

  • Zitat

    Original von Attila
    ...Damit dürfte Unkunwn nicht mehr in Google oder anderen Suchmaschinen auftauchen - zumindest nicht für Inhalte aus dem Forum.


    Sollten aber nicht gena die auffindbar sein? Ich denke einfach an die Menschen die nicht jeden Tag spielen und die im Internet Hilfe suchen. Sei es als Kaufentscheidung oder bei Regelfragen. Die fragen bei Google Ihr Problem ab und landen dann wohl nicht mehr bei uns.


    Das finde ich dann aber schlecht.

    heffernan
    ------------------------------------------
    We have to wear these shorts !
    It's an offical company issue !!!

  • Also die robots.txt klappt soweit.


    Wenn du die Forenbeiträge sichtbar halten willst, müsstest du vermutlich noch


    Disallow: /wbb2/thread.php
    Disallow: /wbb2/board.php


    rausnehmen.


    Der Rest sieht eigentlich ok aus....



    Edit: Und es gibt eine Reihe von Crawlern, die man ganz raushalten möchte, z.B. welche die E-Mail-Adressen abgreifen wollen. Und ja, einige lassen sich das tatsächlich sogar von einer robots.txt verbieten...

    2 Mal editiert, zuletzt von Eric ()

  • wirkt sich die robot.txt auch auf die blog-Beiträge aus? Und/oder auf die wiki?

    heffernan
    ------------------------------------------
    We have to wear these shorts !
    It's an offical company issue !!!

  • Zitat

    Original von heffernan
    wirkt sich die robot.txt auch auf die blog-Beiträge aus? Und/oder auf die wiki?


    Nö, zur Zeit nicht. Und die sollen ja auch auf jeden Fall sichtbar bleiben...

    Einmal editiert, zuletzt von Eric ()

  • Hiho,


    Über das


    Zitat

    Disallow: /wbb2/thread.php


    Würde ich mir an St. Peters stelle nochmal gedanken machen. Das sorgt dafür das zukünftig Google keine Forumseinträge mehr findet. Kann man sich drüber streiten ob das gut oder schlecht ist, ICH nutze google oft um dinge zu suchen die ich dann in div. Foren finde.


    Es würde übrigens ein wenig einfacher gehen wenne man es umgekehrt macht:


    Zitat

    User-agent: *
    Disallow: /wbb2/
    Allow: /wbb2/thread.php
    Allow: /wbb2/board.php


    Macht das ganze was übersichtlicher und resistenter gegen änderungen.


    Atti

  • Dann dürftest du


    Allow: /wbb2/index.php


    allerdings nicht vergessen... ;)



    Allerdings wird davor gewarnt mit Allow zu arbeiten:


    SELFHTLM.org sagt dazu: "Es besteht übrigens keine Möglichkeit, Verzeichnisse explizit für die Indizierung zu erlauben. Ein Schlüsselwort Allow: wurde niemals definiert."


    Und die oben verlinkte Seitesagt dazu: "Da die Allow Anweisung aber erst später als der eigentliche Standard eingeführt wurde, wird sie noch nicht von allen Robots unterstützt. Von daher sollte man sich nicht darauf verlassen und lieber nur Disallow benutzen."

  • Zitat

    Original von heffernan


    Sollten aber nicht gena die auffindbar sein? Ich denke einfach an die Menschen die nicht jeden Tag spielen und die im Internet Hilfe suchen. Sei es als Kaufentscheidung oder bei Regelfragen. Die fragen bei Google Ihr Problem ab und landen dann wohl nicht mehr bei uns.


    Das finde ich dann aber schlecht.


    Ich sehe damit das Ende des Forums voraus, weil niemand neues sich hier her verirren wird.


  • Ich meinte damit nicht, ob man schauen kann ob die Datei da ist, sondern ob die Spider sich auch daran halten. Das kann man IMHO nicht testen sondern nur durch die Durchsicht der Logs ermitteln.

  • Zitat

    Original von JoelH


    Ich sehe damit das Ende des Forums voraus, weil niemand neues sich hier her verirren wird.


    Hey, toll, das Spielbox-Forum ist also schon seit Jahren am Ende! Wusste ich bisher noch nicht....



    Und nun wartet doch erstmal ab bis Sankt Peter das endgültig eingestellt hat, im Moment spielt er ja noch mit ein paar Einstellungen rum....

  • Zitat

    Ich meinte damit nicht, ob man schauen kann ob die Datei da ist, sondern ob die Spider sich auch daran halten. Das kann man IMHO nicht testen sondern nur durch die Durchsicht der Logs ermitteln.


    Normale Spider halten sich daran! Kannst du gerne testen.


    Was allerdings richtig ist, das Allow kein standard ist, sondern nur von den grossen Maschinen google, Yahoo und Ask.com ausgewertet werden. Da ist selbst ein google-Junkie bin hatte ich mir da gar keine Gedanken gemacht.
    So gesehen ist es dann besser es so zu lassen nur die thread und board.php rauszunehmen.


    Atti

  • Zitat

    Hey, toll, das Spielbox-Forum ist also schon seit Jahren am Ende! Wusste ich bisher noch nicht....


    Naja, zumindest wird ins SB Forum keiner reinstolpern weil er in Google Infos zu einem Spiel oder eine Regelfrage gesucht hat.


    Atti

  • Also ganz verstanden habe ich die Aktion und deren notwendigkeit noch nicht. Warum sollen denn unsere Einträge nicht über google auffindbar sein? Da steht doch nichts relevantes drin ausser man interessiert sich für Spiele. Und das ist doch der sinn der Sache.


    Wovor hast Du denn Angst?


    Deine persönlichen Daten wurden doch eh schon von der t-com gewinnbringend angelegt :)


    oder wars ne bank ?(


    so langsam weiß man schon gar nicht mehr von wem man hintergangen wird.


    Gibts darüber ein Verzeivchnis das man googeln kann? Oder haben die ne robot.txt damit wirs nciht finden??

    heffernan
    ------------------------------------------
    We have to wear these shorts !
    It's an offical company issue !!!

  • Hiho,


    Darum geht es doch (zumindest mir) gar nicht. Die Hits die google liefert sind nicht wirklich nützlich. Anstatt in die Auflistung aller Beiträge eines Users wäre der entsprechende Thread doch wohl der richtige Hit. Diese auflistung aller Beiträge erfüllt doch wohl für jemanden der über eine Google-Suche kommt überhaupt keinen Zweck (Stichwort: 10000 Hits, und aber kein vernünftiger). Und wenn jemand über Google genau solche Seiten sucht, dann frage sogar ich mich, wieso.


    Man KANN die Suchmaschinen mit allem Müll fluten, man kann aber auch dafür sorgen das die Hits die google zu der eigenen Seite rausschmeisst eine bessere Qualität haben. Kommt ganz darauf an was man will.


    Atti


  • Die Spielbox ist in erster Linie eine Spielezeitschrift. Darüber bin ich auch an deren Seite geraten. Unknowns hab ich dagegen über google gefunden, wie auch sonst?


    What ever, für mich ist dieser Thread ähnlich zu dem mit dem User der sich über die Viren aufgeregt hat. Das Internet ist halt global, wer das nicht akzeptieren will der soll den Stecker aus der Dose ziehen und nicht andere beschränken wollen.