Idee: Foren vernetzen über ähnl. Themen

@Tobi
hast Du eine Idee für einen fairen Algorythmus?

Ideen dazu:
# Buddylist mit Foren mit denen man Links tauschen mag (oder umgekehrt Blacklist)
# nur Foren ähnlicher Größe tauschen Links miteinander.
# nur Foren derselben Kategorie tauschen miteinander Links.
# man kann Einblendungen zählen sodass sie im Gleichgewicht mit den anderen sind? (schwierig)
# man sollte Anfragen auf jeden Fall cachen, da die nicht viel Platz wegnehmen und die Sache beschleunigt.
# wenn der BUN Server ausfällt sollte das entsprechend failsafe gestaltet werden, d.h. das Script darf nicht zuuu lange auf den BUN Server warten.
# gibt es eine Möglichkeit Klicks zu zählen?
# man sollte auf jeden Fall Standards für das integrieren aufstellen.

@Jan
stimmt, in dem Falle würden alle von den Links profitieren.
wenn ich einen Link mit einem Keyword auf jemanden setze, werde auch ich zu dem Keyword besser gerankt!

Daran kann man schnell mal Tage verbringen. Deine Anregungen sind sicher nicht schlecht, aber gehen wir mal durch:

Aufwändig. So was müsste man irgendwo zentral ablegen und das müsste stetig abgeprüft werden. Würd einiges an Rechenaufwand bedeuten.
Definiere "ähnliche grösse"? +/- 1000 Beiträge? +/- 10% Beiträge? +/- 100 User? +/- 10% User? +/- 1000 Pageviews? +/- 10% Pageviews?

Definiere "dieselbe" Kategorie. Selbstkategorisierung? Schwierig, man passt meist nicht in eine direkt oder direkt in mehrere. Und wenn nicht, wie dann automatisiert?

Braucht wieder recht Rechenpower. Aber auch wenn: Was macht man, wenn man ein Ungleichgewicht erkennt? Wie soll in dem Fall eskaliert werden?

Cachen ist immer eine gute Idee, aber aufwändig zu verwirklichen.
Definere "zuuu lange".

Gibt es. Aber aufwändig.
Definiere "integrieren".


Achtung: Google kann das auch schnell als hacking erkennen und alle Pageranks runterstufen.. alles schon gesehen..

# Rechenpower = kein Problem!
# techn. Umsetzung (Matching) auch nicht
# zuu lange = muss man testen! 1s?
# Standard = Code darf nicht modifiziert werden (z.B. nofollow) hinzugefügt etc.
# Google Hacking? - seit wann darf man nicht themenrelevante Links verknüpfen?
^ ich lege meine Hand dafür ins Feuer, das das gegen keinerlei Richtlinien ist!
- ich denke diese Form ist von Google eher erwünscht und auch von Usern!!

Würde ich auch einbauen, zumindest das man aussuchen kann wo man hin linkt. Hat auch den Vorteil das schlechte Foren nie ausgesucht werden und so selber auch keine Links bekommen. Das System lässt sich so also nicht so einfach zuspammen.

Warum? ist doch egal wie groß das Forum ist mit dem man tauscht. Wenn dann sollte man den Pagerank mit einberechnen.

Wenn man sich aussuchen kann aus welchen Foren man Links einblenden will hat sich das schon von alleine erledigt.

Finde ich sehr wichtig wobwi die einblendungen nicht ganz so wichtig sind, hauttsache die Lins werden fair verteilt. Für jeden Link den man bei sich einblendet bekommt man einen Punkt für den man dann selber wieder einen Link bekommt.

Man sollte das Ergebniss komplett an das Forum senden und nur einmal am Tag ein Update vom BU-Server holen.

Wenn der Server nicht erreichbar ist wird einfach die XML-Datei bei den Foren nicht erneuert und alle Links bleiben sowie sie sind bis der Server wieder erreichbar ist.

Stell ich mir schwer vor da wir ja direkt verlinken wollen also wenn dann per JavaScript zählen können.

Seh ich auch so, für jede Forensoftware braucht man einen passenden Mod.

Ich prsönlich fände noch wichtig, dass diese Funktion die "normalen" ähnlichen Themen wie sie im z.B. vB bereits integriert sind nicht ersetzt. Denn die interne Verlinkung wäre mir ebenso wichtig wie die externe.

dann macht man einfach 50/50 - d.h. 2 Interne Links (falls vorhanden) + 2 externe Links
guter Hinweis, packe ich mit in die Todo

Guten Abend,

ich habe die Diskussion bisher mit großem Interesse verfolgt und bin ggf. auch bereit als Programmdesigner (d.h. Erstellung des detaillierten Konzepts, Algorithmus usw.) mitzuwirken und evtl. (soweit es meine Zeit erlaubt) auch als Programmierer.
Ich sehe derzeit nur einige Probleme:

1. Der Algorithmus
@Fabio: Dass man solche Suchmaschinen / Spider eben immer noch weiter verbessern kann, zeigt Google denke ich ganz eindrucksvoll.
--
Ich werfe einfach mal ein paar Dinge in den Raum:

Foren definieren sich selbst über Tags. Sollten mindestens x % der Tags zweier Foren übereinstimmen, wird die Vernetzung zwischen ihnen aktiviert. Kommen mehrere Foren ins Spiel wird das ganze schon komplizierter.
Eine Rolle spielt mit Sicherheit die Anzahl der Hits eines Themas. Zu diesem Zweck sollte das eingebunde, externe JavaScript (alles andere ist zu leicht manipulierbar) selber mitzählen (Google & Co. müssen natürlich draußen bleiben).
Eine weitere Rolle spielt das Verhältnis zwischen Links auf das eigene Forum und Links, die man im eigenen Forum durch die Vernetzung auf andere Foren setzt bzw. das Verhältnis zwischen den Anzahlen der Klicks. Hier sollte zum Einen ein angemessenes Verhältnis gefunden werden, zum Anderen muss das Verhältnis erhalten bleiben. Eine zu große Abweichung für ein einzelnes Forum sowohl in positiver als auch in negativer Richtung ist schädlich für das gesamte Netzwerk. Davon mal abgesehen können wir dadurch automatisch Foren ausschließen, in denen die ähnlichen Themen verdeckt oder ganz am Ende der Seite sind (da die Anzahl der Klicks natürlich geringer ist).
Den PR mit einzubeziehen halte ich für falsch, genauso wie eine Blacklist. Wie schon mehrfach angesprochen, profitieren in jedem Falle beide Seiten davon. Eine Blacklist muss höchstens von uns geführt werden um bestimmte Inhalte zu unterdrücken. Für die Bewertung besser geeignet sind, finde ich, das oben genannte Links- bzw. Klicks-Verhältnis und die Hits der Threads, die durch unseren Master-Server gezählt werden (s. Punkt 2).
Für am problematischsten halte ich jedoch die Aussagekraft der Thementitel, in denen sich ein komplexes Problem bzw. eine Diskussion oft nur ungenügend wiederspielt. Eine komplette Indexierung anhand der Beiträge wäre auf der anderen Seite evtl. auch zu langsam. Auch sollte man überlegen, ob man nicht auch Blogs indexiert. Abermals würden beide Seiten davon profitieren und außerdem würden wir so auch Blogs und Foren miteinander vernetzen.

2. Die Vernetzung selbst
Ich verspreche euch, das wird um einiges komplizierter, als ihr es euch wahrscheinlich vorgestellt habt. Auch wenn ich mich damit noch nicht ganz so stark beschäftigt habe, scheint mir hier der Einsatz eines Web-Services am sinnvollsten.

Wie soll nun also gewährleistet werden, dass der Index stets aktuell ist? Ich sehe da folgende Lösung:
Unser Master-Server kennt die durchschnittliche Anzahl der Themen-Hits eines Forums und die Anzahl der Klicks auf die ähnlichen Themen in diesem Forum. Darauf aufbauend werden die Themen von Foren in regelmäßigen Abständen im Index aktualisiert. Foren mit vielen Hits werden im Index öfter aktualisiert als Foren mit wenigen. Aber auch umgekehrt macht es Sinn: Foren dürfen nur in bestimmten regelmäßigen Abständen nach Aktualisierungen der ähnlichen Themen verlangen.
Das ist fair (denn das oben angesprochende Verhältnis von Links wird dadurch nicht beeinflusst) und hält den Ressourcenhunger der Anwendung möglichst klein.

Wird ein Thema nun aufgerufen, passiert folgendes:
javascript (<-- wieso zur Hölle wird das vom Forum automatisch kleingeschrieben?):

• der Hit, die IP und der Thementitel werden registriert und der Master-Server wird generell um eine Aktualisierung gebeten
• sollte das Thema noch nicht im Index vorhanden sein, wird dies nachgeholt
• sollte die Bestätigung bzgl. der Aktualisierung seitens des Master-Servers erfolgen wird dies getan inkl. der Neugenerierung des Caches durch ein vom Client / Forenbetreiber definiertes PHP-Script
• ansonsten ruft das Script ein vom Client definiertes PHP-Script auf (XmlHttpRequest / AJAX / WebService / ...), bei welchem es sich um das Plugin für das jeweilige Forum handelt

PHP:

• die Anzahl der ähnlichen Themen wird vom Foren-Plugin wenn möglich aus dem Cache geladen
• sollte dies fehlschlagen, wird dies dem JavaScript mitgeteilt und es werden keine ähnlichen Themen angezeigt (würden wir an dieser Stelle eine Aktualisierung erzwingen, könnte man als Client eine permanente Aktualisierung dadurch erzwingen, dass man keinen Cache erstellt bzw. ihn regelmäßig leert)

Kommt es nun zu einem Klick auf ein ähnliches Thema, erfolgt dies am besten über eine Weiterleitung über ein PHP-Script des Clients (auf keinen Fall über unsere Website, da das wieder einiges an Ressourcen kostet). Der Client überträgt nun die IP und die URL des Themas an den Master-Server und leitet den Besucher auf das ähnliche Thema weiter. Der Klick wird jedoch erst gewertet, sobald unser JavaScript einen Aufruf des verlinkten ähnlichen Themas durch eben diese IP registriert.
Dadurch dürften größere Manipulationen der Anzahl Klicks weitestgehend ausgeschlossen werden.

Damit das ganze von Anfang an läuft, muss am Anfang angenommen werden, dass ein neu registriertes Forum durchschnittlich eine bestimmte Anzahl an Hits hat, die sich jedoch im Laufe der Zeit von selbst regulieren wird. Würden wir dies nicht tun, würde eine erste Aktualisierung der ähnlichen Themen nie erfolgen, weil die Zeit für die nächste Aktualisierung = unendlich wäre.

3. Die Ressourcen
Die wohl wichtigste Frage. Hierbei geht es sowohl um die Hardware, als auch um die Programmierer. Wir müssen dabei klar im Hinterkopf behalten, dass solch ein Index bzw. Master-Server schon nach kurzer Zeit unheimlich viele Ressourcen verschlingen kann. Klar, solange wir an dem Ding entwickeln, braucht es nur einen kleineren Test-Server (ich könnte hier evtl. helfen), aber sobald es fertig ist, brauchen wir etwas ordentliches. Das Problem ist, dass das schnell ins Geld geht. Zumindest eine kleinen kleinen Ausgleich würden wir dadurch schaffen, dass wir nebenbei eine Suchmaschine aufbauen, mit der man den Index durchsuchen kann, und dort ein wenig Werbung schalten. Aber selbst das ist keine Lösung.
Wenn wir diese Projektidee wirklich ernsthaft weiterverfolgen wollen, dann sollten wir schleunigst ein Wiki / eine Projekt-Management-Software o.ä. aufsetzen. Weitaus wichtiger ist aber der Team, also _wer_ ist nun genau dabei und kann genau _was_ beisteuern?*
Ich schlage im Übrigen vor, dass ihr alle mal in #boardunity vorbeischaut. Da lassen sich manche Dinge einfacher klären und diskutieren.

* Diese Frage ist wirklich mit Abstand am wichtigsten im Moment. Also bitte halten wir uns hier nicht mit Grundsatzdiskussionen oder Diskussionen bzgl. der genauen Implementierung auf (genau das, was ich eigentlich gerade gemacht habe *g*). Wie es genau laufen soll, ist dann wie gesagt in einem Wiki zu klären.

4. Die rechtliche Seite
Zu guter Letzt dürfen wir auf keinen Fall vergessen über die Konsequenzen nachzudenken, die es hat, wenn ein Forum mit legalen Inhalten durch das BUN plötzlich auf ein Thema mit illegalen Inhalten verlinkt...

5. Sonstiges
Wie wäre es übrigens, wenn das Thema hier mal endlich nach "Entwicklung und Konzeption sozialer Software" verschoben wird. Also wenn das hier nicht soziale Software ist, dann weiß ich auch nicht weiter.

Eine wirklich ausgezeichnete Idee.


So viel erst mal von mir.
Schlaft gut.

Ich hoffe, ich hab euch jetzt nicht verschreckt.

Die wichtigste Frage ist nach wie vor zu klären: Wer hat Lust und Zeit sich an diesem Projekt durch was auch immer zu beteiligen?

Ich habe bereits eine Idee entwickelt und teste sie. :P

Die Signatur befindet sich im Offlinemodus, bitte versuchen Sie es später wieder.

Was für eine Idee willst du denn entwickelt haben? Die Idee kam von Luki, du könntest sie höchstens umsetzen?

Wieder so einer der alles zu 100% interpretieren muss. Wie ich sowas hasse, was ich damit eher meinte war, das ich eine Idee zur umsetzung haben und diese Teste. Die Grundidee stammt von ihm ja, aber meine Idee zur Umsetzung ist meine Idee.
Problem stellt hier da, wie komme ich an die Themen und wie geh ich mit dennen um. Hier gibt es verschiedene Möglichkeiten, und genau da ist das Problem. Alles weitere ist wieder simple arbeit.

Die Signatur befindet sich im Offlinemodus, bitte versuchen Sie es später wieder.

Irgendwie hatte ich anfangs eher daran gedacht, dass wir das gemeinsam entwickeln, als Community Projekt quasi (wie auch von vielen vorgeschlagen). Und jetzt dreht hier plötzlich jeder sein eigenes Ding?

So alleine will ichs garnicht machen, ich bin nur, was sowas angeht sehr verspielt und suche nach lösungen.

Die Signatur befindet sich im Offlinemodus, bitte versuchen Sie es später wieder.

Ich habe nur irgendwie das Gefühl, dass das ganze "Projekt" wieder in den Tiefen der BU versinkt...
Also, wer ist nun mit von der Partie? Luki, Fabio, jowo, gfc, Gerrit, Tobias, ...?

Ich diene gerne mit Ideen, da ich sowas dann auch ins XcB einbauen würde.

Die Signatur befindet sich im Offlinemodus, bitte versuchen Sie es später wieder.

Was ich ja schon weiter oben befürchtet habe. Nichts für ungut, aber so ein Projekt braucht eine Triebkraft (= Person) an der Spitze und bitte jemanden, der nicht nur Designer ist, sondern auch einen Grossteil der Arbeit macht. Sonst wird's versinken.

Kommt immer auf das Umfeld an. Ich hab zwar teilweise altruistische Züge, aber per se bin ich eigennützig. In dem Falle trage ich etwas bei, wenn ich die Lösung selber nutzen würde. Hier wurden einige Angehensweisen skizziert und einige davon finde ich gut, andere schrecklich. Bei zweiteren verzichte ich dankend darauf. Tönt böse, aber ich bin ehrlich

keine Sorge gfc, bevor hier nichts passiert nehme ich das schon in die Hand
ich freue mich auf jeden Fall über die ganzen gesammelten Anregungen und Ideen bisher.

@Luki: Dann wirst du das jetzt also in die Hand nehmen?

Gerne, ich freue mich natürlich auch wenn das jemand anderes machen mag!
ich werde das Projekt trotzdem voll unterstützen + ich denke das es erstmal simpel aufzubauen ist.

die Matching Funktion im Protecus Forum wurde z.B. grundsätzlich sehr einfach und schnell installiert jedoch dann stetig verfeinert indem z.B. Keywords die zu allgemein sind rausgefiltert wurden (Blacklist) etc.

kurz zu Deinem ausführlichen Post:

Algorythmus
# stelle ich mir für den Start ganz einfach vor:
# Match Funktion von MySQL erledigt das Matching: MySQL AB :: MySQL 5.1 Referenzhandbuch :: 12.7 MySQL-Volltextsuche
# Thread Titel müssen für die Aussagekraft reichen (tun sie idR auch)
# Hits tracken (BUN Webbug) am Anfang ist ein guter Orientierungswert damit Mitglieder sehen können wie oft ihre Url's eingeblendet werden. (Clicktracking können wir später nachrüsten)
# Blogs ebenfalls die Möglichkeit geben teilzunehmen ist eine gute Idee

Vernetzung + rechtliche Hinweise
# gute Hinweise!

Server
# wenn notwendig, denke ich kein Problem.

Ist es okay wenn ich hierfür erstmal ein kleines Projektforum erstelle?
Wo wir dann einzelne Bereiche näher erläutern können und ein paar Umfragen machen können.

@Luki: Da sich das mit meinem Auftrag jetzt vorerst doch erst mal erledigt hat, stünde ich nun voll zur Verfügung (auch was die Programmierung angeht).
Soll ich mal ein Wiki oder Trac oder so aufsetzen?

Wenn es ein BU Benutzer Projekt werden soll, würde ich ein Wiki, Trac oder anders geartetes Projektmanagement-Tool auch über die BU laufen lassen. Darüber hinaus, nicht zuletzt weil dieser ein Beitrag auf lange Sicht eh nicht ausreicht, würde ich die Umsetzung von Lukas Vorschlag - ein kleines Projektforum hier bei der BU - sehr begrüßen.

Vorerst vielleicht nur für eine Benutzergruppe X.

ich hoffe das Projekt ist noch nicht ganz eingeschlafen...

BLOGRUSH

ist eine ähnliches System für Blogger nur auf JS basiert..

die Idee hier ist immer noch phänomenal, da sie sozusagen blogrush und linklift kombiniert.
LinkLift - Der Marktplatz für Textlinks ermöglicht z.B. auch nur den direkten Einbau per PHP um den SEO Faktor mitzunehmen.

also weiter Jungs! die Idee ist super!

Problem ist halt, bei mir geht die Uni wieder los und miut dem XcB, welches sich ja bei mir in entwicklung befindet, und den immer wieder Planen und entwickel des Grundgerüstet entstanden plötzlich zwei Programme usw. Und da hier nichts mehr kamm. Die Idee ist wirklich gut, und wurde sogar jetzt schon zumindest als vB3.7er wunsch geäußert.

Die Signatur befindet sich im Offlinemodus, bitte versuchen Sie es später wieder.

Bist du immer so großzügig?

Verzeiht bitte, wenn ich mich hier kurz einklinke …

Lukis Basis-Idee solltet ihr AUF KEINEN FALL absaufen lassen. Müssten halt noch so einige Dinge miteinbezogen werden, welche u.a. Codethief erwähnt hat (sind nicht unwichtige Punkte dabei – vor allem Grips im Allgemeinen ist dahinter definitiv zu erkennen).

@Luki: Das ist doch DEINE Idee.
Warum schnappst dir nicht mal alle bereits vorhandenen Kommentare der anderen User zu dem Thema, und verpackst wesentlich Ansätze mal sauber in eine BASIS-ARBEIT ? Ich mache ja grad dasselbe durch …
Tja, und daran wird dann weiter gefeilt und schließlich dann mal konkretisiert die Sache.
Nicht gerade ungeschickt wäre auch die Idee, die ganze Arbeit, samt fortführende Diskussionen dazu, überhaupt dann aus BU auszulagern, und sich dort nur noch auf diese ganze Sache konzentrieren. So zumindest hab’s ich vor.
Übrigens:
Dieses Thema hier behandle ich am Rande bzw. zwangläufig auch, weil DIESE (Lukis Idee) verknüpft mit meiner bescheidenen Kleinigkeit, soll schließlich dann mal das gegenwärtig ultimativ überhaupt nur mögliche möglich werden lassen.
Klartext: Lukis Idee müsste, sollte, könnte unweigerlich mit meiner Kleinigkeit verschmolzen werden, bzw. die Möglichkeiten dazu müssen/sollten software-mäßig vorgegeben, bzw. berücksichtigt werden – das meine ich.

Absaufen lassen die Idee wäre gewiss ein Fehler. Steckt schon Potenzial dahinter, wenn alles gut durchdacht und überlegt dabei wird. Auch alle Für und Wider hervorgehoben werden und so weiter.

In dem Sinne:
Gutes Gelingen!

Hatte gerade eine spontane, noch überhaupt nicht durchdachte Eingebung: Wenn man das auch gleich in ein CMS integrieren will, könnte man ja fast soweit gehen und auch die Benutzer der Systeme miteinander vernetzen.