Ladder Daten offline verfügbar?

[Rodley]

Hi,

Ich bin derzeit dabei auf meiner webpage Statistiken unserer "Ladder-Runners" aufzustellen.

Da dies nicht unbedingt für LoD Sinn macht hab ich hier nur den Fokus auf SC classic gelegt, da aufgrund des exp systems in classic lvl99 nie erreicht werden kann. Der Ladder-Run also Monate oder Jahre andauern kann.

Eine ähnliche Analyse hatte vor ein paar Jahren dkshade ins Leben gerufen. Leider gibt es die Seite nicht mehr.

Um die Daten aus der Ladder zu extrahieren bleibt mir nur der komplizierte Weg die Daten abzuschreiben. OCR tools konnten mir hier nicht zufriedenstellend behilflich sein.

Kommt man sonst noch irgendwie anders an diese Datenbank?
Werden beim anklicken der ladder die Daten lokal auf der Platte abgelegt?

Dies würde die Auswertung erheblich erleichtern.

Die Seite ist noch im Aufbau und derzeit sind nur die Top50 Spieler erfasst. Weitere Features werde ich nach und nach noch einbauen, da das meine erste webpage ist, sieht die auch noch eher unspektakulär aus.

http://www.d2-ladder.co.cc/


Gruß
rod

 

[zindelino]

Also ich kann dir da leider auch nicht weiterhelfen... Die einzige Idee wäre evtl. Screenshots machen und versuchen das Bild in Text zu bekommen, aber ich denke das ist mehr aufwand als einfahc abschrieben

Hätte da mal eine Frage zu deiner Seite. Was bedeutet denn "balance"?

 

[Dagoned]

Mir würde jetzt ad hoc auch nur einfallen, per Screenshot die Daten auf den PC zu bringen und dann durch ein Programm das Bild zu einem Text zu verarbeiten.

Ähnlich wie das der D2 Item Reader auch macht, den ein User zum inventarisieren seiner Items gebaut hat.

Ich hab keinen Plan wie aufwendig sowas ist.

Fakt ist nur, die Tabellen und rankings werden nicht lokal bei dir abgelegt und es gibt keine! Möglichkeit die Serverseitig auf legalem Wege auszulesen.

Dago

 

[Pitti911]

Ich glaube, dass verschiedene channelbots da eventuell daten empfangen könnten.

Eine Anlaufstelle wäre da ja zum Beispiel das Stealthbot-Forum.
Ich hab leider keine Ahnung, ob der channelBot die Daten auch gesendet bekommt.


Eine andere, letzte möglichkeit, wäre es sich nen Proxy zu schreiben das ist dann aber auch schon 3rd Party, kA ob man das auch registrieren kann der dann die Pakete, die durch ihn durch gehen ausliest (Ok es gibt schon solche Proxys, das sind aber Bot-Programme - ergo nicht nutzen )

 

[Nos]

So etwas mit einem Stealthbot zu machen kann ich mir nicht vorstellen. Er müsste ja auch die Pakete auslesen und würde dann - modifiziert - wie ein 3rd Party prog arbeiten.

 

[Pitti911]

Naja der Stealthbot kann ja auch schon die Profildaten auslesen, ich kann mir nicht vorstellen, dass die Ladder-Daten sehr viel anders ankommen.

Ich werd einfach mal im Stealthbot Forum ein wenig stöbern.

 

[Rodley]

Mir würde jetzt ad hoc auch nur einfallen, per Screenshot die Daten auf den PC zu bringen und dann durch ein Programm das Bild zu einem Text zu verarbeiten.

Ähnlich wie das der D2 Item Reader auch macht, den ein User zum inventarisieren seiner Items gebaut hat.

Ich hab keinen Plan wie aufwendig sowas ist.

Fakt ist nur, die Tabellen und rankings werden nicht lokal bei dir abgelegt und es gibt keine! Möglichkeit die Serverseitig auf legalem Wege auszulesen.

Dago

Hab schon diverse OCR Tools auf die Screenshots angewendet, aber da sind soviele Fehler drin, dass der Aufwand relativ hoch ist die raus zu machen. Da kann man die Daten auch gleich abschreiben.

Dass so ein channel bot die Infos bekommt kann ich mir auch nicht vorstellen. Das sind ja keine Chat Daten.

Hätte da mal eine Frage zu deiner Seite. Was bedeutet denn "balance"?

Balance zeigt die Änderung an zum Vortag. Quasi die Exp der letzten 24h. Evtl könnte man hier noch die Anzahl der Diakills ausrechnen und hinterher noch ein Wochenranking über die meissten Diakills pro Woche machen.

 

[Dagoned]

Hab schon diverse OCR Tools auf die Screenshots angewendet, aber da sind soviele Fehler drin, dass der Aufwand relativ hoch ist die raus zu machen. Da kann man die Daten auch gleich abschreiben.

Die Krux an dem D2 Font ist das kaum eine OCR Maschine den richtig lesen kann.

Dazu musst du quasi selbst eine DB aufbauen.

Schreib doch mal Eightball an, der hat den Item Reader gebaut.
Vielleicht hat er noch ein paar Tipps für dich.

Vielleicht könnt ihr da ja eine gemeinsame Lösung konstruieren?

Wie gesagt, andere Möglichkeiten gibt es definitiv und zu 99 % nicht

 

[Rodley]

So, das hat mir jetzt keine Ruhe gelassen *g*

Ich will jetzt nicht so tief in die Technik einsteigen, sonst kommen noch welche auf dumme Ideen Spiele-Daten anderweitig auszuwerten. Aber auf die Art und Weise werden wohl auch andere "tools" laufen.

Es gibt schöne Progrämmchen, das alle eingehende TCP/IP Daten aufzeichnet. Dies hab ich mir mal angeschaut und tatsächlich die ausgewählte ladder page als Roh-Daten bekommen.

Die einzelnen char Namen waren schnell zu erkennen da im ASCII Format gegeben. Bei den restlichen Daten war es wesentlich schwieriger, zumal auch viele Junk-Daten übertragen werden.

Nach einigen Einleitungsdaten in der auch der Rang des ersten Spielers auf der Seite aufgeführt ist, werden für alle 16 Spieler auf der ladder Seite jeweils 28 Bytes gezeigt. Nach langem Vergleichen der einzelnen Datenblöcke konnte ich alle wesentliche Informationen extrahieren:
name, char-typ, title, lvl und exp (auf den punkt genau).

Wenn man erstmal weiss wo welche Daten stehen lassen die sich sicherlich auch irgendwie automatisiert formatieren und in die einzelnen Nutz-Daten umwandeln. Ich denke über kurz oder lang werd ich das in meine Statisik einbauen können, ohne lästige Abtipperei.

Wer mehr Infos braucht kann sich gerne bei mir melden.

 

[eberlems]

ich weiß net obs geht, aber haste mal Wireshark oder was ähnliches probiert?
Nachrichten kann man damit lesen, ob die Ladder Liste geht, weiß ich nicht.

 

[xXteromasoXx]

Hm kA wies geht.evtl alles selbst immer aktualisieren?^^
muss ja nicht jeden tag sein. 1-2 mal die woche oder so.