Offline-Datenbanksuche

[reus]

Hi,

ich bin kein großer Freund von web-basierten GUIs und wollte nach langer Zeit mal schauen, wie JavaFX sich so entwickelt hat.

screenshot_20210414.png (71.87 KiB) 13252 mal betrachtet

Die Daten werden aus den csv-Dateien des FTDB-Dumps von 2017 geladen.

Ansicht und Echtzeitsuche funktionieren schon, wie man sieht, aber ich hätte mindestens noch gerne: fischerfriendsman-Lagernnummern, Einkaufslisten, Verwaltung der eigenen Sammlung,... Mal schauen, wieviele Jahre es dauern wird

[Pudy]

Hallo Reus,

das ist ja schön, aber dein Datenstand ist jetzt ja schon total veraltet.

Nix für ungut, jeder darf seine Zeit verbringen, wie er mag, was mich wundert, dass so viel Zeit nicht nur von Dir, in "private parallel" Datenbanken investiert wird. Hierfür wird auf die FT DB zurückgegriffen, viel sinnvoller ist es doch, an der FT DB mitzumachen und diese um eigene Ideen zu ergänzen.

Lieben Gruß
Pudy

[sven]

Hallo!

@reus:
Sieht nett aus.
Nur wie Puhdy schon sagt, hast Du einen recht alten Datenbestand.

@puhdy:
Grundsätzlich hast Du sicherlich Recht, aber wer spezielle Bedürfnisse hat, muss selber ran.
Die ftdb hat z.B. keine Lagerverwaltung, keine Preise, ...

Gruß
sven

[steffalk]

Tach auch!

Die ftdb hat z.B. keine Lagerverwaltung, keine Preise, ...

Das ist es doch, was Pudy meint. Wenn jeder was eigenes baut, ist das weniger nützlich, als wenn einer z.B. ein Preisfeld anregt und dann aber auch den Hut aufzieht, das zu füllen und aktuell zu halten. Und wenn er das in der ftdb anstatt in was eigenem macht, ist es a) für alle nutzbar und kann b) die Arbeit auf mehrere Schultern verteilt werden.

Gruß,
Stefan

[hottewiz]

Hallo Stefan,
es gab einmal vor langer Zeit hier im Forum eine Umfrage, wie der Einzelne seine ft-Teile erfasst, bzw. ob das zentral gemacht werden könnte. Die wenigen Antworten waren auf alle Auswahlmöglichkeiten verteilt und es erfolgte daraus auch keine Aktion. Die jetzige Datenbank gefällt nicht jedem und gibt auch nur Auskunft, über die ft-Einzelteile und Kästen. Eine eigene Lagerverwaltung wünschen sich wohl einige und weil diese hier fehlt, machen viele ihr eigenes Ding. Seit kurzem ist zumindest, Dank Pudy der neuste Teilebestand enthalten.
Was mich aber auch wundert, ist die Tatsache, dass es nur sehr wenige sind, die Hilfe angeboten haben, denn viele Dinge sind noch nicht enthalten.
Obwohl sich hier sicherlich viele Fans mit Informationen aus der Datenbank bedienen, also nehmen, ist kaum einer bereit, auch Infos zu geben.
Sagt man doch immer "Geben ist seliger als Nehmen". Leider sind sich hier die Meisten selbst die Nächsten.
Darum hier nochmals der Aufruf: Schaut bei Euch nach, was Ihr noch an fehlenden Infos beisteuern könnt. Hier sind besonders die langjährigen ft-Nutzer mit älteren Material angesprochen und Sammler, die alte Kästen im Originalzustand besitzen, denn davon gibt es kaum verlässliche Infos über deren Inhalte. Ihr könnt allen helfen, dass es verlässliche Inhaltslisten in der Datenbank gibt. Pudy pflegt dieses gerne ein.
Auf eine Menge Infos hoffend, Gruß an alle, Horst

[reus]

Hi,

Danke für die Kommentare. Was ich vor allem will, ist:

1. Geschwindigkeit 1 (implementiert): Die Anwendung startet in zwei Sekunden inklusive Ladens des kompletten Datenbestandes ohne Bilder. Bilder werden dynamisch nachgeladen.
2. Geschwindigkeit 2 (implementiert): Die Suche aktualisiert die Tabelle während des Tippens des Suchbegriffes. Die Verzögerung zwischen einem Tastendruck und der Anzeige des gesamten Suchergebnisses liegt bei <250ms. Coole Sachen wie PDF-Suche kann die Anwendung allerdings nicht.
3. Verwaltung des eigenen Bestandes (noch nicht implementiert): Lagerbestand, Erstellen von Einkaufslisten inklusive Preisberechnung

Das ist halt genau das, was ich brauche, wenn ich zu Hause ein konkretes Projekt habe und Bauteile nachschlagen will oder schauen möchte, ob ich alle Bauteile für die Modelle eines bestimmten Kastens habe.

@pudy, @steffalk:
Zum Thema FTDB erweitern statt eigener app. Ein paar Fragen dazu:

• Aus der aktuellen FTDB-Implementierung werde ich ehrlich gesagt nicht ganz schlau. In der Grid-Ansicht wird json vom Server geladen und client-seitig gerendert. In der Listen-Ansicht hingegen wird aber server-seitig gerendert?
• Wisst ihr, warum die FTDB-Suche so langsam ist? Für das Blättern in einem Suchergebnis vergehen 3 Sekunden. Ist die Servermaschine einfach nur langsam oder ist das ein konzeptionelles Problem des backends? Falls letzteres, müsste man größere Änderungen im Frontend vornehmen um die notwendige Geschwindigkeit zu erreichen (z.B. Client lädt kompletten Datenbestand und rendert alles lokal)
• Wenn ich das richtig verstanden habe, werden momentan Useraccounts nur an admins und Datenpfleger vergeben. Kann das Backend prinizpiell mit dem Konzept eines normalen Users mit eigenen privaten Daten (Lagerbestand, Einkaufslisten) umgehen?

[PHabermehl]

Grundsätzlich hast Du sicherlich Recht, aber wer spezielle Bedürfnisse hat, muss selber ran.
Die ftdb hat z.B. keine Lagerverwaltung, keine Preise, ...

Moin,

wessen Lager sollte denn die ft:db verwalten? Kann doch eine öffentliche DB gar nicht leisten.

Gruß
Peter

[reus]

> wessen Lager sollte denn die ft:db verwalten? Kann doch eine öffentliche DB gar nicht leisten

Ich hab mich nie länger damit beschäftigt, aber genau das scheint rebrickable.com für Lego zu machen.

[Pudy]

Hallo Ihr Lieben,

wenn jemand aktiv die Datenbank verbessern oder erweitern möchte, dann findest sich hierfür eine Möglichkeit.
Wenn der Preis mit zu jedem Bauteil oder Kasten soll, klappt das bestimmt, das hierfür ein Datenfeld entsteht. Es muss dann noch gefüllt werden.
Wenn jemand seinen Bestand dort hinterlegen möchte, um, ihn dann mit anderen zu teilen? Ist das sicherlich mehr Programmierarbeit.
Aber alles ist möglich, ja es fehlt uns an Datenbankprogrammierer, der hier neue Ideen helfen umzusetzen.

Wenn jemand auf alte Kästen steht und den Bereich der Datenpflege vor 2000 übernimmt, weine ich nicht auch nicht, wenn sich fünf Leute finden

@Hottewitz: Was ich wann gerne mache, überlege ich mir, lasse es mir aber nicht Vorschreiben! Vorsicht! Sonst bin ich noch eingeschnappt!

@Reus: Fragst du, weil du das verbessern willst? Oder um aufzuzeigen, wie schlecht die DB deiner Meinung nach ist? Ich kann dir nicht antworten, von der Programmierung, dem Server und der Anbindung habe ich keine Ahnung.

Ich wollte gar keinen Grundsatzstreit haben!

Ich wollte nur sagen, das die FT-DB besser wird, wenn jeder etwas dazu gibt. Alle Privaten ansetzte sind meiner Meinung nach Zeitverschwendung, da nur gemeinsame zusammen getragene Daten, Fotos, Informationen usw. zu einer Umfassenden Datenbank führen. Aber noch mal jeder kann in seiner Zeit machen, was er will.

Lieben Gruß
Pudy

[PHabermehl]

> wessen Lager sollte denn die ft:db verwalten? Kann doch eine öffentliche DB gar nicht leisten

Ich hab mich nie länger damit beschäftigt, aber genau das scheint rebrickable.com für Lego zu machen.

In der Tat... Aber ich wollte eigentlich damit sagen, dass das mehrere Nummer zu groß ist für das ft:db-Team. Das ist nicht zu leisten.

Ich finde es absolut super, was Pudy inzwischen geschafft hat, nämlich, die DB zu aktualisieren, jede Menge Daten nachtragen und Säckeweise Fehler ausmerzen.
Nicht vergessen darf man dabei die Datenlieferanten. Ihnen und Pudy sei herzlich gedankt!

Gruß
Peter

[hottewiz]

@ Pudy,
lieber Pudy, hast Du da was in den falschen Hals bekommen?
Ich möchte Dir keineswegs vorschreiben, was Du zu tun hast. Deine Bitte, Infos zuzusenden kam ja auch in der Vergangenheit mehrmals hier an. Ich dachte, dass Du die in die Datenbank einsetzen möchtest. Sollte das nicht so sein und bitte höflichst um Entschuldigung, dass es bei Dir als eine feste Aufforderung ankam. Beim erneuten Durchlesen des Beitrags kann ich das aber nicht so verstehen.
Viele Grüße, Horst

[reus]

Ihnen und Pudy sei herzlich gedankt!

Absolut. Und ich sehe keinen Konflikt zwischen einer Online-Datenbank wie FTDB und einer lokalen App. Zwei verschiedene Benutzeroberflächen für die gleichen Daten, optimiert für verschiedene Anwendungsfälle. Die Benutzeroberfläche der FTDB nach meinen Wünschen zu ändern wäre ein sinnloses (weil benutzerspezifisches) Unternehmen, aber das bedeutet nicht, dass ich gegen die Idee einer zentralen ft-Datenbank bin. Benutzeroberfläche ist Benutzeroberfläche und Datenbank ist Datenbank.

@Puty:
Ich würde auch gerne dabei helfen, Daten in die FTDB einzupflegen, vorausgesetzt die FTDB veröffentlicht ihre Daten regelmäßig in Form von CSV-Dateien (wie 2017 geschehen), sodass auch lokale Apps ohne tausende API-Aufrufe direkt davon profitieren können.
Ich habe selber leider keine Informationen, die noch nicht in der FTDB erfasst sind. Was kann ich tun um zu helfen? Hast Du alte Stücklisten, die eingetippt werden müssen?

[EstherM]

Hallo reus,

Ansicht und Echtzeitsuche funktionieren schon, wie man sieht, aber ich hätte mindestens noch gerne: fischerfriendsman-Lagernnummern, Einkaufslisten, Verwaltung der eigenen Sammlung,..

Das ist ja hübsch. Hättest Du mal eine Gitlab-/Github-/sonstwas-Adresse, wo man sich das runterladen kann?

Gruß
Esther

[PHabermehl]

vorausgesetzt die FTDB veröffentlicht ihre Daten regelmäßig in Form von CSV-Dateien

Ich vermute mal, dass es rechtliche Einschränkungen gibt. Soweit ich weiss, sind z.B. Bilder von ft noch urheberrechtlich geschützt und die Absprache zwischen ft und der Community schließt eine Weitergabe der Daten aus...

Interessant wäre vielleicht eine lokale DB zur Bestandsverwaltung, die auf die Daten der online-DB zugreifen kann. oder so.

Gruß
Peter

[EstherM]

Hallo zusammen,
mir ist noch was eingefallen:

Wisst ihr, warum die FTDB-Suche so langsam ist?

Ich glaube, dass ist ein prinzipielles Problem. Wenn man in unserem Forum sucht, kommen auch leicht Wartezeiten von mehreren Sekunden zusammen. Die Datenbank ist nicht so langsam, aber das Zusammenspiel aus: Abfrage an Datenbank schicken - Datenbank sucht und antwortet- PHP-Skript zum Bau der Seite - Auslieferung. Das ist wohl normal so.
Dass es auch anders ginge, auch übers Netz, sieht man an der Suche auf unserer Webseite. Aber wohl wegen dieser großen Geschwindigkeit hatte noch nie jemand Gelegenheit, das lobend zu erwähnen.
Alle Daten in den Client schieben und dort durchsuchen lassen funktioniert nur, wenn der Datenbestand klein ist. Das haben wir auf der Webseite auch mal ausprobiert und bei 50 MByte an JSON festgestellt, dass es so nicht funktioniert.


Gruß
Esther

[steffalk]

Tach auch!

Zu den Bildrechten: Das ist kein so großes Problem. Bei jedem Bild ist die Lizenz hinterlegt. Und wenn wir in CSVs, Jsons oder was auch immer nur Links auf die Bilder auf der ftdb-Seite rausgeben, machen wir nichts weiter als was die ftdb selbst auch tut.

Jetzt müsste halt nur noch tatsächlich der Datenbestand auslesbar sein, dann wären auch die "eigene Stücklisten etc."-Fraktionen glücklich, glaube ich.

Und zur Suche: Ich meine, die war schon mal superschnell und ist erst in letzter Zeit langsamer geworden. Immer noch nicht schlimm, aber bemerkbar. Hat sich serverseitig was geändert, @bummtschick?

Und: Sollte dieser Thread nicht nach "ft-Datenbank" verschoben werden?

Gruß,
Stefan

[sven]

Hallo!

In der Tat war die ftdb Suche mal blitzschnell.
Mittlerweile kann man sich erst mal einen Kaffee holen.
Oft dauert es bis zu 10s bis dann endlich mal ein Ergebnis kommt.

Gruß
sven