DB Dump oder XML Export der ft-Datenbank?

[tintenfisch]

Hallo zusammen,

ich nehme an es gibt keinen DB-Dump der Datenbank, den man sich herunterladen kann?

Wäre es möglich, einen solchen zu erstellen? Oder einen XML resp. JSON Export? Oder wäre das ein großer Aufwand?
Es geht primär um die Metadaten (Art.nr., Name, Teileliste, ...), nicht um die Bauanleitungen, Hefte etc.

Viele Grüße
Lars

[Speerwerfer]

Im Prinzip geht das über die API. Es muss halt nur jemand programmieren ... ich hätte da schon Lust drauf, aber mir fehlt die Zeit.
Sieh mal hier: viewtopic.php?f=32&t=3858&p=45570#p45558

[tintenfisch]

Ah, kannte die API nicht, danke!
Das sieht recht vielversprechend aus. Ich habe auch schon den Hinweis auf eine ältere Excel-Datei
https://ftcommunity.de/knowhow/andenken ... nik_3_7_3/
erhalten.

Das hilft mir weiter.

Viele Grüße
Lars

[Speerwerfer]

Falls du da irgendwas programmieren willst, hätte ich schon Interesse mir das auch mal anzusehen.

Auf den ersten Blick fehlen mir bei dem API ein paar Abfragen. Ich habe z.b. noch keine Abfrage gefunden, mit der ich zu einem Bauteil die Informationen bekomme in welchem anderen Set dieses Bauteil enthalten ist. Auch eine Liste aller Kategorien habe ich noch nicht abfragen können. Beide Infos stecken in umgekehrter Richtung in der normalen Abfrage der Tickets. Man kommt also trotzdem an die Info. Vielleicht gibt es auch die Abfragen und ich habe sie noch nicht gefunden. Die api.php bei GitHub macht mir da aber nicht viel Hoffnung.

[tintenfisch]

Falls du da irgendwas programmieren willst, hätte ich schon Interesse mir das auch mal anzusehen.

Ok. Wollte nur was ausprobieren, ich weiß noch nicht, ob da etwas sinnvolles herauskommt.

[...]
Die api.php bei GitHub macht mir da aber nicht viel Hoffnung.

Wo finde ich denn das Repository?

[Speerwerfer]

viewtopic.php?f=32&t=3858&p=45570#p45568

[tintenfisch]

Danke, dann habe ich Dich missverstanden, ich dachte, es gäbe ein öffentliches Repository der DB.

[tintenfisch]

Ich habe nun unter
https://github.com/heuer/ftdb-dump/rele ... son.tar.gz
den aktuellen Stand der DB (heute) als JSON speichert.
Der Code, wie die Daten abgefragt wurden, befindet sich hier: https://github.com/heuer/ftdb-dump/
Nur sollte nun nicht jeder das Script ausführen, das könnte zu Problemen beim FTDB Server führen.

Ich denke nicht, dass ich regelmäßig Kopien der DB veröffentlichen werde, ich brauche die Daten erst einmal nur zum Experimentieren.

Die Datei einhält ein Dictionary mit zwei Keys: "parts" und "construction_kits". "parts" (ebenfalls ein dict) enthält die Teile, "construction_kits" (auch ein dict) enthält die Baukästen. Genauer gesagt, alles aus Kategorie 653 abzüglich der "fischertip" Kästen.

Es ist kein komplettes Abbild der DB und verwendet eine etwas andere Terminologie (bspw. 'id' anstelle von 'ticket_id').
Zudem setzen die Daten die Vorschläge von viewtopic.php?f=32&t=6181 und viewtopic.php?f=32&t=6172 um, d.h. die Anzahl der Teile ist direkt abrufbar und die Artikel-Nummern sind immer ein Dict.

Beispiele:
Anzahl der Baukästen

Code: Alles auswählen

>>> len(db['construction_kits'])
945

Finde alle Bauteile, bei denen ein Bild fehlt

Code: Alles auswählen

>>> wo_thumb = [p for p in db['parts'].values() if p['thumbnail_url'] is None]
wo_thumb
[{'id': 4998, 'created': '2019-10-03T22:01:03', 'title': 'Drehgelenk Zapfen (schwarz)', 'article_numbers': {'2019': '172804'}, 'uuid': '1fee7163-5d55-4320-a2e9-7659ac1571f5', 'url_api': 'https://ft-datenbank.de/api/ticket/4998', 'url': 'https://ft-datenbank.de/ticket/4998', 'thumbnail_url': None, 'weight': None}, {'id': 4402, 'created': '2018-10-07T15:20:38', 'title': 'USB-Anschlusskabel 1800 XX', 'article_numbers': {'2004': '110131'}, 'uuid': 'ceae487c-513b-4ad7-b0d1-d200a1fbcf15', 'url_api': 'https://ft-datenbank.de/api/ticket/4402', 'url': 'https://ft-datenbank.de/ticket/4402', 'thumbnail_url': None, 'weight': None}, {'id': 4139, 'created': '2018-10-07T15:20:38', 'title': 'Steckerbuchse 28-polig Teilebeutel', 'article_numbers': {'1991': '32793'}, 'uuid': 'e2e4f4d5-5fd4-424c-be31-9a7a563423b3', 'url_api': 'https://ft-datenbank.de/api/ticket/4139', 'url': 'https://ft-datenbank.de/ticket/4139', 'thumbnail_url': None, 'weight': None}, {'id': 3740, 'created': '2018-10-07T15:20:38', 'title': 'Schraube M1,6x15 licht-elektronik', 'article_numbers': {'1969': '35783'}, 'uuid': 'b6028945-66cb-4a16-9a00-e65342627bd5', 'url_api': 'https://ft-datenbank.de/api/ticket/3740', 'url': 'https://ft-datenbank.de/ticket/3740', 'thumbnail_url': None, 'weight': None}]

Titel aller Baukästen, die das Aluprofil 255 enthalten

Code: Alles auswählen

>>> [ck['title'] for ck in db['construction_kits'].values() if '164' in ck['parts']]
['Modellbaukasten Schwerlast-Kran']

Evtl. weiß damit auch noch jemand anders etwas anzufangen.

Viele Grüße
Lars

[ski7777]

Hallo Lars,

sehr schönes Projekt. Ich hätte da noch zwei Vorschläge:

• Können wir das zu einer schönen Python API bauen? Also so richtig objektorientiert? Ich hatte da vor 3 Jahren Mal was gebastelt. Damals war die API aber noch nicht so gut: https://github.com/ski7777/ftDBpy
• Ein dumb mit Bildern wäre schön. Natürlich sollte besser niemand die selbst herunterladen. Vielleicht könnte man die zentral als Download bereitstellen?

Viele Grüße
Raphael

[tintenfisch]

Hallo Raphael,

vielen Dank.

Ich fände einen Python-Client für die aktuelle FTDB auch interessant, aber hätte im Moment nicht so große Lust, da viel Energie hineinzustecken.
Bei dem Projekt ging es mir primär um die Daten. Würde das FTDB-Projekt bspw. einen monatlichen Snapshot zur Verfügung stellen, hätte ich den verwendet und nicht die Daten heruntergeladen.

M.E. müßtest Du gar nicht so viel an Deinem Client ändern, nur auf Py3 und die aktuelle FTDB API anpassen.

Bzgl. der Bilder: Dafür liegt nun auch ein Script im Repository. Eine Veröffentlichung der Bilder zusammen mit den JSON-Daten plane ich aber derzeit nicht, mir reicht derzeit der JSON-Snapshot.

Ich habe noch eine experimentellen Excel-Export hinzugefügt (dazu gleich mehr), dort sind die Bilder auch zu finden.

Viele Grüße
Lars

[tintenfisch]

Neuer Snapshot

Ein weiterer Snapshot liegt nun unter https://github.com/heuer/ftdb-dump/rele ... 2020-06-16
Da ist bereits das "Problem" mit den Leerzeichen in den Titeln, vgl. viewtopic.php?f=32&t=6184 behoben.
Der Key "construction_kits" (siehe Post oben) wurde in "kits" umbenannt, dann muß ich nicht so viel tippen.

Ferner steht nun eine Datei "excel-dump" zur Verfügung die
a) Alle Einzelteile in einer Excel-Tabelle auflistet
b) Für jedes Baukastenset eine eigene Excel-Tabelle bietet (inkl. der Einzelteile)

Die Excel-Dateien basieren alle auf dem aktuellen DB-Snapshot von heute.
Das Script zur Erzeugung der Excel-Dateien befindet sich im Repository.

Die Excel-Tabelle, die alle Einzelteile auflistet, bekommt am Ende (zumindest in LibreOffice Calc) Probleme mit den Bildern. Ab einem V-Männchen werden bei mir alle Bilder überlagert. K.A. wie man das beheben kann, evtl. ist es auch eine LibreOffice-Problem.

Viele Grüße
Lars

[PHabermehl]

Ich sach ma' DANKE

Gruß
Peter

[ski7777]

M.E. müßtest Du gar nicht so viel an Deinem Client ändern, nur auf Py3 und die aktuelle FTDB API anpassen.

Ich hab noch nie Py2 benutzt... Also das ist sicher Py3
Klar eine Aktualisierung auf die neuste API Version (dann hoffentlich auch ohne html-parsing) wäre Mal an der Zeit. Ich schaue Mal. Aktuell hab ich noch andere Dinge auf der Todo-Liste

Gruß
Raphael

[Bjoern]

Also das Excel Sheet habe ich mir mal mit Office 365 angesehen. Da scheinen mir alle Bilder ok zu sein. Letzte Zeile ist die 1934

Björn

[tintenfisch]

Also das Excel Sheet habe ich mir mal mit Office 365 angesehen. Da scheinen mir alle Bilder ok zu sein. Letzte Zeile ist die 1934

Danke für Deine Rückmeldung.

Zeile 1934 ist korrekt, bei mir hört's in Zeile 1693 (nach der "V-Figur 30 (blau)") auf. In Zeile 1935 überlagern sich alle weiteren Bilder.

Viele Grüße
Lars

[Pudy]

Hallo,

Cool! Das wertet die Datenbank nochmal auf.
In den Baukästen Listen fehlt aber die Anzahl der jeweiligen Teile, geht da noch was?
Bitte zu den Daten die Danksagungen FT-DB Seite dazu legen, ich denke das ist nur Fair. (Es geht nicht um Mich, ich werde dort nicht erwähnt)

Ich werde mich weiter bemühen das der Datenstand schnell veraltet.

Viele Grüße
Pudy

[tintenfisch]

In den Baukästen Listen fehlt aber die Anzahl der jeweiligen Teile, geht da noch was?

Danke für den Hinweis, hatte ich drin, etwas umgestellt und dann übersehen, dass die Anzahl verlustig gegangen ist.
Ist nun drin: https://github.com/heuer/ftdb-dump/rele ... 2020-06-17

Bitte zu den Daten die Danksagungen FT-DB Seite dazu legen, ich denke das ist nur Fair. (Es geht nicht um Mich, ich werde dort nicht erwähnt)

Mache ich, ich bin auch gar nicht so heiß darauf, das ganze zu pflegen und würde mir wünschen, dass das DB-Team Snapshots zur Verfügung stellt.

Eigentlich wollte ich nur ein Abbild der DB für eine kleine, interne Idee.

Ich war und bin primär an den Daten der DB interessiert, gar nicht so sehr an den Excel-Dateien und / oder an Beispielen für die Benutzung der FTDB-API, das kam nur zufällig, weil @Speerwerfer nach einer Verwendung der API gefragt hat und hier im Forum ab und an der Wunsch nach Excel-Dateien aufkam.

Viele Grüße
Lars

[tintenfisch]

Hallo zusammen,

ich habe nun die Releases gelöscht, die Scripte zum Erstellen des DB-Dump und der Excel-Tabellen sind weiterhin im Repository zu finden, jedoch muß vorerst jeder selber die Dateien erstellen.

Viele Grüße
Lars