Pflege der Daten in der ft-Datenbank auf www.ft-datenbank.de

Rund um die ft-datenbank
Around the ft-database

Moderator: ft-Datenbank-Team

Forumsregeln
Bitte beachte die Forumsregeln!
Antworten
Benutzeravatar
steffalk
ft:pedia-Herausgeber
Beiträge: 1792
Registriert: 01 Nov 2010, 16:41
Wohnort: Karlsruhe
Kontaktdaten:

Pflege der Daten in der ft-Datenbank auf www.ft-datenbank.de

Beitrag von steffalk » 20 Nov 2010, 14:17

Tach auch!

Dies ist eine Beschreibung, wie die Pflege der ftdb 2.0 derzeit funktioniert, verbunden mit einem Aufruf zur Mitarbeit daran:

Die ftdb selbst liegt in einer MySQL-Datenbank auf dem ft-Community Server. Sven hat die PHP-Seiten zum Anzeigen und Suchen gemacht. Ich sollte anfangs mal die Datenbankstruktur der ftdb 2.0 machen, aber es endete damit, dass ich auch den kompletten Import der Daten und die Bereitstellung der Sichten für MySQL als Basis der Anzeige machte.

Damit ich das überhaupt in angemessener Zeit machen konnte, steckt da eine Windows-Anwendung namens SF Parts dahinter, die auf meiner "Datenbank-Automatik" (http://www.ct-systeme.com/sf/ApplicationCreator/) basiert. Der bisherige Ablauf ist so:

1. Karl Tillmetz schickt mir je nach Fertigstellung einen kompletten Satz Bilddateien auf DVD.

2. Ich importiere den mit SF Parts in eine Microsoft SQL Server 2008-Datenbank bei mir auf dem Notebook.

3. Mit SF Parts kann man die Daten sehr komfortabel pflegen (z. B. aus zwei Kategorien eine machen, Bilder ändern usw.). Das wird derzeit nur nicht gemacht, weil noch mindestens eine Komplett-DVD von Karl kommen wird. Die wird dann nochmal importiert. Dabei werden alle bisherigen Daten gelöscht und alles neu eingelesen, und manuell vorgenommene Änderungen wären damit wieder verloren. Das wollen wir also erst nach dem "letzten" Import.

Ebenso kann man aus SF Parts übrigens Abfragen und Auswertungen fahren, etwa "In welchen Jahren wurden die meisten neuen roten Teile eingeführt?". Das geht über http://www.ct-systeme.com/sf/Applicatio ... ragen.aspx einschl. "Live-Verknüpfungen" zu Excel oder Word. Das habe ich schon ein paar Mal genutzt, um Fragen von Fans zu beantworten. Das ist aber nur eine nette Option, die halt automatisch verfügbar ist, und ist nichts, mit dem man sich auszukennen braucht.

4. SF Parts hat eine Funktion, um die importierten und ggf. gepflegten Daten als SQL-Statements für MySQL zu exportieren. Darin sind auch die Bilder und Dokumente selbst enthalten, die wir tatsächlich in der Datenbank selbst speichern. Entweder ich mache das und lade die dabei entstehende einige GB große Datei auf den ft-Community-Server, von wo aus sie dann tatsächlich in die Live-Datenbank importiert werden, oder ich schicke Sven ein Backup meiner SQL-Server-Datenbank, Sven holt die auf seinen Rechner (er hat SQL Server und SF Parts auch installiert), und Sven exportiert dann alles nach MySQL, lädt es zum ftdb-Server und importiert es dort wieder in die MySQL-Datenbank.

Das ist natürlich nicht die Lösung, die wir langfristig anstreben. Allerdings hat Sven kaum Zeit, auch noch komfortable Datenpflege-Seiten in PHP zu schreiben, und man müsste schon eine ganze Menge PHP schreiben, um die Möglichkeiten zu haben, die SF Parts einfach so bietet, weil es auf dieser Datenbank-Automatik basiert. Jedenfalls in nächster Zukunft werden wir wohl keine Online-Pflege haben.

Nun sollte der ftdb-Datenbestand nach dem letzten aller Imports ja aber auch mal gepflegt werden. Das heißt, jemand müsste von Hand (in SF Parts) dran und Dinge geradebiegen, die beim Import nicht perfekt möglich waren, oder auch Fehler im Datenbestand korrigieren, neue Teile einpflegen usw. Deshalb der Aufruf: Wer wäre bereit, willens und vor allem zeitlich in der Lage, hier mitzuarbeiten? Wir suchen jemand, der die Systemvoraussetzungen für SF Parts mitbringt und Zeit und Lust hat, tatsächlich die Pflege zu übernehmen. Da wir derzeit immer die gesamte Datenbank "austauschen", können wir das derzeit nicht auf mehrere Schultern verteilen, sondern ein einzelner Mensch (jedenfalls eine Installation von SF Parts) alleine wäre verantwortlich dafür.

Die Systemvoraussetzungen sind:

* Microsoft Windows XP, Windows Vista, Windows 7 oder auch Windows Server 2003 oder höher jeweils mit den aktuellen Service Packs.

* Microsoft SQL Server 2008, 2008 R2 oder höher mit den jeweils aktuellen Service Packs. Die kostenlose Express-Edition genügt. Die Installation ist einfach, und natürlich helfe ich dabei. Nur der Datenbank-Kern selbst wird benötigt, die kleinste Express-Version genügt also.

* 1 GB RAM oder mehr wären für die Maschine, auf der der SQL Server läuft, angemessen.

* Das kostenlose Microsoft .NET Framework 3.51 muss installiert sein.

* SF Parts muss installiert sein. Das kommt kostenlos von mir und ist in Null Komma Nichts installiert. Es ist auch bei Bedarf rückstandsfrei deinstallierbar (auch .NET und der SQL Server sind natürlich rückstandsfrei deinstallierbar).

* Entweder SF Parts und der SQL Server laufen auf demselben PC, oder - das ist bei "normalen" ft-Fans wohl eher nicht anzutreffen, aber wer weiß - Workstation (oder auch Terminalserver) und SQL Server müssen in einem Netzwerk innerhalb derselben Windows-Domäne (Active Directory) installiert sein. Für normale ft-Fans nochmal: Eine einzige Windows XP-Maschine (oder höher) genügt vollauf. SF Parts funktioniert aber auch in einem großen Netz mit vielen Usern gleichzeitig.

* Wichtig: Um SF Parts zu nutzen, darf man keine Administrationsrechte haben (außer bei der der Installation)! Genauer: Man darf nicht direkt oder indirekt in der sysadmin-Rolle des SQL Servers sein, und genau das wären Mitglieder der Administratoren-Gruppe standardmäßig. Die Datenbankautomatik würde nämlich dann dafür sorgen, dass man keinerlei Funktionen aufrufen und keinerlei Daten sehen oder ändern könnte. Man muss also als normaler Benutzer ohne Administrationsrechte arbeiten.

* Eine adäquate Möglichkeit zur Datensicherung sollte vorhanden sein, weil diese SF Parts-Installation die Mutter der ft db wäre. Das kann mit Windows-Bordmitteln oder jedem anderen Tool, was entweder SQL Server-Datenbanken im laufenden Betrieb konsistent sichern kann, oder was bei heruntergefahrenem SQL Server-Dienst die Dateien sichert, oder was Backup-Dateien, die wir im SQL Server selbst erzeugen, sichern kann. Details würden wir absprechen.

* Um den DVD-Inhalt zum Import, die SQL Server-Datenbank und ggf. ein Backup davon auf der Platte haben zu können, sollten 10 GB Plattenplatz verfügbar sein. Zur Info: Die SQL Server-Datenbank ist momentan gut 2,5 GB groß, incl. der Bilder und Dokumente (die tatsächlich in der Datenbank liegen).

* Ein DVD-Laufwerk wird benötigt, um Karls DVD einlesen zu können.

* Eine Bildschirmauflösung von mindestens 1024 * 768 Punkten und mindestens 32K Farben (15 bit Farbtiefe) werden vorausgesetzt.

* Eine einigermaßen flotte Internet-Anbindung sollte vorhanden sein, damit die für MySQL erzeugte Datei zum ftdb-Server hochgeladen werden kann. Hier kommt es also mehr auf die Upload- als auf die Downloadgeschwindigkeit an. Der Upload kann schon ein paar Stunden dauern.

Eine Installation und Konfiguration des SQL Servers und SF Parts wird alles in allem etwa 1 - 2 Stunden incl. Einweisung in SF Parts in Anspruch nehmen. Wir können das zusammen über den ftc-Chat, telefonisch oder auch per Fernwartung z. B. via TeamViewer machen. Insbesondere in letzterem Fall würde ich sämtliche Arbeiten ordentlich dokumentieren, so dass man hinterher genau nachlesen kann, was genau eigentlich wie installiert und konfiguriert wurde. Für laufende Fragen zum Umgang mit SF Parts stehe ich natürlich zur Verfügung. Auch ggf. Updates von SF Parts, die eine Änderung der Datenbankstrukturen erfordern, sind in 5 min völlig problemlos installiert (Dateien hinkopieren, ein Mal als Admin starten, fertig).

Die Benutzervoraussetzungen sind:

* Der oder die, die sich da freiwillig melden, tun das genau so wie alle ftcom- und ftdb-Mitarbeiter ehrenamtlich und kostenlos.

* Der oder die sollte ernsthaftes Interesse an der Sache haben und unbedingt kritisch prüfen, ob er/sie realistischerweise längerfristig Zeit hat und willens ist, diese Aufgabe zu übernehmen.

* Ein grundsätzliches Verständnis oder Erfahrung bei der Pflege von Datenbanken wäre natürlich von Vorteil. Es werden aber natürlich keinerlei Programmier- oder Datenbank-Enwicklungskenntnisse benötigt.

Hier noch ein paar Screenshots von SF Parts:

- http://www.ct-systeme.com/PublishingImages/SFParts1.png
- http://www.ct-systeme.com/PublishingImages/SFParts2.png
- http://www.ct-systeme.com/PublishingImages/SFParts3.png
- http://www.ct-systeme.com/PublishingImages/SFParts4.png

Ganz langfristig bekommen wir vielleicht irgendwann auch mal eine Online-Pflegemöglichkeit. Das steht aber momentan in den Sternen. Sollte jemand Erfahrung mit MySQL, Apache, PHP o.ä. Datenbankanwendungen im Web und den damit verbundenen Sicherheitsanforderungen haben, freuen wir uns natürlich auch über so eine Meldung, um auch in dieser Richtung weiter zu kommen.

Wer also die Systemvoraussetzungen bieten könnte sowie vor allem Zeit und Lust hat, da ernsthaft mitzuarbeiten, möge sich bitte hier melden. Wir können gerne alle Fragen klären, die Euch einfallen, und Ihr könnt natürlich auch erstmal nur Interesse äußern und es Euch nach Klärung aller offenen Fragen immer noch überlegen. Das kommt jetzt nicht auf eine paar Tage oder Wochen an. Wir freuen uns in jedem Fall auf Euch!

Viele Grüße,
Stefan

Benutzeravatar
fish
Beiträge: 137
Registriert: 01 Nov 2010, 17:19
Wohnort: Wiesbaden
Kontaktdaten:

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von fish » 27 Nov 2010, 16:51

Hallo,
Ich würde mir eine Einzelteilkategorisierung überlegen aber die ganzen Programme möchte ich nicht installieren.
http://py4ft.weebly.com Programmiere Fischertechnik mit Python

Benutzeravatar
Defiant
Beiträge: 354
Registriert: 31 Okt 2010, 21:42
Wohnort: Narn Homeworld
Kontaktdaten:

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von Defiant » 28 Nov 2010, 19:19

Ich dachte das [sw]ollte Charlie alles machen...und der Datensatz ist so perfekt und so...sorry mußte rein.
"Propaganda does not deceive people; it merely helps them to deceive themselves."
E Hoffer

Benutzeravatar
steffalk
ft:pedia-Herausgeber
Beiträge: 1792
Registriert: 01 Nov 2010, 16:41
Wohnort: Karlsruhe
Kontaktdaten:

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von steffalk » 28 Nov 2010, 20:23

Tach auch!

@Fisch: Das ist nett, hilft uns nur leider nicht. Wir können das derzeit nicht auf mehrere Schultern verteilen, weil die Datenbank immer nur komplett als Ersatz für alles bestehende hochgeladen wird. Wenn mehrere Leute das machen würden, würde einer die Änderungen des anderen überschreiben.

@Defiant: War mir nicht bekannt. Karl liefert die Bilddateien, aus deren Dateinamen ich die ganzen Metadaten rauspflücke. Mehr hab ich nicht als Basis (bis auf die Stücklisteninfos der ftdb 1.0).

Hat also noch wer Lust, SF Parts zu "übernehmen"? Viel Arbeit wird es nicht werden, wenn mal anfänglich etwas aufgeräumt ist. Niemand erwartet auch, dass Ihr da tierisch viel Zeit investiert. Wie's gerade passt, und viele neue Teile kommen ja auch nicht pro Jahr heraus.

Gruß,
Stefan

alfred.s
Beiträge: 59
Registriert: 02 Nov 2010, 08:21
Wohnort: Wien

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von alfred.s » 29 Nov 2010, 08:59

Hallo Stefan und alle anderen Mitwirkenden an der ft-datenbank !

Ich haette auf jeden Fall Interesse mitzuarbeiten (der Grossteil der Stuecklisten in der ftcdb 1.0 kommt ja auch schon von mir), hatte mich aber bisher aufgrund der Frage "Wer ist zeitlich in der Lage?" zurueckgehalten. Die Wartung der DB bringe ich sicher problemlos zwischendurch unter (das mache ich derzeit ja fuer meine eigene Datenbank auch), nur das von dir erwaehnte erste Aufraeumen koennte ein wenig dauern, falls ich das uebernehmen sollte. Wie gesagt, Interesse besteht, wenn sich also sonst keiner findet, der viel Zeit dafuer hat, wuerde ich es schon machen.

Systemvoraussetzungen (schneller Flatrate-Internet-Zugang, Plattenplatz, etc.) waeren bei mir kein Problem. Allerdings wuerde ich das dann gerne in einer virtuellen Maschine laufen lassen, aber ich denke, das sollte ja sicherlich funktionieren (damit waere der "Rechner" leicht "transportabel" und auch die Sache mit den nicht-Admin-Rechten kein Problem).

Ist mir uebrigens bisher noch gar nicht aufgefallen, dass die ftcdb seit V2 gar nicht mehr online editierbar ist. Da bisher noch keiner aufgeschrien hat, ist da aber offensichtlich auch keine Notwendigkeit dazu vorhanden. Ein Informations-Kanal fuer das Melden von Fehlern und Neuigkeiten zum DB-bearbeiter sollte aber etabliert werden.

Gruesse
Alfred

Benutzeravatar
steffalk
ft:pedia-Herausgeber
Beiträge: 1792
Registriert: 01 Nov 2010, 16:41
Wohnort: Karlsruhe
Kontaktdaten:

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von steffalk » 29 Nov 2010, 09:55

Tach auch!

@Alfred: Vielen Dank für Dein Angebot. Gestern Abend hat sich im Chat spontan Frederik bereit erklärt. Wir haben den SQL Server und SF Parts bereits installiert, er muss nur noch die Datenbank selbst (5 GB) bekommen und kann sich dann schon mal einarbeiten. Irgendwann machen wir ja erst den letzten aller Importe, dann bekommt er nochmal einen aktuellen Stand und pflegt ab dann.

Nichtsdestotrotz ist es natürlich gut zu wissen, dass grundsätzlich auch noch andere Leute bereit zu dieser Arbeit wären. Vielleicht wechselt man ja auch irgendwann mal ab.

In einer virtuellen Maschine läuft das ganze natürlich auch. Du willst uns aber damit nicht sagen, dass Du etwa den ganzen Tag mit Administrationsrechten rumläufst? Frederik hatte diese Seuche auch noch, und wir haben es gestern umgestellt: Er hat jetzt einen zweiten Benutzer mit administrativen Rechten, und sein normales Konto hat keine Adminrechte mehr. Wie es sich gehört.

Gruß,
Stefan

alfred.s
Beiträge: 59
Registriert: 02 Nov 2010, 08:21
Wohnort: Wien

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von alfred.s » 29 Nov 2010, 13:28

Hallo Stefan,

ist OK, wenn doch mal Mitarbeit gefragt ist, enfach ruehren.

Und: Doch, ich arbeite immer mit Admin-Rechten und das mache ich schon immer so und das ist keine Seuche und ich hatte nie Probleme damit und das werde ich auch nicht freiwillig aendern und mich schon gar nicht davon ueberzeugen lassen, dass etwas anderes Sinn machen wuerde ;) .

Gruesse
Alfred

Benutzeravatar
charlie2700
ft-Datenbank-Team
Beiträge: 15
Registriert: 01 Nov 2010, 07:36
Wohnort: Weinfelden CH-TG
Kontaktdaten:

Re: Pflege der Daten in der ft-Datenbank auf www.ft-datenban

Beitrag von charlie2700 » 03 Dez 2010, 14:07

Hallo.

Ich bin gerade dabei, die Datenbasis nochmals auf den aktuellsten Stand zu bringen, bevor ich die Daten dann an Stefan schicke.
Bisher noch nicht drin sind die Original-Anleitungen ab 1995 an denen ft (Dirk & Co.) noch dran sind.

In letzter Zeit habe ich etwa 1000 PDF-Dokumente (Anleitungen+Werbung) überarbeitet und die Quellen dazu dokumentiert (damit niemands Arbeit vergessen geht).
Was noch aussteht, sind noch die Einverständnisse anderer ft-Fan-Sites, wie
  • :D
  • http://www.ft-fanpage.de (Thomas Kaiser + Edgar Hofer): Anleitungen + Werbung - OK - Danke!
  • http://www.ft-Museum.ch (Andreas Strobel + Karl Tillmetz): Anleitungen + Werbung - OK - Danke!
  • fischercake (Raphael Meister): Anleitungen + Werbung - OK - Danke!
  • fishfriend (Holger Howey): Anleitungen + Werbung - OK - Danke!
    :?:
  • fabse (Fabian Seiter): FanClub-News + -Modelle der 90er - ???
  • http://www.ft-fanarchiv.de (Andreas Wyrobek + Peter Remm): Anleitungen + Werbung - ???
  • http://www.ericbouten.nl (Eric Bouten + Stef Dijkstra + Olaf ?): FanClub-News + -Modelle der 70er - ???
Kann das jemand erledigen - ich komme leider nicht dazu ... ?
Grüsse aus der Schweiz ...
charlie2700

Antworten