24V Lernfabrik KI Extension

Alles rund um TX(T) und RoboPro, mit ft-Hard- und Software
Computing using original ft hard- and software
Forumsregeln
Bitte beachte die Forumsregeln!
Antworten
rugee-f
Beiträge: 79
Registriert: 28 Jan 2022, 13:46

24V Lernfabrik KI Extension

Beitrag von rugee-f » 03 Mär 2026, 16:37

Ich habe die 24V Lernfabrik um einen Visitenkarten-Scanner erweitert.
Mit dem LDR der Lernfabrik triggere ich eine Raspi-Cam HQ, die in den Visitenkarten-Scanner eingebaut und am RasPi der Lernfabrik angeschlossen wurde.
20260224_145130.jpg
20260224_145130.jpg (1.32 MiB) 249 mal betrachtet
Das Bild wird über HTTP Request vom RasPi an die Blockbrain API geschickt.
NR_1.png
NR_1.png (283.08 KiB) 249 mal betrachtet
Das Blockbrain LLM extrahiert Name, Vorname, Adresse und Email-Adresse aus dem Bild.
Die Antwort von Blockbrain schicke ich via OPC UA an eine "echte" Maschine, die personalisierte Flaschenöffner produziert.
Wer möchte kann sich auf der "All About Automation" in Friedrichshafen (10.03-11.03.2026) das Endergebnis anschauen.

Benutzeravatar
steffalk
ft:pedia-Herausgeber
Beiträge: 2017
Registriert: 01 Nov 2010, 16:41
Wohnort: Karlsruhe
Kontaktdaten:

Re: 24V Lernfabrik KI Extension

Beitrag von steffalk » 03 Mär 2026, 23:19

Tach auch!

Das klingt ja nun wirklich cool und schwer interessant. Willst Du darüber nicht einen ft:pedia-Artikel schreiben?

Gruß,
Stefan

Benutzeravatar
fishfriend
Beiträge: 2436
Registriert: 26 Nov 2010, 11:45

Re: 24V Lernfabrik KI Extension

Beitrag von fishfriend » 04 Mär 2026, 20:20

Hallo...
Ja, das ist wirklich eine interesante Sache. Gibt es noch mehr Infos dazu?
Z.B. welche Kamera genau du genommen hast und mit welchem Ojektiv?
Genauerer Ablauf...
Mit freundlichen Grüßen
Holger
ft Riesenräder PDF: ftcommunity.de/knowhow/bauanleitungen
TX-Light: Arduino und ftduino mit RoboPro

rugee-f
Beiträge: 79
Registriert: 28 Jan 2022, 13:46

Re: 24V Lernfabrik KI Extension

Beitrag von rugee-f » 04 Mär 2026, 23:02

Hallo,
ich kann gerne noch ein paar Infos beisteuern.
Die Kamera ist eine IMX477 12.3MPx HQ Kamera mit C-CS Mount Objektivhalterung.
Dazu habe ich eine CSI-USB-UVC-Adapterplatine bestellt, damit ich die Kamera direkt an den USB Port des RasPi stecken kann.
Zum Objektiv kann ich nicht viel sagen, ich hab einfach eines genommen, daß bei mir in einer Schublade lag.
Ich kann aber gerne nochmal nachsehen was genau draufsteht.

Das Kamera-Gehäuse hab ich aus ft-Statikteilen gemacht, die ich mit einem Seitenschneider "modifiziert" habe.
Das heißt ich hab ein Stück rausgeschnitten damit das Objektiv durchpasst.
Die roten Riegel, die von innen nach aussen montiert sind, halten die Kameraplatine an ihrem Platz.

Den LDR der Lernfabrik habe ich in den Sockel meines Kartenlesers gebaut.
Legt man eine Visitenkarte drauf meldet der LDR das, und ich triggere die Kamera.

Das Robopro Coding Programm welches ab Werk auf dem TXT4 installiert ist musste ich etwas anpassen.
Irgendwie verhält sich der TXT4 an der neueren Lernfabrik anders als der alte TXT.
Die Häufigkeit der MQTT Aktualisierung ändert sich wohl mit der Auslastung des TXT4.
Irgendwann, mitten im Betrieb, wurde das Aktualisierungs-Intervall auf eine Minute geändert,
während zuvor alle 2 Sekunden ein Wert ausgegeben wurde. Der Minutentakt eignet sich nicht, um davon den Kamera Trigger abzuleiten.
Ich hab dann in Robopro ein neues MQTT Signal des LDRs angelegt welches sekündlich aktualisiert wird.
Dazu hab ich noch eine LED an den TXT4 angeschlossen, die dem Menschen, der die Visitenkarten einlegt, ein visuelles Feedback gibt.
Wenn der Scanprozess gestartet wurde (MQTT Nachricht des LDR an Node-Red im RasPi) schalte ich die LED an (MQTT von RasPi zu TXT4).
Der RasPi macht ein Bild und schickt das Bild an die Blockbrain API. Ist das Bild erfolgreich versendet lasse ich die LED am TXT4 2 X blinken (MQTT Nachricht von RasPi zu TXT4). Hat Blockbrain die Visitenkarte ausgewertet, bekomme ich ein JSON Objekt mit Name, Vorname, Emailadresse und einem Farbvorschlag zurück. Mit dieser Nachricht schalte ich die LED am TXT4 wieder aus und übergebe den Inhalt des JSON Objekts per OPC-UA Methodenaufruf an die SPS der Maschine.

Ich bin mir nicht sicher ob RasPi und TXT4 mit meinem Daten-Traffic nicht langsam an ihre Grenzen geraten.
Produziert die Lernfabrik während ich Visitenkarten scanne, habe ich manchmal probleme mit dem NFC Reader...

@ Stefan:
Ich könnte vielleicht tatsächlich einen kleinen ft:pedia Artikel dazu verfassen - müsste dann aber auch meinen Arbeitgeber erwähnen, d.h. etwas die Werbetrommel rühren. Tatsächlich durfte ich während meiner Arbeitszeit bauen und programmieren. Die Lernfabrik soll Eye-catcher auf der Messe sein und eigentlich geht es um die Demonstration der Fähigkeiten der "richtigen Maschine". Ich weiß nicht, wie meine Reklame in der ft:pedia bei euch ankommen würde...

Antworten