Künstlich Intelligenz und fischertechnik

[fishfriend]

Hallo...
Ich habe vor mich etwas mit KI zu befassen.
So wie ich das sehe, gibt es drei fischertechnik Modelle.
Zwei sind Fanmodelle die ft-Bauteile sortieren.
Nun gibt es von ft das Modell "Qualitätssicherung mit KI 9 V" https://www.fischertechnik.de/de-de/pro ... mit-ki-9-v
Unter e-Learning gibt es Begleitmatrerial https://www.fischertechnik.de/de-de/ind ... ung-mit-ki
Ich gebe zu ich habe da schon viele Schwierigkeiten.
1. Robo Pro Coding
2. ft-Cloud
3. ft git lab
Da ist der Zugang und Registrierung um erst mal das Projekt überhaupt zu imprortieren. Warum eigentlich mus man das machen, um es nur runterladen zu können? Aber OK, ich hab das Projekt runtergeladen bekommen. Im nachhinein kann man auch einfach auf die Seite gehen es runterladen und dann Lokal öffnen. Na ja...
Das Begleitheft ist von Machen gemacht die im Thema voll drinnstecken. Für mich DAU ist der Unterschied von SSH oder Terminal nicht ersichtlich. Manchmal wünsche ich mir mehr Bilder z.B. wohin man klicken muss. Es ist verwirrend wenn Bilder nicht zu Text passen, in einer anderen Reihenfolge sind oder weiter hinten/vorne stehen.
Ich gebe zu, ich kömme mit der Anleitung nicht ganz klar.
Mal so ein Beispiel. Sind die ca. 200 Bilder nun schon auf dem TXT 4.0 vorhanden oder muss man die neu machen?
Klingt erstmal blöd, aber muss man erst mal 1h bis 6h investieren um das Modell zum laufen zu bekommen?
So wie ich das sehe, hätte man doch schon mal einen Bilderpool zum runterladen machen können.
Für die Macher der Anleitung ist auch klar wie man die Kommandos wo eingibt - mir nicht.
Im Grunde muss man Linux, Python, Microsoft Build Tools for C++, Tensorflow, Node-RED, Putty und die TXT 4.0 Anleitung -beherschen-, um das machen zu können.

Mal so ein Beispiel von S.12:
- Laden Sie Python 3.9.13 herunter und installieren Sie es.

- Laden Sie Microsoft Build Tools for C++ herunter und installieren es.

Dazu Installer öffnen und „Desktop entwicklung mit C++“ auswählen.
Öffnen Sie ein Terminal und geben Sie:
python -m pip install --upgrade pip
ein.
Ähm, ja... Ich denke, die meinen Putty, wo man natürlich voher den Zugang zum TXT 4.0 haben muss.

Wo ich auch noch nicht hinter gekommen bin, ist nun Tensorflow auf dem (nackten, neuen) TXT 4.0 schon drauf oder muss man das auch erst installieren?

Ich wag ja kaum zu fragen aber: Hat jemand von euch das Modell?

Der Hintergrund des Ganzen ist, eine Sortiermaschine zu bauen. Erst war es ein Eimer HAMA-Perlen, nun sind es ft-Bauteile. OK, ich könnte jetzt das originale ft-Modell aufbauen. Ich hab aber nun 4 Transportbänder aufgebaut, wo man drei in der Richtung steuern kann um die Teile zu sortieren.
So eine Lösung mit TXT, Kamera und Farberkennung geht, sagen wir mal mäßig. Vor allem durch Fremdlicht vom Fenster oder Monitor, ist es nicht soo wie ich es mir vorstelle. Deswegen halt der Versuch mit einer KI.
Also eine Abdeckung über der Kamera ist schon da und ich wollte aber schon die Ganze Zeit was mit Robo Pro Coding machen.
Mit freundlichen Grüßen
Holger

[elektrofuzzis]

Hallo Holger,

Störlicht lässt sich mit Beleuchtung reduzieren. Unterschiedliche Lichtverhältnisse sind m.E. auch der Grund, warum Du die Bilder selbst aufnehmen musst. Perfekte Studioaufnahmen nützen Dir nichts, wenn die Realität grau ist.

Auch wenn jeder nur noch von KI (besser wäre ML machine learning) redet, lassen sich viele Probleme auch klassisch lösen. Farbige Bügelperlen? Da lässt sich auch die Farbe auslesen und diese clustern.

Viel Spaß beim Tüfteln,

Stefan

[fishfriend]

Hallo...
Ja ich wollte immer schon mal soetwas machen.
Ich hatte vor lägerer Zeit mal was mit OpenCV und Pixy was gemacht.

Die Bilder hab ich nun auch gefunden. Die sind doch im Beispielprojekt vorhanden und auch verbunden

Exakt die Versionen der geforderten Programme runterzuladen ist schon eher ein größeres Problem.
Ich bleib dran.
Mit freundlichen Grüßen
Holger

[EstherM]

Hallo zusammen, hallo Holger,
was willst Du denn machen:

• über Künstliche Intelligenz (KI) lernen
• geanu das Modell zum Laufen bekommen
• Bügelperlen sortieren?

Nach meinem Eindruck ist das Modell nicht gut geeignet, wenn man noch nichts über KI weiß und auch die verwendeten Methoden drumherum noch nicht beherrscht. Wenn es Dir nur um KI geht, dann guck Dich doch mal beim KI-Campus um.

Wenn Du das Modell am Laufen hast, dann wird das genau das können, wofür die KI trainiert wurde: genau diese Teile sortieren. Das Programm zu dem Modell enthält ein KI-Modell, das das gelernt hat. Für dieses Training waren viele Bilder nötig, die etikettiert wurden, als IO-ROT, NIO, usw. Sowohl die Gewinnung der Bilder als auch die Etikettierung (von Hand) ist ziemlich aufwändig. Danach kommt das Training des KI-Modells, das der Computer aber selbst erledigt. Das fertige KI-Modell kommt dann auf den TXT 4.0.
Als Anwender wirst Du die Bilder und das Training nicht brauchen. Trotzdem wird das ein größeres Projekt.

Für mich DAU ist der Unterschied von SSH oder Terminal nicht ersichtlich

Mit SSH (z.B. Putty) kannst Du Dich auf einem anderen Rechner anmelden und dann dort Befehle ausführen, normalerweise in einer Kommandozeile.

Im Grunde muss man Linux, Python, Microsoft Build Tools for C++, Tensorflow, Node-RED, Putty und die TXT 4.0 Anleitung -beherschen-, um das machen zu können.

Linux: Ist das da verlangt? Ich verstehe das so, dass man die Windows-Kommandozeile nutzen soll.
Python: Braucht man wohl, ist aber immer wieder nützlich.
Microsoft Build Tools for C++: zum Editieren des Python-Codes? Das habe ich auch nicht verstanden.
Tensorflow: Für eigene KI-Modell. Braucht man wohl erstmal nicht.
Node-RED: Braucht man wohl nur, wenn man eigene Programme damit schreiben will.
Putty: Auf jeden Fall, oder einen anderen SSH-Client.
TXT 4.0-Anleitung: Wenn man so ein Ding hat, ist es vielleicht ohnehin gut, die Anleitung zu lesen.

Wenn Du ein eigenes Modell zur Sortierung von Bügelperlen bauen willst, brauchst Du, wie Stefan schon geschrieben hat, dafür keine Bilderkennung mit einem Neuronalen Netz. Ein Cluster-Verfahren fällt zwar, soweit ich weiß, auch noch unter Machine Learning und Künstliche Intelligenz, aber ist kein Neuronales Netz. Für die Einsortierung der Farben in Cluster muss das Programm erst mal Cluster bilden. Dazu braucht es Bilder von verschiedenfarbigen Bügelperlen, aber diese brauchen nicht etikettiert werden, sondern das Programm kann alleine lernen, welche Cluster es gibt (Unüberwachtes Lernen). Meines Wissens gibt es dafür fertige Python-Bibliotheken. Auch das ist ein größeres Programmierprojekt.

Gruß
Esther

[atzensepp]

Hallo,

ich würde mich dem Thema (Machine Learning) zunächst ohne ft nähern und erst mal versuchen, ein existierendes Projekt zum Laufen zu bringen.
Als Softwareumgebung wäre zunächst Python meine erste Wahl, weil das m.E. am handlichsten ist (keine Compilationen, keine VisualStudios etc.) Eine Teile-Identifikation von Perlen mit openCv hinzubekommen sollte m.E. möglich sein (Stichwort Haar-Cascade).

Auch für komplexere Answendungen wie Lego-Teile klassifzieren gibt es gute Ansätze wie:
https://towardsdatascience.com/machine- ... 12e0544012
Dort ist beschrieben, wie man das mittels virtueller Trainingsdaten machen kann. Man könnte diesen Ansatz bestimmt leicht auf die viel einfacheren HAMA-Perlen anwenden.

Erst wenn es "im PC" klappt, solltest Du zu ft übegehen. Also Bilder mit TXT aufnehmen, an den PC übertragen und dort auswerten und ggf. Steueranweisungen zurück an den "ft-Controller" senden.

Erst dann könntest Du versuchen, die ganze Klassifikation auf einem TXT controller laufen zu lassen. Hierbei ist zu beachten: je weniger Libraries und Abhängigkeiten hast, desto besser.


just my 2 cents

Viele Grüße
Florian

[fishfriend]

Hallo...
Die "Unterschiede" bezogen sich auf die Anleitung von ft. Ich sags mal so: Ich hab schon mit Python auf einem Pi gearbeitet, mit OpenCV experimentiert um Schilder für einen Roboter zu erkennen und noch ein paar andere Sachen. Bezogen auf die Anleitung ist es nicht so möglich das Modell zum laufen zu bekommen, wenn man die Sachn nicht beherscht. Ich hätte mir mehr eine ausführlichere Anleitung gewünscht.
Mal so eine kleine Sache Microsoft "empfiehlt" eben nicht von Python.org runterzuladen sondern ihre eigene. OK, da kann man drüber wegsehen, aber MS hat gute Erklärseiten zu dem Thema, die man leider jetzt nicht nutzen kann.
Wie übertägt man -alles- auf den TXT 4.0? Wenn man mit Robo Pro Coding das Programm auf den TXT 4.0 hochläd, wird von meinem Verständniss, "Tensorflow" nicht mit übertragen. Es kann auch sein, dass es "nur" eine LIB oder Erweiterung von Python ist, die mit übertragen wird. Den Zusammenhang kenne ich (noch) nicht.
Ich hatte mir vorgestellt, das ich das fertige Programm anpasse auf mein Modell und dann die Bilder neu erzeuge und anlerne. Das ist aber wohl nicht alles. Zur Not würde ich mal eben mein Modell zum ft-Modell umbauen. Ist jetzt nicht so der Aufwand, aber die Erklärung wie man das Projekt auf einen TXT 4.0 bekommt ist nicht in der Anleitung - so wie ich die verstehe. Kann ja auch mal sein, dass so ein TXT 4.0 sich ins Nirvana verabschiedet. Da muss ja dann auch das Projekt wieder hochgeladen werden
Kann ja auch sein, dass ich das viel zu kompliziert sehe und es doch mit einem einfachen Download geht. Soweit bin ich aber noch nicht
... und ich gebe noch nicht auf.

Momentan wir ein Hipe um KI gemacht und soll ja in die Schule kommen. ich würde mich gerne damit jetzt mal befassen.
Im Grunde sind die Ventile ja "nur" durch Motoren mit Bändern ersetzt, die halt die Richtung umkehren können.
Die Bügelperlen laufen schlecht über die Transportbänder, Da kann man besser ft-Bausteine nehmen. Mit Schiebern würden auch Perlen gehen.
Ich stelle mir vor auch mal die Farbvarianten rauszusortieren. Also dunkelrot...
Zuerst hatte ich mir überlegt das Ganze über Druckluft zu sortieren. Ein Bauteil fällt runter und fällt an vielen Druckluftdüsen vorbei und wird abgelenkt.
Das kommt aber erst -sehr- viel später.
Mit freundlichen Grüßen
Holger

[fishfriend]

Hallo...
Stolpersteine...
Ich komme wir vor wie in DOS Zeiten.
Ich hab nun sehr vieles probiert - wirklich sehr viel.
Momentan läuft es noch nicht.
Ich hab Python
Microsoft Build Tools for C++
installiert.
Nächste Befehlszeile laut Doku geht aber nicht.
Hab sogar MS Python, Community Version.... und und und dazu installiert.
Geht immer noch nicht.
Ich hab mal das gemacht was ich zu DOS Zeiten gemacht habe und mal etwas tiefer in Windows 10 gegraben.
Und siehe da, es ist genau so wie damals.
Die Angaben in Path passen nicht. Windows kann es nicht finden. Nur welchen Pfad soll man eingeben?
Der angezeigte WIndows 10-Pfad stimmt nicht mit pysikalischen wirklichen Pfad überein.
So nun hab ich erst mal wieder -alles- deinstalliert.
Bin dann auf python.org gegeangen und hab das geforderte Python 3.9.13 als Windows Installer (64-bit) installiert.
Und siehe da, im Gegensatz zur ZIP-Variante, ist da ganz unten ein Kästchen "Path hinzufügen" - Was natürlich nicht gesetzt ist.
Oh man, wie kann man nur...
Im Grunde - wenn man es nicht anwählt - kann man es nur in dem Verzeichnis Phyton benutzen. Es wird sonst nicht gefunden.
Im Nachinein scheint auch anderen passiert zu sein, die sich deswegen die MS-Variante runtergeladen haben. Man muss es nur wissen.
Dadurch das es nicht angewählt ist, funktionieren alle nachfolgende Schritte nicht.
Zu dumm das es der zweite ist... Na ja.

Ich bin schon froh, Robo Pro Coding überredet zu haben den TXT 4.0 zu erkennen. EInfach USB Kabel ist da nicht.
Man muss erst ein Update vom TXT 4.0 machen. Das geht aber nur wenn man den ins WLAN einbindet. Ich hätte gedacht, das man das auch über Robo Pro Coding machen könnte, geht aber so nicht. Auch der erste API-Schlüssel ging nicht. Erst nach "generiere neuen Schlüssel" ging es.
Auch die angebene USB IP passte bei mir nicht. Die automatische Funktion hatte die falsche Nummer angezeigt. (*)

Was auch etwas ünglücklich ist, wenn man ein Update erfolgreich durchgeführt hat - tada - bekommt der TXT 4.0 was? Richtig neue IP Nummern.
Ähm, ja. Ok ich hab den am laufen. Robo Pro Coding kann Programme downloaden. Der TXT 4.0 führt die Programme sogar aus.
OK, momentan bricht er das Linesorting nach einer Zeit ab, aber zumindest tut sich schon mal was.
Was ich persönlich vermisse ist ein Interfacetest. Ich hab gerne den benutzt, um auch mal ein Band eben rückwärts laufen zu lassen.

Ich hab auch mein Modell umgebaut und erst mal die anderen Bänder abgeklemmt. Es ist nun fast wie das original Modell momentan aber nur mit einem Auswerfer. Es soll sich ja erstmal bewegen.
Mal schauen...
Mit freundlichen Grüßen
Holger

(*) Hintergrund schein zu sein, das die USB-Schnittstelle nicht als COM angesprochen wird, sondern als IP. Es ist die Frage ob man mit z.B. Wireshark die Kommunikation rauskriegen kann.
BTW MS unterstütz Python 3.9.13 nicht mehr - laut MS. Es ist die Frage mit welchen anderen aktuellen Versionen es, also fischertechnik Modelle, die laufen. Da bin ich aber lang noch nicht so weit das auszuprobieren.

Edit
Es ist besser die Beschränkung von 256 Zeichen im Path bei Windows 10 aufzuheben. Man hat dann 32000 Zeichen. Die sollten erstmal reichen.
Das kann man nach der Installation von Python anwählen.
PIP, also das Programm zum weiteren installieren von Python -Sachen lief ja auch nicht.
Ist ein Tipp von MS: Wer also nach der Installation von Python 3.9.13 nachschauen möchte ob das geklappt hat, kann die EIngabeaufforderung unter
Start / Winwossystem / Eingabeaufforderung das eingeben:
C:> py --version
Dann kommt
Python 3.9.13
C:> py -m pip --version
pip X.Y.Z from ... (python 3.N.N)
Also die Version von PIP und Python

[fishfriend]

Hallo...
Hier noch mal die Links für die Downloads
Python 3.9.13 gibt es hier (ganz unten):
https://www.python.org/downloads/release/python-3913/

Microsoft Build Tools für C++
https://visualstudio.microsoft.com/de/v ... ild-tools/
........................
Installer öffnen und "Desktop entwicklung mit C+++" auswählen
Das installieren. Vermutlich werden die ein oder andere DLL davon gebraucht.

Eingabeaufforderung öffnen und
python -m pip install --upgrade pip
eingeben und ausführen lassen (Enter drücken)

Ich hab es nun etwas anders gemacht.
Ich habe mir einen neuen Ordner gemacht.
md a
Da braucht man nicht so viele Tasten für den Pfad drücken.
Dann mit
cd a
in diesen Ordner wechseln.
Ich hab dann das Sortingline Projekt mit dem Windows-Explorer reinkopiert.

Nun findet er auch “requirements.txt“
Man kann nun
pip install -r “requirements.txt“
in die Eingabeaufforderung ein geben.

Jetzt -erst jetzt - wird alles installiert und eingerichtet - auch Tensorflow 2.5.0
Das dauert erst einmal, bis es fertig ist.

Nun kann man die KI testen, anlernen, was auch immer...
cd test
python create-model.py -d “test-dataset“
Jetzt kommt eine Überraschung: Es geht nicht ohne Fehlermeldungen bei mir, da ich keine Nvidia 3060 Grafikkarte habe. Der erwartet aber die, aber weil da u.a. eine DLL : cudart64_110.dll halt fehlt.
Es kommen 7 Fehlermeldungen. Die zweite sagt, dass man die obere ignorieren kann, wenn man keine Grafikkarte hat. Bei den anderen 5 bin ich mir nicht ganz so sicher.
Ich vermute, das für die Bildanalyse die GPU der Grafikkarte genutzt wird.
Das kann man auch verstehen, wenn man tausende Bilder hat. Na, ja...

Zumindest läuft er weiter durch -aber-
Es kommt ein Userwarning lr ist veraltet und man soll learning_rate benutzen. ?? Keine Ahnung aber es läuft weiter durch.
50 Dateien werden bearbeitet, gelernt,... was auch immer.
Und es kommen weitere 4 Meldungen. U.a. wieder ein Userwarning, weil inputs erwartet wurden.
Ich vermute mal das dennoch geht.

Und es geht - fast, da durch das Einrücken von der Befehlszeile der Rest in der zweiten Zeile steht.
Es muss also so lauten:
python test-image.py -d "build/test-dataset" -i "test-dataset/triangle/triangle-01.png
"01-png" , wie er unten in der Doku steht, ist kein Befehl. Der gehört in die obere Zeile. Stolperstein eben...

Wenn nun ein Dreieck zu sehen ist, läuft die KI (oder AI).
Mit "cd ../" kann man wieder nach oben? ich kenne das mit cd..
aber OK.
Zumindest läuft die Ki schan mal im Test.
STRG-C drücken und man kann das Programm damit beenden.

Ich gebe zu, ich würde mir ein bisschen mehr Infos wünschen. Z.B. der Test - was macht der? Auch die Sache mit der Grafikkarte hätte man anders händeln können oder halt das, wenn man keine hat, alle igrnorieren kann (denke ich).

Der nächste Schritt wird das ft-Modell selbst sein. Ich muss mir noch Beuteile bzw Aufkleber dafür machen. Ich hoffe das geht, da ich für die Beleuchtung nur 2 satt 4 LEDs habe. Den Rest muss ich mir erst noch zusammenbauen. Mal schauen...
Mit freundlichen Grüßen
Holger
Nun

[fishfriend]

BTW
Wenn man in der ft-Doku weiter geht, kommt noch zu den anderen Programmen OpenCV hinzu.
Die Zeitvorgaben finde ich, sagen wir mal: sportlich.
OK, nicht jeder stellt sich so an wie ich (DAU). Wenn aber wirklich KI-Programmieren in die Schule kommen soll, und wenn ich das richtig in erinnerung habe, in SEK 1 (!), dann viel Spass liebe Lehrer.
Für Schüler und spezielle Politiker (die halt das fordern) kann man nur sagen: Sie wissen nicht was sie tun...
Stand der Dinge ist momentan, Java (BlueJ) in der 11. Klasse und nicht Wissen was eine "Variable" ist. -Leider, leider kein Scherz-
Mit freundlichen Grüßen
Holger

[fishfriend]

Hallo...
OK, Betriebsblindheit. Interfacetest ist nun Schnitstellentest.
-Aber- warum ist Rechts auf der linken Seite und Links auf der rechten Seite?
Ich hab das auch schon bei anderen proessionellen Steuerungen gesehen. Ihr seid damit nicht alleine - ich würde das aber ändern.
Mit freundlichen Grüßen
Holger

[fishfriend]

Hallo...
Fehler in der Verkabelung, bei meinem Modell. O4 ist nicht Fotolicht für die Fototransistoren.
O4 ist Fotolicht für die Kamera und die LED für die Fototransistoren haben dauerlicht.
Da die nicht vorhandenen Lichtschranken auch eine 1 liefern, wenn keine Unterbrechung da ist und die alle Abgefragt werden, muss ich die nachrüsten oder überbrücken.
Das Programm bricht sonst mit Fehlermeldungen ab. In der Doku ist aber kein Hinweis zur Verkabelung. In den ganzen Bildern der zwei Anlagen, ja es sind zwei leicht unterschiedliche, kann man die Kabel erahnen.

Allgemein. Auch bei RoboPro war das schon eine Unstitte, auch bei mir, keine Beschreibung vom Modell oder Programm im Textfeld einzugeben.
Kann ja sein, dass es eine Komentarfunktion gibt, die hab ich aber noch nicht gefunden. Zumindest beim Python-Code schein es was zu geben.
Ich denke eine Liste mit den Abkürzungen ist sehr von Vorteil. Ich hab z.B. den O4 gesucht, wo die Helligkeit der LEDs eingestellt wird. Das Schnellste was ich bisher mache ist, den Code zu kopieren und mit dem Editor dann zu durchsuchen. Kann ja sein, das es noch was anderes gibt.
Das Makieren geht auch mit dem Verbotszeichen als Cursor. Es geht auch über die Zeilennummern.
O4 hat übrigens die Bezeichnung: TXT_SLD_M_O4
TXT dürfte TXT 4.0, M=Master und O4 der Ausgang O4 sein.
SLD erschließt sich mir gerade nicht. K.A.

Hinweis
Die Robo Pro Coding Hilfe gibt es auch in der fischertechnik Cloud. Momentan über den TXT 4.0 und Robo Pro Coding.
Die kann man sich dort auch als PDF exportieren und somit für sich immer verfügbar machen, ausdrucken...

Das ganze Thema hier, ist schon eher ein Block von mir
Mit freundlichen Grüßen
Holger

[fishfriend]

Hallo...
[Freumodus an]
Kaum zu glauben, aber es läuft.

Was mich etwas irritierte war, dass man erst kein Bild sieht. Ich dachte, dass man in RoboPro Coding die Kamera aktivieren muss. Das ist aber nicht der Fall. Man kann auch nur zwischen den Schnittstellentest und der Kamera hin und her schalten, aber nicht beides gleichzeitig nutzen. Auch wenn ein Programm gestartet wird, ist die Kamera ersteinmal aus. Das Programm bricht ja vorher ab. Da muss ich mich erst noch dran gewöhnen.
Dann dacht ich, das durch mein experimentieren das IMG-Bild gelöscht ist. Also der Erkennungsbereich. Er ist aber noch vorhanden, da das ganze Bild ohne Aussparungen genommen wird.
Das Bild auf dem TXT 4.0 erscheint erst, wenn das Teil ausgeworfen wird. Ist also Zeitverzögert. Übrigens darf kein anders z.B. rotes Bauteil im Kamerabild sichtbar sein. Ich hatte meine Lichtschranke zu nah an der Kamera mit einem roten Winkel festgemacht. Die KI erkannte den WInkel als NIO: nicht in Ordnung.

Alles in allem, ein sehr interessantes Modell. Man kann ein Buch darüber schreiben.
Z.B. kann man mit dem Modell auch noch andere Sachen machen, wie ein Transportband und später dann eine "Bearbeitungsstaion", wo das Bauteil auf dem Band, hin und her transportiert wird. Ich denke gerade zum EInstieg kann man Schrittweise was machen.
Mit OpenCV anfangen, also ein Objekt erst einmal erkennen.
Oder noch früher ein Objekt erst einmal mit der Lichtschranke erkennen und dann passend zu den Schiebern fahren. So als EInstieg in Robo Pro Coding selbst. Dann noch die anderen Programme.

Jetzt fehlt noch der MQTT Teil. In der Anleitung steht das man über den Browser (in meinem Fall Firefox - nicht Chrom)
http://txt40.local:1880/ui
eingeben muss, um in das Node-Red reinzukommen. Dazu muss aber das Programm Sorting_Line_AI.ft auch laufen. Wenn man es, wie ich erst nicht zum laufen bekommt, hat man keinen Zugriff. Naj ja, einen halben Zugriff, denn man kann entgegen der Anleitung, wenn man den SSH Fernzugriff auf dem TXT 4.0 aktiviert, auch auf den Node-Red zugreifen, wenn man
http://txt40.local
eingibt. Man braucht dazu nicht den WEB-Server oder WinSCP. Es wird aber einmalig ein Benutzername und Passwort abgefragt. BTW das steht bei dem WinSCP.
Selbst wenn das Program Sorting_Line_AI.ft -nicht läuft- hat man dann Node-Red. Man halt nicht diese speziellen vorgegebenen Verbindungen. Man kann sich die aber runterladen. Der Dateiname ist flows.json .

Es wundert mich etwas, dass der TXT 4.0 nicht im Windows Explorer / Netzwerk auftaucht. Er ist ja auch im selben WLan Netz eingebunden. Dann könnte man auch anders die Daten rüberschaufeln. Aber OK, es geht scheinbar auch anders oder ich mache was falsch.

Insgesamm bin ich von den Fähigkeiten eines TXT 4.0 beeindruckt. Man muss ja bedenken, das alle Programme KI, OpenCV... usw. auf dem TXT 4.0 eigenständig laufen, also unabhängig von einem PC.
SInd die späteren Aussichten dann: Roboter mit USB HUB mit mehreren Kameras, OpenCV mit Gestenerkennung, Gesichtserkennung.... ?

Nun hab ich also noch Node-Red, die Aufkleber und evtl. die weiteren Auswerfer vor mir. Mal schauen...
Mit freundlichen Grüßen
Holger

[Jeroen Regtien]

Hallo Holger und andere interessierte Leser,

Ich habe mit genau der gleichen Idee gespielt, nämlich einen FT-Sortierapparat zu bauen, der zwischen Farben und Formen unterscheiden kann, im Wesentlichen eine FT-Sortiermaschine. Ich habe bereits verschiedene grundlegende Prototypen unter Verwendung von Form, Gewicht, Magnetismus und Farbe erstellt und als ich die aktuelle KI-Anwendung sah, wurde ich sehr daran interessiert, auch den visuellen KI-Ansatz hinzuzufügen. Ich habe sogar die fertige Maschine gekauft – obwohl ich wusste, dass sie sehr teuer war – nur um einen Vorsprung zu haben. Das Modell selbst funktioniert gut, aber der nächste Schritt bestand natürlich darin, das KI-Modell zu aktualisieren, um grundlegende FT-Steine ​​zu erkennen und dann ein viel größeres Modell zu erstellen, das die verschiedenen FT-Komponenten vorsortieren, transportieren, verteilen und lagern kann.

Es überrascht nicht, dass ich eine ähnlich frustrierende Lernkurve durchgemacht habe, wie Holger sie beschreibt. Die FT-Dokumentation weist in die richtige Richtung, aber es gibt viele Hürden zu überwinden (hauptsächlich die Installation fehlender Pakete oder die Aktualisierung von Versionen) und ich habe das Projekt einige Male unterbrochen, weil ich zeitweise nicht die Energie hatte, weiterzumachen. Ich habe zwar an Fischertechnik geschrieben und die erste Antwort war eine offene Tür, aber beim zweiten Versuch bekam ich eine viel aussagekräftigere Antwort, und vor allem die Informationen auf Github waren für mich sehr nützlich:

https://git.fischertechnik-cloud.com/ml ... le-project

Ein weiteres Problem für mich ist, dass ich nur unter Mac OS und IOS arbeite und dadurch ein paar zusätzliche Hürden miterlebt habe. Als ich ab dem 13. Mai begann, Holgers Thread zu sehen, in dem er seinen Ansatz und seine Erfahrungen beschrieb, musste ich zugeben, dass ich nicht alles ganz folgen konnte, aber seine Bemühungen ermutigten mich, es noch einmal zu versuchen, und heute Nachmittag funktioniert der Testfall zufriedenstellend auf meinem Mac, ein kleines gelbes Dreieck in einem Fenster, das eine Übereinstimmung mit dem Modell anzeigt, das durch die Analyse von 12 Bildern erstellt wurde. Durch die Erweiterung dieses Testfalls habe ich nun die Grundlage, mit dem Aufbau einer echten Anwendung zu beginnen. Ich bin mir sicher, dass ich noch auf viele weitere Herausforderungen stoßen werde, aber angesichts der Komplexität des gesamten Softwaresystems und der unterschiedlichen Anzahl der beteiligten Dateien und Pakete bin ich mit den Fortschritten sehr zufrieden.

Wenn Holger und ich anfangen, den Rest des Forums zu langweilen, können wir jederzeit vorübergehend auf PN umschalten und uns melden, wenn es echte Durchbrüche gibt, denn ich bin davon überzeugt, dass der Fortschritt angesichts der Komplexität des Themas langsam sein wird, aber es wäre toll, es weiterzuentwickeln in eine ganze Reihe von fischertechnik KP-Anwendungen und -Modellen!

Mfg, Jeroen

============

Hello Holger and other interested readers,

I have been playing with exactly the same idea, namely to build a FT sorting apparatus that can distinguish between colours and shapes essentially a FT sorting machine. I have already made various basic prototypes using shape, weight, magnetism and colour and when I saw the recent KI application I became very interested to add the visual KI approach as well. I even bought the ready-make machine - knowing it was very expensive - just to get a head start. The model itself works fine, but the next step was of course how to update the KI model to recognise basic FT bricks and then make a much larger model that can pre-sort, transport, distribute and store the various FT components.

Not surprisingly I have been going through a similar frustrating learning curve as Holger describes. The FT documentation points in the right direction, but there are many hurdles to overcome (mainly installing missing packages or updating versions) and I have paused the project a few times because at times I didn’t have the energy to continue. I did write to Fischertechnik and the first response was kicking in an open door, but the second attempt I got a much more meaningful response, and especially the information on Github was very useful for me:

https://git.fischertechnik-cloud.com/ml ... le-project

Another issue for me is that I only work on Mac OS and IOS and because of that I inherited a few extra hurdles. When I started seeing Holgers thread starting May 13th describing his approach and experiences, I must admit I couldn’t quite follow all of it, but his efforts did encourage me to give it another go and this afternoon I also have the testcase working satisfactory on my Mac, a little yellow triangle in a window, indicating a match against the model that was created by analysing 12 images. I now have the basis to start building a real application by expanding this test case. I am sure I will encounter many more challenges but given the complexity of the overall software system and the different number of files and packages involved I am really pleased with the progress.

When Holger and I start boring the rest of the forum we can always temporarily switch to PM and report back when there are real breakthroughs, because I am convinced progress will be slow given the complexity of the subject matter, but it would be great to develop a whole series of Fischertechnik KP applications and models!

Mfg, Jeroen

[fishfriend]

Hallo...
Yipie, auch einer mit dem KI Modell.
Ich habe meine Anlage komplett umgebaut und nun auch 4 Aussortierer, 4 Ventile...
und die Minimotoren der Bänder sich gegen XM getauscht.

An welcher Stelle /Stellen ist es unverständlich?
Im Grunde soll es eine Ermutigung sein, es auch mal zu versuchen und es 1:1 nachzumachen, so aus der Sicht eines DAUs.
Ich würde da nachbessern.

Manchmal hakt es bei mir an den einfachsten Sachen - wortwörtlich. Z.B. hab ich einen minimal anderen Aufbau vom Band. Ich habe Streben als Lauffläche genommen. Nun passt es mit der Geschwindigkeit vom Band nicht mehr. Im Pythoncode ist zwar nur eine Bandgeschwindigkeit (MovementSpeed) angegeben, bei Robo Pro Coding aber, wird noch zusätzlich BeltSpeed eingeführt. Dazu kommt noch die direke Geschwindigkeitsangabe über eine Konstante.
Ist nicht ganz so übersichtlich.

Ich hab versucht noch mehr Holzbausteine zu bekommen, aber momentan ist es nicht möglich, die farbigen Holzbausteine zu beschaffen.
Und ja, ich hatte nur noch graue Sockel für die LEDs...

Meine Bänder sind hinten am Auswurf noch dran, aber ich habe nur einen TXT 4.0. Ich kann also keine weiteren Motoren ansteuern. Deswegen hatte ich überlegt einen TXT mit dem TXT 4.0 anzusteuern. Ich dachte mir, ich schaue mir mal z.B. an, wie die von ft das mit dem Gestensensor gemacht haben. Die Idee dahinter, das der TXT sich wie ein Gestensensor verhält. Das wird aber so nicht gehen. Dann hatte ich überlegt es über MQTT zu machen. So wie in der Industrieanlage. Die haben haber einen PI dazwischen. Ich muss zugeben, das das Prinzip zwar klar ist, ich aber schätze, das es vom Zeitaufwand für mich sehr lange dauern dürfte, das umzusetzen.
Auf die Schnelle werde ich wohl einen TXT mit Kamera als eigenständige Anlage laufen lasen.

Momentan komme ich in Node-Red des Modells nicht rein. Es funktioniert nicht. Ich hab schon überlegt, ob die flow-Datei im falschen Verzeichnis liegt.
Auch das Nachladen geht nicht. Also ich möchte versuchen, die drei verschiedenen Ansichten der Prozessdaten zu sehen und auszuprobieren.
Ich denke, ich mach da was gundlegend falsch.

Mit freundlichen Grüßen
Holger

[fishfriend]

Hallo...
OK, ich habe auch Node-Red zur Mitarbeit überredet. Ich bin mir nicht ganz sicher, warum und wie ich das gemacht habe.
Zumindest kann man den flow laden, starten/verbinden und dann noch mal aufrufen. Dann kommt die Seite.
Das Programm auf dem TXT 4.0 muss vorher schon laufen.
Ich werde das gleich noch mal versuchen nachzuvollziehen.
Ich denke es geht um das "Verbunden". Ein kleiner grüner Punkt...
Mal Schaunen...
Mit freundlichen Grüßen
Holger

Edit
Man kann auch die kleinen ft-Räder 23 (34994) nehmen. Die werden als Beuteil mit Loch erkannt.

Ich gebe zu ich bin etwas überrascht wenn das Band das Teil erkennt, zuweit fährt, den Fehler erkennt und dann wieder zurück zu richtigen Bucht fährt. Ich muss mich noch ausgiebiger mit dem Programm beschäftigen... Aber es läuft.

[fishfriend]

Hallo...
Ich bin schon ein ganzes Stück weitergekommen.
Nun habe ich das Programm mal analysiert. Wenn Interesse besteht, kann ich das mal posten.

Dabei sind mir ein paar Sachen aufgefallen.

Z.B. werden nur zwei Farben analysiert. Die dritte wird einfach gesetzt.
Das fällt auf wenn man Räder 23 mit verschiedenen Rottönen ausprobiert. Manche werden als rot erkannt, aber z.B. dunkelrote als weiss.

Die Auswertung vom Videostream hab ich nicht verstanden. So wie es im Programm ist, wird das letzte Bild ausgewertet. Wann wird denn der gestoppt?
Vom Motor her, wird das Teil unter die Kamera gefahren, die Beleuchtung verändert.
Danach wird erst der color-Wert geholt. So wie ich das verstehe, sind die LEDs da aber schon auf Helligkeit 30. Soll jetzt echt die "volle" Helligkeit nur für den Menschen vor dem Modell sein?

Dann Programmausschnitt von machine_learning:
frame = TXT_SLD_M_USB1_1_camera.read_frame()
#get color from frame
color = (np.mean(frame[ 80:120, 100:240], axis=(0, 1)))
color = cv2.cvtColor(np.uint8([[[color[0],color[1],color[2]]]]),cv2.COLOR_BGR2HLS)[0][0]
hue = color[0] # range 0-180
sat = color[2] # range 0-255
Ich hab damit meine Schwierigkeit. Zuerst wird das Kamerabild geholt. Dann aber einmal wird der Mittelwert vom frame an die Variable "color" übergeben. Danach wird auch der Mittelwert einens convertierten Schwarz-Weis Bildes an "color" übergeben. Sind color[0] und color[2] Rückgabewerte der Funktion cvtColor? Also globale Variable? Ist der Aufruf immer so, um an die Werte zu kommen? Weil irgendwie macht es für mich keinen SInn zwei Werte hintereinander an "color" zuzuweisen.

Wenn man eigene Bauteile machen möchte, kann man gut Räder 23 nehmen. Man sollte die hohle Seite nach oben nehmen und dann dort einen Ausdruck darauf kleben. Rot und Blau sollten dunkel sein. Ich vermute mal, dass es noch besser ist, farbiges Papier zu nehmen. Normales Tesafilm spiegelt etwas, was die Erkennung stört. Da kann es sein, dass wenn man das Bauteil um 90 Grad dreht nur noch eine Taschenfräsung erkannt wird.
Besser ist es, ein mattes Klebeband zu nehmen. Bessere Erkennung hab ich auch dadurch erreicht, in dem ich auf die Kamera-LEDs, matte weiße Kappen aufgesetzt habe. Das kann aber auch an meinen Lichtschranken-LEDs von ffm liegen. Sonst spiegelt der Rand etwas in die Kamera und die Farbe wird falsch erkannt.
Mit freundlichen Grüßen
Holger

[libertad]

Absoluten Respekt vor der Tatsache die Steigung und Reibung einer Rollenbahn selbst auszurechnen! Flexibilität und Anpassung für Transportbänder ist in der Profiltechnologie und einer schnelllebigen Produktionsbranche von enormer Wichtigkeit.

[fishfriend]

Hallo...
Kleines Update
Ich bereite mich auf die Maker Fair in Hanover 2023 vor.
So, ich hab mal Aufkleber gemacht und mit einem Laserdrucker auf selbstklebende Folie ausgedruckt.
Ausgeschnitten und Aufgeklebt auf die NFC Werkstück Zylinder 174622 bis 174627 in weiß, rot und blau.
Hier Bilder von ffm:


Und meine Vorlage:

fischertechnik KI Modell Aufkleber3b.jpg (354.96 KiB) 3104 mal betrachtet

Ist DIN A4 und kann man auch im Copyshop machen lassen.
Damit die besser durch die Anlage laufen, kann man auch eine Unterlegscheibe reinlegen.
Die Zylinder sind von beiden Seiten mit unterschiedlichen Aufklebern beklebt.
So hat man mehr Varianten.
Mal schauen ob die so den 2 Tage Dauerbetrieb aushalten.
Mit freundlichen Grüßen
Holger

[fishfriend]

Hallo...
So, die Anlage war nun zwei Tage im dauereinsatz. Dabei sind mir ein paar Dinge aufgefallen.
Meine Aufkleber habe ich mit einem Laserdrucker gemacht. Das Problem dabei ist, ich habe auf beiden Seiten der Körper, Aufkleber gemacht.
Dadurch ist immer einer unten und es kommt zu einem Abrieb. Die Erkennung ist nicht mehr zuverlässig. Man muss also am besten noch mal einen Aufkleber darüber machen um den Aufdruck zu schützen.

Ich habe mit den Besuchern etwas gespielt. Die meisten haben es erst nicht erkannt. Es wurde angenommen, das blaue nach blau, rote nach rot und weiße nach weiß sortiert werden. Also eine normale Farbsortierung. Erst als auch welche mit Riss oder schräger Bohrung kamen, wurde klar, dass auch nach anderen Kriterien sortiert wird. Es wird also nicht nur nach Frabe sondern nach Eigenschaften sortiert und Farbe ist nur eine dieser Eigenschaften.
Es sind also Bohrung, Fräsung, Farbe und Riss bzw die Kombination oder das Fehlen dieser EIgenschaften, wonach sortiert wird.

Ich habe dann ein Beispiel gegeben. Was ist, wenn man in einem Krankenhaus ist und morgens, mittags und abends Tabletten bekommt und nun so eine Anlage hat die Tabletten sortiert. Nun ändert ein Hersteller z.B. die Tabletenfarbe etwas.
Ich habe dazu ein grünes 21er ft-Rad genommen. Es hat die Eigenschaft: Bohrung, keine Fräsung, keinen Riss aber Farbe grün.
Wo wird er einsortiert? Oder wird er aussortiert?
Die Überraschung war groß, dass es bei Weiß einsortiert wurde. Das würde bei diesem Beispiel dazu führen, dass Patienten die falschen Tabletten oder andere sogar keine bekommen würden. Das Farbspecktrum der Auswertung ist also zu groß. DerProgrammierer der KI hat also nicht daran gedacht, es nicht nur mit weißen, roten oder blauen auszuprobieren sondern hat keine anderen Farben ausprobiert. Für die Praxis heist das, das man viel mehr testen muss.
Anders herum, wenn man sich vorstellt man kippt so einen Container Tabletten rein und es werden kleinste Abplatzungen usw. aussortiert, geht das richtig ins Geld. Das "Problem" ist also nicht die KI in dem SInne, sondern der Programmierer der dahinter steckt. - Kurzgefasst.

Ich spiele mit dem Gedanken noch mehr daraus zu machen. Man kann sehr die Anlage erweitern. Auch die Kriterien zu ändern. Gelbe Bausteine hat die Anlage ja nicht. Was soll also nach Gelb sortiert werden?...
Mit feundlichen Grüßen
Holger
PS ich werde später mal ein Bild hochladen.

[fishfriend]

Hallo...
Das Bild von der Maker Fair Hanover, Kurz vor dem großen Run. (Kann man an den noch vollen Tüten Haribo sehen )

fischertechnik KI Maker Fair 2023 Hanover community ftcommunity 1.jpg (317.64 KiB) 2650 mal betrachtet

Links sieht man die Fabrick mit dem Lager. Dort kommen die Werkstücke rein. Es ist halt die Frage wie rum man die rein gibt.
Dann werden die Werstücke bearbeitet. Es wird gefräßt und gebohrt.

fischertechnik KI Maker Fair 2023 Hanover community ftcommunity Fabrik 2.jpg (290.46 KiB) 2650 mal betrachtet

Hier die Fabrik-Anlage (vor der Ausstellung).
Wer sich über die "Massen" von Motoren wundert. Nein, die werden nicht alle vom TXT direkt gesteuert. Erst wenn z.B. die Fräse vor fährt, wird der Drehmotor über einen Taster angeschaltet. Genau so ist es mit der Bohrmaschine.
Von dieser Position sieht man nicht gut den Übergang zur Sortieranlage, aber es gibt leider einen kleinen Höhenunterschied. Wenn ich die Anlage noch mal aufbauen sollte, würde ich nur noch mit Verbindern die Auflage der Bänder machen. Mit den Streben ist der Anfang zu kurz. Oder man darf am Ende keinen Strebenverbinder setzen sondern nur als vorletzten, damit man näher an das Zahnrad kommt.

fischertechnik KI Maker Fair 2023 Hanover community ftcommunity 3.jpg (269.24 KiB) 2650 mal betrachtet

Hier sieht man das Ende der Anlage, wo es noch mal eine Farbsortierung (Recycling) mit einem TXT gibt.
In den Töpfen sieht man auch die farbigen Räder. Man muss aber beim Lager aufpassen, das es sich nicht verklemmt. Zumindest kann man den grüben sehen, der für einen AHA sorgte.
Insgesammt braucht man gar nicht soo viele verschiedene Bauteile beim Vorführen, da die Durchlaufzeit aller Werkstücke zu lang ist.
Ich hab zwischenzeitlich Bausteine direkt in die Lichtschranke der Sortieranlage gelegt.

Das Abschalten der Anlage ist leider ein Problem. Durch das Unterprogramm, das auf die Lichtschranke wartet, fährt der TXT 4.0 Kontroller nicht herunter. Er schaltet nicht ab. Es muss einmal die Lichtschranke betätigt werden, damit das Programm einmal wieder von vorne anfängt. Erst dann wird der Prozess beendet und er TXT 4.0 fährt herunter. Da ist wohl ein BUG in der Firmware. Es ist wohl deswegen, weil es ein Unterprozess vom Hauptprogramm ist.
Mit feundlichen Grüßen
Holger