AddOn AI KI

[Techum]

Auf der Seite von ROS 2 steht, das es EOL ist und nicht weiterentwickelt wird.
...
BTW ist das Video auf YT vom Greifer von dir? Da würde mich mal interessieren, wie das angelernt worden ist.

Von ROS wusste ich, dass es nicht weiterentwickelt wird. Von ROS 2 nicht. Weiterentwicklung wäre nicht einmal nötig. Das ist so unglaublich mächtig, dass es Lichtjahre über das hinausgeht, was ich normalerweise programmiere oder zusammenstecke.
Zum Problem wird leider relativ schnell die fehlende Kompatibilität zum Rest der sich drehenden Welt.

Ja, der Greifer ist von mir.
Der alte hier nutzt das selbst angelernte Tensorflow 1.x Modell
https://youtu.be/IGhEEVPgGdI

Der neue nutzt einfach das Standardmodell von YOLOv5n
https://youtube.com/shorts/S7mzDK_bs1w?feature=share

Es ist nicht angelernt (also, nicht von mir). Ich habe einfach nur ausprobiert als was Rad23 erkannt wird und klassifiziere es um (s.o). War ja mehr als Test und Demo gedacht, dass man so was auf dem alten Raspi zum Laufen bekommt.
Und um gleich ganz die Hosen runterzulassen, der Arm positioniert nicht etwa über lineare Algebra (wobei das eine schöne Aufgabe für meinen Sohn wäre...) sondern einfach über Interpolation von ein paar Punkten am Boden.

Übrigens könnte man natürlich ROS 2 auf einem PC installieren und dann mit ftrobopy oder ftrobopy-server arbeiten.

Schönen Tag
Frank

[Techum]

Also, ROS 2 lebt:
https://search.app/ADbPogmQ4JGPnDw69

und es gibt eine lebendige Diskussion hier im Forum zur Nutzung mit fischertechnik
viewtopic.php?f=19&t=9060&p=68712&hilit=ROS#p68712

Schönen Abend
Frank

[Defiant]

Übrigens könnte man natürlich ROS 2 auf einem PC installieren und dann mit ftrobopy oder ftrobopy-server arbeiten.

ROS (1+2) setzen beide auf Netzwerkprotokollen auf, es spielt (theoretisch) kene Rolle auf welchem Rechner in einem Netz welcher ROS-Knoten läuft.

Ich würde auch empfehlen die Datenintensiven ROS-Knoten (Planungs-und Bewegungs-Algorithmen) auf schnelleren Rechnern mit mehr Arbeitsspeicher als so ein ARM Board auszuführen.

[fishfriend]

Hallo...
Nur so als allgemeinen Lösungsansatz, wegen dem "geringen" Arbeitsspeicher im TXT 4.0. Ich meine, das man den Arbeitsspeicher von TXT 4.0 mit einer SD Karte erweitern "kann". Mal von der Geschwindigkeit abgesehen...
Ich versuche immer alles auf dem TXT 4.0 zum laufen zu bewegen.
Mit freundlichen Grüßen
Holger

[tintenfisch]

Man kann max. die Auslagerungsdatei (Swap) mit einer SD-Karte vergrößern, das ändert jedoch nix am limitierten Arbeitsspeicher und es wird seeehr langsam sein, weil das Lesen und Schreiben auf SD-Karten halt langsam ist.

Neben dem limitierten Arbeitsspeicher werden aufwendigere Berechnungen vermutlich schnell an ihre Grenzen kommen, da die Bibliotheken auf potente FPUs/GPUs setzen. Die hat weder der TXT noch ein Raspberry Pi an Bord. Für den letzteren gibt es aus diesem Grunde auch spezielle HATs, die auf AI/KI-Aufgaben spezialisiert sind.

Für einfache Aufgaben sollten die vorgenannten Rechner jedoch ausreichen, der Pi etwas mehr als der TXT.

[Techum]

Neben dem limitierten Arbeitsspeicher werden aufwendigere Berechnungen vermutlich schnell an ihre Grenzen kommen ...
Für einfache Aufgaben sollten die vorgenannten Rechner jedoch ausreichen, der Pi etwas mehr als der TXT.

Sehe ich genauso. Außerdem setzen die aktuellen KI Lösungen in der Regel auch auf eher aktuellen Bibliotheken auf und nicht alles ist free. Das kann fischertechnik mit dem TXT 4.0 nicht permanent zur Verfügung stellen.

Man kann sich aber durchaus mit TFLight KI Modellen und z.B. eigenen Sortieraufgaben beschäftigen. Das kann sowohl von der Modellierung, als auch von der Mechanik spannend sein. Z.B. könnte man mechanisch vor- oder nachsortieren. Je nachdem was die KI wie zuverlässig erkennt. Z.B. könnte die KI Statikstreben von Rastachsen unterscheiden aber Probleme haben, Strebe 30 und 45 (die alten grauen) zu unterscheiden.

Wenn man die Lage des identifizierten Objekts braucht, und man mit 3-4 Sekunden Verzögerung umgehen kann, kann man auch KI Modelle auf Raspberry oder vielleicht auch TXT4.0 laufen lassen. Das klingt langsam, aber da ggf. die Mechanik ein paar Sekunden lang ausführen muss, was die Erkennung erkannt hat, wird sich die Verzögerung ggf. nicht verzögernd auf den Ablauf auswirken, wenn man die Zeit der Ausführung für die nächste Erkennung nutzt. Würde sich der z.B. der Greifroboter die Positionen der Teile und was er abgeräumt hat merken, könnte er trotz langsamer Erkennung sehr schnell sein.

Anders wird es sein, wenn man eine quasi verzögerungsfreie Erkennung benötigt, beispielsweise, wenn man die Erkennung direkt in Bewegung rückmelden will. Entweder setzt man dann auf spezielle Hardware oder man bringt diese Anwendungen auf leistungsfähige Hardware und überträgt das Ergebnis der Objekt-Erkennung an TXT und co., mittels Message - beispielsweise MQTT.

Hier sieht man, wie nahezu verzögerungsfrei die Erkennung auch ohne GPU läuft:
https://youtube.com/shorts/AbR1IKcPpMg?feature=share
Wohlgemerkt ist das KI Modell ultra klein.

Ich teste gerade "dynamische Positionierung", also dass der Greifer versucht, Rad23 in die Mitte der Zange zu bekommen. Bisher nähert sich der Roboter in Schrittchen an. Das geht, ist aber langsam.
Will man es effizient machen, wird das kinematisch schon relativ anspruchsvoll. Die Greifbewegung wird abhängig von der aktuellen Greiferposition und den Koordinaten sein müssen, unter denen das Rad23 erkannt wird. Das führt uns ggf. wieder zu ROS2 oder etwas Mathe und führt vom Thema weg.

Viele Grüße
Techum