LeRobot LLM und fischertechnik?

[Techum]

Hallo Fischertechniker,

hat sich schon jemand mit LeRobot beschäftigt und der Möglichkeit, das mit fischertechnik zu kombinieren?
Letztlich geht es drum, Large Language Models auf Robotik anzuwenden.

https://github.com/huggingface/lerobot/ ... l_robot.md

Je mehr ich lese, umso komplizierter erscheint mir eine Portierung zum aktuellen Zeitpunkt. Aber es liest sich spannend.

Initiales Training funktioniert nach einem Leader/Follower Konzept. (Man braucht quasi denselben Roboter zwei Mal, den einen zum initialen trainieren, den anderen zum ausführen des erlernten)
Man findet relativ viele YouTube Videos dazu, z.B.
https://youtu.be/3Abafw0-EB4?si=Y_Cny3_14bOy5luc

Zum einen macht dieser Ansatz das ganze relativ Hardwareintensiv. Zum anderen mussen die verwendeten Motoren für den Leader es erlauben, von "außen" händisch bewegt zu werden und dabei ihre Parameter zu übertragen.
Mit Servos geht das m.E. nicht, eher mir den Encodermotoren. Einen Encodermotor als Input zu verwenden hat sicher schon mal jemand versucht, oder?

Es gibt statische und mobile Roboter. Der mobile Roboter nutzt drei Omniwheels und einen Greifarm.
Der statische Roboter nutzt nur einen Greifarm allerdings mit 6 Motoren.
Es gibt eine Modifikation, die den Leader unnötig macht. Dann stellt sich freilich die Frage, wie man die Trainingsdaten generiert.

Das Greifarmbeispiel wäre erst Mal einfacher.

Die LeRobot Beispiele arbeiten in der Regel mit mehreren Kameras. Einer am Roboterkopf und einer, die das Geschehen von außen beobachtet.

Letztlich geht es um robuste Methoden zur Objekthandhabung oder Objektmanipulation ohne großen Programmieraufwand.

Schon sehr eindrucksvoll ist die Zusammenarbeit zweier Arme zum Wäsche zusammenlegen.

Schönes Wochenende
Techum

[fishfriend]

Hallo...
Schon lustig
Auf dem Stand neben uns auf der Makerfair Ruhr, war auch was von denen.
Ich hatte mich auch erkundigt wie und womit die das gemacht haben - und eben das mit fischertechnik nachzubauen.
Die von Ping haben Servos "geschlachtet" und nur die Encoder genommen. Damit wird gelernt.
Die Servos haben an zwei Seiten eine Achse. Die haben die bei Ali bestellt.
Insgesammt waren die Servos trotsdem teuer, weil man halt viele von denen braucht.
Die von Ping wollten das demächst auch onlein stellen. Die hatten das aber auch erst eine Woche vor der Maker Fair zum laufen gebracht.

Ich sag es mal so, man "kann" es auch etwas anders machen. Der Vorteil von gleichen Encodern und gleichen Längen ist halt, das man nicht umrechnen braucht. Man könnte auch die ft-Potis nehmen und dann umrechnen. Früher gab es ja mal ein Modell, ich meine beim kleinen Roboterarm, wo auch Positionen eingelesen wurden. Das könnte man übernehmen. OK, man könnte auch gleich den alten Roboterarm nehmen

Es ist die Frage, wer seine Servos schlachten möchte. So zwei mal den neuen ft-Roboter aufbauen und einen für die EIngabe nutzen oder sich selber was in den entsprechenden Längen 3-D ausdrucken. Insgesammt ist es nicht mal eben gemacht.
Mit freundlichen Grüßen
Holger

[atzensepp]

...
Zum einen macht dieser Ansatz das ganze relativ Hardwareintensiv. Zum anderen mussen die verwendeten Motoren für den Leader es erlauben, von "außen" händisch bewegt zu werden und dabei ihre Parameter zu übertragen.
Mit Servos geht das m.E. nicht, eher mir den Encodermotoren. Einen Encodermotor als Input zu verwenden hat sicher schon mal jemand versucht, oder?
...

Tallo Techum,
Encodermotoren kann man tatsächlich mit der Hand bewegen.
Allerdings liefern die normalen ft-Motoren nur ein Signal (A) . Um die Richtung zu erkennen, braucht es zwei Signale (AB). Also müsste man die Motoren modifizieren und mit einem zweiten Ausgang ausstatten.

Eine Alternative wäre ein externer Encoder. Z.B. optisch oder magnetisch. Die simultane Auswertung der Encoder-Signale von mehreren Motoren ist aufwändig. Hier könnte man den von juh vorgeschlagenen Weg gehen, und jeden Encoder mit einem eigenen Microcontroller auswerten und den Zählerwert mittels i2C zur Verfügung stellen. Oder man bastelt sich was mit den etwas schwer zu beschaffenen ic-MD-Counter-ICs im TSSOP20-Gehäuse
https://www.ichaus.de/product/ic-md/#documents
Da die optischen Encoder relativ sind, braucht man zusätzlich noch ein Null-Signal, das die Startposition anzeigt, also noch ein weiteres Signal (ABZ)
Jeder ic-MD kann bis zu 3 Quadratursignale (AB) auswerten, oder 2 Quadratursignale inkl. Nullposition (ABZ).

Am realistischsten ist die Messung der Motorposition mit einem absoluten magnetischen Positionssensor (z.B. AS5600). Über einen i2C-Multiplexer (z.B. https://wolles-elektronikkiste.de/tca95 ... ultiplexer) kann man dann mehrere dieser Sensoren auslesen. (Der AS5600 kann auf 2 Adressen konfiguriert werden. 2 Encoder mit unterschiedlichen Adressen können am gleichen Bus angeschlossen werden) Wegen des absoluten Messprinzips ist auch kein Null-Signal nötig.

Hier die Positionsmessung eines XM-Motors mit einem AS5600. Der Positionsmagnet ist ein 4mm-Zylindermagnet, der in die Rastkupplung eingesteckt ist. Die Platine des Grove 12-Bit AS5600 Encoders kann ohne Zusatzteie in Fischertechnik-System geklemmt werden.
(Oder noch schicker mit Jan's 3D-Gehäuse : https://www.thingiverse.com/thing:3992842)

XM-Motor-mit-AS5600.JPG (149.6 KiB) 5592 mal betrachtet

Der AS5600 wird mittels i2C ausgewertet. (Für meine Anwendung (Servowinde) ignoriere ich die 2 niederwertigsten Bits und verwende eine spezielle Arduino-Library, die mehr als eine Umdrehung auswerten kann)

Eine zweite Herausforderung ist die Ansteuerung der Motoren. Für jeden Motor braucht man eine H-Brücke. Am besten geeignet ist ein Adafruit-Motor-Shield für 4 Motoren (https://www.adafruit.com/product/1438) , das auch über i2C angesteuert werden kann. Will man mehr als 4 Motoren einsetzen, braucht man 2 dieser Shields und muss sie wieder über eine i2C-Weiche ansteuern. Ich brüte gerade an einem Modell mit 8 Motoren, daher die etwas umfangreiche Antwort. Natürlich könnte man die Komponenten ( Motorshields und Encoder) auch mit einem Raspberry-Pi ansteuern.

Aber ich denke, damit müsste sich so ein Robotermodell schon realisieren lassen.

[Karl]

Hallo Florian,
es wäre doch sicher möglich die magnetischen Positionssensoren direkt an den Drehpunkten der
jeweiligen Arme anzubringen. Damit wäre doch ein direkter Absolutwert abzufragen. Die
Auflösung der magnetischen Positionssensoren sollte ausreichen oder

[Techum]

Hallo...
Schon lustig
Auf dem Stand neben uns auf der Makerfair Ruhr, war auch was von denen.
Ich hatte mich auch erkundigt wie und womit die das gemacht haben - und eben das mit fischertechnik nachzubauen.
Die von Ping haben Servos "geschlachtet" und nur die Encoder genommen. Damit wird gelernt.
Die Servos haben an zwei Seiten eine Achse. Die haben die bei Ali bestellt.
Insgesammt waren die Servos trotsdem teuer, weil man halt viele von denen braucht.
Die von Ping wollten das demächst auch onlein stellen.

Sensationell. Danke für die Info, Holger!
Wäre super, wenn Du die Online Version von Ping hier posten könntest.

Servos zerlegen- so weit geht mein Enthusiasmus dann doch nicht.

Ich hatte mit dem Gedanken gespielt, eine Selbstkalibrierung mittels AruCo vorzunehmen. Allerdings habe ich bisher nur ein Video dazu gefunden und das ganze ist mit LeCamera gemacht. Bin nicht mal sicher, ob der Code opensource ist.

Außerdem ist die Frage, wie man nach der Kalibrierung zur einer Greifaufgabe kommt.

Schönen Abend
Frank

[Techum]

...
Encodermotoren kann man tatsächlich mit der Hand bewegen.
...
Am realistischsten ist die Messung der Motorposition mit einem absoluten magnetischen Positionssensor (z.B. AS5600).
...
Der AS5600 wird mittels i2C ausgewertet. (Für meine Anwendung (Servowinde) ignoriere ich die 2 niederwertigsten Bits und verwende eine spezielle Arduino-Library, die mehr als eine Umdrehung auswerten kann)

Ich brüte gerade an einem Modell mit 8 Motoren, daher die etwas umfangreiche Antwort. Natürlich könnte man die Komponenten ( Motorshields und Encoder) auch mit einem Raspberry-Pi ansteuern.

Aber ich denke, damit müsste sich so ein Robotermodell schon realisieren lassen.

Vielen lieben Dank Atzensepp!
Klingt machbar. I2C über Raspberry habe ich zwar gerade erst zum ersten Mal gemacht aber das ging relativ flott.
https://youtu.be/HiSfo5eGX84

Mittels magnetischer Positionssensoren den Drehwinkel direkt am Gelenk des Servos abgreifen bzw für den Leader den Servo einfach durch Bausteine ersetzen, das klingt doch machbar und auch nicht so Hardware überdimensioniert.

Für den Roboter braucht es definitiv weniger als eine Umdrehung.

Also, AS5600 so viele wie Gelenke Faktor 2.
Ca. 6 EUR das Stück.
Um 12 von den Dingern am Raspberry auszulesen den I2C Multiplexer verwenden.
Dazu einmalig die Servowerte zu den AS5600 Werten am Follower mappen, damit man den Servo direkt ansprechen kann. Kleine Fehler muss die KI ausbügeln.

Klingt erstmal nach einem groben Plan.
Mal sacken lassen und nach Haken suchen.

Vielen Dank nochmals!
Techum

[kräml]

Hallo,

hier etwas mit NICHT Fischertechnik Motoren. Die Servos von vielen mir bekannten Robotern sind folgende:

https://www.waveshare.com/wiki/ST3215_Servo

Baugleich oder zumindest ähnliche Daten

https://www.feetechrc.com/en/2020-05-13_56655.html

Meine Vermutung, das sind die Servos von "ping". Wobei ich mit ping jetzt nicht so viel anfangen kann. Gibt es hierzu einen Link?

Hab mir, wegen 3215, schon Gedanken gemacht, ob man ein FT-Gehäuse baut und diese dann ansteuert. Sind nicht billig, 25 bis 30 €, aber um Welten besser als die Modellbauservos und als Encodermotoren sind diese auch gut zu verwenden. Gibt ja nicht nur den 3215. Der billigste ist der SC09 für 10€. Die Serial Bus Servo von Waveshare und feetech sind aber billiger als die Highend Servos von anderen Firmen.

Hier mal ein Video zu einem Roboterarm:
https://www.youtube.com/watch?v=PstPVWVywZc

Übrigens ein sehr interessanter Thread hier.

Gruß Kräml

[atzensepp]

Also, AS5600 so viele wie Gelenke Faktor 2.
Ca. 6 EUR das Stück.
Um 12 von den Dingern am Raspberry auszulesen den I2C Multiplexer verwenden.
Dazu einmalig die Servowerte zu den AS5600 Werten am Follower mappen, damit man den Servo direkt ansprechen kann. Kleine Fehler muss die KI ausbügeln.

Aus China kann man die einfacheren Encoderplatinen, die in Jan's 3D-Gehäuse passen, günstiger bekommen (8 EUR für 4 Stück). Ggf. auf Spannung achten (5V vs. 3.3V)
Der TCA9548A hat 8 Kanäle.Für 12 Encoder brauchst Du 6 davon. An die anderen beiden könntest Du die Motor-Shields anschließen.

Wenn Du den Leader nur als Eingabegerät baust, brauchst Du dafür evtl. keine Motoren, sondern nur die Encoder.

Übrigens gibts von Jan ein Video eines 1d Leader-Follower-Aufbaus mit AS5600-Encodern: https://www.youtube.com/shorts/aLKud19KwU0

[atzensepp]

Hallo Florian,
es wäre doch sicher möglich die magnetischen Positionssensoren direkt an den Drehpunkten der
jeweiligen Arme anzubringen. Damit wäre doch ein direkter Absolutwert abzufragen. Die
Auflösung der magnetischen Positionssensoren sollte ausreichen oder

Hallo Karl,

ja, das ist möglich. Wenn man die Position über PID regeln möchte, kann das allerdings manchmal zu stärkeren Zitterbewegungen führen, weil durch das Getriebe Schlupf - und damit Verzögerung der Antriebswirkung - auftritt. Dann muss man langsamer fahren und etwas Reibung zusetzen.
Normalerweise tut man sich mit PID-Regelung leichter, wenn man den Encoder direkt am Motor - also vor dem Getriebe - anbringt aber ich habe schon sehr brauchbare Ergebnisse mit Messung nach dem Getriebe hinbekommen.

Die nominelle Auflösung für eine Umdrehung beträgt 12 Bit. Effektiv kann es weniger sein, wenn das Magnetfeld nicht symmetrisch ist, oder die Achse mit dem Magneten eiert. Aber 10 Bit sind kann man schon gut erreichen.

Florian

[Karl]

Hallo,
wäre ja mal der Hammer..., "Harmonic-Drive" - günstige Antriebe von Fischertechnik für Robotermodelle.
Als Alternative gegeneinander verspannte Zahnräder obwohl ich kein Freund von dieser Art "Zahnräder-Verspannung",
auch für Modell-Belastungen, bin.
Bei den früheren Drehkondensatoren haben die sich ja bewährt, waren ja auch keine großen Belastungen und hohe
Bewegungsgeschwindigkeiten vonnöten. "Handbetrieb" war ja schon das Höchste aller Gefühle beim Abstimmen.

[fishfriend]

Hallo...
Der Verein Ping :
www.ping.de
Die haben auch Videos zu unserem Thema unter:
https://mastodon.ping.de/@weiterbildung

Wobei ich mich frage, ob die wirklch Encodermotoren genommen haben oder ob es nicht einfache Servos sind.
Irgendwie hätte ich mehr Kabel erwartet (und auch andere Kabel). Aber ich hab da noch nicht alles gelesen.
Mit freundlichen Grüßen
Holger

[kräml]

Hallo,

@fishfriend Danke für den Link. Netter Vereien.

Und ja, das sind die Servos, die ich oben beschreiben habe.

Kräml

[Karl]

Hallo,
die ST3215 sind ja schon deftige Servos in 12V Technik mit 30 kg/cm und Bussystem.
Die werden bestimmt bei Fehlfunktionen die Fischertechnik-Konstruktionen auseinanderreißen.

Habe ja selbst noch zwei 35 kg/cm noch im Fundus. Lagere die immer ohne Servoarme und wenn ich
mal mit denen spiele..., immer mit großer Vorsicht. Einen Finger möchte ich evtl. im Falles eines Falles
mir lieber nicht zwischen Servogehäuse und Servoarm einklemmen lassen. Diese beiden Servos haben
allerdings auch Alu-Gehäuse.

Nachtrag:
Habe gerade mal auf den Seiten von "Ping" umgeschaut. Wenn es die beiden "weißen" Robbis sind, sind nach
den Kabeln zu urteilen Standard-Servos mit um die 15 kg/cm. Davon habe ich welche von Feetech, auch einige
ohne die Befestigungsflansche an den schmalen Seiten. Abtrieb ist von einer Seite wie allgemein üblich, auf der
Unterseite befindet sich ein Zapfen, fluchtend mit dem Abtrieb, für die Lagerung einer Scheibe oder Hebels.
https://de.aliexpress.com/item/10050075 ... gItOfD_BwE
Wäre zum Beispiel ein Servo mit etwas über 15 kg/cm, analoger Ansteuerung aber intern im Servo digitale Signalverarbeitung.
Dazu ohne die allgemein üblichen Befestigungsflansche und eine Lagerungmöglichkeit auf der Unterseite. Statt der Alu-Profile für Betätigungen kann man auch andere Konstrukte anbringen. Mit üblichen um die 4,8V - 5V Nenn-Betriebsspannung haben die Dinger
wohl so um die 12 kg/cm. Dürften für diese kleinen Plaste-Robbis eigentlich vollends reichen.

Meine Servos dieser Art habe ich vor einigen Jahren gekauft. Gibt es unter verschiedenen Namen, sind aber vom Typ her gleich.
Haben damals auch nur ein Drittel bis die Hälfte gekostet..., samt der Alu-Zubehörteile. Servo-Anschlußkabel habe ich beide
Versionen, schwarz,rot, weiß oder braun, rot, orange/gelb.

[Techum]

Hallo zusammen!

hier etwas mit NICHT Fischertechnik Motoren. ...
https://www.feetechrc.com/en/2020-05-13_56655.html
Meine Vermutung, das sind die Servos von "ping".

Treffer ins Schwarze... Die Servos sind schön in der von Holger geteilten Quelle von Ping zu sehen.

Ist natürlich eine ganz andere Liga, was feetechrc da anbietet. Das Video mit dem Roboterarm (bzw. den Roboterarmen zeigt auch schön das funktionierende Leader / Follower Prinzip.

Ich versuche sonst eigentlich, sehr nahe am fischertechnik "Standard" zu bleiben. Den LeRobot Open Arm 100 "einfach" aus fischertechnik nachzubauen, ist vielleicht nicht ganz so spannend.
Auf der anderen Seite müsste man erst einmal verstehen, wie flexibel das KI Modell von LeRobot ist. Sich gerade bei den Antrieben zu weit vom Beispiel zu entfernen, könnte es schon kompliziert machen.

Schönen Abend!

[Karl]

Hallo Techum,
das Fischertechnik-Servo wird wohl schon für eine kleine "Robbi-" Konstruktion etwas schwach
sein. Das von mir oben verlinkte Servo mit den Alu-Zubehörteilen dürfte doch für Fischertechnik-
Konstruktionenen, welche mehr Kräfte benötigen, gut zu verwenden sein. Die mit ca. 5V betriebenen
Servos mit 10 kg/cm / 12 kg/cm für die Fischertechnik-Plaste-Konstrukte auch ausreichend.
Warum diese Technik nicht für Fischertechnik nutzen, erweitert doch die Konstruktionsmöglichkeiten.
Bei Klein- bzw. Schulkindern würde ich diese Technik nicht empfehlen, aber für "größere Kinder" sollten keine
Probleme mit den Handhabungen auftreten.
Fischertechnik selbst wird keine "dicken Servos" anbieten. Die Gründe sind bestimmt die Haftungen im Rahmen
der Spielzeugrichtlinien.

[Karl]

Hallo,
die Sache mit den Servos hat mich letztendlich nicht ruhen lassen, die Neugierde hat mich gepackt.
Habe auf den Seiten von "Ping" tatsächlich Servoabbildungen gefunden wo man die Type der Servos
gut ablesen konnte.
Es sind tatsächlich relativ "dicke" Servos. Dann mal im Netz nach Anbietern geschaut. Unter anderem landet
man auch beim Eckstein-Shop
In dem Shop ein bischen gestöbert. Gefunden schon mal zwei Links welche etwas tiefere Einblicke gewähren:
https://www.waveshare.com/servo-driver-with-esp32.htm
https://www.waveshare.com/wiki/ST3215_Servo
Da gibt es einiges zu lesen.
Genau habe ich mir nur wenig durchgelesen, nur mal schnell überflogen. Eigentlich wahnsinnig was
mittlerweile zu günstigen Preisen an Servotechnologie geboten wird.
Jetzt bin ich aber auch müde und begebe mich in die horizontale Lage.

[fishfriend]

HAllo...
Hmm OK, ein TTL-Bussystem.
Ja, das ist schon eine andere Klasse von "Servos".
Ist nur die Frage wie man das alles mit ft "verbindet". Eklektrisch und mechanisch.
Mit freundlichen Grüßen
Holger

[kräml]

Hallo,
ja mein ursprünglicher Gedanke war es, den SC09 für den FT-Maker-Hund zu verwenden. Leider ist der SC09 zu klein, der 3215 zu groß. Denke aber da lässt sich mit etwas 3D Geschick was stricken.

Nachtrag: Der SC09 kann auch nur bis 8,4V.

Die elektrische Anbindung könnte mit dem ESP32 oder gar mit einem Pi gelöst werden. Inwiefern man den TXT verwenden kann, müsste man prüfen. Die Servos sind, wie gesagt, wesentlich besser als die Modellbauservos. Da kann man richtig Positionen (4096) anfahren und halten und abfragen.

Gruß Kräml

[kräml]

Hallo,

hier mal meine Erfahrungen mit dem Servo

Angefangen hat es 2020 hiermit:

https://github.com/sbcshop/PiArm



Leider kannte keiner die Servos. In 2024 kamen dann Roboter Arm mit ähnlichen Servos auf. Daher habe ich mir auch den hier gekauft:

https://www.waveshare.com/wiki/RoArm-M2-S



Der Waveshare und Feetech scheinen die Nachbauten von sbcshop zu sein, oder die Vorlage für diesen gewesen zu sein. Für uns egal, beide sprechen anscheinend das gleiche Protokoll. Da ich Fetech Software mit Waveshar Servo betreibe.

https://github.com/iotdesignshop/Feetech-tuna

https://github.com/Kotakku/FT_SCServo_Debug_Qt

Habe noch mehr Links (Video) dazu, will aber das Forum nicht dazu schütten.

Wegen LeRobot oder prinzipel, wenn man mit Roboter in der Richung was machen möchte, würde ich mich mit dem Thema ROS2 auseinander setzen. Kenne LeRobot nicht aber evtl hilft es den ein oderen anderen.

Ach ja, ROS2 steht für Robot Operating System in der Version 2. Keine Panik, ist kein neues Betriebssystem, sondern eine Paketsammlung für Python und C++ für Roboter.

In wiefern das mit FT zusammen kommt, bleibt von meiner Seite erst mal offen. Will nur mein Wissen hier mitteilen, in der Hoffnung jemanden geholfen zu haben.

Gruß Kräml

[Karl]

Hallo,

Will nur mein Wissen hier mitteilen, in der Hoffnung jemanden geholfen zu haben.

danke für die Mitteilung des Wissens.
Kannte zwar selbst schon Servos mit Bussystem, aber eher für professionelle Einsätze und mit Preisen...,
fürs Hobby so nebenbei jenseits von gut und böse.