Stereo camera mit Fischertechnik?

Alles rund um TX(T) und RoboPro, mit ft-Hard- und Software
Computing using original ft hard- and software
Forumsregeln
Bitte beachte die Forumsregeln!
Antworten
Techum
Beiträge: 84
Registriert: 25 Dez 2014, 20:50
Kontaktdaten:

Stereo camera mit Fischertechnik?

Beitrag von Techum » 13 Nov 2021, 21:27

Hallo zusammen,

es gibt da diese wunderbaren Möglichkeiten, mit ftrobopy im Synchronbetrieb einen mobilen Fischertechnik Roboter umherfahren zu lassen, diesen über WLAN mit einem größeren Rechner zu koppeln, das Bild der Kamera dort über openCV nach allen Regeln der Kunst auszuwerten und dann dem mobilen Roboter Fahrbefehle zu geben.
So würde sicher auch prima Machine Learning gehen, aber das ist ein anderes Thema.

Da das mit Objekt- und Linienerkennung schon recht gut klappt, habe ich mir - inspiriert von den Bildern von Thorstens Laserscanner - mal die stereo Funktionen von CV2 angeschaut. Nach einigen erfolglosen Versuchen, aus zwei FT cameras ein Tiefenbild zu generieren, hat es jetzt geklappt.
Der Rand ist trotz umfangreicher Kalibrierung nicht nutzbar, aber es entsteht ein brauchbares Stereobild.

Ich denke mal, es braucht zwei TXTs im mobilen Roboter, um beide Kamerastreams zu empfangen und zu senden, korrekt?
Bei dem aktuellen Preisverfall (dank TXT 4.0) ist selbst das akzeptabel - geht es eleganter?

Viele Grüße und schönen Abend
"Techum" Frank.

Torsten
Beiträge: 308
Registriert: 29 Jun 2015, 23:08
Wohnort: Gernsheim (Rhein-Main-Region)

Re: Stereo camera mit Fischertechnik?

Beitrag von Torsten » 14 Nov 2021, 17:30

Hallo Frank,

nur so ein Gedanke: mit Hilfe einer kleinen Optik aus Spiegeln und Linsen könnte man evtl. auch mit nur einer Kamerea zu einem Stereobild kommen: man müsste dafür zwei Bilder (aus leicht unterschiedlichen Blickrichtungen) jeweils auf den linken und den rechten Teil des Kamerasensors projizieren. Natürlich hätte man dann nur noch die halbe Auflösung, man würde aber auch nur eine Kamera (und einen TXT) benötigen.

Es gab schon zu Beginn der Fotografie vor über 100 Jahren, 3D-Bilder, die so hergestellt wurden.

Viele Grüße
Torsten

Techum
Beiträge: 84
Registriert: 25 Dez 2014, 20:50
Kontaktdaten:

Re: Stereo camera mit Fischertechnik?

Beitrag von Techum » 14 Nov 2021, 20:36

Die Idee ist gut. Dann müsste man allerdings auch die beiden Bilder noch in der Kamera bzw. in Opencv unterscheiden können. Das ginge z.B. durch rot/grün Einfärbung. Dann kann man aus den beiden Bildern ein Stereobild berechnen bzw. auf die Tiefe schließen.
Ich mache mal mit den zwei Kameras weiter, auch wenn es dann zwei TXTs braucht. Muss ich halt was demontieren...

Schönen Abend!

Benutzeravatar
MasterOfGizmo
Beiträge: 2720
Registriert: 30 Nov 2014, 07:44

Re: Stereo camera mit Fischertechnik?

Beitrag von MasterOfGizmo » 14 Nov 2021, 20:50

Ich glaube er meint, dass Du beide Bilder nebeneinander abbildest und sie nicht überlagert.
Arduino für fischertechnik: ftDuino http://ftduino.de, ftDuino32 http://ftduino.de/32

Torsten
Beiträge: 308
Registriert: 29 Jun 2015, 23:08
Wohnort: Gernsheim (Rhein-Main-Region)

Re: Stereo camera mit Fischertechnik?

Beitrag von Torsten » 14 Nov 2021, 21:11

Ja genau, das meinte ich.
So ähnlich wie die 3D-Bilder oder 3D-Videos die man sich auf dem Smartphone anschauen kann, indem man es in so eine VR-Halterung (z.B. aus Pappe) reinschiebt. Bloss umgekehrt indem man 2 Bilder nebeneinander (nicht überlagert) in die Kamera projiziert.

kräml
Beiträge: 270
Registriert: 14 Aug 2020, 06:47

Re: Stereo camera mit Fischertechnik?

Beitrag von kräml » 14 Nov 2021, 21:16

Cooles Projekt. Da würden mich die Bilder schon mal interessieren.

Werfe mal einen anderen Controller in die Runde. Den Jetson Nano.

https://www.nvidia.com/de-de/autonomous ... tson-nano/

Dieser hat genug rums um mit Stereokameras, OpenCV, KI und ähnliches onboard zurecht zu kommen. Man müsste halt den Pfad von TXT verlassen.

Man - der schon wieder - könnte ein FT Gehäuse entwerfen und den Robotor/Fahrzeug damit bestücken.

WIE GESAGT KANN MAN MACHEN. UND IST NUR EINE IDEE/VORSCHLAG.

Gruß Kräml

Torsten
Beiträge: 308
Registriert: 29 Jun 2015, 23:08
Wohnort: Gernsheim (Rhein-Main-Region)

Re: Stereo camera mit Fischertechnik?

Beitrag von Torsten » 14 Nov 2021, 22:03

Ja, davon habe ich auch einen ... der ist wirklich sehr leistungsstark, wenn es um Bildverarbeitung geht. Man kann kann mehrere Kameras anschliessen und mehrere LiveStreams gleichzeitig verarbeiten. Insbesondere in der Anwendung/Inferencing von Neuronalen Netzen ist er in seiner Größenklasse (das Entwicklungsboard ist ca. doppelt so gross wie ein RPi) unschlagbar. Er benötigt dann allerdings einen dickeren Accu. Mit den 1500 oder 1800 mAh des fischertechnik-Accus kommt man nicht sehr weit.
OpenCV kann auch in vielen Bereichen von der GPU des Jetson Nano profitieren. Die I/O-Pins des Entwicklungsboards sind nahezu identisch mit denen des RPis.

kräml
Beiträge: 270
Registriert: 14 Aug 2020, 06:47

Re: Stereo camera mit Fischertechnik?

Beitrag von kräml » 15 Nov 2021, 08:53

Hey Torsten,

super ich hab da auch einen rumstehen. Gebe zu, mit einem FT-Akku kommt man nicht weit, aber wenn man das Modell größer und evtl die Energieversorugung nicht über die Merklin-Stecker macht, dann wäre dass was.

Wegen Pin-Kompitabilität zu Pi. Habs noch nicht getestet, aber das TX-Shield von MoG würde ich gerne mal auf dem Jetson ausprobieren.

https://tx-pi.de/de/hat/

Lust auf das Abenteuer hätte ich schon. Der Jetson hätte auch den Rums für ROS und andere spielerein.

Gruß Kräml

Techum
Beiträge: 84
Registriert: 25 Dez 2014, 20:50
Kontaktdaten:

Re: Stereo camera mit Fischertechnik?

Beitrag von Techum » 18 Nov 2021, 23:31

Bilder Nebeneinander, danke, hätte ich nicht kapiert. Nacheinander ginge auch, mit einem Wechselspiegel. :ugeek:
Ich mache mit den zwei Cams weiter und werte das Bild bisher am Laptop aus. Die FT cams habe ich inzwischen mit 7,5 Grad Baustein zueinander geneigt, das gibt etwas mehr Überlappung.
Es gibt sogar einen Code zur Entfernungsmessung im 3D Bild, von Tüftlern der Uni Karlsruhe. Ist recht vielversprechend.
Ich muss die Abstandsmessung noch kalibrieren, dann mache ich ein kurzes Video.
Die Genauigkeit hat mit dem Laserscan zwar nichts gemein, aber die Geschwindigkeit ist klasse.
Nicht so super ist, dass es zu ganz übel falschen Werten kommt, wenn größere Bereiche des Bildes nur von einer Kamera erfasst werden. Ist einerseits klar, andererseits könnte das der openCV Algorithmus zumindest anzeigen. Da leistet das Hirn einfach mehr... ;-)

Torsten
Beiträge: 308
Registriert: 29 Jun 2015, 23:08
Wohnort: Gernsheim (Rhein-Main-Region)

Re: Stereo camera mit Fischertechnik?

Beitrag von Torsten » 19 Nov 2021, 07:09

Prima, bin mal gespannt, wie gut das dann klappt.
Wieviel Rechenleistung benötigt das opvencv für die Bildauswertung ? Denkst Du, man könnte das auch ganz autonom auf dem TXT machen ? oder vielleicht auf dem TXT 4.0, der ist ja mit seinen 2 Kernen etwas Rechenstärker ?

kräml
Beiträge: 270
Registriert: 14 Aug 2020, 06:47

Re: Stereo camera mit Fischertechnik?

Beitrag von kräml » 19 Nov 2021, 10:11

Hey cool.
Techum hat geschrieben:
18 Nov 2021, 23:31
...
Es gibt sogar einen Code zur Entfernungsmessung im 3D Bild, von Tüftlern der Uni Karlsruhe. Ist recht vielversprechend.
Ich muss die Abstandsmessung noch kalibrieren, dann mache ich ein kurzes Video.
...
Kannst Du bitte den Link hier reinstellen? Wäre supter. Weiß ich kann ecosia.org fragen... Aber so wäre es für evtl. weitere leichter.

Auf das Video freu ich mich schon

Kräml

Techum
Beiträge: 84
Registriert: 25 Dez 2014, 20:50
Kontaktdaten:

Re: Stereo camera mit Fischertechnik?

Beitrag von Techum » 21 Nov 2021, 16:47

Habe schnell ein Shorts gemacht. Das hier ist von einer "ungewinkelten" Kamera.
Beides hat Vor- und Nachteile. Wenn die Kameras "schielen" werden kurze Entfernungen genauer gemessen, da man dann mehr Überlappung der Bilder hat. Diese hier funktioniert ab Entfernungen um die 35cm Abstand.
Die größte Herausforderung besteht aber in der verlässlichen Messung des Wandabstands. Das macht ein Ultraschallsensor einfach verlässlicher. Wenn es im Stereobild keine Unterschiede gibt (z.B. alles weiß), kann der Algorithmus keine Triangulation rechnen.
Hier der Link:

https://youtube.com/shorts/gzpbANQdtI0?feature=share

Die GitHub Quellen des verwendeten Codes sind dort in der Beschreibung angegeben.

Schönen Abend!

Techum
Beiträge: 84
Registriert: 25 Dez 2014, 20:50
Kontaktdaten:

Re: Stereo camera mit Fischertechnik?

Beitrag von Techum » 21 Nov 2021, 17:04

Torsten hat geschrieben:
19 Nov 2021, 07:09
Wieviel Rechenleistung benötigt das opvencv für die Bildauswertung ? Denkst Du, man könnte das auch ganz autonom auf dem TXT machen ? oder vielleicht auf dem TXT 4.0, der ist ja mit seinen 2 Kernen etwas Rechenstärker ?
Gute Frage - läuft flüssig auf einem Laptop ohne eigene GPU. Latenz ungefähr eine halbe Sekunde. Man kann die Anzeige der verschiedenen Bilder weglassen, je nach Anwendung (Bälle in Eimer werfen oder so) reicht ja auch ein Stereobild auf Anforderung. Bei mir werden permanent die beiden Streams ausgewertet.

2 Kameras erlauben aber auf jeden Fall interessante Modelle. Denkbar ist ja auch eine x-y und y-z Anordnung zweier Kameras um einen hüpfenden Ball zu analysieren.

kräml
Beiträge: 270
Registriert: 14 Aug 2020, 06:47

Re: Stereo camera mit Fischertechnik?

Beitrag von kräml » 22 Nov 2021, 11:30

Bin gerade an einer zweiten USB Cam dran. Mal sehen. Würde gerne alles auf dem TX-PI (pi3 oder pi4) laufen lassen wollen. Mal sehen.

Kräml

Antworten