Robo TX + I2C-Kamera Objekterkennung

Alles rund um TX(T) und RoboPro, mit ft-Hard- und Software
Computing using original ft hard- and software
Forumsregeln
Bitte beachte die Forumsregeln!
Antworten
DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 10 Nov 2014, 19:13

Hallo zusammen!

Ich suche schon seit langem nach einer I2C-Kamera für den Robo TX Controller.

Bei "Charmed Labs" bin ich mit der PIXYY CMUcam5 fündig geworden. Sie hat eine
Objekterkennung über I2C.

Gesagt, getan, ich habe mir eine Kamera bestellt und experimentiert. Hier das Ergebnis.
Ich habe ein Video für euch auf youtube gestellt.

https://www.youtube.com/watch?v=9Rk8K6oQ-xQ

Viele Grüße
Dirk

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 10 Nov 2014, 19:38

...und der Erkundungsroboter aus dem Robo TX Training Lab mit I2C-Kamera.

https://www.youtube.com/watch?v=ptRdp4T47gI

hier der Link.

DasKasperle
Beiträge: 107
Registriert: 26 Mai 2013, 13:02
Wohnort: Düsseldorf

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DasKasperle » 10 Nov 2014, 21:07

Hallo Dirk,
deine Experimente haben sich anscheinend richtig gelohnt. :)
Auch die Verpackung gefällt mir auf Anhieb.

Mich würden auch noch Programmbeschreibungen interessieren.
Hast du ausschließlich mit Robo Pro gearbeitet ?


Viele Grüße aus Düsseldorf
Kai
Konstruktive Grüße aus Düsseldorf
Kai
PS: Ich suche IMMER eine Mitfahrgelegenheit zu ft-Events!

vleeuwen
Beiträge: 1557
Registriert: 31 Okt 2010, 22:23
Wohnort: Enschede (NL)
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von vleeuwen » 11 Nov 2014, 08:02

Alternative is the combination of a fischertechnik control in the online mode (TX-C, Robo interface or TXT) with the Kinect sensor (XBOX360).
The Kinect gives both distance and directional data from the cameras (3) and directional data from audio.
The SDK with the API of the Kinect is very nice (unmanaged C++ and .NET support).
The price for this intelligent sensor is relative low (+/- 120 Euro)

Benutzeravatar
Dirk Fox
ft:pedia-Herausgeber
Beiträge: 1832
Registriert: 01 Nov 2010, 00:49
Wohnort: Karlsruhe
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von Dirk Fox » 11 Nov 2014, 14:35

Hallo Dirk,

sensationell! Genial!

Ich habe gestern abend gleich die Bestellung abgeschickt... und eben einen Hinweis auf Deine Videos, Postings und Modellbilder in unsere "I2C-Treibersammlung" aufgenommen (http://forum.ftcommunity.de/viewtopic.p ... 728#p16728).

Gruß, Dirk

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 11 Nov 2014, 16:03

Hallo Kai,

danke für die Blumen. :D

du findest eine Beschreibung unter
http://ftcommunity.de/categories.php?cat_id=2985
wie ich die Kamera in FT eingebunden habe.

Es gibt eine PIXY Sofware, mit der ich die Kamera anlerne Objekte zu erkennen oder
über einen Modusknopf an der Kamera. (ohne Software)

Dann übergebe ich die Daten über I2C an den Robo TX Controller. Diese Daten lese ich über
RoboPro mit I2C aus.

Gruß
Dirk

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 11 Nov 2014, 16:27

Hallo Dirk Fox,

danke für dein Posting :)

Ja, es hat etwas gedauert 1-2 Jahre, bis ich die passende Kamera gefunden habe.
Ich war schon bei Arduino, Raspberry Pi und Kinect gelandet. Über Umwege geht dies auch,
ist aber sehr komplex anzuwenden. Ein Problem ist manchmal z.B. auch nur die Spannungsversorgung.

Hier ist es eine direkte Lösung. Du bekommst deine Daten schon aufbereitet von der Pixy Kamera.

...ich warte auch schon seit September auf meinen Robotics TXT Discovery Set mit Kamera. :roll:
Da passt die PIXY Kamera schon gut ins Programm. Dazu kommt der günstige Preis.

Ich hab in Ft:pedia gesehen, das du mit I2C sehr fit bist. Vielleicht können wir uns einmal kurzschließen,
bezüglich der I2C Kamerauswertung in RoboPro?

Gruß
Dirk

funmca
Beiträge: 102
Registriert: 03 Jan 2013, 18:54
Wohnort: Hannover
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von funmca » 11 Nov 2014, 21:54

Ich bin gerade ziemlich aufgeregt, ich hatte die Pixy schonmal im Anfangsstadium entdeckt, damals aber noch nicht zu kaufen.

Frage: Kann ich das mitgelieferte 10 auf 6 Pin Kabel direkt in den TX-Controller stecken?

Falls nein, kannst Du kurz erklären, wie man sich eins selbst bastelt? Pin belegung und so?
;-)

Benutzeravatar
Dirk Fox
ft:pedia-Herausgeber
Beiträge: 1832
Registriert: 01 Nov 2010, 00:49
Wohnort: Karlsruhe
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von Dirk Fox » 12 Nov 2014, 10:02

Hallo Marco,
funmca hat geschrieben:Falls nein, kannst Du kurz erklären, wie man sich eins selbst bastelt? Pin belegung und so?
die Pinbelegung findest Du z.B. hier: http://www.bajdi.com/pixy-cmucam5/
Dirk hat ein Kabel selbst "konfektioniert" - schau mal im Bilderpool der ft:c:
Gruß, Dirk

funmca
Beiträge: 102
Registriert: 03 Jan 2013, 18:54
Wohnort: Hannover
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von funmca » 12 Nov 2014, 12:12

Danke !!!!

Bild

Pixy I/O connector pinout
Pin 1 = SPI MISO, UART RX, GPIO0 Pin 2 = 5V (in or out)
Pin 3 = SPI SCK, DAC out, GPIO1 Pin 4 = SPI MOSI, UART TX, GPIO2
Pin 5 = I2C SCL Pin 6 = GND
Pin 7 = SPI SS, ADC in, GPIO3 Pin 8 = GND
Pin 9 = I2C SDA Pin 10 = GND
;-)

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 12 Nov 2014, 17:06

Hallo Marco,

das mitgelieferte Kabel vom PIXY kannst du nur für den Arduino (SPI-Anschluß)verwenden.
Die Beschaltung ist hier eine andere.

Für die Verdrahtung kannst dir am besten mit farbigen Steckbrücken (Female-Female) helfen,
bevor du dir ein I2C-Kabel konfigurierst.

Beste Grüße
Dirk

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 12 Nov 2014, 19:07

Hallo Marco, hallo Dirk,

im Bilderpool von ft:c hab ich euch meine Verdrahtung gepostet.
http://ftcommunity.de/categories.php?cat_id=2986

Beste Grüße
Dirk

fantogerch
Beiträge: 42
Registriert: 26 Jan 2011, 22:12
Wohnort: Erlangen

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von fantogerch » 13 Nov 2014, 15:13

Hallo Dirk,

das ist ja wirklich eine tolle Entwicklungsarbeit von Dir - auch deine Dokumentation !

Im Bilderpool gibt es einen Screenshot deines RoboPro-Programms - planst Du "zufällig" auch das Programm als Download zur Verfügung zu stellen ? Ich glaube da würdest Du etliche FTFans glücklich machen - insbesondere mich !

Habe in Kürze Geburtstag und die Cam ist schon unterwegs ...
+grussvongeorg

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 13 Nov 2014, 19:03

Hallo Georg,

am Wochenende werde ich euch das RoboPro Programm downloaden. ;)

Ich möchte die Kamera Erkennung nach vorne treiben, dadurch eröffnen
sich uns beim Basteln viele neue Möglichkeiten.

Die I2C-Erkennung in RoboPro läuft noch nicht, wie ich Sie mir wünsche. Da müsst ihr mir helfen, ich bin da noch nicht richtig fit. :(
Ich hab eine lange probiert, aber den I2C-Pixy auszulesen ist nicht ganz so einfach. Ein Grund ist die hohe Framerate pro Bild.
Da kommt oft Datensalat. Ich kann über eine RoboPro I2C-Krücke die Daten für ein Objekt auslesen.

Das Robo-Pro Programm Objekterkennung läuft, ist aber noch im Beta-Stadium!!!

Was geht:
- Erkennung eines erlernten Objekts (1-7) mit X-Wert, Y-Wert, Länge, Breite, Checksumme
Ausgabe als Variablen

- Verschiedene erlernte Objekte ausgeben aber nicht gleichzeitig

Was nicht geht:
- Mehrere Objekte gleichzeitig erkennen und ausgeben

- Es wird immer nur ein Objekt erkannt und zwar immer in der Reihenfolge von 1 nach 7

Beispiel: Pixy hat 3 Objekte erkannt und gibt immer das erste aus.
Objekt 1 ,5 ,6 erkannt, RoboPro gibt die 1 aus, die anderen Objekte nicht.
Objekt 4,6,7 erkannt, RoboPro gibt die 4 aus, die anderen Objekte nicht.
Wenn du aber das niedrigste Objekt (4) entfernst, erkennt er die 6.

Etwas schwierig das zu erklären, am besten ihr schaut euch das Programm einmal an
und probiert es einmal selber aus.

Über Rückmeldungen und Fortschritte eurerseits würde ich mich freuen.

Beste Grüße
Dirk

fantogerch
Beiträge: 42
Registriert: 26 Jan 2011, 22:12
Wohnort: Erlangen

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von fantogerch » 13 Nov 2014, 20:01

Hallo Dirk,

freut mich sehr, dass Du Deine wertvolle Arbeit teilen willst ! Dirk Fox ist ein wahrer Programmier-Fuchs und wird bestimmt wieder interessante Impulse zur Weiterentwicklung liefern können. Falls ich auch dazu beitragen kann, wäre das ja nur im Sinne eines echten "open source" Projektes ...

Übrigens finde ich Deine bisherigen Entwicklungserfolge sehr beachtlich. Dass nicht alles mit dem TX-Controller (unter Verwendung von RoboPro) funktioniert, was mit Arduino oder RaspPi als Zielplattform möglich ist wäre nicht verwunderlich. Toll ist doch, was schon alles geht !

Freu mich schon drauf - werde mir die Camera aber mit meinem Sohn teilen - und wenn der sie erst mal in Beschlag genommen hat schau ich "alt" aus ...
Zuletzt geändert von fantogerch am 13 Nov 2014, 22:15, insgesamt 1-mal geändert.
+grussvongeorg

vleeuwen
Beiträge: 1557
Registriert: 31 Okt 2010, 22:23
Wohnort: Enschede (NL)
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von vleeuwen » 13 Nov 2014, 20:59

This camera Pixy CMUcam5 (+/- 66 Euro Watterott) with microcontroller as pre-processor is a good example of microcontrollers as data preprocessor and I2C slave for the TX-C

The concept of using microcontrollers as I2C slave is not reserve for Arduino or RaspPi only but is applicable for every microcontroller base system that support I2C slave functionality.
Even a PC or Labtop with a I2C interface card could communicate with the TX-C.
The choice for microcontroller platforms is very big.
So this is also an encouragement for the fischertechnik fans with experience/skills in embedded programming to create more intelligent sensors and actuators.

Like published and discussed already on this forum more than two years ago.
A Frenchmen, Rei Vilo was a real pioneer with the I2C testing and creating the first I2C examples.
Unlucky his works did not get the attention that it deserved.

The main problem could be the limitation of the I2C interface of the TX-C itself. Rather slow.
This concept is also a nice way to extend the TX-C with dedicated Stepper and Motor controls or the creation of intelligent Sensors.

funmca
Beiträge: 102
Registriert: 03 Jan 2013, 18:54
Wohnort: Hannover
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von funmca » 14 Nov 2014, 00:38

Hallo Dirk, herzlichen Dank !
;-)

Benutzeravatar
Dirk Fox
ft:pedia-Herausgeber
Beiträge: 1832
Registriert: 01 Nov 2010, 00:49
Wohnort: Karlsruhe
Kontaktdaten:

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von Dirk Fox » 14 Nov 2014, 18:57

Hallo Georg, hallo Dirk,
fantogerch hat geschrieben:... werde mir die Camera aber mit meinem Sohn teilen - und wenn der sie erst mal in Beschlag genommen hat schau ich "alt" aus ...
den Effekt kenne ich - da hilft nach meiner Erfahrung nur eins: noch eine bestellen! :lol:

So, ich freue mich schon riesig auf das Pixy-Projekt - die Kamera ist gestern gekommen, und mein Kopf ist bereits voller Anwendungsideen (mein Knickarmroboter bekommt als erstes einen "Kopf" und greift sich das nächste Objekt in der vorgegebenen Farbe selbständig ... dann sollte sich die Opfer-Suche bei einem RoboCup-Rescue-Roboter erheblich vereinfachen ... und schließlich lässt sich der Rubics Cube Solver vielleicht vollständig in RoboPro und im Download-Modus realisieren ...). Mal sehen, wie weit ich am Wochenende mit den ersten Schritten komme. Jedenfalls ist das eine echte "Killer"-Anwendung für den TX - damit kann man Kids wirklich begeistern.

Tolle Arbeit, Dirk!

Gruß, Dirk

DirkW
Moderator
Beiträge: 546
Registriert: 10 Nov 2014, 16:16

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von DirkW » 16 Nov 2014, 11:35

Hallo zusammen,

ich habe euch die Softwareanleitung und das RoboPro Programm für die beiden
PIXY I2C Roboter in ftcommunity geuploaded. ;)

Pixy I2C Pan/Tilt:

Softwareanleitung:
http://ftcommunity.de/details.php?image_id=39818
Modell:
https://www.youtube.com/watch?v=9Rk8K6oQ-xQ

Pixy I2C Robot Erkundungsroboter

Softwareanleitung:
http://ftcommunity.de/details.php?image_id=39820#col3
Modell:
https://www.youtube.com/watch?v=ptRdp4T47gI
http://ftcommunity.de/details.php?image_id=39790


Viel Spaß beim Basteln wünscht
Dirk

fantogerch
Beiträge: 42
Registriert: 26 Jan 2011, 22:12
Wohnort: Erlangen

Re: Robo TX + I2C-Kamera Objekterkennung

Beitrag von fantogerch » 16 Nov 2014, 13:55

Hallo Dirk,

am kommenden Mittwoch bekomme ich meine Camera, bis dahin kann ich nur Vorarbeiten machen: Kabel herstellen, Camerahalter basteln, Software installieren, ...

Danke aber jetzt bereits für Dein RoboPro-Programm und die Anleitung !

Schönes Restwochenende noch ...
+grussvongeorg

Antworten