Robo TX + I2C-Kamera Objekterkennung

[DirkW]

Hallo Georg,

das kenne ich. Ich hab mir meine Pixy´s aus den USA. Die waren eine Zeit lang
in Deutschland nicht lieferbar.

...tja, Vorfreude ist die schönste Freude.

Viel Spaß beim basteln.

Gruß
Dirk

[fischercake]

Hallo ft-Freunde
Wurde den Robo Pro Treiber für die Objetktanalyse der CMUCAM schon veröffentlicht?
Soviel ich gelesen habe ist mit I²C Schnitstelle nur eine eingeschrankte Anwendung möglich. Mit der SPI oder USB Schnittelle scheinen da mehr möglichkeiten zu sein.
Wird sich dies noch ändern ?

MFG
fischercake

[Dirk Fox]

Hallo fischercake,

Dirk Wölffel hat seine beiden Steuerungsprogramme im Downloadbereich der ft:c bereitgestellt (http://www.ftcommunity.de/data/download ... antilt.rpp und http://www.ftcommunity.de/data/download ... bot1.0.rpp).
Zur Zeit basteln wir gemeinsam mit Georg Stiegler an einem "Rundrum-Glücklich-Treiber" - mal sehen, was wir da zusammen hinbekommen. Kann noch ein paar Tage dauern, Georg wartet noch auf seine Kamera

Wir melden unsere Ergebnisse umgehend hier!

Gruß, Dirk

[DirkW]

Hallo zusammen!

Ich habe euch ein weiteres Pixy-Video bei youtube hochgeladen.
https://www.youtube.com/watch?v=fZ_rX8B58m0

Dort seht ihr wie vier verschiedenfarbige Bälle mit der Pixy Software
"PixyMon" angelernt und mit RoboPro erkannt werden .

Grüße
Dirk

[Peterholland]

Grippers with an integrated cutting + cameras can be seen on :

http://www.crops-robots.eu/

The use of camera's during the project with different concepts for fruit and obstacle detection, ripeness determination and localisation and concepts to reach, grasp and detach fruit were investigated.

http://www.crops-robots.eu/index.php?op ... &Itemid=22

Nice examples to simulate these technics with Fischertechnik + Robo TX + I2C-Kamera Objecterkennung or the TXT !!!!!.....

Peter
Poederoyen NL

[vleeuwen]

Nice Peter!

[DirkW]

Hello Peter,

great idea, with the camera, you can now build the robot.

Best regards
Dirk

[vleeuwen]

In the past with the Kinect sensor we have had already great challenges for very nice robot cars.
The Kinect sensor is producing a lot more metric data, not only based on images but also on sound and skeleton tracking (20 reference points).

There exist also a nice sensor, called Leap Motion, to control a robot by finger gestures.
https://www.leapmotion.com/

It looks like that the success of I2C-Kamera Objekterkennung sensor is the limitation of possibilities, only tracking .

[DirkW]

Hi Carel,

you're right, Microsoft Kinect Sensor is the better . The problem is that you have to learn a new software.
In addition, the sensor is expensive and very large for a mobile robot . The advantage of Pixy Camera is cheaper,
smaller and easy to integrate into RoboPro I2C.

Best regards
Dirk

[vleeuwen]

The Pixy camera is +/- 80 and the Kinect +/- 130, the difference is not too big.
The weight and seize is a bigger problem. See for example the definition of the reference robot (2012) from the former MS-RDS research group
Kinect and Leap motion are only usable in the online mode.
The limitation of the I2C bus and the integration in RoboPro on the TX-C limit also the usability of I2C based intelligent sensors.

However I like the examples that I see very much. A lot of people deliver very nice work.

[fantogerch]

Wir versuchen uns zur Zeit an der Erkennung und Anzeige von einigen Farben und sogenennaten "Color Codes" in Echtzeit und haben ein kleines Filmchen hierzu gemacht:

http://youtu.be/k9ko6FhPt2Y

Funktioniert schon einigermassen gut ...

Wir sind schon auf den ft-pedia Artikel von Dirk & Dirk gespannt. Nochmals danke an Euch für Eure RoboPro-Programme !


Herzliche Vorweihnachtsgrüße von Mark&Georg

[Dirk Fox]

Hallo Georg und Mark,

sehr schön, Euer Modell!
Der ft:pedia-Artikel ist fertig und mit der Vorabfassung der Ausgabe 4/2014 beim letzten Review durch alle Autoren - pünktlich am 24.12. liegt er unter dem ft:c-Baum
Dann ist auch der Treiber im Downloadbereich der ft:c online, in dem sich die meisten Funktionen der Pixy in RoboPro sehr leicht nutzen lassen. Noch laufen die letzten Tests...

Beste Grüße,
Dirk

[DirkW]

Hallo Georg, hallo Mark,

ich kann mich Dirk Fox nur anschließen, sehr schöner Versuchsaufbau.

Er zeigt weitere Möglichkeiten mit der Pixy Camera und dem Robo TX über I2C.
Das Potenzial vom Robo TX ist noch lange nicht ausgeschöpft.

Fischertechnik lernt endlich sehen.

Weihnachtliche Grüße und große FT-Geschenke
Dirk

[hamlet]

Hallo,
ich habe gerade gesehen, dass die PixyCam auch zwei Servo-Ausgänge hat.
Leider kann man die Servos z.Z. nur über SPI ansteuern. Eine Ansteuerung über I2C ist zwar angefragt, der Request hat aber leider keine hohe Prio: http://www.cmucam.org/boards/9/topics/4815

Zwei über I2C ansteuerbare Servos wären schon eine schicke Erweiterung für den TX in Verbindung mit der PixyCam.

Eine I2C Servo Ansteuerung gibt es natürlich auch als eigenes Modul, z.B. http://www.exp-tech.de/adafruit-16-chan ... e?___SID=U

Hab gerade mal in die (open) Sourcen der PixyCam (https://github.com/charmedlabs/pixy) geschaut:
Das setzen der Servo Auslenkungen geschieht wohl in Funktion handleRecv in https://github.com/charmedlabs/pixy/blo ... gblobs.cpp
Falls dort eine 16bit Sync-Kennung und darauf folgend zwei weiter 16-bit Worte folgen werden die als die beiden Servo-Auslenkungen gedeutet und eingestellt.
Leider ist die I2c Spezialisierungen von Iserial::receiveLen() und Iserial::receive(...) nicht implementiert (https://github.com/charmedlabs/pixy/blo ... /iserial.h und https://github.com/charmedlabs/pixy/blo ... xy/i2c.cpp), auch scheint der I2c::slaveHandler nicht für den Empfang von Daten vorbereitet zu sein (nirgends ein Zugriff auf die Receive Queue I2c::m_rq zu sehen).
Naja, das ist wohl nicht mal eben gemacht .... aber vielleicht hat ja jemand Lust und Zeit?

Beste Grüße,
Helmut

[Dirk Fox]

Hallo Helmut,

tatsächlich ist das mit einer Erweiterung des I²C-Protokolls der Pixy gar nicht so einfach - die haben da ein ziemlich rudimentäres "Ding" konstruiert: die Pixy sendet wild los, es gibt nicht einmal ein Command-Register (oder wenigstens Kommandos); der TX geht einfach in den "Lese"-Status und empfängt was er kriegt. Damit man keine Daten verliert, muss man den Bus offen halten; und die Synchronisation auf Block-Anfänge muss der TX organisieren. Eigentlich eine komplette Umkehrung des Master-Slave-Verhältnisses...

Geschuldet ist das wahrscheinlich der hohen Frame- und Objekt-Erkennungs-Rate; wie wir in der ft:pedia gezeigt haben, lassen sich (und das auch nur theoretisch) beim TX höchstens 50 Blöcke je Frame über die 400 kHz des I²C-Busses einlesen (obwohl die Pixy über 120 Objekte je Frame identifizieren kann). Wenn man das Protokoll komplexer macht, kann man noch weniger Blöcke übertragen.

Wahrscheinlich ist es cleverer, nicht das Protokoll zu verändern, sondern tatsächlich einen separaten I²C-Servo-Controller anzuschließen - dann empfängt man entweder Objekt-Blöcke mit bestmöglicher Übertragungsrate, oder man steuert den Servo (beides benötigt man wahrscheinlich nie gleichzeitig).

Beste Grüße,
Dirk

[hamlet]

Hallo Dirk,
da hast Du wahrscheinlich recht. Mir war nicht ganz klar, wie primitiv (aber effektiv) das Protokoll ist.
Hab auch gerade euren klasse PixyCam Artikel in der ftpedia gelesen. Danke dafür.
Es wäre natürlich schön, die beiden Servo-Ausgänge nutzen zu können. Ein besseres Protokoll könnte die Pixy Cam erst nach einem expliziten Befehl in den Continuous-Burst-Data-Mode bis zum nächste i2c-Stop versetzen. Aber das ist schon ein größeres Projekt. Wer weiß, vielleicht liefert Charmed Labs da ja noch was ... Schau'n mer mal ... So viel Aktivität gab's in den letzen Wochen ja nicht im PixyCam Source-Repository.
Beste Grüße,
und guten Rutsch!
Helmut

[funmca]

Vielen Dank für die Forschungsarbeit ! Bin seit gestern dazu gekommen, mit der Pixy gem. ft-pedia zu experimentieren, es funktioniert sehr gut!

Jetzt überlege ich mir mal was der Roboter so alles machen soll, stoße grad an die Grenzen der Motoranschlüsse beim TX.....

Liebe Grüße aus Hannover!

[Dirk Fox]

Ha, toll, Marco,
und vielen Dank für's Nachbauen und Weiterexperimentieren!

Ist noch jemand vom "Pixy-Virus" infiziert?
Wir sind schon sehr gespannt auf Eure Modelle...

Beste Grüße,
Dirk

P.S.: Wer es in der ft:pedia noch nicht gesehen hat: Der RoboPro-Pixy-Treiber steht seit Heiligabend im Downloadbereich der ft:c bereit.

[DirkW]

Hallo Marco,

das freut uns. Endlich "lernt" Fischertechnik sehen.
Der Treiber von Dirk Fox ist sehr umfangreich, da kannst du dich mit der Pixy-Cam austoben.

Viele Grüße
Dirk

[hamlet]

Hallo Pixy-Fans,
Charmed Labs hat eine neue PixyMon-SW (2.0.4) samt neuer Pixy-Firmware (2.0.5) herausgebracht.
http://charmedlabs.com/default/?p=539
http://cmucam.org/projects/cmucam5/files

• Improved detection accuracy
• Simplified and effective color signature adjustments
• Improved button-teach method
• Improved implementation of color codes
• New features added to the serial interfaces
• Saving and loading of onboard Pixy parameters

...
New features added to the serial interfaces – many of you wanted to be able to control Pixy’s camera brightness/exposure as well as Pixy’s RGB LED from an Arduino. These controls have been added and are in the Arduino API. And we’ve added pan/tilt servo control to the UART and I2C interfaces in addition to the camera brightness and LED controls ...

Yeah!
Ich hab gestern bestellt ...
Beste Grüße,
Helmut