Contents
何を学習するのか?
ROS上でReal Senseを使うまでの手順
どんな情報が取得出来るのか?
取得した情報をどの様に使うのか?

インストール
UbuntuでIntel Realsense D415を使えるようにするまで(ROSあり・なし両方) – Qiita
IntelRealSense/realsense-ros: Intel(R) RealSense(TM) ROS Wrapper for D400 series, SR300 Camera and T265 Tracking Module
を参考にして、インストールを行う。
ROS Wrapper for Intel® RealSense™ Devices
ROS Topics D415
$ roslaunch realsense2_camera rs_camera.launch
$ rosnode list
/camera/realsense2_camera
/camera/realsense2_camera_manager
/rosout
$ rostopic list
/camera/color/camera_info
/camera/color/image_raw
/camera/color/image_raw/compressed
/camera/color/image_raw/compressed/parameter_descriptions
/camera/color/image_raw/compressed/parameter_updates
/camera/color/image_raw/compressedDepth
/camera/color/image_raw/compressedDepth/parameter_descriptions
/camera/color/image_raw/compressedDepth/parameter_updates
/camera/color/image_raw/theora
/camera/color/image_raw/theora/parameter_descriptions
/camera/color/image_raw/theora/parameter_updates
/camera/depth/camera_info
/camera/depth/image_rect_raw
/camera/depth/image_rect_raw/compressed
/camera/depth/image_rect_raw/compressed/parameter_descriptions
/camera/depth/image_rect_raw/compressed/parameter_updates
/camera/depth/image_rect_raw/compressedDepth
/camera/depth/image_rect_raw/compressedDepth/parameter_descriptions
/camera/depth/image_rect_raw/compressedDepth/parameter_updates
/camera/depth/image_rect_raw/theora
/camera/depth/image_rect_raw/theora/parameter_descriptions
/camera/depth/image_rect_raw/theora/parameter_updates
/camera/extrinsics/depth_to_color
/camera/realsense2_camera_manager/bond
/camera/rgb_camera/auto_exposure_roi/parameter_descriptions
/camera/rgb_camera/auto_exposure_roi/parameter_updates
/camera/rgb_camera/parameter_descriptions
/camera/rgb_camera/parameter_updates
/camera/stereo_module/auto_exposure_roi/parameter_descriptions
/camera/stereo_module/auto_exposure_roi/parameter_updates
/camera/stereo_module/parameter_descriptions
/camera/stereo_module/parameter_updates
/diagnostics
/rosout
/rosout_agg
/tf
/tf_static
ROS Topics T265
$ roslaunch realsense2_camera rs_t265.launch
$ rostopic list
/camera/accel/imu_info
/camera/accel/sample
/camera/gyro/imu_info
/camera/gyro/sample
/camera/odom/sample
/camera/realsense2_camera_manager/bond
/camera/tracking_module/parameter_descriptions
/camera/tracking_module/parameter_updates
/diagnostics
/rosout
/rosout_agg
/tf
/tf_static
Darknet
YOLO v3による一般物体認識をROS上で試してみた – OGIMOノート ~家族のためのモノづくり~
を参考に darknet_ros と連携で試す。
$ cd catkin_ws2/src/darknet_ros
$ emacs darknet_ros/config/ros.yam
subscribers:
camera_reading:
topic: /image_raw
queue_size: 1
actions:
camera_reading:
name: /darknet_ros/check_for_objects
publishers:
object_detector:
topic: /darknet_ros/found_object
queue_size: 1
latch: false
bounding_boxes:
topic: /darknet_ros/bounding_boxes
queue_size: 1
latch: false
detection_image:
topic: /darknet_ros/detection_image
queue_size: 1
latch: true
image_view:
enable_opencv: true
wait_key_delay: 1
enable_console_output: true
画像の参照元をRealSenseのRGBカメラにする。
topic: /image_raw
to
topic: /camera/color/image_raw
# D415起動 terminal 1
$ roslaunch realsense2_camera rs_camera.launch
# Darknet起動 terminal 2
roslaunch darknet_ros darknet_ros.launch
YOLOの認識結果とRealSense距離計測
YOLO v3による一般物体認識をROS上で試してみた – OGIMOノート ~家族のためのモノづくり~ によると
深度画像 は /camera/aligned_depth_to_color/image_raw で取得出来る
このtopicは align_depth:=true により拡張される
$ roslaunch realsense2_camera rs_camera.launch align_depth:=true
この引数で起動した際の ROS topic は以下のようになる
$ rostopic list
/camera/aligned_depth_to_color/camera_info
/camera/aligned_depth_to_color/image_raw
/camera/aligned_depth_to_color/image_raw/compressed
/camera/aligned_depth_to_color/image_raw/compressed/parameter_descriptions
/camera/aligned_depth_to_color/image_raw/compressed/parameter_updates
/camera/aligned_depth_to_color/image_raw/compressedDepth
/camera/aligned_depth_to_color/image_raw/compressedDepth/parameter_descriptions
/camera/aligned_depth_to_color/image_raw/compressedDepth/parameter_updates
/camera/aligned_depth_to_color/image_raw/theora
/camera/aligned_depth_to_color/image_raw/theora/parameter_descriptions
/camera/aligned_depth_to_color/image_raw/theora/parameter_updates
/camera/color/camera_info
/camera/color/image_raw
/camera/color/image_raw/compressed
/camera/color/image_raw/compressed/parameter_descriptions
/camera/color/image_raw/compressed/parameter_updates
/camera/color/image_raw/compressedDepth
/camera/color/image_raw/compressedDepth/parameter_descriptions
/camera/color/image_raw/compressedDepth/parameter_updates
/camera/color/image_raw/theora
/camera/color/image_raw/theora/parameter_descriptions
/camera/color/image_raw/theora/parameter_updates
/camera/depth/camera_info
/camera/depth/image_rect_raw
/camera/depth/image_rect_raw/compressed
/camera/depth/image_rect_raw/compressed/parameter_descriptions
/camera/depth/image_rect_raw/compressed/parameter_updates
/camera/depth/image_rect_raw/compressedDepth
/camera/depth/image_rect_raw/compressedDepth/parameter_descriptions
/camera/depth/image_rect_raw/compressedDepth/parameter_updates
/camera/depth/image_rect_raw/theora
/camera/depth/image_rect_raw/theora/parameter_descriptions
/camera/depth/image_rect_raw/theora/parameter_updates
/camera/extrinsics/depth_to_color
/camera/realsense2_camera_manager/bond
/camera/rgb_camera/auto_exposure_roi/parameter_descriptions
/camera/rgb_camera/auto_exposure_roi/parameter_updates
/camera/rgb_camera/parameter_descriptions
/camera/rgb_camera/parameter_updates
/camera/stereo_module/auto_exposure_roi/parameter_descriptions
/camera/stereo_module/auto_exposure_roi/parameter_updates
/camera/stereo_module/parameter_descriptions
/camera/stereo_module/parameter_updates
/diagnostics
/rosout
/rosout_agg
/tf
/tf_static
topicsの確認
$ rqt_image_view

RGB画像 /camera/color/image_raw
深度画像 /camera/aligned_depth_to_color/image_raw
の座標が連動している事が確認出来ます。
深度画像から距離を計算するのは次のサイトの考え方が参考になります。
ROSによる画像処理(Python, Kinect版) | ロボット理工学科 演習
YOLO v3による一般物体認識をROS上で試してみた – OGIMOノート ~家族のためのモノづくり~ のサイトにあるサンプルを実行してみます。
$ catkin_create_pkg yolo_depth rospy cv_bridge
Created file yolo_depth/CMakeLists.txt
Created file yolo_depth/package.xml
Created folder yolo_depth/src
Successfully created files in /home/max/catkin_ws2/src/yoshimax/yolo_depth. Please adjust the values in package.xml.
$ cd yolo_depth/
$ mkdir script
$ cd script
$ emacs cv_yolo_depth.py
YOLO v3による一般物体認識をROS上で試してみた – OGIMOノート ~家族のためのモノづくり~ のサイトにあるサンプルをコピーして保存します。
Person だとテストが大変なので、認識をbottleに変更して実行してみます。
# terminal 1
$ roslaunch realsense2_camera rs_camera.launch align_depth:=true
# terminal 2
$ roslaunch darknet_ros darknet_ros.launch
$ chmod 755 cv_yolo_depth.py
$ cd ~/catkin_ws2
$ source ./devel/setup.bash
$ rosrun yolo_depth cv_yolo_depth.py
結果は動画のような感じになります。
参考サイト
UbuntuでIntel Realsense D415を使えるようにするまで(ROSあり・なし両方) – Qiita
RealSense D435(距離計測カメラ) & T265(自己位置認識カメラ) をROS上で動かした – OGIMOノート ~家族のためのモノづくり~
YOLO v3による一般物体認識をROS上で試してみた – OGIMOノート ~家族のためのモノづくり~
ROSによる画像処理(Python, Kinect版) | ロボット理工学科 演習
Software Engineer #Unity #iOS