ESP32 Car with Visual Recognition(微型智能驾驶沙盘)

阿加犀智能科技RoboHub开源项目ROS 2OpenCVESP32QCS8550

产品参数 · 内容说明

微型智能驾驶沙盘:基于高通计算平台、AidLux 融合系统、ROS2 与 ESP32 智能小车,涵盖环境感知、运动控制、行为决策三大自动驾驶核心模块,可在定制沙盘中自主运行。

产品参数 · 基本信息

项目内容
产品名称ESP32 Car with Visual Recognition(微型智能驾驶沙盘)
产品定位微型智能驾驶系统 / 自动驾驶教学与研究演示平台
开发团队APLUX 阿加犀(GitHub:APLUX-Official,Arduino:aplux)
难度等级中级(Intermediate)
分类Motors & Robotics(电机与机器人)
开源协议Apache License 2.0
项目案例页https://projecthub.arduino.cc/aplux/esp32-car-with-visual-recognition-3ef17b

产品参数 · 控制系统:犀牛派 Rhino Pi-X1(高通 QCS8550)

类别参数
AI 性能~48 TOPS INT8
CPU1× Kryo Prime @ 3.2GHz + 2× Kryo Gold @ 2.8GHz + 3× Kryo Silver @ 2.0GHz
GPUAdreno 740,3000 GFLOPS(3 TFLOPS)
内存16GB LPDDR5x(默认)/ 24GB LPDDR5x(可选)
连接性Wi-Fi 6、蓝牙 5.1、局域网
电源DC 12V / 24V 3A

产品参数 · 智能车端

组成说明
微处理器ESP32
感知摄像头(RGB 图像采集与视频流传输)
驱动电机驱动模块(坦克式运动控制)
通信Wi-Fi

产品参数 · 软件环境

  • 操作系统:AidLux(Android 14 + Ubuntu 22.04)或 Ubuntu 22.04
  • 开发工具:ROS2、OpenCV(计算机视觉)、C++ / Python、ADB(设备通信)、QtScrcpy(屏幕镜像)
  • 上位机环境:Ubuntu 22.04 + ROS 2 Humble;构建工具 colcon

产品参数 · 系统架构(分层分布式)

  • 感知层(车端):通过摄像头实时采集环境数据
  • 决策层(中央控制系统):处理传感器数据并生成控制命令
  • 执行层(车端):接收命令并控制车辆运动

产品参数 · 核心模块

  • 通信模块:通过 Wi-Fi 实现车端与中央系统之间的数据交换
  • 传感器模块:采集 RGB 图像并将视频流传输至中央系统
  • 运动控制模块:解析速度指令并驱动电机
  • 视觉感知模块:检测车道线、斑马线、红绿灯和停止线
  • 决策规划模块:有限状态机(FSM)生成控制行为
  • 控制指令生成模块:将控制行为转换为速度指令

产品参数 · 功能特性

  • 实时环境感知:车道线检测(ROI 提取 → 颜色阈值 → 去噪 → 轮廓 → 计算中心点/偏移量)、斑马线识别(黄色区域)、红绿灯识别(红/绿)、终点线检测(蓝色区域)
  • 分布式控制架构:感知、决策、执行层分离
  • 双语言实现:提供 C++ 与 Python 两套代码
  • ROS2 集成:话题与服务机制,模块化设计
  • 自定义通信协议:针对 ESP32 智能车优化的视频流与 UDP 控制协议

产品参数 · 通信协议

通道协议 / 地址
视频流HTTP / MJPEG:http://192.168.4.1:81/stream
控制命令UDP:192.168.4.1:9000(二进制数据格式)

产品参数 · 快速启动(摘要)

# 1. 编译(ROS2 Humble 环境)
colcon build
. install/setup.bash

# 2. 启动系统
ros2 launch tank_bringup tank_bringup.launch.py

# 3. 服务调用:rqt -> Plugins -> service caller -> toggle(0 改为 1)后调用

产品参数 · 说明

本页参数依据官方 README 与 Arduino Project Hub 项目页整理,如有更新以官方发布为准。

BOM清单 · 内容说明

基于高通平台与 ROS2 的微型智能驾驶沙盘项目,可采购硬件 / 配件清单。 > > - 整理依据:官方 README 与 Arduino Project Hub 项目页 > - 未提供链接的条目请按型号 / 规格自行选购

BOM清单 · 一、可购买硬件 / 配件

※ 该采购链接整理自官方仓库 XLerobot-X1 的物料清单(Materials_List.md),仅供参考。 > 注:3D 打印耗材(如 PLA 等)需自备,官方未标注具体型号。

序号物料名称型号 / 规格数量参考链接
1ESP32 智能车(整机 / 套件)集成 ESP32 微处理器、摄像头、电机驱动模块、Wi-Fi1—
2犀牛派 Rhino Pi-X1高通 QCS8550 边缘计算平台,单机标配 16G LPDDR5x + 128GB UFS3.11点击购买:https://item.taobao.com/item.htm?abbucket=13&id=951866832556&mi_id=0000ssI9zaNOXxKsBad01WzrHauwySVqxASVYO_63G8Tf_0&ns=1&priceTId=2147802d17695019011647388e0fcf&skuId=6036942883207&spm=a21n57.1.hoverItem.1&utparam=%7B%22aplus_abtest%22%3A%22783a3debf3a35ec33a7ba0d7603c85d1%22%7D&xxc=taobaoSearch ※
3沙盘 / 赛道环境含车道线、斑马线、停止线、红绿灯的道路系统(可自制或定制)1 套—
43D 打印件(车壳、底盘等)模型文件随官方仓库开源,可自行打印1 套模型目录:https://github.com/APLUX-Official/ESP32-Car-with-Visual-Recognition/tree/main/3D%20printing%20files

BOM清单 · 二、官方器件清单(Arduino Project Hub)

类别名称数量
硬件3D Printed parts(3D 打印件)1
硬件Qualcomm Dragonwing™ QCS85501
工具个人电脑(Personal Computer)1
软件ROS 2 Humble1
软件Ubuntu 22.041

开源协议与链接 · 一、开源协议

适用对象开源协议说明
项目(整体)Apache License 2.0(Apache-2.0)来源:Arduino Project Hub 项目页许可标注(license_type: Apache License 2.0)。注:GitHub 仓库当前未附带 LICENSE 文件,再分发 / 二次开发请遵循 Apache-2.0 条款

开源协议与链接 · 二、相关链接

类型链接
项目仓库(GitHub)https://github.com/APLUX-Official/ESP32-Car-with-Visual-Recognition
项目案例页(Arduino Project Hub)https://projecthub.arduino.cc/aplux/esp32-car-with-visual-recognition-3ef17b
项目演示视频https://youtu.be/VW9GyyRaVP8
安装教程视频https://youtu.be/0nSeEg7gBkg
3D 打印文件(仓库目录)https://github.com/APLUX-Official/ESP32-Car-with-Visual-Recognition/tree/main/3D%20printing%20files
3D 打印文件打包下载(官网)https://projects.arduinocontent.cc/d8cdca5e-cbeb-4f79-ab25-80c0d62d0228.zip
官方博客说明文档(PDF)https://projects.arduinocontent.cc/017c36c5-d443-49ca-9f68-8236eaf6d7c6.pdf
开发团队主页https://github.com/APLUX-Official