# 小车循迹与识别路口路标

**Repository Path**: liao-ruihao/Vehicle-Tracking-and-Recognition-of-Intersections-and-Road-Signs

## Basic Information

- **Project Name**: 小车循迹与识别路口路标
- **Description**: 基于残差神经网络与OpenCV的小车循迹与自动识别路口与路口标识
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-11-24
- **Last Updated**: 2024-11-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 残差神经网络, OpenCV, 小车循迹, 识别路口, 识别路标

## README

# 小车循迹与识别路口路标

#### 介绍
基于残差神经网络与OpenCV的小车循迹与自动识别路口与路口标识

1. 项目是OpenCV与残差神经网络分别实现小车循线行驶与自动识别路口与路口标识
2. 使用OpenCV的高斯模糊、二值化、获得矩、通过矩计算质心、通过质心计算小车下一步的偏移量来实现小车沿着地面的黑线行驶。
3. 使用残差神经网络训练小车拍摄的路面图像实现小车对路口、路标的识别。
4. 最终使得小车可以自动在预定的路线上行驶，在识别到路口时停下，并识别路标，决定下一个行驶方向。

- **材料：**
    - 优必选Ugot麦轮车、Python、标注工具
- **工作：**
    - 使用OpenCV实现小车循迹
    - 使用残差神经网络实现自动识别路口与路口标识

#### 代码架构
- **[dataset](https://gitee.com/liao-ruihao/VTRIS-data-set)** （在另外的库里）
    - image （原始图片）
    - label （标注类别）
- **train_cross.py**
    - 定义resnet网络训练模型，不同的任务模型本身要微调，比如是几分类。训练好的模型会保存在项目根目录。
- **test_one_pic.py**
    - 读取要测试的模型以及要测试的图片，返回模型分类结果。
- **detect_sign_and_cross_by_resnet18_and_follow_line_by_opencv.py**
    - 循迹部分使用的是OpenCV的质量矩来定位黑线中心
    - 路标识别以及路面识别是用残差神经网络实现的
- **[测试图片若干](https://gitee.com/liao-ruihao/VTRIS-data-set)**
- **resnet_biaoshi_multiclass.pth**
    - 训练好的路标识别模型
- **resnet_lane_detection_sign.pth**
    - 训练好的路口识别模型

#### 安装教程

1.  **git clone**
2.  **数据集准备**
    - 从 [dataset](https://gitee.com/liao-ruihao/VTRIS-data-set) 下载数据集、或使用自己的数据集、或使用代码中已准备好的模型
3.  **训练模型**
    - 使用train_cross.py训练，微调多少分类类别
4.  **下载代码到小车**
    - 拥有一台优必选Ugot麦轮车，安装好接口程序，连好wifi，运行detect_sign_and_cross_by_resnet18_and_follow_line_by_opencv.py

#### 小车运行代码说明

1.  **小车先是初始化了UGOT设备**
2.  **小车进入主循环不断巡线以及识别路口**
    - 实时识别路口方面
        - 加载模型
        - 读取摄像头画面，裁剪画面只要下半部分
        - 投入模型返回结果，识别到路口小车停止运动并跳入识别路标函数，没有识别到路口则跳过识别路标函数
            - 识别路标函数
                - 加载模型、读取全图、识别路标
            - 小车按识别结果转向
    - 寻线方面
        - 读图
        - 转OpenCV可以识别的uint8数据类型
        - 编码三通道
        - 重定义尺寸
        - 高斯模糊、二值化
        - 获得想要的视角
        - 获得矩、通过矩计算质心
        - 通过质心计算小车下一步的偏移量
        - 小车运动

#### 小车运行图像

![小车运行gif](./video/show.gif)

[有声视频展示](./video/show.mp4)


#### 参与贡献

1.  感谢优必选提供小车