自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，后选定一个佳的区域作为牌照区域，并将其从图像中分离出来。

为了测试一个车牌识别系统识别率，需要将该系统安装在一个实际应用环境中，全天候运行24小时以上，采集至少1000辆自然车流通行时的车牌照进行识别，并且需要将车辆牌照图像和识别结果存储下来，以便调取查看。然后，还需要得到实际通过的车辆图像以及正确的人工识别结果。之后便可以统计出以下识别率：
识别速度决定了一个车牌识别系统是否能够满足实时实际应用的要求。一个识别率很高的系统，如果需要几秒钟，甚至几分钟才能识别出结果，那么这个系统就会因为满足不了实际应用中的实时要求而毫无实用意义。例如，在高速公路收费中车牌识别应用的作用之一是减少通行时间，速度是这一类应用里减少通行时间、避免车道堵车的有力保障。