Как работает система распознавания дорожных знаков

Наиболее распространенной причиной дорожно-транспортных происшествий является превышение скоростного режима. Это приводит не только к повреждению автомобилей, но и к серьезным последствиям для здоровья водителей и пассажиров. Одной из систем, разработанных для профилактики ДТП, является система распознавания дорожных знаков, которая помогает следить за допустимой скоростью и регулировать движение транспортного средства.

Что такое система распознавания дорожных знаков
Назначения и главные функции
Конструктивные элементы системы
Логика и принцип работы
Похожие разработки у разных автопроизводителей
Преимущества и недостатки

Что это за система?

Чтобы облегчить жизнь водителей, инженеры придумали довольно интересную систему для распознавания дорожных з наков. Ее главная задача состоит в предупреждении водителя о приближающемся дорожном знаке, перекрестке и так далее. Теперь у вас не будет возникать проблем и трудностей по поводу пропущенного знака.

Стоит отметить, что название системы может немного отличаться, все зависит от производителя и особенностей видения. Но, в общем, встречается аббревиатура TSR , которая расшифровывается как Traffic Sin Reconition . Применяется у таких производителей как Audi , Opel , BMW и многих других.

К небольшой особенности следует отнести компанию Opel . Дело в том, что система распознавания знаков сразу же внедряется в комплекс Opel Eye , что довольно удобно и практично. В 2010-м году подобная система получила большое количество положительных отзывов не только от экспертов, но и простых водителей. За все время существования системы уменьшилось количество дорожно-транспортных происшествий. В систему входит не только распознавание знаков и пешеходов, но и автоматическая парковка.

Что касается компании Mercedes — Benz , то здесь система имеет особенность в ограничении скоростного режима. Теперь водитель не сможет превышать положенную скорость, даже на несколько километров. Специалисты отмечают, что система может быть как самостоятельной, так и входить в целый комплекс по защите и предупреждению.

Системные компоненты

Зачастую любая вариация Traffic Sign Recognition от любой компании изготовителя состоит из типичного инструментария и оборудования. Это обуславливается необходимостью для функционирования любой системы такого рода наличия приборов одинакового характера, представленных:

специально предназначенной видеокамерой повышенной чувствительности;
дисплеем либо иного рода устройством, выводящим сведения системы для автовладельца;
блоком управления, выполняющим главную часть работы.

Видеокамеру размещают возле ветрового стекла внутри автомобильного салона. В ряде моделей, где такая система является встроенной в авто, камера может скрываться где-то под оконным стеклом либо, к примеру, в области уплотнителя. Направление камеры необходимо задавать такое, чтобы ей хорошо было видно обзор пространства перед машиной, на участках, где располагают дорожные знаки, вдоль дороги немного правее от трассы. В последующем снятое видео поступает для обработки на управляющий блок, микропроцессором которого осуществляется одновременный анализ содержимого. К тому же такую камеру применяют и иные разработки безопасности: в виде установки выявления пешехода на дороге и системы помощи передвижения в ряду либо по полосе при большом автомобильном потоке.

Принцип распознавания знаков

Так все же, как устроена система и принцип её работы. Как уже говорилось, камера на ветровом стекле это первое с чего начинается работа системы. Камера снимает путь перед автомобилем, как правило, эта зона по сторону переднего пассажира (зависит от направления движения) и вверху над водителем. Эта же камера может быть использована системой обнаружения пешеходов, или помощи движения по полосе.

После полученного изображения, информация передается на блок управления. В первом поколении блок управления простой и сравнивает полученные данные с уже существующими знаками в базе, если же знак распознан, то информация выводится водителю, в ином случае никакого действия не произойдет.

Второе поколение системы куда сложней. Полученные данные система не только перебирает, но и знак на изображении с камеры корректирует и подбирает разные комбинации возможных вариантов. Это говорит о том, что есть больше шансов распознать поврежденный или плохо просматриваемый знак. Так же во втором поколении операционка блока управления накладывает полученную информацию на карты навигации GPS и прорисовывает знаки, чтоб водитель не только слышал, но и видел возможные препятствия.

Стоит учесть, что система способна помнить действие нескольких знаков. Ведь часто бывает один знак еще не закончил зону действия, а второй также назначил свои правила.

Вывод предупреждения может осуществляться как на дисплей на панели приборов, так и на отдельный центральный дисплей вместе с картами навигации. Для примера система сравнит, какая скорость максимально допустима и насколько км/час вы превысили или же начнет информировать, если поехали на знак въезд запрещен.

Читать еще: Bentley Bentayga Mulliner 2018

Поговаривают, что третье поколение будет использовать правила движения по знакам и в случае грубого нарушения давать водителю советы как избежать нарушения и как правильно сделать. Ведь часто бывает, что новички водители без практики попросту нарушают самые простые правила по знакам.

Видео принципа работы системы распознавания дорожных знаков:

Переход к нейронным сетям

После того, как выполнена предобработка данных, все генераторы готовы и датасет готов к анализу, мы можем перейти к обучению. Мы будем использовать двойную свёрточную нейронную сеть: STN (spatial transformer network) принимает на вход предобработанные батчи изображений из генератора и фокусируется на дорожных знаках, а IDSIA нейросеть распознает дорожный знак на изображениях, полученных от STN. Следующий пост будет посвящён этим нейросетям, их обучению, анализу качества и демо-версии их работы. Следите за новыми постами!

_{Слева: исходное предобработанное изображение. Справа: преобразованное STN изображение, которое принимает на вход IDSIA для классификации.}

Результаты

Шесть знаков успешно обманули систему распознавания утром, днём и вечером.
Четыре вызвали DoS – периодическое «зависание» системы в течение минуты. Этот неожиданный результат нас удивил, и мы считаем это успешной атакой.

SMART Range, Sde Teiman, Be’er Sheva, Israel

Команда HARMAN устанавливает тестовый трек в SMART Range, Israel Состязательный знак в 100 км/ч успешно классифицирован как 120км/ч.

Система распознавания дорожных знаков

Активная система поддержания дистанции DISTRONIC

Вы больше не захотите обходиться без комфорта активной системы поддержания дистанции DISTRONIC при плавном движении в колонне и при движении в пробках. Система разгружает Вас, автоматически регулируя скорость в зависимости от впереди идущих транспортных средств. Желаемая заданная дистанция регулируется в несколько ступеней.

Просто задайте желаемую скорость. После чего система помощи водителю будет постоянно ее поддерживать для Вас. В нормальном режиме движения Вам больше не нужно постоянно нажимать газ или тормоз, если этого требует движение перед Вами. Таким образом, в дороге Вы гораздо более расслаблены.

Активная система удержания полосы движения

Вернет Вас на Вашу полосу движения: активная система удержания полосы движения предупреждает Вас вибрацией рулевого колеса о непреднамеренном пересечении дорожной разметки. В случае опасности система может дополнительно активно вмешаться путем одностороннего торможения и вернуть Вас на Вашу полосу движения.

Приближения к встречному или параллельному транспорту могут быстро превратиться в потенциально опасные ситуации. Активная система удержания полосы движения может помочь избежать таких ситуаций, поддерживая Вас при удержании заданной полосы движения. В конечном счете путем активного одностороннего задействования тормозной системы. Это происходит, если система распознает, что Вы переехали сплошную линию или прерывистую линию при наличии встречного транспорта. Вы всегда имеете возможность управлять своим автомобилем самостоятельно: система не вмешивается, если Вы включаете указатель поворота, задействуете рулевое колесо, тормозите или ускоряетесь.

Активная система экстренного торможения

Активная система экстренного торможения помогает избежать столкновений с движущимися впереди или неподвижными автомобилями, а также пешеходами и велосипедистами. Для этого она, помимо предупреждения о сокращении безопасной дистанции и об угрозе столкновения, повышает прежде всего тормозное усилие в зависимости от ситуации – вплоть до автономного экстренного торможения.

Активная система экстренного торможения рассчитана на то, чтобы распознавать идущие впереди и стоящие автомобили, а также пешеходов и велосипедистов, находящихся в опасной зоне перед Вашим автомобилем. Функции оптимизированы для типичных скоростей движения по городу. Но и при более высоких скоростях система все еще может реагировать на автомобили, идущие медленнее. Цель заключается в предотвращении несчастных случаев или по крайней мере снижении степени их тяжести.

Система PRE-SAFE®

Система PRE-SAFE® использует с пользой для Вас время перед возможной аварией. Многочисленные меры могут снизить возникающие при этом нагрузки. Инновационная функция PRE-SAFE® Sound воспроизводит шум из динамиков, который может заставить сработать защитный рефлекс. Таким образом, за счет глушения шума, возникающего при аварии, снижается нагрузка на внутреннее ухо.

Система контроля «слепых» зон

Система контроля «слепых» зон внимательно следит за дорогой, в частности когда Вы включаете сигнал поворота. Она может предупредить визуально и акустически о боковом столкновении с другими участниками движения в «слепой» зоне. Даже по окончании движения система сохраняет бдительность и предупредит Вас, если Вы откроете дверь в неподходящий момент.

Читать еще: Система охлаждения двигателя

С системой контроля «слепых» зон Вы дополнительно получаете два встроенных радарных датчика в заднем бампере. Благодаря этому система может распознавать как автомобили, так и двухколесные транспортные средства в «слепой» зоне. В таком случае в соответствующем наружном зеркале заднего вида загорается красный знак аварийной остановки. Если дополнительно включается указатель поворота, система контроля «слепых» зон звуковым сигналом предупреждает Вас о возможном столкновении. Такое предупреждение помогает Вам безопасно справляться с такими типичными опасными ситуациями, как смена полосы движения, поворот и высадка при плавном параллельном движении.

Система распознавания дорожных знаков

Помогает Вам ориентироваться: благодаря эффективному сопоставлению данных камеры и картографического материала система распознавания дорожных знаков может регистрировать ограничения скорости, запрещение обгона, отменяющие их знаки и запреты на проезд, а также предупреждать о движении против направления движения.

Пакет вспомогательных систем

Отправьтесь в путь в автономном режиме: современнейшие системы поддерживают Вас в зависимости от ситуации при адаптации скорости, рулевом управлении, смене полосы движения и даже при опасности столкновения. Риск аварии снижается – пассажиры и участники движения эффективно защищены. Так Вы легко и безопасно прибудете на место.

Компоненты
Эксклюзивные компоненты или функции, которые доступны только в сочетании с пакетом систем помощи водителю, отмечены звездочкой (*):

Активная система поддержания дистанции DISTRONIC (233)
Активная система контроля за скоростными ограничениями* (546)
Расширенная функция автоматического трогания с места на автомагистралях*
Регулировка скорости с учетом маршрута с функцией экстренного торможения при приближении к дорожному затору*
Активный ассистент рулевого управления*
Активная система контроля перестроения*
Активная система помощи при экстренной остановке с функцией SOS*
Функция формирования аварийной полосы движения*
Активная система экстренного торможения
Функция поддержки при проезде поворотов и перекрестков*
Функция экстренного торможения при приближении к дорожному затору*
Ассистент объезда препятствий*
Активная система удержания полосы движения (238)
Активная система контроля «слепых зон»* (237)
Функция предупреждения при высадке из автомобиля
Функция предупреждения о пешеходах в зоне пешеходного перехода типа зебра*
Система PRE-SAFE® PLUS*

Пакет вспомогательных систем Плюс

Пакет вспомогательных систем Плюс предлагает максимум комфорта и безопасности на пути к автоматизированному вождению. Дополнительно к пакету вспомогательных систем Вы получаете активную систему помощи при движении в пробке, который идеально разгружает Вас на автомагистралях. Дополнительным преимуществом пакета является то, что при боковом столкновении, спровоцированном другим участником дорожного движения, защиту обеспечит система PRE-SAFE® Impuls Side.

Эксклюзивные компоненты и функции пакетов вспомогательных систем отмечены одной звездочкой (*); эксклюзивные компоненты и функции пакета вспомогательных систем Плюс отмечены двумя звездочками (**):

Активная система поддержания дистанции DISTRONIC (233)
Система предупреждения о скоростных ограничениях* (546)
Расширенная функция автоматического трогания с места на автомагистралях*
Регулировка скорости с учетом маршрута с функцией распознавания начала пробки*
Активная система помощи при движении в пробке**
Активная система помощи в рулевом управлении*
Активная система помощи при экстренной остановке с SOS-функцией*
Функция обеспечения проезда для автомобилей спасательных служб*
Активная система экстренного торможения
Функция контроля поворота и контроля при приближении к перекрестку*
Функция экстренного торможения при распознавании начала пробки*
Система помощи в рулевом управлении при объездном маневре*
Активная система удержания полосы движения (238)
Активная система контроля «слепых» зон* (237)
Функция предупреждения при высадке
Система распознавания дорожных знаков (513)
Система PRE-SAFE® PLUS*
Система PRE-SAFE® Impuls Side** (292)

Документация

Этот пример использует:

В этом примере показано, как сгенерировать код CUDA® MEX для обнаружения дорожного знака и приложения для распознавания, которое использует глубокое обучение. Обнаружение дорожного знака и распознавание являются важным приложением для систем помощи водителю, помощи и предоставления информации к драйверу о дорожных знаках.

В этом примере обнаружения и распознавания дорожного знака вы выполняете три шага — обнаружение, Немаксимальное подавление (NMS) и распознавание. Во-первых, пример обнаруживает дорожные знаки на входном изображении при помощи сети обнаружения объектов, которая является вариантом сети You Only Look Once (YOLO). Затем перекрывающиеся обнаружения подавлены при помощи алгоритма NMS. Наконец, сеть распознавания классифицирует обнаруженные дорожные знаки.

Читать еще: Замена приёмной трубы глушителя

Сторонние предпосылки

Этот пример генерирует MEX CUDA и имеет следующие сторонние требования.

CUDA® включил NVIDIA® графический процессор и совместимый драйвер.

Для сборок неMEX, таких как статические, динамические библиотеки или исполняемые файлы, этот пример имеет следующие дополнительные требования.

Библиотека NVIDIA cuDNN.

Переменные окружения для компиляторов и библиотек. Для получения дополнительной информации смотрите Стороннее Оборудование (GPU Coder) и Подготовка Необходимых как условие продуктов (GPU Coder) .

Проверьте среду графического процессора

Используйте coder.checkGpuInstall Функция (GPU Coder) , чтобы проверить, что компиляторы и библиотеки, необходимые для выполнения этого примера, настраиваются правильно.

Обнаружение и сети распознавания

Сеть обнаружения обучена в среде даркнета и импортирована в MATLAB® для вывода. Поскольку размер дорожного знака относительно мал относительно того из изображения, и количество обучающих выборок в классе меньше в обучающих данных, все дорожные знаки рассматриваются как единый класс для того, чтобы обучить сеть обнаружения.

Сеть обнаружения делит входное изображение на 7 7 сетка. Каждая ячейка сетки обнаруживает дорожный знак, если центр дорожного знака находится в пределах ячейки сетки. Каждая ячейка предсказывает две ограничительных рамки и оценки достоверности для этих ограничительных рамок. Оценки достоверности указывают, содержит ли поле объект или нет. Каждая ячейка предсказывает на вероятности для нахождения дорожного знака в ячейке сетки. Итоговый счет является продуктом предыдущих баллов. Вы применяете порог 0,2 на этом итоговом счете, чтобы выбрать обнаружения.

Сеть распознавания обучена на тех же изображениях при помощи MATLAB.

trainRecognitionnet.m скрипт помощника показывает обучение сети распознавания.

Получите предварительно обученный SeriesNetwork

Загрузите сети обнаружения и распознавания.

Сеть обнаружения содержит 58 слоев включая свертку, текучий ReLU и полносвязные слоя.

Система распознавания дорожных знаков

Разработка программного обеспечения и электроники

Разработка системы распознавания дорожных знаков и разметки

Краткая информация

Одним из первых проектов нашей команды в области интеллектуальной обработки изображений была НИОКР по исследованию алгоритмов обработки видеопотоков в реальном времени с целью детекции и классификации дорожных знаков и определения дорожной разметки.
Целью НИОКР было получение научно-технического задела в рассматриваемой области и разработку технического прототипа системы распознавания дорожных знаков и разметки
К основной новизне системы относится способ определения наличия дорожной разметки.

Заказчик

Заказчик: Инициативный проект, поддержанный Федеральным государственным бюджетным учреждением «Фонд содействия развитию малых форм предприятий в научно-технической сфере»

Решение

В ходе данного проекта планировалось разработать интеллектуальное устройство оценки дорожной ситуации, встраиваемое в автомобиль.

Основными функциями устройства должны были стать автоматическое распознавание дорожных знаков и разметки по видеопотоку с фронтальной камеры для предупреждения аварийных ситуаций, возникающих по невнимательности водителя, например, из-за усталости.

Автоматическое распознавание объектов реального мира, таких как дорожные знаки и разметка – сложная и наукоемкая задача: разнообразие погодных условий, блики, смазывание из-за быстрого движения, несоответствие знаков и разметки ГОСТам и т.д. задает чрезвычайно высокие требования к «интеллектуальности» алгоритмов.

В рамках данного проекта специалистами ООО «НПП САТЭК плюс» были выполнены следующие виды работ:

1. Спроектирована структурная схема устройства, встраиваемого в автомобиль. Разработаны технические требования к такому устройству

2. Реализован алгоритм каскадной локализации дорожных знаков, являющийся расширением базового алгоритма, включенного в библиотеку компьютерного зрения OpenCV

3. Реализован алгоритм классификации пиктограмм знаков с помощью сверточной нейронной сети

4. Реализован алгоритм распознавания дорожной разметки с использованием разнообразных математических методов обработки изображений;.

Результаты

Прототип программного обеспечения и результаты его экспериментальной проверки на тестовых выборках, собранных в условиях реальных дорожных ситуаций.

Процент верно распознанной разметки — 86%; Процент ложных срабатываний — 15%; СКО – 0.14 м . Работа в реальном времени.

Реализация данного проекта заняла 12 мес. Разработка алгоритмов велась методом проб и ошибок, была собрана экспериментальная база, на которой проверялись различные алгоритмы стерео-зрения, распознавания направления и выделения плоскости дороги без разметки, варианты алгоритмов локализации (HistogramofGradients, эвристики) и классификации (SVM, нейросети и др), т.д. Разработка велась на языке C++ с применением библиотек OpenCV, Qt, mrpt и др. В настоящее время для продолжения проекта требуется финансовая и партнерская поддержка, следующим этапом проекта является доработка созданного программного обеспечения и разработка прототипа устройства, встраиваемого в автомобиль.