На сегодняшний день технологии дополненной реальности (Augmented Reality, или AR) и компьютерного зрения (Computer Vision) постепенно меняют правила игры в сфере современной автоматизации. Они позволяют принципиально по-иному взглянуть на взаимодействие человека и окружающего мира и увеличить эффективность работы специалистов. Например, в сфере промышленной автоматизации мобильные устройства приобретают функции, позволяющие обеспечивать диагностику и контроль состояния промышленного оборудования в режиме реального времени путем совмещения объекта мониторинга и картинки с камеры устройства со вспомогательной информацией (текстом, графикой или видео).
«РТСофт» имеет большой практический опыт разработки приложений с использованием дополненной реальности и компьютерного зрения.
Примеры использования технологий дополненной реальности:
- Умный помощник для инженера технической поддержки
- Транспортная информационно-развлекательная система RTSReality
- Применения в Автомобильной индустрии
- Ассистент для работников складских помещений
-
Наличие объектов со сложным промышленным оборудованием требует наличия специально обученных работников, способных справиться с различными аварийными ситуациями. Обучение большого количества узких специалистов, как правило, не рентабельно, а чтение больших объемов руководств приводит к снижению эффективности отработки проблемных ситуаций. В результате использование оборудования может быть неверным, а повреждения и потери сказываются на качестве продукции.
Решение RTSReality позволяет преодолеть эту ситуацию, предлагая специалистам помощь в работе путем вывода на мобильных устройствах результатов техосмотра аппаратуры, подсветки проблемных приборов или их деталей, отображения необходимых инструкций для устранения проблем и т. д. Такой подход позволяет уменьшить количество ошибок, повысить производительность и обеспечить контроль над персоналом.
-
Команда Центра программных разработок разработала информационно-развлекательную систему с использованием технологии дополненной реальности. Система устанавливалась на туристические автобусы и обеспечивала следующий функционал:
- распознавание достопримечательностей (Points of Interest или PoI) в режиме реального времени с видеопотока, поступающего из нескольких камер, расположенных на автобусе;
- наложение дополнительной информации (текст, изображения, видео) на достопримечательности в режиме реального времени;
- вывод видеопотока на мобильные устройства (смартфоны, планшеты) с использованием беспроводной сети внутри транспортного средства;
- интеграция с GIS.
-
Наши алгоритмы Computer Vision и Augmented Reality были использованы в демонстрационном стенде автомобиля будущего одной из компаний автомобильной индустрии. Командой разработчиков был реализован следующий функционал из области Advanced Driver-Assistance Systems (ADAS):
- распознавание препятствий (пешеходов, впереди идущие автомобили), дорожных знаков, светофоров, достопримечательностей с передней камеры в режиме реального времени с использованием нейронных сетей;
- управление пользовательскими интерфейсами с помощью жестов (распознавание руки и жестов);
- контроль за вниманием водителя с использованием технологий отслеживания направления зрачков глаз;
- отслеживание расположения головы водителя для совмещения взгляда с проекцией дополненной реальности на лобовое стекло автомобиля, выступающего в качестве Head-Up Display.
-
При работе в складских помещениях со сложной навигацией время сбора и доставки сборного груза может быть существенно оптимизировано, если у работников будет умный ассистент, который в режиме реального времени сможет аккумулировать и сообщать текущую ситуацию.
Основной функционал для умного ассистента:
- совместное использование с умными очками (например, EPSON-BT300);
- позиционирование внутри помещения без специальных меток (только используя обычную веб-камеру);
- навигация внутри склада;
- интеграция с WMS для отслеживания и сбора заказов.
- совместное использование с умными очками (например, EPSON-BT300);
Факты
- В нашей компании работают математики с профильным образованием Data Scientist
- Наша компания взаимодействует с ВУЗ-ми в части алгоритмической поддержки
- Мы разрабатываем собственные алгоритмы из областей Computer Vision и Machine Learning
- Мы занимаемся ускорением работы ПО (оптимизации, эвристики, компиляторы, FPGA ускорение, и т.д.)
Сервисы
- Разработка алгоритмов машинного обучения для распознавания образов и объектов
- Разработка алгоритмов с использованием нейронных сетей (в частности, Convolution Neural Networks)
- Разработка алгоритмов для компьютерной графики (real-time OpenGL трансформация)
- Оптимизация и ускорение работы алгоритмов по запросам заказчиков
наши работы
RTSReality для туристического бизнеса
Система обеспечивала функционал распознавания достопримечательностей и вывода информации о них на мобильные устройства внутри туристических автобусов для показа пассажирам.
RTSReality для автомобильной индустрии
Алгоритмы Computer Vision и Augmented Reality были использованы в демонстрационном стенде автомобиля будущего одной из компаний автомобильной индустрии.