Камера OpenMV-это небольшая плата микроконтроллера с низким энергопотреблением, которая позволяет легко реализовывать приложения с использованием машинного зрения в реальном мире. Вы программируете камеру OpenMV в скриптах Python высокого уровня (любезно предоставлено МикропитонОперационной системы) вместо C/C ++. Это облегчает работу со сложными выходными данными алгоритмов машинного зрения и работу с высокоуровневой структурой данных. Но у вас все еще есть полный контроль над вашей камерой OpenMV и ее контактами ввода/вывода на Python. Вы можете легко запускать съемку фотографий и видео о внешних событиях или выполнять алгоритмы машинного зрения, чтобы выяснить, как управлять выводами ввода/вывода.

Особенности камеры OpenMV:

Процессор RT1062 ARM Cortex M7, работающий на 600 MHz с SDRAM 32 МБ + 1 МБ SRAM и 16 МБ программы/флэш-памяти. Все контакты I/O выводятся 3,3 V и устойчивы к V. Процессор имеет следующие интерфейсы ввода/вывода:

• Высокоскоростной USB-C (480 МБ) интерфейс для вашего компьютера. Ваша камера OpenMV будет отображаться как виртуальный COM-порт и USB-накопитель при подключении.

  • 1.5A ток ограничен.

  • С фильтрацией EMI и защитой телевизоров.

• Разъем для карты μSD, способный считывать/записывать 25 МБ/с, что позволяет вашей камере OpenMV делать снимки и легко снимать средства машинного зрения с карты μSD.

  • С фильтрацией EMI и защитой телевизоров.

• Шина SPI, которая может работать до 60 МБ/с, что позволяет легко передавать данные изображения из системы на ЖК-экран или другой микроконтроллер.

• Шина I2C (до 1 Мб/с), Шина CAN (до 1 Мб/с) и асинхронная последовательная шина (TX/RX, до 20 Мб/с) для взаимодействия с другими микроконтроллерами и датчиками.

• 12-битный ADC (3,3 V толерантный).

• Три контакта ввода/вывода для сервоуправления.

• Один вывод ввода/вывода для синхронизации/запуска кадра (или сервоуправления).

• Встроенный RTC, который продолжает работать, когда система находится в режиме низкого энергопотребления (Система потребляет менее 30 у. Е. В режиме низкого энергопотребления).

  • Один вывод ввода/вывода для пробуждения с низким энергопотреблением.

  • Есть также контакт для поддержки кнопки включения/выключения питания устройства.

• Прерывания на всех контактах ввода/вывода (на плате 14 контактов ввода/вывода).

  • С фильтрацией EMI и защитой телевизоров.

• Управляемый/регулируемый пользователем RGB светодиодный.

• Другой RGB светодиодный для зарядки, питания USB, индикации мощности VIN.

• 32 МБ внешнего 16-битного SDRAM работает с тактовой частотой 160 MHz для пропускной способности 320 MB/s.

• 16 МБ программы/памяти quadspi флэш-памяти с тактовой частотой 133 МГц в режиме 4-битного др для полосы пропускания 66 МБ/с (скорость чтения).

• 12-битный акселерометр X/Y/Z (2/4/8g), расположенный под модулем камеры.

• Встроенный модуль Wi-Fi (a/b/g/n - 11/54/65 Мб/с) и Bluetooth (v5.1-br/EDR/BLE) с чип-антенной.

  • Возможность использовать U. Антенна FL вместо.

• Встроенный 10/100 Mb/s Ethernet

  • Разъем Ethernet с поддержкой PoE через внешний экран.

• Надежная поддержка защищенного элемента криптографической аутентификации через se050c1hq1.

Система съемных модулей камеры, позволяющая OpenMV Cam RT1062 взаимодействовать с различными датчиками:

• OpenMV Cam RT1062 поставляется с датчиком изображения OV5640, способным принимать изображения 2592x1944 (5MP). Самые простые алгоритмы будут работать около 40 кадров в секунду на разрешениях QVGA (320x240) и ниже. Если вы хотите использовать более специализированные линзы с датчиком изображения, вы можете легко купить и прикрепить их самостоятельно.

• Для профессиональных приложений машинного зрения вы можете купить наш Глобальный модуль камеры затвора.

• Для тепловых приложений машинного зрения вы можете купить наш модуль адаптера FLIR Lepton.

• Разъем для Липо-аккумулятора, совместимый с Липо-аккумуляторами 3,7 V, обычно продаваемыми в Интернете для роботов-любителей, с поддержкой зарядки аккумулятора через USB.

  • 100 ток быстрой зарядки mA

  • С защитой телевизоров.

• 10-контактный заголовок JTAG, совместимый с устройствами SEGGER J-Link для отладки и программирования.

  • С фильтрацией EMI и защитой телевизоров.

• Внешний 5 В VIN с защитой от обратного питания.

  • С защитой телевизоров.

Применение

Камера OpenMV используется для следующие вещи в настоящее время (больше в будущем):

• TensorFlow Lite для поддержки микроконтроллеров

• • Поддержка TensorFlow Lite позволяет запускать пользовательские модели классификации и сегментации изображений на борту вашей камеры OpenMV. С поддержкой TensorFlow Lite вы можете легко классифицировать сложные области, представляющие интерес, и управлять выводами ввода/вывода на основе того, что вы видите. См. Модуль TensorFlow для получения дополнительной информации.

  • Кулачок OpenMV имеет краевую импульсную интеграцию для легкого обучения моделей тензорфлоу Lite в облаке. Используя OpenMV IDE и Edge Impulse, вы можете легко обучить модель в15 минут!Вот видео, показывающее, как это работает.

• Разница в раме

• • Вы можете использовать разницу кадров на своей камере OpenMV для обнаружения движения в сцене, глядя на то, что изменилось. Разница кадров позволяет использовать камеру OpenMV для приложений безопасности. Ознакомьтесь с видео этой функции здесь.

• Отслеживание цвета

• • Вы можете использовать камеру OpenMV для обнаружения до 16 цветов одновременно на изображении (реалистично, вы никогда не захотите найти больше 4), и каждый цвет может иметь любое количество различных капель. Ваша камера OpenMV сообщит вам положение, размер, Центроид и ориентацию каждого шарика. Используя отслеживание цвета, вашу камеру OpenMV можно запрограммировать на такие вещи, как отслеживание солнца, отслеживание линии, отслеживание цели и многое, многое, многое другое. Демонстрационное видео здесь.

  

• Отслеживание маркеров

• • Вы можете использовать камеру OpenMV для обнаружения групп цветов вместо независимых цветов. Это позволяет создавать создатели цветов (2 или более цветных тегов), которые можно наносить на объекты, позволяя вашей камере OpenMV понять, что такое помеченные объекты. Демонстрационное видео здесь.

  

• Распознавание лиц

• • Вы можете обнаруживать лица с помощью камеры OpenMV (или любого общего объекта). Ваша камера OpenMV может обрабатывать каскады волосков для обнаружения общих объектов и поставляется со встроенным каскадом фронтальной грани и каскадом волосков глаз для обнаружения лиц и глаз. Видео-демонстрация здесь.

  
  

• Отслеживание глаз

• • Вы можете использовать отслеживание глаз с помощью камеры OpenMV, чтобы обнаружить чей-то взгляд. Затем вы можете, например, использовать его для управления роботом. Отслеживание глаз определяет, куда смотрит зрачок, по сравнению с обнаружением, есть ли на изображении глаз.

• Обнаружение человека

• • Вы можете обнаружить, есть ли человек в поле зрения, с помощью нашей встроенной модели тензорфлоу-детектора человека. Демонстрационное видео здесь.

  

• Оптический поток

• • Вы можете использовать оптический поток для определения трансляции того, на что смотрит ваша камера OpenMV. Например, вы можете использовать оптический поток на Квадрокоптер, чтобы определить, насколько он устойчив в воздухе. Смотрите видео этой функции здесь.

  

• Обнаружение/декодирование кода QR

• • Вы можете использовать камеру OpenMV для чтения QR-кодов в ее поле зрения. С обнаружением/декодированием кода QR вы можете создавать умных роботов, которые могут читать этикетки в окружающей среде. Вы можете посмотреть наше видео по этой функции здесь.

  

• Обнаружение/декодирование матрицы данных

• • OpenMV Cam H7 Plus также может обнаруживать и декодировать 2D штрих-коды матрицы данных. Вы можете посмотреть наше видео по этой функции здесь.

• Линейное декодирование штрихкода

• • OpenMV Cam H7 Plus также может декодировать Линейные штрих-коды 1D. В частности, он может декодировать штрих-коды EAN2, EAN5, EAN8, UPCE, ISBN10, UPCA, EAN13, ISBN13, I25, DATABAR, DARABAR_EXP, CODABAR, CODE39, CODE93 и code128. Вы можете посмотреть наше видео по этой функции здесь.

  

• Отслеживание AprilTag

• • Даже лучше, чем QR-коды выше, OpenMV Cam H7 Plus также может отслеживать AprilTags. AprilTags-это вращающиеся, масштабные, сдвиговые и световые инвариантные современные фидукальные маркеры. У нас есть видео об этой функции здесь.

  

• Обнаружение линии

• • Бесконечное Обнаружение линии может быть выполнено быстро на вашей камере OpenMV со скоростью, близкой к максимальным кадрам в секунду. И вы также можете найти сегменты линий не бесконечной длины. Вы можете посмотреть наше видео об этой функции здесь. Кроме того, мы поддерживаем Запуск линейной регрессии на изображении для использования в приложениях, следующих за линией, таких как этот робот своими руками.

  

• Определение круга

• • Вы можете использовать OpenMV Cam H7 Plus, чтобы легко обнаруживать круги на изображении. Убедитесь сами в этом видео.

  

• Обнаружение прямоугольника

• • Камера OpenMV H7 Plus также может обнаруживать прямоугольники, используя код четырехъядерного детектора нашей библиотеки AprilTag. Посмотрите видео здесь.

  

• Соответствие шаблонов

• • Вы можете использовать шаблон, соответствующий вашей камере OpenMV, чтобы определить, когда в поле зрения находится переведенное предварительно сохраненное изображение. Например, сопоставление шаблонов можно использовать для поиска реперов на печатной плате или чтения известных цифр на дисплее.

  

• Захват изображения

• • Вы можете использовать камеру OpenMV для захвата изображений в оттенках серого/RGB565 BMP/JPG/PPM/PGM. Вы напрямую управляете тем, как изображения захватываются в сценарии Python. Самое главное, вы можете предварительно сформировать функции машинного зрения и/или нарисовать кадры перед их сохранением.

  

• Запись видео

• • Вы можете использовать камеру OpenMV для записи видео в формате MJPEG до оттенков серого/RGB565 или GIF-изображений (или необработанного видео). Вы напрямую контролируете, как каждый кадр видео записывается в сценарии Python, и имеете полный контроль над тем, как начинается и заканчивается Запись видео. И, как и при съемке изображений, вы можете предварительно формировать функции машинного зрения и/или рисовать видеокадры перед их сохранением.

  Наконец, все вышеперечисленные функции могут быть смешаны и сопоставлены в вашем собственном пользовательском приложении вместе с управлением выводами ввода/вывода для связи с реальным миром.