Public:Graphical User Interface
Abstract
→redirect Further information: Public:ARHUDFM Manifesto
Augmented Reality Heald-Up Display Fullface Mask (ARHUDFM) is a complex device that is not easy to understand at a first look, because there are little relevant examples to compare. Therefore, we suggest that you first read the information on the Public:ARHUDFM Manifesto page at the link above.
This page describes the structure and contents of the GUI (Graphical User Interface) used in the ARHUDFM device.
For a brief description of the functions of each application, please see the Public:Applications page.
Interface description
Appearance
Left | Center | Right | |||
---|---|---|---|---|---|
LMMP | Left main menu fading pads | SBP | Status bar fading pads | RSBP | Right submenu fading pads |
LQMP | Left quick menu fading pads | CLW | Central left window | RQMP | Right quick menu fading pads |
LFSP | Left features sidebar fading pads | CRW | Central right window | RFSP | Right features sidebar fading pads |
LUW | Left Upper window | CWJP | Central window joystick pads | RUW | Right Upper window |
LTAW | Left Top A window | CWBP | Central window buttons pads | RTAW | Right Top A window |
LTBW | Left Top B window | RTBW | Right Top B window | ||
LBAW | Left Bottom A window | RBAW | Right Bottom A window | ||
LBBW | Left Bottom B window | RBBW | Right Bottom B window |
Features
Интерфейс предназначен для экрана устройства ARHUDFM с FOV 105°h and 33°v, имеет разрешение 2560px по ширине.
Нормальное стереоскопическое бинокулярное зрение человека составляет 180° по горизонтали, вверх 55°, вниз 60°. Если исключить важную для ситуационной осведомлённости зону периферического зрения, комфортным полем зрения, особенно если человек носит офтальмологические корректирующие очки, будет 110° по горизонтали, 25° вверх и 30° вниз. Поскольку обтюратор маски снизу является препятствием для обзора, поле зрение человека в маске снизу меньше обычного (тем не менее пилоты боевых самолётов имеют достаточный обзор). По горизонтали пользователь в маске имеет полный обзор всего поля, включая периферийную часть, что более важно.
Видимое поле проецируется LED лучами DLP проектора, предлагающего высокую контрастность и лучшую цветопередачу, с высоким откликом.
В отличие от вредного влияния синего участка спектра света (светлые цвета содержат много синего), излучаемого LED-экраном монитора или мобильного устройства, которое при длительном воздействии вызывает чувство усталости, головную боль и проблемы со сном, отражённый свет DLP проектора (и других типов проекторов тоже) не имеет таких недостатков. Кроме того в устройстве ARHUDFM принцип отображения интерфейса напоминает ночной режим (тёмный фон, светлые графические символы). Эти условия для пользователя создают возможность круглосуточной работы без напряжения.
Постоянный оптический фокус настроен на мнимое расстояние 1900 мм (75 in) от глаз пользователя, что предотвращает конфликт вергенции и аккомодации, чтобы глаза пользователя не уставали во время долгого использования. Никакие виртуальные зрительные объекты не имеют другой глубины изображения, точно так же, как если пользователь будет наблюдать экран дисплея на расстоянии 1900 мм одновременно с наблюдением остальной картины окружающей среды с фокусом, ориентированным на бесконечность. Это утверждение основано на многочисленных исследованиях и опытах разных лабораторий с большим числом респондентов.
Напряжение мышц глаза из-за близкого расстояния до рассматриваемого объекта вызывает усталость, в том числе является одной из причин развития близорукости. Напряжение мышц шеи и сутулость из-за необходимости длительное время фокусировать взгляд на неподвижной области обзора тоже является неблагоприятным фактором. Это касается всех случаев работы человека с экранами ноутбуков, мобильных устройств, чтения бумажных книг и документов.
Чтобы представить реальные видимые границы (не фокусное расстояние) экрана, сядьте перед экраном телевизора с диагональю 65" or 1440mm (57.3 inches x 32.9 inches) на расстоянии 22" or 550мм от глаз. Вы отчётливо видите правые и левые части экрана за счёт поворота глаз. Вам не нужно использовать периферическую часть зрения по краям, она остаётся полностью открыта благодаря широкому обзору визора устройства. Лишь только в нижней части при использовании обтюратора дыхательной системы устройства, поле зрение пользователя ограничено примерно на 20° (как в случае использования любого респиратора или при ношении большинства моделей очков).
Мы добавили эти комментарии, потому что большинство людей пока не имеет опыта использования подобных AR-устройств. Microsoft IVAS (Hololens 2) использует голографическую оптику, толстые линзы и FOV 43°h 28°v, Magic Leap имеет схожую на Micrisoft технологию и FOV 45°h 55°v. Apple Vision Pro является VR-устройством (непрозрачный LED дисплей), как Meta (Oculus) Quest, HTC Vive, SONY Playstation и др. Ни одна из данных технологий или устройств не похожа на ARHUDFM и при использовании в тактических задачах несёт много существенных рисков. More about it here.
Главная особенность устройств дополненной реальности в том, что человек может видеть только более светлые участки на более тёмном фоне экрана. Природа зрения в том, что человек видит не предметы, а отражённый от них свет. Т.е. может видеть контрастное изображение в затемнённом помещении (Microsoft использует тонированный визор) или ночью, но практически ничего не увидит на фоне яркого неба, в солнечный день, при сильном отражении от снега или стен зданий, при взгляде на солнце. Человек не сможет видеть тёмные участки на светлом фоне в принципе, так как это противоречит физике света (тёмные участки - это отсутствие света). В устройстве ARHUDFM эта проблема решена с помощью "умных окон" - интерфейс содержит 10 больших и 56 малых fading pads, которые в зависимости от окружающего освещения или выбранного пользователем режима мгновенно меняют свою прозрачность от 0% (непрозрачный чёрный) до 100% (полностью прозрачный).
Principles
Поскольку интерфейс устройства ARHUDFM имеет больше функций, чем обычно используется пользователями компьютеров и мобильных устройств, а особенность устройства такова, чтобы использовать его длительное время в тактических условиях, соблюдаются следующие принципы:
- Как можно меньшая площадь экрана должна мешать обзору реальной визуальной окружающей среды в любое время
- Пользователь должен сохранять минимально необходимую часть обзора визуальной окружающей среды для ориентирования в пространстве
- Если какой-либо элемент интерфейса непосредственно в данный момент не нужен пользователю, он не должен отображаться на экране
- Пользователь очень быстро должен иметь возможность менять конфигурацию интерфейса
- Пользователь должен иметь возможность одновременно чётко различать элементы интерфейса и визуальную окружающую среду при её любой яркости
- Элементы интерфейса не должны быть видны снаружи устройства или создавать эмиссию светового потока наружу
- Лицо пользователя не должно быть подсвечено отражённым излучением, не должно быть видимым снаружи
- Звуковая окружающая среда не должна иметь затухание более 10 dB SPL за исключением использования функций шумоподавления
Interface controls
Аппаратные органы управления правой рукой
- Джойстик. Перемещение курсора, управление дроном и роботом.
- Кнопка включения и выключения устройства
- Кнопка управления режимами наушников (см. Status bar)
- Кнопка "- >". Уменьшение, стрелка вправо, PgDown.
- Кнопка "< +". Увеличение, стрелка влево, PgUp.
- Кнопка C. Click, left control button.
- Кнопка D. Context menu, Shift, right control button.
Аппаратные органы управления левой рукой
- Кнопка включения и выключения налобного фонаря
- Разъём для подключения гарнитуры носимой радиостанции
- Кнопка включения, выключения и управления громкоговорителем
- Кнопка "< -". Уменьшение, стрелка влево, PgDown.
- Кнопка "+ >". Увеличение, стрелка вправо, PgUp.
- Кнопка A. Click, left control button, headset PTT button for handheld radio.
- Кнопка B. Context menu, Shift, right control button. Photo. Другие назначенные функции.
- Кнопка A + B одновременно start/stop video record.
Программные органы управления
- Голосовой ассистент
- Используются алгоритмы машинного обучения (ИИ), которые позволяют интерпретировать смысл команд пользователя, а не обязательно точное произношение голосовой команды, в том числе позволяют адаптироваться к голосу и произношению конкретного пользователя.
- Управление жестами
- Стереокамера захватывает изображение кистей рук и распознаёт жесты пользователя (более подробно на странице Hand Tracking)
- Библиотека жестов постоянно пополняемая, машинное обучение позволяет пользователю создавать собственные жесты
- Жесты могут обозначать не только состояние, но и динамику, например, плавно изменять % громкости, яркости и т.д.
- Захват и распознавание пальцев рук позволяет использовать программные элементы управления интерфейсом, в том числе полосы прокрутки, кнопки (а также виртуальную клавиатуру при необходимости), свайп в стороны и вверх-вниз, масштабирование и вращение экранов внутри окна, скрытие и перемещение окон
Perception hardware
Преимущество данного носимого и недорогого устройства для тактического применения практически каждым военнослужащим - возможности восприятия света, звука и радиоволн, недоступные человеку.
- Видеокамеры
- Захват изображения с помощью трёхсенсорной фронтальной стереокамеры. Один объектив передаёт изображение на разделительные призмы и далее на 3 сенсора: DSLR IR-cut 4K/8K/12K UHD, SenSWIR, HDR
- Отдельная камера в диапазоне LWIR (thermal image vision)
- Отдельная камера заднего вида в расширенном диапазоне видимого света и SWIR
- Встроенный Speed Booster уменьшает фокусное расстояние и увеличивает светосилу для отдельных сенсоров
- Встроенный телеконвертер наоборот увеличивает фокусное расстояние для других сенсоров, увеличивая изображение отдалённых объектов
- Инфракрасные и лазерные источники света в данном устройстве не применяются, т.к. это демаскирует пользователя
- Микрофоны
- Встроенный в обтюратор маски MEMS (Micro-Electro-Mechanical-Systems) микрофон для передачи голоса пользователя
- Микрофон с широкой диаграммой направленности на передней стороне маски позволяет воспринимать звуковые волны в широком диапазоне частот, в том числе неслышимых человеком, от очень низких до очень высоких (применяется в режимах Computer Audition)
- Ультракардиодный микрофон с узкой диаграммой направленности на передней стороне маски позволяет с высокой точностью определять источник звуковой волны (применяется в режимах Computer Audition)
- 2 изолирующих слоя, обтюратора и нижней части корпуса, делают голос пользователя почти неслышимым снаружи
- Радиоантенны
- Программно-определяемая (реконфигурируемая) антенна (устанавливается в NVG mount)
- Встроенные приёмо-передающие антенны в диапазонах ближнего радиуса коммуникаций (Bluetooth, Wi-Fi, LTE, 5G)
- Интегрируемые антенны (ранцевое крепление за спиной или сбоку) для коммуникаций в диапазонах VHF, UHF, спутниковой связи
- Интегрируемые приёмные антенны (ранцевое крепление за спиной или сбоку) для анализа и прослушивания диапазонов частот 2 MHz - 6 GHz
- Не каждому пользователю необходима отдельная антенна или набор из нескольких антенн с разными характеристиками, с помощью сети P2P внутри группы может производиться обмен и маршрутизация пакетами сообщений и принимаемых данных
- Интегрируемая антенна пассивного радара с активной фазированной решеткой (устанавливается в NVG mount)
- Интегрируемая ручная переносная антенна активного metal re-radiation radar ближнего радиуса действия (масса менее 400 г)
- Интегрируемая приёмная антенна системы предупреждения о радарном облучении
Дистанционное управление в ближнем радиусе действия активным радаром с активной фазированной решёткой (переносной или установленный на транспортном средстве)
Особенность в том, что при использовании отдельного оптического объектива для каждого сенсора слева и справа возникает проблема паразитной многоракурсности, которую придётся постоянно нивелировать программным способом, что влияет на точность бинокулярного стереозрения. Если в смартфоне это не является критичным, и там может быть 4-8 камер с собственной оптикой, то для тактических задач это представляет большую сложность. В этом случае слева и справа необходимо точно выдержать горизонтальное расстояние между линиями визирования для каждой пары сенсоров и расположить их по вертикали, а затем программно скомпенсировать вертикальное смещение, чтобы воспроизвести единую оптическую ось для левого и правого канала. Кроме того, конструкция устройства должна позволить это сделать без затруднения, в том числе учесть угол поля зрения оптики и решить проблему засветки.
Menu items description
Меню имеет 7 функциональных разделов:
- Status bar (SB)
- Left main menu (LMM)
- Right submenu (RSB)
- Left quick menu (LQM)
- Right quick menu (RQM)
- Left features sidebar (LFS)
- Right features sidebar (RFS)
Принцип управления элементами меню некоторых разделов одинаков, а у некоторых отличается.
Status bar (SB)
Меню статусов находится посередине сверху видимой области и содержит всю главную и часто используемую информацию об использовании функций устройства и приложений. Всего 12 элементов для быстрого выбора и отслеживания имеются в меню статусов, каждый из которых содержит субэлементы, отвечающие за конкретные пресеты функций. Настройки пресетов осуществляются не через меню статусов, а в настройках служб или приложений. Меню статусов отображается всегда и не скрывается. Каждый элемент расположен в отдельном поле (fading pad).
Картинку заменить! Здесь вставить: чёрные буквы и символы на светло-сером фоне - в виде крупных фрагментов!!! (как Kestrel)
Таблица 1 "Индикация-Обозначение-Позиция-Как меняется индикация". Таблица 2. Пресеты и краткое описание функций".
Управление субэлементами выполняется кликом (джойстик, управление жестами) или голосом (результат соответствует клику). Состояния по умолчанию:
- Hover state: 4 угловых сегмента рамки поля (в вышеуказанном примере в поле "Radio Detection modes" с функцией "IFF")
- Click state: рамка по границе поля (эффект анимации, дважды по 100 ms), при каждом клике в установленной последовательности чередуется отображение элементов списка (пресетов)
- Selected (long click >2 s): вертикально расположенный прямоугольник в левом нижнем углу
- Not selected (long click >2 s): вертикально расположенный прямоугольник в левом нижнем углу отсутствует
Отличия при голосовом управлении:
- Команда голосовому ассистенту содержит описание требуемого действия и состояния, поэтому выполняется быстрее
- Голосовой ассистент понимает разные интерпретации действий и состояний, поэтому не нужно запоминать голосовые команды наизусть
SB indication and change of display
Indication | Designation | Field | Change of display / Short description |
---|---|---|---|
Time / Date | 1. |
| |
Battery | 1. |
| |
Water | 1. |
| |
Spotlight | 1. |
| |
Brightness modes | 2. | Состояния - по умолчанию. Выбор режима изменяет яркость и затемнение полей (fading pads и все окна одновременно, выполняет функцию солнцезащитных очков). Для некоторых приложений настройки затемнения окна приложения настраиваются индивидуально в приложении для большей контрастности, данные настройки имеют преимущество перед настройками по умолчанию | |
Windows modes | 3. | Состояния - по умолчанию. Пользователь может быстро и гибко управлять конфигурацией окон для каждого окна в отдельности, см. ниже Windows items description | |
Camera modes | 4. | Состояния - по умолчанию. В зависимости от погодных условий и времени суток, активности пользователя внутри или вне помещений необходим быстрый выбор пресета для эффективного наблюдения, обнаружения и выполнения задач | |
Audio modes | 5. | Состояния - по умолчанию. Позволяет пользователю быстро включить или выключить громкоговоритель (а также кнопками на левом амбюшоре наушника). Настроить громкость громкоговорителя и контролировать его состояние.
Также позволяет быстро настраивать режим и громкость наушников (а также кнопками на правом амбюшоре наушника). Как минимум один режим и один уровень громкости наушников включены всегда | |
Computer Vision modes | 6. | Состояния - по умолчанию. Пользователю доступны пресеты для быстрого выбора в зависимости от тактических задач. Пресеты могут быть включены несколько одновременно и по-отдельности, что даёт возможность оптимизировать используемые вычислительные ресурсы и энергопотребление | |
Computer Audition modes | 7. | Состояния - по умолчанию. Человек слышит звук как несколько частот одновременно, и разные частоты на разных уровнях громкости. Пользователю доступны пресеты для быстрого выбора в зависимости от тактических задач. Пресеты могут быть включены несколько одновременно и по-отдельности, что даёт возможность оптимизировать используемые вычислительные ресурсы и энергопотребление | |
Radio Detection modes | 8. | Состояния - по умолчанию. Любая миссия связана с задачами SIGINT, идентификации свой-чужой, обнаружения дронов и роботов, противопехотных и противотанковых мин, мин-ловушек, СВУ, контр-радарной защиты для каждого военнослужащего без исключения. Пользователю доступны пресеты для быстрого выбора в зависимости от тактических задач. Пресеты могут быть включены несколько одновременно | |
Firing Assistance modes | 9. | Состояния - по умолчанию. Данный режим помогает вести точный прицельный огонь с помощью всех типов прицелов: Red Dot, оптический прицел и цифровой прицел, а также совместим для интеграции с удалённым управлением роботозированной турелью | |
Stealth modes | 10. | Состояния - по умолчанию. Данный режим необходим для ограничения видимости средствами SIGINT противника | |
Vitals Body Tracking modes | 11. | Vitals Body Sensors Control (VBS) | |
Networks modes | 12. | Networks (NET) |
SB Presets
Indication | Field name | Preset | Preset name | Actions |
---|---|---|---|---|
Time / Date, Battery, Water, Spotlights modes | na | Time / Date |
| |
na | Battery |
| ||
na | Water |
| ||
na | Spotlight |
| ||
Brightness modes
Условие OR при выборе пресетов (выбор одного пресета отменяет выбор ранее выбранного пресета). |
AUTO | Auto | датчик освещённости определяет уровень окружающей освещённости и использует настройки одного из нижеуказанных режимов | |
CLR | Clear day | fading pads 50%, fading windows 25%, projector beam 100% | ||
CLD | Cloudy | fading pads 25%, fading windows 0%, projector beam 75% | ||
TWL | Twilight | fading pads 0%, fading windows 0%, projector beam 75% | ||
DRK | Dark night | fading pads 0%, fading windows 0%, projector beam 50% | ||
NLTS | Night lights | fading pads 50%, fading windows 0%, projector beam 75% | ||
DZLD | Dazzling day | fading pads 75%, fading windows 75%, projector beam 100% | ||
Windows modes
Условие AND / OR при выборе пресетов (выбор одного пресета в одном случае отменяет, а в другом случае не отменяет выбор ранее выбранного пресета). |
DFLT | Default | отображает все активные окна согласно настроенным приоритетам приложений и функций; DFLT - отменяет выбор любого ранее выбранного пресета | |
OFF | Turn off all windows | выключает отображение всех окон; OFF - отменяет выбор любого ранее выбранного пресета | ||
CLW | Central left window is On, central right window is Off | если использовались по умолчанию оба центральных окна (левый и правый), отключает центральное правое окно, все функции остаются доступны в центральном левом окне; CLW отменяет CRW, и наоборот | ||
CRW | Central right window is On, central left window is Off | как в предыдущем случае, наоборот, отключает центральное левое окно, улучшая обзор окружающей среды; CRW отменяет CLW, и наоборот | ||
BWON | Bottom windows only | выключает слева и справа верхние окна для улучшения обзора ("эффект забрала"), более приоритетные окна переносит в нижнюю область, менее приоритетные окна закрывает, не выключает центральные окна; BWON отменяет LWON и RWON | ||
LWON | Left windows only | выключает все окна справа ("эффект левого глаза"), более приоритетные окна переносит в левую область, менее приоритетные окна закрывает, не выключает центральные окна; LWON отменяет RWON и BWON | ||
RWON | Right windows only | выключает все окна слева ("эффект правого глаза"), более приоритетные окна переносит в правую область, менее приоритетные окна закрывает, не выключает центральные окна; RWON отменяет LWON и BWON | ||
Cameras modes
Условие AND / OR при выборе пресетов (выбор одного пресета в одном случае отменяет, а в другом случае не отменяет выбор ранее выбранного пресета). |
FHD | Frontal HD cam | использует диапазон видимого света (400-780 nm) и возможности двух сенсоров, высокое разрешение и широкий динамический диапазон при сильном контрастном освещении | |
RHD | Rear HD cam | включает и выключает камеру заднего обзора | ||
SWIR | Night / Sky / Fog / Sea vision mode | использует более широкий коротоковолновой диапазон инфракрасного света (780-1700 nm), который применяется для наблюдения отражения окружающего света этого диапазона объектами, расположенными на поверхности воды, в тумане, в дыму, в облаках, в сумерках и ночью | ||
LWIR | Thermal image vision mode | использует длинноволновой диапазон невидимого инфракрасного света (7.5-14 µm), излучающего более тёплыми по отношению к окружающей среде объектами, в основном ночью | ||
SLV | Silhouette vision mode | включает преобразование заполнения в хорошо различимый по отношении к фону режим цветных контуров для контрастных объектов | ||
MXV1 | Mixed vision mode Type 1: FHD + SWIR | позволяет использовать возможности трёх разных сенсоров в разных условиях днём и ночью; 4K UHD + HDR + SWIR | ||
MXV2 | MXV Type 2: SWIR + LWIR | позволяет использовать возможности двух разных сенсоров в разных условиях днём и ночью; SWIR + LWIR | ||
MXV3 | MXV Type 3: FHD + SWIR + LWIR | позволяет использовать возможности четырёх разных сенсоров в разных условиях днём и ночью; 4K UHD + HDR + SWIR + LWIR | ||
MXV4 | MXV Type 4: FHD + SWIR + LWIR (silhouette mode) | позволяет использовать возможности четырёх разных сенсоров в разных условиях днём и ночью; 4K UHD + HDR + SWIR + LWIR (silhouette mode) | ||
Audio modes
Условие AND / OR при выборе пресетов (выбор одного пресета в одном случае отменяет, а в другом случае не отменяет выбор ранее выбранного пресета). |
LSPK | Loudspeaker On/Off |
| |
L | Left On, right Off |
| ||
R | Right On, left Off |
| ||
LR | Left On, right On |
| ||
25 | 25% sound level | изменяет громкость наушников; 25 отменяет 50, 75, 100 | ||
50 | 50% sound level | изменяет громкость наушников; 50 отменяет 25, 75, 100 | ||
75 | 75% sound level | изменяет громкость наушников; 75 отменяет 25, 50, 100 | ||
100 | 100% sound level | изменяет громкость наушников; 100 отменяет 25, 50, 75 | ||
Computer Vision[1][2] modes
Условие AND при выборе пресетов (выбор одного пресета в одном случае не отменяет выбор ранее выбранного пресета). |
OD | Object detection |
| |
MD | Motion detection |
| ||
FD | Facial detection |
| ||
FR | Facial recognition |
| ||
OCR | Optical character recognition |
| ||
HSTD | Heat and smoke trace detection |
| ||
Computer Audition modes
Условие AND при выборе пресетов (выбор одного пресета в одном случае не отменяет выбор ранее выбранного пресета). |
DAM | Detect noises of aircraft motor |
| |
ENAT | Exclude sounds of nature |
| ||
ECHO | Eliminate echo |
| ||
DHUM | Detect noises of human activity |
| ||
STHR | Limit sound threshold |
| ||
Radio detection modes
Условие AND при выборе пресетов (выбор одного пресета в одном случае не отменяет выбор ранее выбранного пресета). |
IFF | Identification Friend-or-Foe |
| |
RDF | Radio Direction Finding[4] |
| ||
RFDD | Radio Frequency Drone Detection[5] |
| ||
EODD | Radio Frequency Explosive Ordnance Disposal Detection |
| ||
RWR | Radar Warning Receiver[6] |
| ||
Firing assistance modes
Условие OR при выборе пресетов (выбор одного пресета отменяет выбор ранее выбранного пресета). |
GF | Fire on ground fixed targets |
| |
GM | Fire on ground moving targets |
| ||
AM | Fire on aerial moving targets |
| ||
MF | Mountain fire on fixed targets (prospective function) |
| ||
MM | Mountain fire on moving targets (prospective function) |
| ||
Stealth modes
Условие OR при выборе пресетов (выбор одного пресета отменяет выбор ранее выбранного пресета). |
IFF | IFF visible only |
| |
SD | Short distance visible only |
| ||
FULL | Zero emission |
| ||
OFF | OFF |
| ||
Vitals body tracking modes
Условие OR при выборе пресетов (выбор одного пресета отменяет выбор ранее выбранного пресета). |
WRK | Workout mode |
| |
TRN | Training mode |
| ||
TACT | Tactical mode |
| ||
OFF | OFF |
| ||
Networks modes
AND |
Network 1 |
| ||
Network 2 | ||||
Network 3 | ||||
Network 4 | Signal levels, upload / download transmission status |
Left | Center | Right | |||
---|---|---|---|---|---|
LMMP | Left main menu fading pads | SBP | Status bar fading pads | RSBP | Right submenu fading pads |
LQMP | Left quick menu fading pads | CLW | Central left window | RQMP | Right quick menu fading pads |
LFSP | Left features sidebar fading pads | CRW | Central right window | RFSP | Right features sidebar fading pads |
LUW | Left Upper window | CWJP | Central window joystick pads | RUW | Right Upper window |
LTAW | Left Top A window | CWBP | Central window buttons pads | RTAW | Right Top A window |
LTBW | Left Top B window | RTBW | Right Top B window | ||
LBAW | Left Bottom A window | RBAW | Right Bottom A window | ||
LBBW | Left Bottom B window | RBBW | Right Bottom B window |
Главное меню (LMM) находится слева сверху видимой области и содержит список разделов. Всего 7 элементов для быстрого выбора в одном ряду. Для выбора следующего ряда используются навигационные стрелки справа. Главное меню отображается только при наведении курсора или при голосовом вызове. При неактивности скрывается через 15 сек. Каждый элемент расположен в отдельном поле (fading pad). Показываются только поля, отображающие раздел.
Правое субменю (RSB) находится сверху справа и раскрывает второй более низкий уровень элементов главного меню. Всего 7 элементов в одном ряду. Для навигации используются стрелки слева. Правое субменю отображается только при активном состоянии одного из пунктов главного меню слева (LMM) или при голосовом вызове непосредственно пункта субменю. При неактивности скрывается одновременно с главным меню через 15 сек. Каждый элемент расположен в отдельном поле (fading pad). Показываются только поля, отображающие раздел.
Картинку вставить:
Управление субэлементами выполняется кликом (джойстик, управление жестами) или голосом. Состояния:
- Hover state: 4 угловых сегмента рамки поля
- Click state: рамка по границе поля (эффект анимации, дважды по 100 ms)
- Selected (long click >2 s): горизонтально расположенные два прямоугольника справа и слева от надписи
- Not selected (long click >2 s): горизонтально расположенные два прямоугольника справа и слева от надписи отсутствуют
Отличия при голосовом управлении:
- Команда голосовому ассистенту содержит описание требуемого действия и состояния, поэтому выполняется быстрее
- Голосовой ассистент понимает разные интерпретации действий и состояний, поэтому не нужно запоминать голосовые команды наизусть
- При голосовом вызове показывается не всё меню целиком, а соответствующие пункты главного меню и субменю
- Пользователь может вызвать голосом отображение всего меню целиком
LMM | RSB | Action | Notice |
---|---|---|---|
MSG
(Messenger) |
IMSG (Instant messaging system) |
|
|
CHAT (Multichannel chat) |
|
LMM для всех каналов, RSB для соответствующего канала:
| |
MAIL (eMail) |
|
||
SDR2 (SDR 2-way) |
|
||
CRPT (Cryptologic control) |
|
||
PTTH (PTT Headset) |
|
||
Tasks (TSK) |
|
Система управления задачами позволяет планировать и контролировать срок, точность, результаты, эффективность выполнения задач. Содержит описание, чек-лист, дедлайн, фактическое время выполнения и затраченное время (в т.ч. автотрекинг завершения и отсчёт затраченного времени), уведомление о текущем статусе, геопозицию в момент завершения, артефакты подтверждения выполнения задачи, вложения, комментарии. |
|
Calendar (CAL) |
|
Календарь событий позволяет заранее планировать и согласовывать события, требующие определённого регламентов времени: коллективные онлайн и офлайн коммуникации, собрания, учебные семинары, командировки. |
|
Workgroups (WGR) |
|
Субменю содержит фильтры для групп.
Можно выбрать участника или группу в соответствующем разделе для коммуникаций, обмена данными, отправки или запроса позиции. Элемент CDI (Cross-Domain Interaction). |
|
Applications (APP) |
|
|
|
Devices (DVC) | |||
Maps (MAP) | |||
Networks (NET) | |||
Wiki (WIKI) | |||
File explorer (FILE) | |||
Services (SVC) | |||
Settings (SET) |
Left features sidebar (LFS)
Right features sidebar (RFS)
Virtual remote control tools
- Фото и видео кнопки управления
- Перелистывание
- Навигация
- Управление дроном, роботом, беспилотным транспортом
Apps priority during display
Left | Center | Right | |||
---|---|---|---|---|---|
LUW |
|
CLW |
|
RUW |
|
LTAW |
|
CRW |
|
RTAW |
|
LTBW |
|
CWJP | RTBW |
| |
LBAW |
|
CWBP | RBAW |
| |
LBBW |
|
RBBW |
|
Left | Center | Right | |||
---|---|---|---|---|---|
LUW |
|
CLW |
|
RUW |
|
LTAW |
|
CRW |
|
RTAW |
|
LTBW |
|
CWJP | RTBW |
| |
LBAW |
|
CWBP | RBAW |
| |
LBBW |
|
RBBW |
|
Compass | CLW | CRW | Notification | ||
Windows items description
Fading windows and pads
Left | Center | Right | |||
---|---|---|---|---|---|
LMMP | Left main menu fading pads | SBP | Status bar fading pads | RSBP | Right submenu fading pads |
LQMP | Left quick menu fading pads | CLW | Central left window | RQMP | Right quick menu fading pads |
LFSP | Left features sidebar fading pads | CRW | Central right window | RFSP | Right features sidebar fading pads |
LUW | Left Upper window | CWJP | Central window joystick pads | RUW | Right Upper window |
LTAW | Left Top A window | CWBP | Central window buttons pads | RTAW | Right Top A window |
LTBW | Left Top B window | RTBW | Right Top B window | ||
LBAW | Left Bottom A window | RBAW | Right Bottom A window | ||
LBBW | Left Bottom B window | RBBW | Right Bottom B window |
Как уже было написано в самом начале описания пользовательского интерфейса, в устройстве для контрастного отображения используются затухающие окна и площадки. Иначе на светлом и ярком фоне окружающей среды пользователю будет сложно видеть изображения контрастным. Затухающие окна и площадки в зависимости от режимов яркости имеют разную степень прозрачности. А в случае яркого света дополнительно выполняют функцию солнцезащитного экрана.
Окна приложений и функций располагаются в большей и наилучшей видимой области. Всего 12 независимых окон (8 больших 1.78:1, 2 больших 1.20:1, 2 малых 19.86:1), каждое из которых содержит субэлементы управления, когда окно выделено с помощью клика или голосом (selected state). Не выделенное окно является пассивным окном, которое отображает только графику приложения, элементы управления окном скрыты, элементы управления приложением скрыты. Окна разных прилоожений имеют разный приоритет отображения, который настраивается в настройках системы для каждого приложения. В зависимости от выбранного пресета в Status bar (SB) конфигурации отображаемых окон могут быть быстро и гибко изменены пользователем.
Картинка
Управление субэлементами выполняется кликом (джойстик, управление жестами) или голосом. Состояния:
- Hover state: частая пунктирная линия вдоль рамки поля
- Click state: рамка по границе поля (эффект анимации, дважды по 100 ms)
- Selected (long click >2 s): редкая пунктирная линия вдоль рамки поля
- Not selected (long click >2 s): пунктирная линия отсутствует
Отличия при голосовом управлении:
- Команда голосовому ассистенту содержит описание требуемого действия и состояния, поэтому выполняется быстрее
- Голосовой ассистент понимает разные интерпретации действий и состояний, поэтому не нужно запоминать голосовые команды наизусть
Пользователь может быстро и гибко управлять конфигурацией окон для каждого окна в отдельности:
- Пользователь может принудительно закрыть любое окно в любое время, выделив нужное окно (selected state), нажав на иконку "закрыть окно" (приложение остаётся в фоновом режиме, для обратного действия кликнуть на иконку в меню быстрого выбора)
- Пользователь может увеличить левое или правое большое центральное окно на всю область центрального окна (объединённое окно 2.40:1), выделив нужное окно (selected state), нажав на иконку "увеличить окно"
- Пользователь может увеличить большое осно слева или справа на всю левую или правую область окна (объединённое окно 1.78:1 x2), выделив нужное окно (selected state), нажав на иконку "увеличить окно"
- При нажатии на иконку "уменьшить окно" окно возвращается в исходное состояние
- Иконка "сместить окно влево" смещает его влево, затем вверх направо, затем влево, меняя расположение других окон
- Иконка "сместить окно вправо" смещает окно вправо, затем вниз налево, затем вправо, меняя расположение других окон
- Иконка "поделиться экраном" позволяет отправить скриншот окна или включить трансляцию данного окна для другого пользователя
Смещение окон влево и вправо:
- Общее правило "слева направо, сверху вниз" (список перемещения 10 больших окон):
- LTAW - left top window A
- LTBW - left top window B
- LBAW - left bottom window A
- LBBW - left bottom window B
- CLW - central left window
- CRW - central right window
- RTAW - left top window A
- RTBW - left top window B
- RBAW - left bottom window A
- RBBW - left bottom window B
- Если активное окно расположено в левой части и он перемещается влево, он перемещается выше по списку
- Если активное окно расположено в левой части и он перемещается вправо, он перемещается ниже по списку, сначала в центр видимой области, затем в правую часть
- Если место, куда перемещается активное окно не занято другим окном, другие окна не меняют своего положения
- Другой отображаемое окно, на место которого смещается активное окно вниз по списку, автоматически перемещается выше по списку и занимает предыдущее место смещаемого активного окна
- Другой отображаемое окно, на место которого смещается активное окно вверх по списку, автоматически перемещается ниже по списку и занимает предыдущее место смещаемого активного окна
- Обычно отображаются менее 10 больших окон, поэтому смещение активного окна не приводит с смещению большинства других окон
- Если отображаются все 10 больших окон, смещение активного окна на несколько позиций в списке вызывает последовательное автоматическое временное смещение соседнего окна, который затем снова возвращается на предыдущее место
- Если окно максимизировано, оно автоматически минимизируется и перемещается по общему правилу, при необходимости его нужно максимизирован снова
- Пользователь может выделить два или более окон одновременно, удерживая клавишу D (рядом с джойстиком) амбюшора правого наушника (аналогично правой клавиши мыши)
- Выделив окно и удерживая клавишу C (аналогично левой клавиши мыши) амбюшора правого наушника пользователь может переместить окно или несколько окон одновременно одним действием с помощью джойстика - в этом случае, если перемещается группа окон, они будут располагаться последовательно рядом по списку (даже если в предыдущем их местоложении они не были расположены последовательно рядом по списку)
- Малые окна перемещаются только влево или вправо на место аналогичного малого окна
- Если малое окно перемещается вправо, другое окно перемещается влево (меняются местами)
- Если приложение запускает малое окно в то время, когда оба малых окна отображают информацию других приложений, тогда окно с приложением, имеющим наименьший приоритет, скрывается в меню быстрого выбора
- Если одно малое окно закрывается, на его месте ничего не отображается, для отображения на этом месте окна другого приложения необходимо кликнуть на него в меню быстрого выбора или в главном меню
- Если приложение запускает большое окно, которое имеет больший приоритет для уже занятого окна, тогда окно с меньшим приоритетом перемещается в другое место, как предусмотрено правилами приоритета окон и приложений. При закрытии окна с большим приоритетом, конфигурация окон возвращается в предыдущее состояние
- Если приложение запускает большое окно, когда нет свободного места для отображения окон, окно с наименьшим приоритетом скрывается автоматически в меню быстрого выбора. При закрытии одного из окон с большим приоритетом, восстанавливается предыдущее состояние отображения окон. При необходимости отображения окна с меньшим приоритетом, необходимо освободить место для него, свернув один из окон в меню быстрого выбора
Прокрутка окна на (4/5 высоты окна или в строках - настраивается индивидуально) выполняется иконками вверх и вниз или кнопками джойстика "< +" и "- >" снизу амбюшора правого или левого наушника (аналогично клавишам мыши PageUp, PageDown). Также плавная прокрутка окна джойстиком, голосовой командой или жестом (в т.ч. виртуальным джойстиком или обособленным жестом).
Элементы управления (иконки управления окном, функциональные программные кнопки интерфейса приложения, расположенные на Sidebar Left or Sidebar Right, виртуальные джойстики) относятся только к активному (selected) окну. Для пассивного окна (not selected) они не отображаются.
Отдельно для иконок управления окном - после того, как окно стало активным (selected), иконки управления окном отображаются в течение 15 с, после чего исчезают. Для их повторного отображение необходимо снова выделить данное окно. Пунктирная рамка выделения активного окна отображается в течение всего времени активного состояния окна.
! Кроме того, принудительное использование некоторых окон может выполнить функцию солнцезащитного козырька тогда, когда солнце находится низко над горизонтом на линии визирования. Пользователь может смещать окно в нужную область и перекрывать ослепляющий вид на солнце, не затемняя всю область визирования.
Left Position window (LPW)
Обычно используется долговременно.
- Компас и азимут (app priority 1)
Left top A window (LTAW)
Используется при необходимости, не рекомендуется во время интенсивного боя, чтобы не ограничивать видимость окружающей среды.
- Карта и навигатор вместе (app priority 1, window priority 1)
- Навигатор отдельно (app priority 1, window priority 2)
- Карта отдельно (app priority 1, window priority 3)
Left top B window (LTBW)
Обычно используется кратковременно, чтобы не ограничивать видимость окружающей среды.
- Навигатор отдельно (app priority 1, window priority 1)
- Tasks (app priority 1, window priority 2)
- Calendar (app priority 1, window priority 3)
- Карта отдельно (app priority 1, window priority 2)
Left bottom A window (LBAW)
Обычно используется долговременно.
- Камера заднего вида (RHD) (app priority 1, window priority 1)
- Карта и навигатор вместе (app priority 2, window priority 2)
Left bottom B window (LBBW)
Обычно используется долговременно.
- Навигационная сетка отдельно или вместе IFF (включается только с навигационной сеткой), если включена функция IFF (app priority 1, window priority 1) - на навигационной сетке включить angle view (azimuth line) слева
- Radio Detection modes (RD-RDF, RD-DD, RD-EOD, RD-RWR) отдельно или вместе с навигационной сеткой, плюс IFF (app priority 1, window priority 2)
- Passive radar (view mode) отдельно или вместе с навигационной сеткой, плюс IFF, RD-RDF, RD-DD, RD-RWR (app priority 1, window priority 3)
- Computer Audition (DHUM, DAM) отдельно или вместе с навигационной сеткой, плюс IFF (app priority 1, window priority 4)
Central left window (CLW)
Обычно используется долговременно.
- Фронтальная камера (в зависимости от выбранных функций: FHD, SWIR, LWIR, SLV, MXV Type 1-4)
- Fire assist (наложение на вид фронтальной камеры)
- Внешняя камера (цифровой прицел, камера дрона или робота, камера другого пользователя)
- Drone remote control (камера дрона и виртуальные органы управления: 2 джойстика и 2 группы кнопок)
- Fire turret remote control
Central right window (CRW)
Обычно используется долговременно.
То же самое, что CLS. Окна могут быть включены по-отдельности, оба одновременно или объединённый вид. На один вид может быть наложены отображения нескольких функций, например:
- Mixed Vision Mode (MXV Type 1: FHD + SWIR) + Fire assist
- Mixed Vision Mode (MXV Type 2: SWIR + LWIR) + Fire assist
- Mixed Vision Mode (MXV Type 3: FHD + SWIR + LWIR) + Fire assist
- Mixed Vision Mode (MXV Type 4: FHD + SWIR + CLV (LWIR silhouette mode)) + Fire assist
- FHD + Computer Vision mode (OD, MD, FD) + Radio Detection mode (Radio Direction Finding - RDF)
- FHD + Computer Vision mode (OCR, FD, FR)
- MXV3 + Computer Vision mode (OD, MD) + Fire assist
- MXV1 + Radio Detection mode (Drone Detection - DD) + Fire assist
- Drone view + Computer Vision mode (OD, MD, HSTD)
Right System window (RSW)
Обычно используется долговременно.
- System and apps messages (приоритет 1)
- User tips (приоритет 1)
Right top A window (RTAW)
Обычно используется кратковременно, чтобы не ограничивать видимость окружающей среды.
- System or apps settings (app priority 1, window priority 1)
- Networks settings (app priority 1, window priority 2)
- Devices settings (app priority 1, window priority 3)
- Workgroups
- SDR 2-way settings
- Cryptologic control
Right top B window (RTBW)
Используется при необходимости, не рекомендуется во время интенсивного боя, чтобы не ограничивать видимость окружающей среды.
- SDR Scan modes (app priority 1, window priority 1)
- Wiki (app priority 1, window priority 2)
- File explorer (app priority 1, window priority 3)
- Multimedia player (app priority 1, window priority 4)
- Translator (app priority 1, window priority 5)
- Virtual mentor (video chat) (app priority 1, window priority 6)
Right bottom A window (RBAW)
Обычно используется долговременно.
- Icon messaging system (IMS) (app priority 1, window priority 1)
- Passive radar control (app priority 1, window priority 2)
- Active phased array radar control (app priority 1, window priority 3)
Right bottom B window (RBBW)
Обычно используется долговременно.
- Multichannel chat (app priority 1, window priority 1)
- Icon messaging system (IMS) (app priority 1, window priority 2)
Screen control
Features description
Таблица приоритетов окон и приложений. Функция (пресет) - окна по приоритетам - Возможности для пользователя
Interface Items Motion
- принципиальный вид
- активный вид при работе с меню
- процесс выбора пункта меню (скролл элементов, изменение вида при входе в подменю 1-го уровня / 2-го уровня / 3-го уровня)
- постоянный (продолжительный) вид (статусы, нотификации, активные пункты меню)
- включение и смена затухающих окон (правила, варианты комбинации в одновременном виде)
User Interface Menu
Status bar
12 elements. Видимы постоянно. Вмещает 6-7 символов.
- отображение переключается при коротком нажатии или голосовом вызове
- 1 раз в 5 мин показывает попеременно все активные состояния (автоскролл снизу вверх)
- пункт меню включается и выключается долгим нажатием или голосовой командой
- в некоторых элементах в правом нижнем углу иконка (камера, дисплей, мультимедиа и т.д.)
- функции вкл., выкл. озвучиваются
- Time / Date:
- Time (type 12:03am) - время показывается постоянно, автоскролл не выполняется
- Date (type 05/17we)
- Brightness
- Яркость и затемнение (пэдс и все окна как солнцезащитные очки) - настраиваемые пресеты, по умолчанию:
- Ясный день - пэдс 50%, яркость 100%, все окна 25%
- Облачность - пэдс 25%, яркость 75%, все окна 0%
- Сумерки - пэдс 0%, яркость 75%, все окна 0%
- Темная ночь - пэдс 0%, яркость 50%, все окна 0%
- Ночные огни - пэдс 50%, яркость 75%, все окна 0%
- Ослепляющий день - пэдс 75%, яркость 100%, все окна 75%
- Cam mode (abbr)
- Камеры могут быть совмещены в одном окне или отображаться синхронизированно на соседних окнах (линия зрения одна и та же). Зум может быть синхронизирован или управление зумом может быть по-отдельности (так легче ловить прицельную точку, например).
- FRHD (front HD stereo cam) - automatically turns on Central A+B displays (CD-AB), last used state of zoom, zoom control at the bottom right of the screen
- RRHD (rear HD cam) - automatically turns on Left Bottom A display, last used state of zoom, zoom control at the bottom right of the screen
- SWIR (day and night view) - по умолчанию выводится на центральный дисплей B, в то время, как HD изображение на дисплее A
- LWIR (thermal image view) - по умолчанию выводится на центральный дисплей B, в то время, как HD изображение на дисплее A
- SLTM (silhouette mode for thermal image view) - по умолчанию выводится на центральный дисплей B, в то время, как HD изображение на дисплее A
- MXSL (mixed vision mode: SWIR + LWIR)
- MXSS (mixed vision mode: SWIR + SLTM)
- PRS (passive radar sensor)
- Display modes
- DSOFF (turns off all displays) - отключает все активные окна
- CDS-A (display A On, display B Off) - при долгом нажатии запрос для выбора режима камеры или отключения
- CDS-B (display B On, display A Off) - при долгом нажатии запрос для выбора режима камеры или отключения
- LBDS-A (Left Bottom A display On / Off) - включается автоматически, при отключении выключает камеру заднего вида, если она была включена, при повторном включении запрос пользователю о необходимости включить камеру заднего вида
- Integrations
- HHR (portable handheld radio)
- RPA (remotely piloted aircraft controller)
- BOT (robot controller)
- P2P (p2p network)
- Multimedia
- LSPK (loudspeaker On / Off)
- EARL (Left On, Right Off) - при отключении включает правое ухо автоматически
- EARR (Left Off, Right On) - при отключении включает левое ухо автоматически
- VOL25
- VOL50
- VOL75
- VOL100
- Computer Audition modes
- AUF1 (audio filter)
- Computer Vision modes
- CVRF (rangefinder On / Off) - при включении FA включается автоматически
- CVOR (object recognition mode)
- CVFR (face recognition mode)
- FA (fire assistance)
- FAM - включает перекрестие в главном окне, выводит баллистические параметры в правом субменю
- FAS - дополнительно отображает линию цифрового прицела
- Headlight (icon)
- Stealth modes (icon)
- Off
- Restricted, IFF off
- On
- Signal levels (icon)
- Battery (icon) - при остатке заряда менее 20% начинает моргать каждую минуту в течение 15 сек.
Questions for mentors and experts:
- Следует ли некоторые элементы меню показывать внутри поля попеременно автоматически? Например, активные сети, активные интеграции.
- Нужно ли регулировать уровень громкости спикерфона или всегда включать на полную мощность?
Modern tools
1. MRTK-Unity is a Microsoft-driven project that provides a set of components and features, used to accelerate cross-platform MR app development in Unity. Here are some of its functions:
- Provides the cross-platform input system and building blocks for spatial interactions and UI.
- Enables rapid prototyping via in-editor simulation that allows you to see changes immediately.
- Operates as an extensible framework that provides developers the ability to swap out core components.
- Supports a wide range of platforms.
2. Unity Mars helps solve the hard problems of AR app creation:
- Overcome the challenges of authoring for dynamic physical environments
- Reduce development time
- Release cross-platform experiences with support for iOS, Android, and HoloLens
Manuals
Troubleshooting
Areas of research
Related fields
Future ideas
Further reading
See also
Public External Sections: | Public Wiki Sections: | Public Wiki Sections: | Not-Public Wiki Sections: |
---|---|---|---|
Note: Unless otherwise stated, whenever the masculine gender is used, both men and women are included.
See also product details
Hardware Details: | Functional Apps Details: | Executive Apps Details: | Service Apps Details: |
---|---|---|---|
References
- ↑ Wikipedia, "Outline Computer Vision"
- ↑ Wikipedia, "Computer Vision"
- ↑ Wikipedia, Artillery sound ranging
- ↑ Wikipedia, "Radio direction finding"
- ↑ AARTOS, "RF Drone Detection", "Antennas"
- ↑ Wikipedia, "List of radar types", "Counter-battery radar"
- ↑ Wikipedia, "Counter-battery radar"
- ↑ Wikipedia, "Monitoring (medicine)"