Application of a neural network for the additional views synthesis in the challenge of constructing a virtual marine onboard simulator

Abstract

В данной статье представлена усовершенствованная технология обучения корабельного состава. Одной из особенностей технологии является использование виртуальной реальности для имитации рабочего пространства экипажа и нештатных ситуаций. Рассматриваемая технология может быть использована для создания тренажеров морских судов с использованием киберфизических систем. Практика морской безопасности в безопасной среде возможна путем сочетания методов рендеринга виртуального рабочего пространства и частичного воспроизведения органов управления кораблем в виде интерактивных интерфейсов между обучаемым и средой виртуальной реальности тренажера. Симуляция непредвиденных обстоятельств — это простой и эффективный метод обучения, когда у члена экипажа есть определенное количество свободного времени. Основная цель данной статьи — представить технологию-прототип, способную синтезировать виртуальные ракурсы в иммерсивной среде на основе реальных изображений и соответствующих карт глубины пространства, что значительно сокращает время на разработку модели корабля для создания его симулятора. Основное внимание в статье уделено методам формирования ракурса в условиях шести степеней свободы устройств виртуальной реальности. Рассмотрен метод заполнения возникающих пустот на ракурсах с применением генеративно-состязательной свёрточной нейронной сети. This article presents an improved technology for training ship crews. One of the features of the technology is the use of virtual reality to simulate the workspace of personnel and emergency situations. The technology under consideration can be used to create simulators for sea vessels using cyber-physical systems. The practice of maritime safety in a safe environment is possible by combining the methods of rendering a virtual workspace and partial reproduction of the ship's controls in the form of interactive interfaces between the trainee and the virtual reality environment of the simulator. Contingency simulation is a simple and effective training method when a crew member has a certain amount of free time. The main goal of this article is to present a prototype technology capable of synthesizing virtual views in an immersive environment based on real images and corresponding depth maps, which significantly reduces the time for developing a ship model for creating its simulator. The main attention in the article is paid to the methods of angle formation in the conditions of six degrees of freedom of virtual reality devices. A method for filling gaps and cracks on views using a generative-adversarial convolutional neural network is considered.