The research project LiSA is a broad-based joint project in the area of facade, lighting and control technology. The aim is enabling the most energy-efficient operation of office and administrative buildings taking into account user satisfaction. Through exemplary system integration the understanding of the interaction of individual components and the necessity of system solutions are promoted.

At component level technologies are being developed which enable the efficient use of daylight, provide energy-saving lighting with artificial light, and reduce cooling load during summer by means of shading. At the level of sensor technology, a cost-effective sensor is developed, which measures the light conditions as well as heat inputs to the room by solar radiation. A model-predictive control approach optimizes the operation of the components, which can be managed and controlled via wireless communication paths.

With the implementation of the project in a Living Lab Smart Office Space, which is subject to detailed monitoring and in which people use the space according to the actual purpose, it is ensured that the developments are continuously empirically validated and that the results are perceived by users as added value. The people working in the Living Lab have the opportunity to interact with the technology and are thus an essential part of the investigations.

Partners

• Technische Universität Kaiserslautern
• DFKI GmbH
• ebök Planung und Entwicklung GmbH
• Dresden Elektronik Ingenieurtechnik GmbH
• Agentilo GmbH
• Herbert Waldmann GmbH & Co. KG

Reconstruction of 3D-scenes out of camera images represents an essential technology for many applications, such as 3D-digital-cities, digital cultural heritages, games, tele-cooperation, tactical training or forensic. The objective of the project CAPTURE is to develop a novel approach for 3D scene acquisition and develop corresponding theory and practical methods.

Instead of processing a large amount of standard perspective low resolution video images, we use as input data a few single but full spherical high resolution and high dynamic range (HDR) images. Currently available spherical high resolution cameras are able to record fine texture details and the complete scene from a single point in space. Additionally such cameras provide HDR images yielding consistent color and photometric information. We propose to exploit this new technology focusing on the dense/high-quality 3D reconstruction of both indoor and outdoor environments.

The fundamental issue of the project is to develop novel algorithms that take into account the properties of these images, and thus to push forward the current state of the art in 3D scene acquisition and viewing. In particular we develop novel stable and light-invariant image feature detectors, as well as robust assignment methods for image matching and novel 3D reconstruction/viewing algorithms, which exploit the properties of the images.

The multiple spherical view geometry provides a high amount of redundant information about the underlying environment. This, combined with the consistency of the color and photometric information from HDR images, allows us to develop new methods for robust high-precision image matching and 3D structure estimation, resulting in a high-fidelity textured model of the real scene.

The development of the project CAPTURE makes extensive usage of our Computer Vision Development Framework ARGOS. From the software development side, it is necessary to work with large images and merge information from multiple sources simultaneously. We therefore also put special attention in parallel processing of large amount of data as well as clustering capabilities.

The application of this project is the accurate reconstruction of large scenes which includes industrial facilities, touristic and cultural heritage sites, as well as urban environments.

Autonomous vehicles will be an indispensable component of future mobility systems. Autonomous vehicles can significantly increase the safety of driving while simultaneously increasing traffic density. Autonomously operating vehicles must be able to continuously and accurately detect their environment and the movements of other road users. To this end, new types of real-time capable sensor systems must be researched. Cameras and laser scanners operate according to different principles and offer different advantages in capturing the environment. The aim of this project is to investigate whether and how the two sensor systems can be combined to reliably detect movements in traffic in real time. The challenge in this case is to suitably combine the heterogeneous data of both systems and to find suitable representations for the geometric and visual features of a traffic scene. These must be optimized to the extent that reliable information can be provided for vehicle control in real time. If such a hybrid sensor system can be designed and successfully built, this could represent a breakthrough for sensor equipment for autonomous vehicles and a decisive step for the implementation of this technology.

The objective of DYNAMICS is to develop a new methodology for 4D reconstruction of real world scenes with a small number of cameras, as well as to learn statistical models from the captured data sets. A 4D reconstruction refers to a sequence of accurate 3D reconstructions (including geometry, topology and surface properties) of a dynamic (evolving in time) real-world scene. We aim to build a robust lightweight capture system that can be easily installed and used (e.g. in the living room of a house, in outdoor environments, and broadly under various spatial and temporal constraints).

We are developing a novel interactive software system for motion estimation capitalizing on our experience from the predecessor project DENSITY and exploring new directions (new hardware and machine learning methods).

Specifically, the project DYNAMICS can be subdivided into several work packages according to the target scenarios and concerned areas of computer vision:

1) Software for an interactive monocular 4D reconstruction of non-rigid scenes. The main components are modules dealing with non-rigid structure from motion (NRSfM) pipeline and non-rigid registration. Underlying technology will allow to reconstruct non-rigidly deforming scenes with a minimal number of assumptions from a single RGB camera. Target scenarios include endoscopy, capture of facial expressions, small motion and post-factum reconstructions.

2) Software for robust 4D reconstruction from multiple views incorporating optical flow and scene flow with additional assumptions. We plan to assemble a capture studio with five Emergent HT-4000C high-speed cameras (a multi-view setting). Here, we aim at the highest precision and richness of detail in the reconstructions.

3) 3D shape templates with attributes derived from real data using deep learning techniques. The main objective of this work package is to provide statistical models as a prior knowledge in order to increase the robustness and accuracy of reconstructions. Furthermore, the shape templates will allow for more accurate reconstructions of articulated motion (e.g. skeleton poses) from uncalibrated multi-view settings.

DYNAMICS is a BMBF project with an emphasis on development of core technologies applicable in other ongoing and forthcoming projects in the Augmented Vision Lab.

PAMAP is a European project in the area of ambient assisted living. The project aims at helping the growing elderly population in our society to age weil, or simply to make their life as healthy and comfortable as possible. This can be achieved by providing physicians with the means to help and encourage people to a healthy activity level, and to diagnose problems at an early stage.

PAMAP is an interdisciplinary project bringing together developers of sensors, biomechanics experts and medical specialists. State-of-the-art sensors are integrated with innovative software in order to monitor human physical activity.

The base of the PAMAP system is a mobile network of miniature inertial sensors. Attaching these sensors to the body and connecting them in a network provides kinematic measurements about its movements.

We work in close cooperation with sensor providers to build a modern micro-electro-mechanical systems (MEMS) technology based miniature sensor network, from which data is acquired. In parallel we develop a model of the human body together with our biomechanics partners. They help us to relate the measurements to appropriate physiological indicators. The measurements and the model are then brought together using innovative statistical sensor fusion solutions.

By providing the sensor fusion knowhow, the Augmented Vision department acts as a keystone in the development. We provide the software that transforms the raw sensor readings to high level information which is suitable for analysis by medical personnel. This can be either the overall physical activity level or specific limb motions. The goal is to provide the physicians with relevant and precise information about the vitality of the wearer of the PAMAP system.

Partners

• INTRACOM TELECOM
• University of Compiegne
• TRIVISIO Prototyping GmbH
• Centre Hospitalier Universitaire de Rennes

Die visuelle 3D-Erfassung einer Szene in Echtzeit und die gleichzeitige Bestimmung der Position und Orientierung der Kamera (6DoF, Freiheitsgrad) im Raum ist eine Kerntechnologie, die in zahlreichen Bereichen wie dem autonomen Fahren, der Robotik oder der Medizintechnik Anwendung findet. Das Ziel des MOVEON-Projekts ist die Entwicklung einer neuartigen Generation von visuellen Positionierungssystemen, die über die klassische Lokalisierung und Kartierung hinausgeht, die sich derzeit nur auf die Rekonstruktion von Punktwolken konzentriert. Im Gegensatz dazu ist es unser Ziel, eine 6DoF-Positionierung und ein globales Szenenverständnis in unkontrollierten und dynamischen Umgebungen (z.B. überfüllten Straßen) zu ermöglichen, die sich mit der Größe der Umgebung gut skalieren lässt und die durch die Wiederverwendung konsistenter Karten über einen längeren Zeitraum hinweg dauerhaft eingesetzt werden kann. MOVEON wird den Stand der Technik im visionsbasierten, räumlich-zeitlichen Szenenverständnis vorantreiben, indem es neuartige maschinelle Lernansätze mit geometrischem Schließen (geometric-reasoning) verbindet. Die auf Deep-Learning basierende Erkennung und das Verständnis von High-Level-Konzepten wie Fluchtpunkten oder großen Objektklassen werden als einheitliche Bausteine für eine räumlich-zeitliche Lokalisierung und die Rekonstruktion der Umgebung dienen, die geometrisches Schließen als zugrundeliegende Unterstützung verwenden wird. Dadurch entstehen „hybride Systeme“, die die Stärke beider Technologien, tiefes Lernen und geometrisches Schließen, vereinen und eine hohe Robustheit sowie hohes Erklärbarkeitspotential (im Gegensatz zu „End-to-End Learning“) besitzen.

Partners

Gilles Simon, INRIA Nancy, Team MAGRIT

Individual anthropometric measures are important for different applications, such as health care, ergonomics, clothing industry, etc. This data can be extracted automatically from 3D body scans. In this project we develop a body scanner, which outperforms competing approaches in terms of precision, robustness and manageability as well as an additional analysis component. The required hardware for capturing data is reduced to a single camera (Occipital Structure) und a single mobile device (Apple iPad). This project is conducted in cooperation with the „Video Analytics” department of Siemens Austria.

A visual body scanner reconstructs a closed 3D model of a person from different camera views. These views are captured with a camera either with a turning person in front of the camera or a moving camera around the person. Working with a depth camera, current filtering and global non-rigid registration algorithms are applied to transform the captured data into a consistent human body model. Such systems were already developed and published in the past; amongst others also in our department (KinectAvatar). However, these systems have still some limitation concerning precision, level of detail and robustness, so that a practical use is hindered.

The goal of the project is to reduce these limitations by the joint usage of color and depth information and to extend the system with an analyze component for the automatic extraction of anthropometric measures. Ziel dieses Projektes ist es, diese Einschränkungen durch gemeinsame Verwendung von Farb- und Tiefeninformationen zu beseitigen und das System durch Ergänzung einer Analysekomponente zur Extraktion anthropometrischer Maße zu einem kostengünstigen, mobilen, ohne technische Kenntnisse handhabbaren Body Analyzer zu erweitern.

Planning, scheduling, and operating complex systems is a laborious task. Typically, such systems consist of a number of entities which influence each other so that modifications of one object directly influence others. The project NetVis now aims at the development of new visualization- and interaction-metaphors that support these tasks. These metaphors shall be able to represent an integrated view on the different resources that are part of complex business processes. With these new metaphors, it shall be possible to understand the current state of the business process easier than with current visualizations. Moreover, adaptations of the process in reaction to external influences shall be possible with less effort, thus leading to a more efficient control of the process and the involved tasks.

The ambition of the project INFINITY is to become a flagship project against society’s most pressing cybercriminal, terrorist and hybrid threats. Synthesising the latest innovations in virtual and augmented reality, artificial intelligence and machine learning with big data and visual analytics, Infinity will deliver an integrated solution that aims to revolutionise data-driven investigations. Bringing together a strong representation from national and supranational agencies with an end-user-driven design, it will directly address the core needs of contemporary law enforcement. Specifically, it will equip investigators and analysts with cuttingedge tools to acquire, process, visualise and act upon the enormous quantities of data they are faced with every day. Bolstered by cognitive research, automated systems and instinctive interfaces and controls, Infinity will be designed and developed to maximise the potential of individual investigators. On a collective level, the immersive collaborative environment offered by Infinity will enable co-located and remote cooperation with law enforcing agencies in ways that have not yet been realised. This end-to-end system for operations with law enforcing agencies will cover the full investigative cycle, including generating reports for decisionmakers and admissible evidence to demonstrate to juries and judges. Ultimately, the solutions offered by Infinity will propel law enforcing agencies ahead of traditional and evolving complex, hybrid and transnational threats and protect the societies they serve.

Das Ziel des Projekts INFINITY ist es, ein Vorzeigeprojekt gegen die drängendsten cyberkriminellen, terroristischen und hybriden Bedrohungen der Gesellschaft zu werden. Durch die Synthese der neuesten Innovationen in den Bereichen virtuelle und erweiterte Realität, künstliche Intelligenz und maschinelles Lernen mit großen Datenmengen und visueller Analyse wird Infinity eine integrierte Lösung liefern, die darauf abzielt, datengesteuerte Untersuchungen zu revolutionieren. Durch die Zusammenführung einer starken Vertretung von nationalen und supranationalen Behörden mit einem endbenutzerorientierten Design wird sie direkt auf die Kernbedürfnisse der heutigen Strafverfolgung eingehen. Insbesondere wird es Ermittler und Analysten mit hochmodernen Werkzeugen ausstatten, um die enormen Datenmengen, mit denen sie täglich konfrontiert sind, zu erfassen, zu verarbeiten, zu visualisieren und zu bearbeiten. Unterstützt durch kognitive Forschung, automatisierte Systeme und instinktive Schnittstellen und Kontrollen wird Infinity so konzipiert und entwickelt, dass das Potenzial einzelner Ermittler maximiert wird. Auf kollektiver Ebene wird die immersive kollaborative Umgebung, die Infinity bietet, eine Zusammenarbeit mit den Strafverfolgungsbehörden an einem gemeinsamen Standort und aus der Ferne auf eine Weise ermöglichen, die bisher noch nicht realisiert wurde. Dieses End-to-End-System für Operationen mit Strafverfolgungsbehörden wird den gesamten Ermittlungszyklus abdecken, einschließlich der Erstellung von Berichten für Entscheidungsträger und zulässiger Beweise, die den Geschworenen und Richtern vorgelegt werden können. Letztlich werden die von Infinity angebotenen Lösungen die Strafverfolgungsbehörden den traditionellen und sich entwickelnden komplexen, hybriden und transnationalen Bedrohungen einen Schritt voraus bringen und die Gesellschaften, denen sie dienen, schützen.

Partners

• Universität Wien (Universität Wien)
• ASOCIACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH (FUNDACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH)
• Sheffield Hallam University (Geschäftsleitung)
• EUROPEAN UNION AGENCY FOR LAW ENFORCEMENT COOPERATION (EUROPOL)
• Politiezone Van Antwerpen
• Police Service of Northern Ireland
• Ministerio da Justica Lissabon
• Manzavision
• Kineviz Inc
• Hellenic Police
• HOCHSCHULE FUR DEN ÖFFENTLICHEN DIENST IN BAYERN
• Ministerio del Interior Espana
• Universidad Politecnica De Madrid
• Kentro Meleton Asfaleias
• ENGINEERING – INGEGNERIA INFORMATICA SPA (ENGINEERING – INGEGNERIA INFORMATICA SPA)
• Centre National De La Recherche Scientifique (Centre National De La Recherche Scientifique)
• Ethniko Kentro Erevnas Kai Technologikis Anaptyxis
• Teknologian tutkimuskeskus VTT oy
• Airbus Defence and Space GmbH

Schnell, sicher, kabellos – PROWILAN steuert Industrie 4.0 in Echtzeit

DFKI, ABB AG, IHP – Leibniz-Institut für innovative Mikroelektronik, IMST GmbH, NXP Semiconductors Germany GmbH, Bosch Rexroth AG, Robert Bosch GmbH und Technische Universität Dresden entwickeln neuartige Drahtlos-Kommunikationssysteme für die Industrie

Durch die steigenden Anforderungen der Industrie an eine flexible und kosteneffiziente Produktion wächst das Interesse an sicheren und robusten Funklösungen stetig. Im BMBF-Projekt „Professional Wireless Industrial LAN – PROWILAN“ entwickeln Experten in einem Konsortium aus acht deutschen Organisationen die nächste Generation von WLAN Funktechnologie, die den schnell wachsenden Anforderungen auch zukünftiger industrieller Anwendungen gerecht wird.

Ziel des Projekts ist es, Robustheit, Bandbreite und Latenz der Funklösungen so zu verbessern, dass auch anspruchsvolle oder sicherheitskritische Anwendungen wie Augmented Reality oder funkbasierte Nothaltschaltungen effizient und anwenderfreundlich unterstützt werden können. Mit gängigen Funktechnologien ist es bisher nur eingeschränkt möglich, kooperative Augmented Reality Anwendungen stabil auszuführen. Auch in unzugänglichen Umgebungen, in denen Montage- und Wartungsarbeiten ausgeführt werden sollen, genügen heutige Funktechnologien nicht den gewachsenen Anforderungen.

Der PROWILAN Koordinator Prof. Hans Schotten vom DFKI Kaiserslautern erläutert hierzu: „Zur effizienten Umsetzung von Industrie 4.0 Konzepten benötigt man eine flexible, anwenderfreundliche und sichere Kommunikationslösung. Es ist das Ziel von PROWILAN eine neuartige industrielle Funktechnologie zu entwickeln, die diesen Ansprüchen genügt.“

Zu den notwendigen und geplanten Innovationen gehört unter anderem eine Multi-Band- fähige Funkschnittstelle, die gegenüber Interferenzen in einzelnen Bändern unempfindlich und somit immer sofort verfügbar ist. Dadurch werden sehr schnelle Antwortzeiten der Anwendungen ermöglicht. Es ist wichtig, kurze Antwortzeiten der Systeme garantieren zu können, um beispielsweise im Falle eines Not-Halts der Maschine eine garantierte Stillsetzzeit zu erreichen. Eine weitere Schlüsselinnovation von PROWILAN ist die Integration eines leistungsfähigen 60-GHz Moduls, wodurch sich die übertragbaren Datenraten deutlich steigern lassen. Ebenso soll ein Lokalisierungsverfahren für industrielle Umgebungen integriert werden, sodass mobile Einheiten in der Lage sind, ihren Ort und die Orientierung im Raum zu bestimmen. Für eine hohe Kundenakzeptanz ist auch das in PROWILAN entwickelte neuartige Plug & Trust Verfahren, das eine schnelle und einfache Inbetriebnahme, Umrüstung und Absicherung erlaubt, von zentraler Bedeutung.

PROWILAN wird im Rahmen des Forschungsprogramms IKT 2020 – Forschung für Innovationen durch das Bundesministerium für Bildung und Forschung (BMBF) mit insgesamt 4,6 Millionen Euro gefördert. Das Projekt startete im Februar 2015 und läuft bis Anfang 2018. Neben dem DFKI als Gesamtkoordinator gehören die ABB AG, IHP – Leibniz-Institut für innovative Mikroelektronik, IMST GmbH, NXP Semiconductors Germany GmbH, Bosch Rexroth AG, Robert Bosch GmbH und die Technische Universität Dresden dem Konsortium an.

Partners

• DFKI
• ABB AG
• IHP – Leibniz-Institut für innovative Mikroelektronik
• IMST GmbH
• NXP Semiconductors Germany GmbH
• Bosch Rexroth AG
• Robert Bosch GmbH
• Technische Universität Dresden