Die visuelle 3D-Erfassung einer Szene in Echtzeit und die gleichzeitige Bestimmung der Position und Orientierung der Kamera (6DoF, Freiheitsgrad) im Raum ist eine Kerntechnologie, die in zahlreichen Bereichen wie dem autonomen Fahren, der Robotik oder der Medizintechnik Anwendung findet. Das Ziel des MOVEON-Projekts ist die Entwicklung einer neuartigen Generation von visuellen Positionierungssystemen, die über die klassische Lokalisierung und Kartierung hinausgeht, die sich derzeit nur auf die Rekonstruktion von Punktwolken konzentriert. Im Gegensatz dazu ist es unser Ziel, eine 6DoF-Positionierung und ein globales Szenenverständnis in unkontrollierten und dynamischen Umgebungen (z.B. überfüllten Straßen) zu ermöglichen, die sich mit der Größe der Umgebung gut skalieren lässt und die durch die Wiederverwendung konsistenter Karten über einen längeren Zeitraum hinweg dauerhaft eingesetzt werden kann. MOVEON wird den Stand der Technik im visionsbasierten, räumlich-zeitlichen Szenenverständnis vorantreiben, indem es neuartige maschinelle Lernansätze mit geometrischem Schließen (geometric-reasoning) verbindet. Die auf Deep-Learning basierende Erkennung und das Verständnis von High-Level-Konzepten wie Fluchtpunkten oder großen Objektklassen werden als einheitliche Bausteine für eine räumlich-zeitliche Lokalisierung und die Rekonstruktion der Umgebung dienen, die geometrisches Schließen als zugrundeliegende Unterstützung verwenden wird. Dadurch entstehen „hybride Systeme“, die die Stärke beider Technologien, tiefes Lernen und geometrisches Schließen, vereinen und eine hohe Robustheit sowie hohes Erklärbarkeitspotential (im Gegensatz zu „End-to-End Learning“) besitzen.

Partners

Gilles Simon, INRIA Nancy, Team MAGRIT

Individual anthropometric measures are important for different applications, such as health care, ergonomics, clothing industry, etc. This data can be extracted automatically from 3D body scans. In this project we develop a body scanner, which outperforms competing approaches in terms of precision, robustness and manageability as well as an additional analysis component. The required hardware for capturing data is reduced to a single camera (Occipital Structure) und a single mobile device (Apple iPad). This project is conducted in cooperation with the „Video Analytics” department of Siemens Austria.

A visual body scanner reconstructs a closed 3D model of a person from different camera views. These views are captured with a camera either with a turning person in front of the camera or a moving camera around the person. Working with a depth camera, current filtering and global non-rigid registration algorithms are applied to transform the captured data into a consistent human body model. Such systems were already developed and published in the past; amongst others also in our department (KinectAvatar). However, these systems have still some limitation concerning precision, level of detail and robustness, so that a practical use is hindered.

The goal of the project is to reduce these limitations by the joint usage of color and depth information and to extend the system with an analyze component for the automatic extraction of anthropometric measures. Ziel dieses Projektes ist es, diese Einschränkungen durch gemeinsame Verwendung von Farb- und Tiefeninformationen zu beseitigen und das System durch Ergänzung einer Analysekomponente zur Extraktion anthropometrischer Maße zu einem kostengünstigen, mobilen, ohne technische Kenntnisse handhabbaren Body Analyzer zu erweitern.

Planning, scheduling, and operating complex systems is a laborious task. Typically, such systems consist of a number of entities which influence each other so that modifications of one object directly influence others. The project NetVis now aims at the development of new visualization- and interaction-metaphors that support these tasks. These metaphors shall be able to represent an integrated view on the different resources that are part of complex business processes. With these new metaphors, it shall be possible to understand the current state of the business process easier than with current visualizations. Moreover, adaptations of the process in reaction to external influences shall be possible with less effort, thus leading to a more efficient control of the process and the involved tasks.

The ambition of the project INFINITY is to become a flagship project against society’s most pressing cybercriminal, terrorist and hybrid threats. Synthesising the latest innovations in virtual and augmented reality, artificial intelligence and machine learning with big data and visual analytics, Infinity will deliver an integrated solution that aims to revolutionise data-driven investigations. Bringing together a strong representation from national and supranational agencies with an end-user-driven design, it will directly address the core needs of contemporary law enforcement. Specifically, it will equip investigators and analysts with cuttingedge tools to acquire, process, visualise and act upon the enormous quantities of data they are faced with every day. Bolstered by cognitive research, automated systems and instinctive interfaces and controls, Infinity will be designed and developed to maximise the potential of individual investigators. On a collective level, the immersive collaborative environment offered by Infinity will enable co-located and remote cooperation with law enforcing agencies in ways that have not yet been realised. This end-to-end system for operations with law enforcing agencies will cover the full investigative cycle, including generating reports for decisionmakers and admissible evidence to demonstrate to juries and judges. Ultimately, the solutions offered by Infinity will propel law enforcing agencies ahead of traditional and evolving complex, hybrid and transnational threats and protect the societies they serve.

Das Ziel des Projekts INFINITY ist es, ein Vorzeigeprojekt gegen die drängendsten cyberkriminellen, terroristischen und hybriden Bedrohungen der Gesellschaft zu werden. Durch die Synthese der neuesten Innovationen in den Bereichen virtuelle und erweiterte Realität, künstliche Intelligenz und maschinelles Lernen mit großen Datenmengen und visueller Analyse wird Infinity eine integrierte Lösung liefern, die darauf abzielt, datengesteuerte Untersuchungen zu revolutionieren. Durch die Zusammenführung einer starken Vertretung von nationalen und supranationalen Behörden mit einem endbenutzerorientierten Design wird sie direkt auf die Kernbedürfnisse der heutigen Strafverfolgung eingehen. Insbesondere wird es Ermittler und Analysten mit hochmodernen Werkzeugen ausstatten, um die enormen Datenmengen, mit denen sie täglich konfrontiert sind, zu erfassen, zu verarbeiten, zu visualisieren und zu bearbeiten. Unterstützt durch kognitive Forschung, automatisierte Systeme und instinktive Schnittstellen und Kontrollen wird Infinity so konzipiert und entwickelt, dass das Potenzial einzelner Ermittler maximiert wird. Auf kollektiver Ebene wird die immersive kollaborative Umgebung, die Infinity bietet, eine Zusammenarbeit mit den Strafverfolgungsbehörden an einem gemeinsamen Standort und aus der Ferne auf eine Weise ermöglichen, die bisher noch nicht realisiert wurde. Dieses End-to-End-System für Operationen mit Strafverfolgungsbehörden wird den gesamten Ermittlungszyklus abdecken, einschließlich der Erstellung von Berichten für Entscheidungsträger und zulässiger Beweise, die den Geschworenen und Richtern vorgelegt werden können. Letztlich werden die von Infinity angebotenen Lösungen die Strafverfolgungsbehörden den traditionellen und sich entwickelnden komplexen, hybriden und transnationalen Bedrohungen einen Schritt voraus bringen und die Gesellschaften, denen sie dienen, schützen.

Partners

• Universität Wien (Universität Wien)
• ASOCIACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH (FUNDACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH)
• Sheffield Hallam University (Geschäftsleitung)
• EUROPEAN UNION AGENCY FOR LAW ENFORCEMENT COOPERATION (EUROPOL)
• Politiezone Van Antwerpen
• Police Service of Northern Ireland
• Ministerio da Justica Lissabon
• Manzavision
• Kineviz Inc
• Hellenic Police
• HOCHSCHULE FUR DEN ÖFFENTLICHEN DIENST IN BAYERN
• Ministerio del Interior Espana
• Universidad Politecnica De Madrid
• Kentro Meleton Asfaleias
• ENGINEERING – INGEGNERIA INFORMATICA SPA (ENGINEERING – INGEGNERIA INFORMATICA SPA)
• Centre National De La Recherche Scientifique (Centre National De La Recherche Scientifique)
• Ethniko Kentro Erevnas Kai Technologikis Anaptyxis
• Teknologian tutkimuskeskus VTT oy
• Airbus Defence and Space GmbH

Schnell, sicher, kabellos – PROWILAN steuert Industrie 4.0 in Echtzeit

DFKI, ABB AG, IHP – Leibniz-Institut für innovative Mikroelektronik, IMST GmbH, NXP Semiconductors Germany GmbH, Bosch Rexroth AG, Robert Bosch GmbH und Technische Universität Dresden entwickeln neuartige Drahtlos-Kommunikationssysteme für die Industrie

Durch die steigenden Anforderungen der Industrie an eine flexible und kosteneffiziente Produktion wächst das Interesse an sicheren und robusten Funklösungen stetig. Im BMBF-Projekt „Professional Wireless Industrial LAN – PROWILAN“ entwickeln Experten in einem Konsortium aus acht deutschen Organisationen die nächste Generation von WLAN Funktechnologie, die den schnell wachsenden Anforderungen auch zukünftiger industrieller Anwendungen gerecht wird.

Ziel des Projekts ist es, Robustheit, Bandbreite und Latenz der Funklösungen so zu verbessern, dass auch anspruchsvolle oder sicherheitskritische Anwendungen wie Augmented Reality oder funkbasierte Nothaltschaltungen effizient und anwenderfreundlich unterstützt werden können. Mit gängigen Funktechnologien ist es bisher nur eingeschränkt möglich, kooperative Augmented Reality Anwendungen stabil auszuführen. Auch in unzugänglichen Umgebungen, in denen Montage- und Wartungsarbeiten ausgeführt werden sollen, genügen heutige Funktechnologien nicht den gewachsenen Anforderungen.

Der PROWILAN Koordinator Prof. Hans Schotten vom DFKI Kaiserslautern erläutert hierzu: „Zur effizienten Umsetzung von Industrie 4.0 Konzepten benötigt man eine flexible, anwenderfreundliche und sichere Kommunikationslösung. Es ist das Ziel von PROWILAN eine neuartige industrielle Funktechnologie zu entwickeln, die diesen Ansprüchen genügt.“

Zu den notwendigen und geplanten Innovationen gehört unter anderem eine Multi-Band- fähige Funkschnittstelle, die gegenüber Interferenzen in einzelnen Bändern unempfindlich und somit immer sofort verfügbar ist. Dadurch werden sehr schnelle Antwortzeiten der Anwendungen ermöglicht. Es ist wichtig, kurze Antwortzeiten der Systeme garantieren zu können, um beispielsweise im Falle eines Not-Halts der Maschine eine garantierte Stillsetzzeit zu erreichen. Eine weitere Schlüsselinnovation von PROWILAN ist die Integration eines leistungsfähigen 60-GHz Moduls, wodurch sich die übertragbaren Datenraten deutlich steigern lassen. Ebenso soll ein Lokalisierungsverfahren für industrielle Umgebungen integriert werden, sodass mobile Einheiten in der Lage sind, ihren Ort und die Orientierung im Raum zu bestimmen. Für eine hohe Kundenakzeptanz ist auch das in PROWILAN entwickelte neuartige Plug & Trust Verfahren, das eine schnelle und einfache Inbetriebnahme, Umrüstung und Absicherung erlaubt, von zentraler Bedeutung.

PROWILAN wird im Rahmen des Forschungsprogramms IKT 2020 – Forschung für Innovationen durch das Bundesministerium für Bildung und Forschung (BMBF) mit insgesamt 4,6 Millionen Euro gefördert. Das Projekt startete im Februar 2015 und läuft bis Anfang 2018. Neben dem DFKI als Gesamtkoordinator gehören die ABB AG, IHP – Leibniz-Institut für innovative Mikroelektronik, IMST GmbH, NXP Semiconductors Germany GmbH, Bosch Rexroth AG, Robert Bosch GmbH und die Technische Universität Dresden dem Konsortium an.

Partners

• DFKI
• ABB AG
• IHP – Leibniz-Institut für innovative Mikroelektronik
• IMST GmbH
• NXP Semiconductors Germany GmbH
• Bosch Rexroth AG
• Robert Bosch GmbH
• Technische Universität Dresden

AVILUSplus is a research and development project funded by the Federal Ministry of Education and Research (BMBF). It focuses on long-term technologies with needs for fundamental research. The main areas are: information management, simulation and rendering, tracking, interaction and geometry acquisition. The research department “Augmented Vision” participates in the work packages tracking and interaction with application to AR-assisted industrial maintenance (“AR Handbook”). The goal is to develop innovative methods for image-based tracking and interaction with help of spherical cameras. A head-worn spherical camera provides a field of view that is similar to the human visual system. It captures not only a central part of the frontal working area, as a standard perspective camera would do, but also the hands of the user and parts of the environment. Moreover, the change in the image content is comparatively small, even under large camera motions. For these reasons, spherical cameras can be used to solve image-based tracking and interaction with only one sensor.

The work of the department “Augmented Vision” focuses on the following aspects with special respect to the geometry of spherical cameras: modelling and automatic calibration, landmark detection, description, and tracking, pose estimation and error propagation, object recognition, color-, contour-, and shading-based hand detection, and gesture recognition.

Innovative Cyber-Physical System (CPS) to cover industrial production needs in the current technological context of Industry 4.0

Partners

1. LORTEK S COOP ES
2. FUNDACION TECNALIA RESEARCH & INNOVATION ES
3. ECOLE SUPERIEURE DES TECHNOLOGIES INDUSTRIELLES AVANCEES France
4. SIDENOR ACEROS ESPECIALES SL Spain
5. CIMSA CIMENTO SANAYI VE TICARET ANONIM SIRKETI TR
6. RHODIA OPERATIONS FR
7. DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH DE
8. TECHNOLOGIE INITIATIVE SMARTFACTORY KL E.V. Germany
9. MONDRAGON SISTEMAS DE INFORMACION SOCIEDAD COOPERATIVA ES
10. UNIVERSITE PARIS XII VAL DE MARNE FR
11. Cyber Services Plc HU
12. EKODENGE MUHENDISLIK MIMARLIK DANISMANLIK TICARET ANONIM SIRKETI TR
13. 2.-O LCA CONSULTANTS APS Denmark
14. INSIGHT PUBLISHERS LIMITED UK

The project HySociaTea (Hybrid Social Teams for Long-Term Collaboration in Cyber-Physical Environments), which is funded by the German Federal Ministry of Education and Research, realizes and examines the collaboration of technological augmented humans with autonomous robots, virtual characters and softbots, who work together in a team to solve common tasks.

In the context of Industry 4.0, an example application for these hybrid social teams is the realization of a highly flexible production, in which the team can react on unplanned events by autonomous reorganization. Besides research on the technical feasibility, another key aspect of the project lies in the development of robotic team-competencies as well as on intelligent multi-agent behavior, both of which are also important aspects in purely human teams. The technical systems developed in HySociaTea are mainly meant to be used as assistance-systems for humans working in production-plants – the robots should therefore be perceived as partners in the overall working-process.

On the long run, the team organization, as developed and examined in HySociaTea, can be used in different real-world scenarios, e.g. in modularized production facilities in the factory of the future, as rescue teams in emergency situations, or to realize the necessary division of labor between humans and machines to safely deconstruct nuclear power plants.

In order to realize the vision of HySociaTea, different research departments from all DFKI locations (Bremen, Kaiserslautern, Saarbrücken) join their competencies:

• RIC (Robotics Innovations Center, DFKI Bremen): autonomous and cooperative robotic systems, mobile manipulation
• CPS (Cyber-Physical Systems, DFKI Bremen): safe human-robot interaction
• EI (Embedded Intelligence, DFKI Kaiserslautern): augmented humans, wearable sensors
• AV (Augmented Vision, DFKI Kaiserslautern): perception modules using image processing and sensor fusion
• KM (Knowledge Management, DFKI Kaiserslautern): gaze-controlled perception recognition, real-time object-recognition
• IUI (Intelligent User Interfaces, DFKI Saarbrücken): emosocial virtual characters, multimodal dialog platform
• LT (Language Technology Lab, DFKI Saarbrücken): autonomous team-reorganization, natural speech interaction
• ASR (Agents and Simulated Reality, DFKI Saarbrücken): communication middleware, Dual Reality

The vision of iACT is to research, develop and evaluate tools, strategies and metaphors to better understand and support ways to interact effectively with large, immersive displays. Thus, the project aims at providing users with new, intuitive ways to make sense of normally unstructured and hardly comprehensible information, to share their insights with others and develop new ones by working as a team. To achieve this goal, a large part of research will be to develop intuitive visualization metaphors for large displays and explore more natural techniques to interact with information represented on a large scale display.

Radar sensors are very important in the automotive industry because they have the ability to directly measure the speed of other road users. The DFKI is working with our partners to develop intelligent software solutions to improve the performance of high-resolution radar sensors. We are using machine learning and deep neural networks to detect ghost targets in radar data thus improving their reliability and opens up a wide area of possibilities for highly automated driving.

Partners

ASTYX GmbH (Dr. Georg Kuschk), Lise-Meitner-Straße 2a, 85521, Ottobrunn, DE

BIT Technology Solutions gmbH (Geschäftsleitung), Gewerbering 3, 83539 Pfaffing OT Forsting, DE