VisIMon

“Vernetztes, intelligentes und interaktives System zur kontinuierlichen, perioperativen Überwachung und Steuerung einer Irrigationsvorrichtung sowie zum funktionellen Monitoring des unteren Harntraktes”

Die kontinuierliche Dauerspülung der Blase wird standardmäßig nach Operationen an Blase, Prostata, oder Nieren angewendet, um Komplikationen durch Blutgerinnsel zu vermeiden. Die Spülung sollte ständig überwacht werden, was jedoch im klinischen Alltag nicht zu leisten ist. Motivation von VisIMon ist es daher eine automatisierte Überwachung zu ermöglichen. Sie führt zu einer verbesserten Patientenversorgung bei gleichzeitiger Entlastung des Personals.

Ziel des Projekts VisIMon ist daher die Entwicklung eines kleinen, am Körper getragenen Moduls, wel-ches den Spülvorgang mit Hilfe unterschiedlicher Sensoren überwacht. Das System soll sich nahtlos an den als Standard etablierten Vorgang anlehnen. Durch den Zusammenschluss interdisziplinärer Partner aus Industrie und Forschung sollen die notwendigen Sensoren entwickelt und zu einem effektiven Überwachungssystem vereint werden. Moderne Kommunikationstechnologie ermöglicht die Entwick-lung völlig neuer Konzepte wie Medizingeräte mit einem Krankenhaus interagieren. Bei mehr als 200.000 Anwendungen im Jahr in Deutschland ist die Entwicklung nicht nur aus medizinischer, sondern auch aus wirtschaftlicher Sicht überaus attraktiv.

 

Partner :

  • Albert-Ludwigs-Universität Freiburg
  • Fraunhofer Gesellschaft zur Förderung der Angewandten Forschung E.V.
  • Lohmann & Birkner Health Care Consulting GmbH
  • Digital Biomedical Imaging Systems AG

 

Kontakt: Dipl.-Inf., Dr. Gerd Reis
E-Mail: reis@dfki.uni-kl.de
Telefon: +49 631 20575 2090
ENNOS

“Eingebettete Neuronale Netze für Optische Sensoren zur flexiblen und vernetzen Produktion”

 

Im Rahmen des Projekts ENNOS wird eine kompakte und energieeffiziente Farb- und Tiefenkamera entwickelt, also eine Kamera, die Farbbilder und gleichzeitig 3-dimensionale Informationen zum Abstand von Objekten liefert. Informationen zu Farbe und 3D-Daten werden mittels sogenannter „tiefer neuronaler Netze“ verknüpft, das sind sehr vereinfachte „künstliche Gehirne“: Es wird also „künstliche Intelligenz“ zur rechnergestützten Entscheidungsfindung genutzt.

Ziel ist ein besonders flexibles und leistungsfähiges optisches System, das viele neue Anwendungsmöglichkeiten im Bereich Produktion findet.

Die Auswertung geschieht über Field Programmable Gate Array-Chips (FPGA), das sind programmierbare Integrierte Schaltkreise, die sich an unterschiedliche Aufgaben anpassen lassen. Solche Prozessoren sind besonders flexibel und leistungsfähig, aber von begrenzter Kapazität.

Die Herausforderung liegt darin, die komplexe Struktur und Größe moderner neuronaler Netze effizient in eine passende und kompakte Hardware-Architektur umzuwandeln. Möglich wird dies durch Vorarbeit des Verbundkoordinators Bosch, der eine Vorreiterrolle für solche eingebetteten Lösungen einnimmt.

Unterstützt wird er dabei vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), das sich mit Entscheidungsalgorithmen sowie der Vereinfachung („Pruning“) von neuronalen Netzen beschäftigen wird.

Eine weitere wesentliche Innovation des Projekts ENNOS liegt in der Einführung von ultra-kompakten 3D-Kameras des Projektpartners PMD Technologies AG, der erfolgreich als erster Anbieter eine 3D-Kamera in ein Smartphone integriert hat. Für das Projekt ENNOS werden eine neue Beleuchtungseinheit sowie optische Komponenten für den Industrieeinsatz konzipiert. Dies soll ermöglichen, schwierige Beleuchtungsbedingungen sowie weitere Störeinflüsse aus dem Fertigungsumfeld (z. B. Kalibrierungsungenauigkeiten und Rauschen) zu kompensieren.

Um die große erwartete Leistungsfähigkeit des ENNOS-Konzepts zu demonstrieren, wird die neue (intelligente) Kameraplattform in drei verschiedenen Anwendungsszenarien bei den Verbundpartnern eingesetzt:

Bosch und das DFKI realisieren zusammen die Anwendungen „Ferndiagnose mit automatischer Unkenntlichmachung von Personen“ und „Intelligente Bilderkennung und -analyse mit dem Ziel rein maschinengebundener Produktion“. Die dritte Anwendung „Assistenzsystem für Bestandsaufnahmen“ in großen Anlagen wird von den Partnern ioxp GmbH und KSB AG realisiert.

Jedes dieser Szenarien adressiert bestehende Probleme, die durch bisherige Technologien nur bedingt oder gar nicht gelöst werden und daher ein hohes Innovationspotenzial bieten.

 

Partners :

 

  • Robert Bosch GmbH, Gerlingen-Schillerhöhe (Koordinator)
  • Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI), Kaiserslautern
  • KSB SE & Co. KGaA, Frankenthal
  • ioxp GmbH, Mannheim
  • pmdtechnologies ag, Siegen (assoziierter Partner)
  • ifm eletronic GmbH, Tettnang (assoziierter Partner)

 

Kontakt: Stephan Krauß
E-Mail: Stephan.Krauss@dfki.de
Telefon: +49 631 20575 3730

 

VIDETE

Generierung von Vorwissen mit Hilfe lernender Systeme zur 4D-Analyse komplexer Szenen

Motivation

Die künstliche Intelligenz beeinflusst aktuell viele Bereiche, so auch das maschinelle Sehen. Für Anwendungen in den Bereichen Autonome Systeme, Medizin und Industrie stellen sich dabei grundlegende Herausforderungen: 1) die Erzeugung von Vorwissen zur Lösung stark unterbestimmter Probleme, 2) die Verifizierung und Erklärung der von der KI berechneten Antwort und 3) die Bereitstellung von KI in Szenarien mit eingeschränkter Rechenleistung.

Ziele und Vorgehen

Ziel von VIDETE ist es, mit Hilfe von KI, Vorwissen durch Verfahren des maschinellen Lernens zu generieren und damit bisher unlösbare Aufgaben wie die Rekonstruktion dynamischer Objekte mit nur einer Kamera praktisch handhabbar zu machen. Durch geeignetes Vorwissen wird es leichter fallen allgemeine Szenen, zum Beispiel im Bereich Autonomer Systeme, mit Hilfe von Algorithmen zu analysieren und zu interpretieren. Weiter sollen Methoden entwickelt werden die es ermöglichen die berechneten Ergebnisse zu begründen bevor diese weiter benutzt werden. Im Bereich der Medizin wäre dies vergleichbar mit der Meinung eines Kollegen im Gegensatz zu der pauschalen Antwort aktueller KI-Methoden. Als Schlüsseltechnik wir die Modularisierung der Algorithmen angesehen, welche insbesondere auch die Verfügbarkeit von KI erhöhen wird. Modulare Komponenten lassen sich effizient in Hardware realisieren. Somit können Berechnungen (z.B. das Erkennen einer Geste) nahe am erzeugenden Sensor durchgeführt werden. Dies ermöglicht es im Gegenzug, semantisch angereicherte Informationen mit geringem Overhead zu kommunizieren, wodurch KI auch auf mobilen Geräten mit geringen Ressourcen verfügbar wird.

Innovationen und Perspektiven

Die künstliche Intelligenz findet in fast allen Bereichen des täglichen Lebens und der Arbeit Einzug. Die im Projekt VIDETE erwarteten Ergebnisse werden unabhängig von den definierten Forschungszenarien sein und können zum Fortschritt in vielen Anwendungsbereichen (Privatleben, Industrie, Medizin, Autonome Systeme, etc) beitragen.

 

Kontakt: Dipl.-Inf., Dr. Gerd Reis
E-Mail: reis@dfki.uni-kl.de
Telefon: +49 631 20575 2090
IMCVO

Inertial Motion Capture-system with Visual Odometry

IMCV project proposes a wearable sensory system, based on inertial motion capture device and visual odometry that can easily be mounted on a robot, as well as on the humans and delivers 3D kinematics in all the environments with an additional 3D reconstruction of the surroundings.

Its objective is to develop this platform for both Exoskeleton and bipedal robot benchmarking.

And it will develop a scenario-generic sensory system for human and bipedal robots and therefore two benchmarking platform will be delivered to be integrated into Eurobench facilities in Spain and Italy for validation tests.

It is planned to use recent advances in inertial measurement units based 3D kinematics estimation that does not use magnetometers and, henceforth, is robust against magnetic interferences induced by the environment or the robot.

This allows a drift-free 3D joint angle estimation of e.g. a lower body configuration or a robotic leg in a body-attached coordinate system.

To map the environment and to correct for possible global heading drift (relative to an external coordinate frame) of the magnetometer-free IMU system, it is planned to fuse the visual odometry stochastically with the IMU system. The recorded 3D point cloud of the stereo camera is used in the post-processing phase to generate the 3D reconstruction of the environment. Therefore a magnetometer-free wearable motion capture system with approximate environment mapping should be created that works for humans and bipedal robots, in any environment, i.e. indoors and outdoors.

To improve localization and measure gait events, a wireless foot pressure insoles will be integrated for measuring ground interaction. Together with the foot insole all the necessary data to reconstruct kinetics and kinematics will be delivered and fully integrated into Robot Operating System (ROS). A user interface will be developed for possible modifications of the skeleton. We also provide validation recordings with a compliant robot leg and with humans, including the computation of key gait-parameters.

 

Kontakt: Dr. Bertram Taetz
E-Mail: Bertram.Taetz@dfki.uni-kl.de
VIZTA

Vision, Identification with Z-sensing Technologies and key Applications

VIZTA project, coordinated by ST Micrelectronics, aims at developing innovative technologies in the field of optical sensors and laser sources for short to long-range 3D-imaging and to demonstrate their value in several key applications including automotive, security, smart buildings, mobile robotics for smart cities, and industry4.0. The key differentiating 12-inch Silicon sensing technologies developed during VIZTA are:

• Innovative SPAD and lock-in pixel for Time of Flight architecture sensors
• Unprecedent and cost-effective NIR and RGB-Z filters on-chip solutions
• complex RGB+Z pixel architectures for multimodal 2D/3D imaging For short-range sensors : advanced VCSEL sources including wafer-level GaAs optics and associated high speed driver.

These developed differentiating technologies allows the development and validation of innovative 3D imaging sensors products with the following highly integrated prototypes demonstrators:

• High resolution (>77 000 points) time-of-flight ranging sensor module with integrated VCSEL, drivers, filters and optics.
• Very High resolution (VGA min) depth camera sensor with integrated filters and optics.

For Medium and Long range sensing, VIZTA also adresses new LiDAR systems with dedicated sources, optics and sensors Technology developments of sensors and emitters are carried out by leading semiconductor product suppliers (ST Microelectronics, Philips, III-V Lab) with the support of equipment suppliers (Amat, Semilab) and CEA Leti RTO.

VIZTA project also include the developement of 6 demonstrators for key applications including automotive, security, smart buildings, mobile robotics for smart cities, and industry4.0 with a good mix of industrial and academic partners (Ibeo, Veoneer, Ficosa, Beamagine, IEE, DFKI, UPC, Idemia, CEA-List, ISD, BCB, IDE, Eurecat). VIZTA consortium brings together 23 partners from 9 countries in Europe: France, Germany, Spain, Greece, Luxembourg, Latvia, Sweden, Hungary, and United Kingdom.

 

Partners :

Universidad Politecnica Catalunya
Commisariat a l Energie Atomique et aux Energies Alternatives (CEA Paris)
Fundacio Eurecat
STMICROELECTRONICS SA
BCB Informática y Control
Alter Technology TÜV Nord SA
FICOMIRRORS SA
Philips Photonics GmbH
Applied Materials France SARL
SEMILAB FELVEZETO FIZIKAI LABORATORIUM RESZVENYTARSASAG
ELEKTRONIKAS UN DATORZINATNU INSTITUTS
LUMIBIRD
IEE S.A.
IBEO Automotive Systems GmbH
STMICROELECTRONICS RESEARCH & DEVELOPMENT LTD
STMICROELECTRONICS SA
IDEMIA IDENITY & SECURITY FRANCE
Beamagine S.L.
Integrated Systems Development S.A.
VEONEER SWEDEN AB
III-V Lab
STMICROELECTRONICS (ALPS) SAS
STMICROELECTRONICS GRENOBLE 2 SAS

 

Kontakt: Jason Rambach ; Bruno Mirbach
E-Mail: Jason.Rambach@dfki.de
Telefon: +49 631 20575 3740
Co2Team

 

“Cognitive Collaboration for Teaming”

Während einer Flugreise müssen Piloten komplizierte Situationen meistern – gleichzeitig sehen sie sich aufgrund der Menge und Art der verfügbaren Informationen mit einer zunehmenden Systemkomplexität konfrontiert. Co2Team (Cognitive Collaboration for Teaming) verfolgt die Idee, dass ein auf künstlicher Intelligenz basierendes System den Piloten durch den Einsatz von Cognitive Computing effizient unterstützen kann.

Hauptziel des Projekts ist es, einen technologischen und methodischen Übergang zu einem eigenständigeren Flugverkehr vorzuschlagen. Co2Team wird eine Roadmap für Cognitive Computing entwickeln, um den Piloten für den zukünftigen Luftverkehr zu unterstützen. Dieser Übergang basiert auf einem innovativen bidirektionalen Kommunikationsparadigma und einer optimierten gemeinsamen Kompetenz (Mensch-Maschine) unter Nutzung des Potenzials des kognitiven Rechnens (Pilotmonitoring, Umwelt- und Situationsverständnis, erweiterte Unterstützung, adaptive Automatisierung).

 

Partners :

 

  • Deutsche Lufthansa AG
  • Institut Polytechnique de Bordeaux (INP Bordeaux)

 

Kontakt: Dr.-Ing. Alain Pagani
E-Mail: Alain.Pagani@dfki.uni-kl.de
Telefon: +49 631 20575 3530

 

Auroras

“Automotive Robust Radar Sensing”

The main objective of the project AuRoRaS is the research and development of intelligent methods to enable high-resolution automotive radar sensors of the latest generation algorithmically and software-wise for the first time for the purpose and requirements of highly automated to autonomous driving (level 4-5). The innovation consists in resolving various artifacts that radar sensors have physically caused by artificial intelligence methods.

 

 

Hauptziel des Projektvorhabens AuRoRaS ist die Erforschung und Entwicklung von intelligenten Methoden, um hochauflösende automotive Radarsensoren der neuesten Generation algorithmisch und softwareseitig erstmals für den Einsatzzweck und die Anforderungen des hochautomatisierten bis autonomen Fahrens (Level 4-5) zu befähigen. Die Innovation besteht darin verschiedene Artefakte, die Radar Sensoren physikalisch bedingt aufweisen, mit Methoden der Künstlichen Intelligenz aufzulösen.

 

 

Partner :

  • ASTYX GmbH (Dr. Georg Kuschk), Lise-Meitner-Straße 2a, 85521, Ottobrunn, DE
  • BIT Technology Solutions gmbH (Geschäftsleitung), Gewerbering 3, 83539 Pfaffing OT Forsting, DE

 

Kontakt: Jason Rambach ; Mahdi Chamseddine
E-Mail: Jason.Rambach@dfki.uni-kl.de
Telefon: +49 631 20575 3740
You in 3D
duin3d

Contact person: Onorina Kovalenko

E-Mail: Onorina.Kovalenko@dfki.de

Tel: +49 (0) 631 20575 3607

Real-time Motion capture of multiple persons in community videos

Tracking multiple persons in 3D with high accuracy and temporal stability in real-time with monocular RGB camera is a challenging task which has a lot of practical applications like 3D human character animation, motion analysis in sports, modeling human body movements and many others. The optical human tracking methods often require usage of multi-view video recordings or depth cameras. Systems which work with monocular RGB cameras are mostly not in real-time, track single person and require additional data like initial human pose to be given. All this implies a lot of practical limitations and is one of the major reasons why optical motion capture systems have not yet seen more widespread use in commercial products. The DFKI research department Augmented Vision presents a novel fully automatic multi-person motion tracking system. The presented system works in real-time with monocular RGB video and tracks multiple people in 3D. It does not require any manual work or a specific human pose to start the tracking process. The system automatically estimates a personalized 3D skeleton and an initial 3D location of each person. The system is tested for tracking multiple persons in outdoor scenes, community videos and low quality videos captured with mobile-phone cameras.

00002951
00003752
00005773
00001049
Be-greifen

Contact person: Jason Raphael Rambach
Funding programm: German BMBF
Begin: 01.07.2016
End: 30.06.2019

Comprehensible, interactive experiments: practice and theory in the MINT study

Be-greifenThe project is funded by the Federal Ministry of Education and Research (BMBF). Combine tangible, manipulatable objects (“tangibles”) with advanced technologies (“Augmented Reality”) to develop new, intuitive user interfaces. Through interactive experiments, it will be possible to actively support the learning process during the MINT study and to provide the learner with more theoretical information about physics.

In the project interfaces of Smartphones, Smartwatches or Smartglasses are used. For example, a data gadget that allows you to view content through a combination of subtle head movements, eyebrows, and voice commands, and view them on a display attached above the eye. Through this casual information processing, the students are not distracted in the execution of the experiment and can access the objects and manipulate them.

A research project developed as a preliminary study demonstrates the developments. For this purpose, scientists at the DFKI and at the Technical University Kaiserslautern have developed an app that supports students and students in the determination of the relationship between the fill level of a glass and the height of the sound. The gPhysics application captures the amount of water, measures the sound frequency and transfers the results into a diagram. The app can be operated only by gestures of the head and without manual interaction. In gPhysics, the water quantity is recorded with a camera and the value determined is corrected by means of head gestures or voice commands, if required. The microphone of the Google Glass measures the sound frequency. Both information is displayed in a graph that is continuously updated on the display of Google Glass. In this way, the learners can follow the frequency curve in relation to the water level directly when filling the glass. Since the generation of the curve is comparatively fast, the learners have the opportunity to test different hypotheses directly during the interaction process by varying various parameters of the experiment.

In the project, further experiments on the physical basis of mechanics and thermodynamics are constructed. In addition, the consortium develops technologies that enable learners to discuss video and sensor recordings as well as analyze their experiments in a cloud and to exchange ideas with fellow students or to compare results.

The DFKI is a co-ordinator of five other partners in research and practice: the Technical University of Kaiserslautern, studio klv GmbH & Co. KG Berlin, University of Stuttgart, Con Partners GmbH from Bremen and Embedded Systems Academy GmbH from Barsinghausen.

PROWILAN

Contact person: Jason Raphael Rambach
Funding by: BMBF
Grant agreement no.: 16KIA0243K
Begin: 01.02.2015
End: 31.01.2018

Professional Wireless Industrial LAN

Due to the rising requirements of the industry for a flexible and cost-efficient production, secure and robust wireless solutions are steadily gaining much interest. The BMBF project “Professional Wireless Industrial LAN – proWiLAN” comprises a number of experts from a consortium of eight German organizations developing the next generation of wireless radio technology, which will meet the rapidly growing requirements of the future industrial applications.

The aim of the project is to improve robustness, bandwidth and latency of wireless solutions so that even sophisticated or safety-critical applications such as augmented reality or radio-based emergency stop button can be efficiently and user-friendly supported. The common wireless technologies allow stable execution of cooperative Augmented Reality applications only to a limited extent. Besides, in inaccessible environments where assembly and maintenance work should be performed, present-day wireless technologies cannot satisfy the growing requirements.

Necessary and planned innovations include, among others, a multi-band-capable radio interface, which is not sensitive to interferences in each single band and thus is always immediately available. This makes very fast response times of applications possible. It is important to be able to ensure short response times of the systems in order to e.g. achieve the guaranteed shut down time of a machine in case of an emergency stop. Another key innovation of proWiLAN is the integration of a powerful 60-GHz module, which brings a significant increase of transmission data rates. Furthermore, a localization method for industrial environments should be integrated, so that mobile devices should be capable of determining their location and orientation in space. In order to get a high customer acceptance, novel Plug & Trust process developed in proWiLAN, which allows a quick and easy commissioning, retrofitting and security, is of key importance.

proWiLAN is funded by the research program ICT 2020 — Research for Innovations by the Federal Ministry of Education and Research (BMBF) with a total of 4.6 million euro. The project started in February 2015 and runs until the beginning of 2018. In addition to the DFKI as project coordinator, the consortium includes ABB AG, IHP – Leibniz Institute for Innovative Microelectronics, IMST GmbH, NXP Semiconductors Germany GmbH, Bosch Rexroth AG, Robert Bosch GmbH and the Technical University Dresden.