“Vernetztes, intelligentes und interaktives System zur kontinuierlichen, perioperativen Überwachung und Steuerung einer Irrigationsvorrichtung sowie zum funktionellen Monitoring des unteren Harntraktes”

Die kontinuierliche Dauerspülung der Blase wird standardmäßig nach Operationen an Blase, Prostata, oder Nieren angewendet, um Komplikationen durch Blutgerinnsel zu vermeiden. Die Spülung sollte ständig überwacht werden, was jedoch im klinischen Alltag nicht zu leisten ist. Motivation von VisIMon ist es daher eine automatisierte Überwachung zu ermöglichen. Sie führt zu einer verbesserten Patientenversorgung bei gleichzeitiger Entlastung des Personals.

Ziel des Projekts VisIMon ist daher die Entwicklung eines kleinen, am Körper getragenen Moduls, wel-ches den Spülvorgang mit Hilfe unterschiedlicher Sensoren überwacht. Das System soll sich nahtlos an den als Standard etablierten Vorgang anlehnen. Durch den Zusammenschluss interdisziplinärer Partner aus Industrie und Forschung sollen die notwendigen Sensoren entwickelt und zu einem effektiven Überwachungssystem vereint werden. Moderne Kommunikationstechnologie ermöglicht die Entwick-lung völlig neuer Konzepte wie Medizingeräte mit einem Krankenhaus interagieren. Bei mehr als 200.000 Anwendungen im Jahr in Deutschland ist die Entwicklung nicht nur aus medizinischer, sondern auch aus wirtschaftlicher Sicht überaus attraktiv.

Partner :

• Albert-Ludwigs-Universität Freiburg
• Fraunhofer Gesellschaft zur Förderung der Angewandten Forschung E.V.
• Lohmann & Birkner Health Care Consulting GmbH
• Digital Biomedical Imaging Systems AG

“Eingebettete Neuronale Netze für Optische Sensoren zur flexiblen und vernetzen Produktion”

Im Rahmen des Projekts ENNOS wird eine kompakte und energieeffiziente Farb- und Tiefenkamera entwickelt, also eine Kamera, die Farbbilder und gleichzeitig 3-dimensionale Informationen zum Abstand von Objekten liefert. Informationen zu Farbe und 3D-Daten werden mittels sogenannter „tiefer neuronaler Netze“ verknüpft, das sind sehr vereinfachte „künstliche Gehirne“: Es wird also „künstliche Intelligenz“ zur rechnergestützten Entscheidungsfindung genutzt.

Ziel ist ein besonders flexibles und leistungsfähiges optisches System, das viele neue Anwendungsmöglichkeiten im Bereich Produktion findet.

Die Auswertung geschieht über Field Programmable Gate Array-Chips (FPGA), das sind programmierbare Integrierte Schaltkreise, die sich an unterschiedliche Aufgaben anpassen lassen. Solche Prozessoren sind besonders flexibel und leistungsfähig, aber von begrenzter Kapazität.

Die Herausforderung liegt darin, die komplexe Struktur und Größe moderner neuronaler Netze effizient in eine passende und kompakte Hardware-Architektur umzuwandeln. Möglich wird dies durch Vorarbeit des Verbundkoordinators Bosch, der eine Vorreiterrolle für solche eingebetteten Lösungen einnimmt.

Unterstützt wird er dabei vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), das sich mit Entscheidungsalgorithmen sowie der Vereinfachung („Pruning“) von neuronalen Netzen beschäftigen wird.

Eine weitere wesentliche Innovation des Projekts ENNOS liegt in der Einführung von ultra-kompakten 3D-Kameras des Projektpartners PMD Technologies AG, der erfolgreich als erster Anbieter eine 3D-Kamera in ein Smartphone integriert hat. Für das Projekt ENNOS werden eine neue Beleuchtungseinheit sowie optische Komponenten für den Industrieeinsatz konzipiert. Dies soll ermöglichen, schwierige Beleuchtungsbedingungen sowie weitere Störeinflüsse aus dem Fertigungsumfeld (z. B. Kalibrierungsungenauigkeiten und Rauschen) zu kompensieren.

Um die große erwartete Leistungsfähigkeit des ENNOS-Konzepts zu demonstrieren, wird die neue (intelligente) Kameraplattform in drei verschiedenen Anwendungsszenarien bei den Verbundpartnern eingesetzt:

Bosch und das DFKI realisieren zusammen die Anwendungen „Ferndiagnose mit automatischer Unkenntlichmachung von Personen“ und „Intelligente Bilderkennung und -analyse mit dem Ziel rein maschinengebundener Produktion“. Die dritte Anwendung „Assistenzsystem für Bestandsaufnahmen“ in großen Anlagen wird von den Partnern ioxp GmbH und KSB AG realisiert.

Jedes dieser Szenarien adressiert bestehende Probleme, die durch bisherige Technologien nur bedingt oder gar nicht gelöst werden und daher ein hohes Innovationspotenzial bieten.

Partners :

• Robert Bosch GmbH, Gerlingen-Schillerhöhe (Koordinator)
• Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI), Kaiserslautern
• KSB SE & Co. KGaA, Frankenthal
• ioxp GmbH, Mannheim
• pmdtechnologies ag, Siegen (assoziierter Partner)
• ifm eletronic GmbH, Tettnang (assoziierter Partner)

Generierung von Vorwissen mit Hilfe lernender Systeme zur 4D-Analyse komplexer Szenen

Motivation

Die künstliche Intelligenz beeinflusst aktuell viele Bereiche, so auch das maschinelle Sehen. Für Anwendungen in den Bereichen Autonome Systeme, Medizin und Industrie stellen sich dabei grundlegende Herausforderungen: 1) die Erzeugung von Vorwissen zur Lösung stark unterbestimmter Probleme, 2) die Verifizierung und Erklärung der von der KI berechneten Antwort und 3) die Bereitstellung von KI in Szenarien mit eingeschränkter Rechenleistung.

Ziele und Vorgehen

Ziel von VIDETE ist es, mit Hilfe von KI, Vorwissen durch Verfahren des maschinellen Lernens zu generieren und damit bisher unlösbare Aufgaben wie die Rekonstruktion dynamischer Objekte mit nur einer Kamera praktisch handhabbar zu machen. Durch geeignetes Vorwissen wird es leichter fallen allgemeine Szenen, zum Beispiel im Bereich Autonomer Systeme, mit Hilfe von Algorithmen zu analysieren und zu interpretieren. Weiter sollen Methoden entwickelt werden die es ermöglichen die berechneten Ergebnisse zu begründen bevor diese weiter benutzt werden. Im Bereich der Medizin wäre dies vergleichbar mit der Meinung eines Kollegen im Gegensatz zu der pauschalen Antwort aktueller KI-Methoden. Als Schlüsseltechnik wir die Modularisierung der Algorithmen angesehen, welche insbesondere auch die Verfügbarkeit von KI erhöhen wird. Modulare Komponenten lassen sich effizient in Hardware realisieren. Somit können Berechnungen (z.B. das Erkennen einer Geste) nahe am erzeugenden Sensor durchgeführt werden. Dies ermöglicht es im Gegenzug, semantisch angereicherte Informationen mit geringem Overhead zu kommunizieren, wodurch KI auch auf mobilen Geräten mit geringen Ressourcen verfügbar wird.

Innovationen und Perspektiven

Die künstliche Intelligenz findet in fast allen Bereichen des täglichen Lebens und der Arbeit Einzug. Die im Projekt VIDETE erwarteten Ergebnisse werden unabhängig von den definierten Forschungszenarien sein und können zum Fortschritt in vielen Anwendungsbereichen (Privatleben, Industrie, Medizin, Autonome Systeme, etc) beitragen.

Inertial Motion Capture-system with Visual Odometry

IMCV project proposes a wearable sensory system, based on inertial motion capture device and visual odometry that can easily be mounted on a robot, as well as on the humans and delivers 3D kinematics in all the environments with an additional 3D reconstruction of the surroundings.

Its objective is to develop this platform for both Exoskeleton and bipedal robot benchmarking.

And it will develop a scenario-generic sensory system for human and bipedal robots and therefore two benchmarking platform will be delivered to be integrated into Eurobench facilities in Spain and Italy for validation tests.

It is planned to use recent advances in inertial measurement units based 3D kinematics estimation that does not use magnetometers and, henceforth, is robust against magnetic interferences induced by the environment or the robot.

This allows a drift-free 3D joint angle estimation of e.g. a lower body configuration or a robotic leg in a body-attached coordinate system.

To map the environment and to correct for possible global heading drift (relative to an external coordinate frame) of the magnetometer-free IMU system, it is planned to fuse the visual odometry stochastically with the IMU system. The recorded 3D point cloud of the stereo camera is used in the post-processing phase to generate the 3D reconstruction of the environment. Therefore a magnetometer-free wearable motion capture system with approximate environment mapping should be created that works for humans and bipedal robots, in any environment, i.e. indoors and outdoors.

To improve localization and measure gait events, a wireless foot pressure insoles will be integrated for measuring ground interaction. Together with the foot insole all the necessary data to reconstruct kinetics and kinematics will be delivered and fully integrated into Robot Operating System (ROS). A user interface will be developed for possible modifications of the skeleton. We also provide validation recordings with a compliant robot leg and with humans, including the computation of key gait-parameters.

Vision, Identification with Z-sensing Technologies and key Applications

VIZTA project, coordinated by ST Micrelectronics, aims at developing innovative technologies in the field of optical sensors and laser sources for short to long-range 3D-imaging and to demonstrate their value in several key applications including automotive, security, smart buildings, mobile robotics for smart cities, and industry4.0. The key differentiating 12-inch Silicon sensing technologies developed during VIZTA are:

• Innovative SPAD and lock-in pixel for Time of Flight architecture sensors
• Unprecedent and cost-effective NIR and RGB-Z filters on-chip solutions
• complex RGB+Z pixel architectures for multimodal 2D/3D imaging For short-range sensors : advanced VCSEL sources including wafer-level GaAs optics and associated high speed driver.

These developed differentiating technologies allows the development and validation of innovative 3D imaging sensors products with the following highly integrated prototypes demonstrators:

• High resolution (>77 000 points) time-of-flight ranging sensor module with integrated VCSEL, drivers, filters and optics.
• Very High resolution (VGA min) depth camera sensor with integrated filters and optics.

For Medium and Long range sensing, VIZTA also adresses new LiDAR systems with dedicated sources, optics and sensors Technology developments of sensors and emitters are carried out by leading semiconductor product suppliers (ST Microelectronics, Philips, III-V Lab) with the support of equipment suppliers (Amat, Semilab) and CEA Leti RTO.

VIZTA project also include the developement of 6 demonstrators for key applications including automotive, security, smart buildings, mobile robotics for smart cities, and industry4.0 with a good mix of industrial and academic partners (Ibeo, Veoneer, Ficosa, Beamagine, IEE, DFKI, UPC, Idemia, CEA-List, ISD, BCB, IDE, Eurecat). VIZTA consortium brings together 23 partners from 9 countries in Europe: France, Germany, Spain, Greece, Luxembourg, Latvia, Sweden, Hungary, and United Kingdom.

Partners :

Universidad Politecnica Catalunya
Commisariat a l Energie Atomique et aux Energies Alternatives (CEA Paris)
Fundacio Eurecat
STMICROELECTRONICS SA
BCB Informática y Control
Alter Technology TÜV Nord SA
FICOMIRRORS SA
Philips Photonics GmbH
Applied Materials France SARL
SEMILAB FELVEZETO FIZIKAI LABORATORIUM RESZVENYTARSASAG
ELEKTRONIKAS UN DATORZINATNU INSTITUTS
LUMIBIRD
IEE S.A.
IBEO Automotive Systems GmbH
STMICROELECTRONICS RESEARCH & DEVELOPMENT LTD
STMICROELECTRONICS SA
IDEMIA IDENITY & SECURITY FRANCE
Beamagine S.L.
Integrated Systems Development S.A.
VEONEER SWEDEN AB
III-V Lab
STMICROELECTRONICS (ALPS) SAS
STMICROELECTRONICS GRENOBLE 2 SAS

“Cognitive Collaboration for Teaming”

Während einer Flugreise müssen Piloten komplizierte Situationen meistern – gleichzeitig sehen sie sich aufgrund der Menge und Art der verfügbaren Informationen mit einer zunehmenden Systemkomplexität konfrontiert. Co2Team (Cognitive Collaboration for Teaming) verfolgt die Idee, dass ein auf künstlicher Intelligenz basierendes System den Piloten durch den Einsatz von Cognitive Computing effizient unterstützen kann.

Hauptziel des Projekts ist es, einen technologischen und methodischen Übergang zu einem eigenständigeren Flugverkehr vorzuschlagen. Co2Team wird eine Roadmap für Cognitive Computing entwickeln, um den Piloten für den zukünftigen Luftverkehr zu unterstützen. Dieser Übergang basiert auf einem innovativen bidirektionalen Kommunikationsparadigma und einer optimierten gemeinsamen Kompetenz (Mensch-Maschine) unter Nutzung des Potenzials des kognitiven Rechnens (Pilotmonitoring, Umwelt- und Situationsverständnis, erweiterte Unterstützung, adaptive Automatisierung).

Partners :

• Deutsche Lufthansa AG
• Institut Polytechnique de Bordeaux (INP Bordeaux)

“Automotive Robust Radar Sensing”

The main objective of the project AuRoRaS is the research and development of intelligent methods to enable high-resolution automotive radar sensors of the latest generation algorithmically and software-wise for the first time for the purpose and requirements of highly automated to autonomous driving (level 4-5). The innovation consists in resolving various artifacts that radar sensors have physically caused by artificial intelligence methods.

Hauptziel des Projektvorhabens AuRoRaS ist die Erforschung und Entwicklung von intelligenten Methoden, um hochauflösende automotive Radarsensoren der neuesten Generation algorithmisch und softwareseitig erstmals für den Einsatzzweck und die Anforderungen des hochautomatisierten bis autonomen Fahrens (Level 4-5) zu befähigen. Die Innovation besteht darin verschiedene Artefakte, die Radar Sensoren physikalisch bedingt aufweisen, mit Methoden der Künstlichen Intelligenz aufzulösen.

Partner :

• ASTYX GmbH (Dr. Georg Kuschk), Lise-Meitner-Straße 2a, 85521, Ottobrunn, DE
• BIT Technology Solutions gmbH (Geschäftsleitung), Gewerbering 3, 83539 Pfaffing OT Forsting, DE