GreifbAR
GreifbAR Project Image
Tangible reality – skilful interaction of user hands and fingers with real tools in mixed reality worlds

The goal of the GreifbAR project is to make mixed reality (MR) worlds, including virtual (VR) and augmented reality (“AR”), tangible and graspable by allowing users to interact with real and virtual objects with their bare hands. Hand accuracy and dexterity is paramount for performing precise tasks in many fields, but the capture of hand-object interaction in current MR systems is woefully inadequate. Current systems rely on hand-held controllers or capture devices that are limited to hand gestures without contact with real objects. GreifbAR solves this limitation by introducing a sensing system that detects both the full hand grip including hand surface and object pose when users interact with real objects or tools. This sensing system will be integrated into a mixed reality training simulator that will be demonstrated in two relevant use cases: industrial assembly and surgical skills training. The usability and applicability as well as the added value for training situations will be thoroughly analysed through user studies.

Partners

NMY – Mixed Reality Communication GmbH Hanauer Landstraße 188, 60314 Frankfurt am Main

Charité – Universitätsmedizin Berlin Charitéplatz 1, 10117 Berlin

Universität Passau vertreten durch den Präsidenten, Prof. Dr. Ulrich Bartosch Innstraße 40, 94032 Passau Wissenschaftliche Leitung: Prof. Dr. Susanne Mayr Lehrstuhl für Psychologie mit Schwerpunkt Mensch – Maschine – Interaktion

Contact

Dr.-Ing. Jason Raphael Rambach

Yongzhi Su, M.Sc.

I-Nergy
Artificial Intelligence for Next Generation Energy

AI spreading in the energy sector is expected to dramatically reshape energy value chain in the next years, by improving business processes performance, while increasing environmental sustainability, strengthening social relationships and propagating high social value among citizens. However, uncertain business cases, fragmented regulations, standards immaturity and low-technical SMEs workforce skills barriers are actually hampering the full exploitation of AI along the energy value chain. I-NERGY will deliver: (i) Financing support through Open Calls to third parties SMEs for new energy use cases and technology building blocks validation, as well as for developing new AI-based energy services, while fully aligning to AI4EU service requirements and strengthening the SME competitiveness on AI for energy; (b) An open modular framework for supporting AI-on-Demand in the energy sector by capitalising on state-of-the-art AI, IoT, semantics, federated learning, analytics tools, which leverage on edge-level AI-based cross-sector multi-stakeholder sovereignty and regulatory preserving interoperable data handling. I-NERGY aims at evolving, scaling up and demonstrating innovative energy-tailored AI-as-a-Service (AIaaS) Toolbox, AI energy analytics and digital twins services that will be validated along 9 pilots, which: (a) Span over the full energy value chain, ranging from optimised management of grid and non-grid RES assets, improved efficiency and reliability of electricity networks operation, optimal risk assessment for energy efficiency investments planning, optimising local and virtual energy communities involvement in flexibility and green energy marketplaces; (b) Delivers other energy and non-energy services to realise synergies among energy commodities (district heating, buildings) and with nonenergy sectors (i.e. e-mobility, personal safety/security, AAL), and with non- or low-technical domains end users (i.e. elderly people).

Partners

ENGINEERING – INGEGNERIA INFORMATICA SPA (ENGINEERING – INGEGNERIA INFORMATICA SPA) FUNDACION ASTURIANA DE LA ENERGIA RIGA MUNICIPAL AGENCY FUNDACION CARTIF PQ TECNOLOGICO BOECILLO Rheinisch-Westfälische Technische Hochschule Aachen COMSENSUS, KOMUNIKACIJE IN SENZORIKA, DOO SONCE ENERGIJA D.O.O. VEOLIA SERVICIOS LECAM SOCIEDAD ANONIMA UNIPERSONAL STUDIO TECNICO BFP SOCIETA A RESPONSABILITA LIMITATA ZELENA ENERGETSKA ZADRUGA ZA USLUGE Iron Thermoilektriki Anonymi Etaireia ASM TERNI SPA CENTRO DE INVESTIGACAO EM ENERGIA REN – STATE GRID SA PARITY PLATFORM IDIOTIKI KEFALAIOUXIKI ETAIREIA Institute of Communication & Computer Systems Fundingbox Accelerator SP. Z O.O. Fundingbox Accelerator SP. Z O.O.

Contact

Prof. Dr. Didier Stricker

Moveon
MOVEON project Image
Visuelles robustes räumliches Szenenverständnis in dynamischen Umgebungen unter Verwendung von intermediären Darstellungen

Die visuelle 3D-Erfassung einer Szene in Echtzeit und die gleichzeitige Bestimmung der Position und Orientierung der Kamera (6DoF, Freiheitsgrad) im Raum ist eine Kerntechnologie, die in zahlreichen Bereichen wie dem autonomen Fahren, der Robotik oder der Medizintechnik Anwendung findet. Das Ziel des MOVEON-Projekts ist die Entwicklung einer neuartigen Generation von visuellen Positionierungssystemen, die über die klassische Lokalisierung und Kartierung hinausgeht, die sich derzeit nur auf die Rekonstruktion von Punktwolken konzentriert. Im Gegensatz dazu ist es unser Ziel, eine 6DoF-Positionierung und ein globales Szenenverständnis in unkontrollierten und dynamischen Umgebungen (z.B. überfüllten Straßen) zu ermöglichen, die sich mit der Größe der Umgebung gut skalieren lässt und die durch die Wiederverwendung konsistenter Karten über einen längeren Zeitraum hinweg dauerhaft eingesetzt werden kann. MOVEON wird den Stand der Technik im visionsbasierten, räumlich-zeitlichen Szenenverständnis vorantreiben, indem es neuartige maschinelle Lernansätze mit geometrischem Schließen (geometric-reasoning) verbindet. Die auf Deep-Learning basierende Erkennung und das Verständnis von High-Level-Konzepten wie Fluchtpunkten oder großen Objektklassen werden als einheitliche Bausteine für eine räumlich-zeitliche Lokalisierung und die Rekonstruktion der Umgebung dienen, die geometrisches Schließen als zugrundeliegende Unterstützung verwenden wird. Dadurch entstehen „hybride Systeme“, die die Stärke beider Technologien, tiefes Lernen und geometrisches Schließen, vereinen und eine hohe Robustheit sowie hohes Erklärbarkeitspotential (im Gegensatz zu „End-to-End Learning“) besitzen.

Partners

Gilles Simon, INRIA Nancy, Team MAGRIT

Contact

Prof. Dr. Didier Stricker

RACKET
RACKET Project Image
Rare Class Learning and Unknown Events Detection for Flexible Production

The RACKET project addresses the problem of detecting rare and unknown faults by combining model-based and machine learning methods. The approach is based on the assumption that a physical or procedural model of a manufacturing plant is available, which is not fully specified and has uncertainties in structure, parameters and variables. Gaps and errors in this model are detected by machine learning and corrected, resulting in a more realistic process model (nominal model). This model can be used to simulate system behavior and estimate the future characteristics of a product.

Actual product defects can thus be attributed to anomalies in the output signal and to inconsistencies in the process variables, without the need for a known failure event or an accurate failure model. Errors have a wide range, i.e., geometric errors such as scratches, out-of-tolerance dimensional variables, or dynamic errors such as deviations between estimated and actual product position on a conveyor belt, process steps or incorrect path assignment in the production flow, etc., and can occur at the product and process level.

CONTACT

Carsten Harms, M.Sc.

Dr.-Ing. Alain Pagani

SocialWear
SocialWear Project Image
SocialWear – Socially Interactive Smart Fashion

Im Bereich Wearable Computing liegt der Schwerpunkt traditionell auf der Verwendung Kleidungsstücke als Plattformen für das On-Body-Sensing. Die Funktionalität solcher Systeme wird durch Abtastung und Berechnung definiert. Gegenwärtig sind Überlegungen zum Modedesign nur Mittel zum Zweck: die Optimierung der Sensor-/Berechnungsleistung bei gleichzeitiger Minimierung des Unbehagens für den Benutzer. Mit anderen Worten, innerhalb des traditionellen Wearable Computing-Ansatzes ist das Kleidungsstück im Wesentlichen ein einfaches Behältnis für hochentwickelte digitale Intelligenz, aber es schließt nicht die Lücke zwischen der Funktion und den tatsächlichen Bedürfnissen des Benutzers. Parallel dazu hat die High-Tech-Fashion-Gemeinschaft nach Möglichkeiten gesucht, die Elektronik in neue Designkonzepte einzubinden. Hier lag der Schwerpunkt auf Design-Aspekten, wobei die digitale Funktion oft ziemlich einfach ist: typischerweise eine Art von Lichteffekten, die durch einfache Signale wie die Menge an Bewegung, Impuls oder Umgebungsbedingungen (Licht, Ton, Temperatur) mit wenig intelligenter Verarbeitung gesteuert werden. Mit anderen Worten, im traditionellen High-Tech-Fashion-Ansatz ist der digitale Teil ein einfaches “Add-on” zu anspruchsvollem Design. Aufbauend auf einer einzigartigen Reihe von Kompetenzen der verschiedenen beteiligten DFKI-Gruppen wollen wir eine neue Generation intelligenter Mode entwickeln, die anspruchsvolle künstliche Intelligenz mit anspruchsvollem Design verbindet. Um dies zu erreichen, müssen wir den gesamten klassischen Prozess der Entwicklung sowohl von Kleidungsstücken als auch der zugehörigen tragbaren Elektronik neu überdenken: Mode- und Elektronikdesign-Kriterien sowie Implementierungsprozesse müssen nahtlos integriert werden können. Wir werden Signalverarbeitungs- und Lernmethoden entwickeln, die es solchen intelligenten Kleidungsstücken ermöglichen, komplexe soziale Umgebungen zu verstehen und auf sie zu reagieren, und neue Interaktionsparadigmen entwerfen, um die soziale Interaktion auf neue, subtile und reichhaltige Weise zu verbessern und zu vermitteln.Dabei werden wir ein breites Spektrum entlang der Größe der sozialen Gruppe und des Übergangs zwischen impliziter und expliziter Interaktion berücksichtigen.

Contact

Dr. Patrick Gebhard

Infinity
Infinity Project Image
Artificial Intelligence and advanced big Data Analytics for Law Enforcement Agencies

The ambition of the project INFINITY is to become a flagship project against society’s most pressing cybercriminal, terrorist and hybrid threats. Synthesising the latest innovations in virtual and augmented reality, artificial intelligence and machine learning with big data and visual analytics, Infinity will deliver an integrated solution that aims to revolutionise data-driven investigations. Bringing together a strong representation from national and supranational agencies with an end-user-driven design, it will directly address the core needs of contemporary law enforcement. Specifically, it will equip investigators and analysts with cuttingedge tools to acquire, process, visualise and act upon the enormous quantities of data they are faced with every day. Bolstered by cognitive research, automated systems and instinctive interfaces and controls, Infinity will be designed and developed to maximise the potential of individual investigators. On a collective level, the immersive collaborative environment offered by Infinity will enable co-located and remote cooperation with law enforcing agencies in ways that have not yet been realised. This end-to-end system for operations with law enforcing agencies will cover the full investigative cycle, including generating reports for decisionmakers and admissible evidence to demonstrate to juries and judges. Ultimately, the solutions offered by Infinity will propel law enforcing agencies ahead of traditional and evolving complex, hybrid and transnational threats and protect the societies they serve.

Das Ziel des Projekts INFINITY ist es, ein Vorzeigeprojekt gegen die drängendsten cyberkriminellen, terroristischen und hybriden Bedrohungen der Gesellschaft zu werden. Durch die Synthese der neuesten Innovationen in den Bereichen virtuelle und erweiterte Realität, künstliche Intelligenz und maschinelles Lernen mit großen Datenmengen und visueller Analyse wird Infinity eine integrierte Lösung liefern, die darauf abzielt, datengesteuerte Untersuchungen zu revolutionieren. Durch die Zusammenführung einer starken Vertretung von nationalen und supranationalen Behörden mit einem endbenutzerorientierten Design wird sie direkt auf die Kernbedürfnisse der heutigen Strafverfolgung eingehen. Insbesondere wird es Ermittler und Analysten mit hochmodernen Werkzeugen ausstatten, um die enormen Datenmengen, mit denen sie täglich konfrontiert sind, zu erfassen, zu verarbeiten, zu visualisieren und zu bearbeiten. Unterstützt durch kognitive Forschung, automatisierte Systeme und instinktive Schnittstellen und Kontrollen wird Infinity so konzipiert und entwickelt, dass das Potenzial einzelner Ermittler maximiert wird. Auf kollektiver Ebene wird die immersive kollaborative Umgebung, die Infinity bietet, eine Zusammenarbeit mit den Strafverfolgungsbehörden an einem gemeinsamen Standort und aus der Ferne auf eine Weise ermöglichen, die bisher noch nicht realisiert wurde. Dieses End-to-End-System für Operationen mit Strafverfolgungsbehörden wird den gesamten Ermittlungszyklus abdecken, einschließlich der Erstellung von Berichten für Entscheidungsträger und zulässiger Beweise, die den Geschworenen und Richtern vorgelegt werden können. Letztlich werden die von Infinity angebotenen Lösungen die Strafverfolgungsbehörden den traditionellen und sich entwickelnden komplexen, hybriden und transnationalen Bedrohungen einen Schritt voraus bringen und die Gesellschaften, denen sie dienen, schützen.

Partners
  • Universität Wien (Universität Wien)
  • ASOCIACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH (FUNDACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH)
  • Sheffield Hallam University (Geschäftsleitung)
  • EUROPEAN UNION AGENCY FOR LAW ENFORCEMENT COOPERATION (EUROPOL)
  • Politiezone Van Antwerpen
  • Police Service of Northern Ireland
  • Ministerio da Justica Lissabon
  • Manzavision
  • Kineviz Inc
  • Hellenic Police
  • HOCHSCHULE FUR DEN ÖFFENTLICHEN DIENST IN BAYERN
  • Ministerio del Interior Espana
  • Universidad Politecnica De Madrid
  • Kentro Meleton Asfaleias
  • ENGINEERING – INGEGNERIA INFORMATICA SPA (ENGINEERING – INGEGNERIA INFORMATICA SPA)
  • Centre National De La Recherche Scientifique (Centre National De La Recherche Scientifique)
  • Ethniko Kentro Erevnas Kai Technologikis Anaptyxis
  • Teknologian tutkimuskeskus VTT oy
  • Airbus Defence and Space GmbH
CONTACT:

Dr.-Ing. Alain Pagani

DECODE

Continual learning for visual and multi-modal encoding of human surrounding and behavior

Decode Project Image

Machine Learning, and in particular Artificial Intelligence (AI) in Deep Learning, has revolutionised Computer Vision in almost all areas. These include topics such as motion estimation, object recognition, semantic segmentation (division and classification of parts of an image), pose estimation of people and hands, and many more. A major problem with this method is the distribution of the data. Training data often differs greatly from real applications and do not adequately cover them. Even if suitable data are available, extensive extensive retraining is time-consuming and costly. Adaptive methods that continuously learn (lifelong learning) are the central challenge for the development of robust, realistic AI applications. In addition to the rich history in the field of general continuous learning, the topic of continuous learning for machine vision under real conditions has recently gained interest. The goal of the DECODE project is to explore continuously adaptive models for reconstructing and understanding human motion and the environment in application-related environments. For this purpose, mobile, visual and inertial sensors (accelerometers and angular rate sensors) will be used. For these different types of sensors and data, different approaches from the field of continuous learning will be researched and developed to ensure a smooth transfer from laboratory conditions to everyday, realistic scenarios. The work will concentrate on in the areas of segmented image and video segmentation, kinematic and pose estimation and the estimation of kinematics and pose of the human body as well as the representation of movements and their context. The field of potential applications for the methods developed in DECODE is wide-ranging and includes detailed ergonomic analysis of human-machine analysis of human-machine interactions, for example in the workplace, in factories, or in vehicles. vehicles.

CONTACT:
ENNOS

“Eingebettete Neuronale Netze für Optische Sensoren zur flexiblen und vernetzen Produktion”

 

Im Rahmen des Projekts ENNOS wird eine kompakte und energieeffiziente Farb- und Tiefenkamera entwickelt, also eine Kamera, die Farbbilder und gleichzeitig 3-dimensionale Informationen zum Abstand von Objekten liefert. Informationen zu Farbe und 3D-Daten werden mittels sogenannter „tiefer neuronaler Netze“ verknüpft, das sind sehr vereinfachte „künstliche Gehirne“: Es wird also „künstliche Intelligenz“ zur rechnergestützten Entscheidungsfindung genutzt.

Ziel ist ein besonders flexibles und leistungsfähiges optisches System, das viele neue Anwendungsmöglichkeiten im Bereich Produktion findet.

Die Auswertung geschieht über Field Programmable Gate Array-Chips (FPGA), das sind programmierbare Integrierte Schaltkreise, die sich an unterschiedliche Aufgaben anpassen lassen. Solche Prozessoren sind besonders flexibel und leistungsfähig, aber von begrenzter Kapazität.

Die Herausforderung liegt darin, die komplexe Struktur und Größe moderner neuronaler Netze effizient in eine passende und kompakte Hardware-Architektur umzuwandeln. Möglich wird dies durch Vorarbeit des Verbundkoordinators Bosch, der eine Vorreiterrolle für solche eingebetteten Lösungen einnimmt.

Unterstützt wird er dabei vom Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), das sich mit Entscheidungsalgorithmen sowie der Vereinfachung („Pruning“) von neuronalen Netzen beschäftigen wird.

Eine weitere wesentliche Innovation des Projekts ENNOS liegt in der Einführung von ultra-kompakten 3D-Kameras des Projektpartners PMD Technologies AG, der erfolgreich als erster Anbieter eine 3D-Kamera in ein Smartphone integriert hat. Für das Projekt ENNOS werden eine neue Beleuchtungseinheit sowie optische Komponenten für den Industrieeinsatz konzipiert. Dies soll ermöglichen, schwierige Beleuchtungsbedingungen sowie weitere Störeinflüsse aus dem Fertigungsumfeld (z. B. Kalibrierungsungenauigkeiten und Rauschen) zu kompensieren.

Um die große erwartete Leistungsfähigkeit des ENNOS-Konzepts zu demonstrieren, wird die neue (intelligente) Kameraplattform in drei verschiedenen Anwendungsszenarien bei den Verbundpartnern eingesetzt:

Bosch und das DFKI realisieren zusammen die Anwendungen „Ferndiagnose mit automatischer Unkenntlichmachung von Personen“ und „Intelligente Bilderkennung und -analyse mit dem Ziel rein maschinengebundener Produktion“. Die dritte Anwendung „Assistenzsystem für Bestandsaufnahmen“ in großen Anlagen wird von den Partnern ioxp GmbH und KSB AG realisiert.

Jedes dieser Szenarien adressiert bestehende Probleme, die durch bisherige Technologien nur bedingt oder gar nicht gelöst werden und daher ein hohes Innovationspotenzial bieten.

 

Partners :

 

  • Robert Bosch GmbH, Gerlingen-Schillerhöhe (Koordinator)
  • Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI), Kaiserslautern
  • KSB SE & Co. KGaA, Frankenthal
  • ioxp GmbH, Mannheim
  • pmdtechnologies ag, Siegen (assoziierter Partner)
  • ifm eletronic GmbH, Tettnang (assoziierter Partner)

 

Kontakt: Stephan Krauß
E-Mail: Stephan.Krauss@dfki.de
Telefon: +49 631 20575 3730

 

VIZTA

Vision, Identification with Z-sensing Technologies and key Applications

VIZTA project, coordinated by ST Micrelectronics, aims at developing innovative technologies in the field of optical sensors and laser sources for short to long-range 3D-imaging and to demonstrate their value in several key applications including automotive, security, smart buildings, mobile robotics for smart cities, and industry4.0. The key differentiating 12-inch Silicon sensing technologies developed during VIZTA are:

• Innovative SPAD and lock-in pixel for Time of Flight architecture sensors
• Unprecedent and cost-effective NIR and RGB-Z filters on-chip solutions
• complex RGB+Z pixel architectures for multimodal 2D/3D imaging For short-range sensors : advanced VCSEL sources including wafer-level GaAs optics and associated high speed driver.

These developed differentiating technologies allows the development and validation of innovative 3D imaging sensors products with the following highly integrated prototypes demonstrators:

• High resolution (>77 000 points) time-of-flight ranging sensor module with integrated VCSEL, drivers, filters and optics.
• Very High resolution (VGA min) depth camera sensor with integrated filters and optics.

For Medium and Long range sensing, VIZTA also adresses new LiDAR systems with dedicated sources, optics and sensors Technology developments of sensors and emitters are carried out by leading semiconductor product suppliers (ST Microelectronics, Philips, III-V Lab) with the support of equipment suppliers (Amat, Semilab) and CEA Leti RTO.

VIZTA project also include the developement of 6 demonstrators for key applications including automotive, security, smart buildings, mobile robotics for smart cities, and industry4.0 with a good mix of industrial and academic partners (Ibeo, Veoneer, Ficosa, Beamagine, IEE, DFKI, UPC, Idemia, CEA-List, ISD, BCB, IDE, Eurecat). VIZTA consortium brings together 23 partners from 9 countries in Europe: France, Germany, Spain, Greece, Luxembourg, Latvia, Sweden, Hungary, and United Kingdom.

 

Partners :

Universidad Politecnica Catalunya
Commisariat a l Energie Atomique et aux Energies Alternatives (CEA Paris)
Fundacio Eurecat
STMICROELECTRONICS SA
BCB Informática y Control
Alter Technology TÜV Nord SA
FICOMIRRORS SA
Philips Photonics GmbH
Applied Materials France SARL
SEMILAB FELVEZETO FIZIKAI LABORATORIUM RESZVENYTARSASAG
ELEKTRONIKAS UN DATORZINATNU INSTITUTS
LUMIBIRD
IEE S.A.
IBEO Automotive Systems GmbH
STMICROELECTRONICS RESEARCH & DEVELOPMENT LTD
STMICROELECTRONICS SA
IDEMIA IDENITY & SECURITY FRANCE
Beamagine S.L.
Integrated Systems Development S.A.
VEONEER SWEDEN AB
III-V Lab
STMICROELECTRONICS (ALPS) SAS
STMICROELECTRONICS GRENOBLE 2 SAS

 

Kontakt: Jason Rambach ; Bruno Mirbach
E-Mail: Jason.Rambach@dfki.de
Telefon: +49 631 20575 3740
Co2Team

 

“Cognitive Collaboration for Teaming”

Während einer Flugreise müssen Piloten komplizierte Situationen meistern – gleichzeitig sehen sie sich aufgrund der Menge und Art der verfügbaren Informationen mit einer zunehmenden Systemkomplexität konfrontiert. Co2Team (Cognitive Collaboration for Teaming) verfolgt die Idee, dass ein auf künstlicher Intelligenz basierendes System den Piloten durch den Einsatz von Cognitive Computing effizient unterstützen kann.

Hauptziel des Projekts ist es, einen technologischen und methodischen Übergang zu einem eigenständigeren Flugverkehr vorzuschlagen. Co2Team wird eine Roadmap für Cognitive Computing entwickeln, um den Piloten für den zukünftigen Luftverkehr zu unterstützen. Dieser Übergang basiert auf einem innovativen bidirektionalen Kommunikationsparadigma und einer optimierten gemeinsamen Kompetenz (Mensch-Maschine) unter Nutzung des Potenzials des kognitiven Rechnens (Pilotmonitoring, Umwelt- und Situationsverständnis, erweiterte Unterstützung, adaptive Automatisierung).

 

Partners :

 

  • Deutsche Lufthansa AG
  • Institut Polytechnique de Bordeaux (INP Bordeaux)

 

Kontakt: Dr.-Ing. Alain Pagani
E-Mail: Alain.Pagani@dfki.uni-kl.de
Telefon: +49 631 20575 3530