Am 1. September 2022 startete das Forschungsprojekt Twin4Trucks (T4T). Darin verbinden sich wissenschaftliche Forschung und industrielle Umsetzung in einzigartiger Weise. Das Projektkonsortium besteht aus sechs Unternehmen aus Forschung und Industrie: Die Daimler Truck AG (DTAG) ist Konsortialführer des Projekts. Sie ist der größte Nutzfahrzeughersteller der Welt und mithilfe von Twin4Trucks soll ihre Produktion durch die Implementierung neuer Technologien wie Digitaler Zwillinge oder eines Digital Foundation Layer optimiert werden. Die Technologie-Initiative SmartFactory Kaiserslautern (SF-KL) und das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) geben als visionäre Wissenschaftseinrichtungen mit Production Level 4 die Entwicklungsrichtung vor. Der IT-Dienstleister Atos ist zuständig für den Datenaustausch über Gaia-X, die Qualitätssicherung durch KI-Methoden und das Umsetzungskonzept des DFL. Infosys ist zuständig für die Netzwerkarchitektur, 5G Netzwerke und Integrationsleistungen. Das Unternehmen PFALZKOM baut eine Regional Edge Cloud auf, sowie ein Datencenter. Dazu kommen Gaia-X Umsetzung und Betriebskonzepte für Netzwerke.

Contact
Dr.-Ing. Jason Raphael Rambach

• Jason_Raphael.Rambach@dfki.uni-kl.de
• Phone +49 631 20575 3740

Autonome Fahrzeuge werden ein unverzichtbarer Bestandteil zukünftiger Mobilitätssysteme sein. Mit autonomen Fahrzeugen lässt sich die Sicherheit des Fahrens bei gleichzeitiger Steigerung der Verkehrsdichte signifikant erhöhen. Autonom agierende Fahrzeuge müssen in der Lage sein, ihre Umwelt und Bewegungen anderer Verkehrsteilnehmer kontinuierlich und genau zu erfassen. Hierzu müssen neuartige echtzeitfähige Sensorsysteme erforscht werden. Kameras und Laserscanner funktionieren nach unterschiedlichen Prinzipien und bieten unterschiedliche Vorteile bei der Erfassung der Umwelt. Im Rahmen dieses Projekts soll erforscht werden, ob und wie die beiden Sensorsysteme kombiniert werden können, um damit Bewegungen im Verkehr in Echtzeit zuverlässig zu erfassen. Die Herausforderung besteht in diesem Fall darin, die heterogenen Daten beider Systeme geeignet zu verknüpfen und geeignete Repräsentationen für die geometrischen und visuellen Merkmale einer Verkehrsszene zu finden. Diese müssen so weit optimiert werden, dass zuverlässige Informationen für die Fahrzeugsteuerung in Echtzeit bereitgestellt werden können. Wenn es gelingt, ein solches Hybridsensorsystem zu konzipieren und erfolgreich aufzubauen, könnte dies einen Durchbruch für die Sensorausstattung autonomer Fahrzeuge darstellen und einen entscheidenden Schritt für die Umsetzung dieser Technologie bedeuten.

Contact
Dr.-Ing. René Schuster

• Rene.Schuster@dfki.uni-kl.de
• Phone +49 631 20575 3605

Ramy Battrawy, M.Sc.

• Ramy.Battrawy@dfki.uni-kl.de
• Phone +49 631 20575 3690

The goal of the GreifbAR project is to make mixed reality (MR) worlds, including virtual (VR) and augmented reality (“AR”), tangible and graspable by allowing users to interact with real and virtual objects with their bare hands. Hand accuracy and dexterity is paramount for performing precise tasks in many fields, but the capture of hand-object interaction in current MR systems is woefully inadequate. Current systems rely on hand-held controllers or capture devices that are limited to hand gestures without contact with real objects. GreifbAR solves this limitation by introducing a sensing system that detects both the full hand grip including hand surface and object pose when users interact with real objects or tools. This sensing system will be integrated into a mixed reality training simulator that will be demonstrated in two relevant use cases: industrial assembly and surgical skills training. The usability and applicability as well as the added value for training situations will be thoroughly analysed through user studies.

Partners

NMY – Mixed Reality Communication GmbH Hanauer Landstraße 188, 60314 Frankfurt am Main

Charité – Universitätsmedizin Berlin Charitéplatz 1, 10117 Berlin

Universität Passau vertreten durch den Präsidenten, Prof. Dr. Ulrich Bartosch Innstraße 40, 94032 Passau Wissenschaftliche Leitung: Prof. Dr. Susanne Mayr Lehrstuhl für Psychologie mit Schwerpunkt Mensch – Maschine – Interaktion

Contact

Dr.-Ing. Jason Raphael Rambach

• Jason_Raphael.Rambach@dfki.de
• Phone +49 631 20575 3740

Yongzhi Su, M.Sc.

• Yongzhi.Su@dfki.de
• Phone +49 631 20575 3416

AI spreading in the energy sector is expected to dramatically reshape energy value chain in the next years, by improving business processes performance, while increasing environmental sustainability, strengthening social relationships and propagating high social value among citizens. However, uncertain business cases, fragmented regulations, standards immaturity and low-technical SMEs workforce skills barriers are actually hampering the full exploitation of AI along the energy value chain. I-NERGY will deliver: (i) Financing support through Open Calls to third parties SMEs for new energy use cases and technology building blocks validation, as well as for developing new AI-based energy services, while fully aligning to AI4EU service requirements and strengthening the SME competitiveness on AI for energy; (b) An open modular framework for supporting AI-on-Demand in the energy sector by capitalising on state-of-the-art AI, IoT, semantics, federated learning, analytics tools, which leverage on edge-level AI-based cross-sector multi-stakeholder sovereignty and regulatory preserving interoperable data handling. I-NERGY aims at evolving, scaling up and demonstrating innovative energy-tailored AI-as-a-Service (AIaaS) Toolbox, AI energy analytics and digital twins services that will be validated along 9 pilots, which: (a) Span over the full energy value chain, ranging from optimised management of grid and non-grid RES assets, improved efficiency and reliability of electricity networks operation, optimal risk assessment for energy efficiency investments planning, optimising local and virtual energy communities involvement in flexibility and green energy marketplaces; (b) Delivers other energy and non-energy services to realise synergies among energy commodities (district heating, buildings) and with nonenergy sectors (i.e. e-mobility, personal safety/security, AAL), and with non- or low-technical domains end users (i.e. elderly people).

Partners

ENGINEERING – INGEGNERIA INFORMATICA SPA (ENGINEERING – INGEGNERIA INFORMATICA SPA) FUNDACION ASTURIANA DE LA ENERGIA RIGA MUNICIPAL AGENCY FUNDACION CARTIF PQ TECNOLOGICO BOECILLO Rheinisch-Westfälische Technische Hochschule Aachen COMSENSUS, KOMUNIKACIJE IN SENZORIKA, DOO SONCE ENERGIJA D.O.O. VEOLIA SERVICIOS LECAM SOCIEDAD ANONIMA UNIPERSONAL STUDIO TECNICO BFP SOCIETA A RESPONSABILITA LIMITATA ZELENA ENERGETSKA ZADRUGA ZA USLUGE Iron Thermoilektriki Anonymi Etaireia ASM TERNI SPA CENTRO DE INVESTIGACAO EM ENERGIA REN – STATE GRID SA PARITY PLATFORM IDIOTIKI KEFALAIOUXIKI ETAIREIA Institute of Communication & Computer Systems Fundingbox Accelerator SP. Z O.O. Fundingbox Accelerator SP. Z O.O.Contact

Prof. Dr. Didier Stricker

• Didier.Stricker@dfki.de
• Phone +49 631 20575 3500
• Fax +49 631 20575 3520

Die visuelle 3D-Erfassung einer Szene in Echtzeit und die gleichzeitige Bestimmung der Position und Orientierung der Kamera (6DoF, Freiheitsgrad) im Raum ist eine Kerntechnologie, die in zahlreichen Bereichen wie dem autonomen Fahren, der Robotik oder der Medizintechnik Anwendung findet. Das Ziel des MOVEON-Projekts ist die Entwicklung einer neuartigen Generation von visuellen Positionierungssystemen, die über die klassische Lokalisierung und Kartierung hinausgeht, die sich derzeit nur auf die Rekonstruktion von Punktwolken konzentriert. Im Gegensatz dazu ist es unser Ziel, eine 6DoF-Positionierung und ein globales Szenenverständnis in unkontrollierten und dynamischen Umgebungen (z.B. überfüllten Straßen) zu ermöglichen, die sich mit der Größe der Umgebung gut skalieren lässt und die durch die Wiederverwendung konsistenter Karten über einen längeren Zeitraum hinweg dauerhaft eingesetzt werden kann. MOVEON wird den Stand der Technik im visionsbasierten, räumlich-zeitlichen Szenenverständnis vorantreiben, indem es neuartige maschinelle Lernansätze mit geometrischem Schließen (geometric-reasoning) verbindet. Die auf Deep-Learning basierende Erkennung und das Verständnis von High-Level-Konzepten wie Fluchtpunkten oder großen Objektklassen werden als einheitliche Bausteine für eine räumlich-zeitliche Lokalisierung und die Rekonstruktion der Umgebung dienen, die geometrisches Schließen als zugrundeliegende Unterstützung verwenden wird. Dadurch entstehen „hybride Systeme“, die die Stärke beider Technologien, tiefes Lernen und geometrisches Schließen, vereinen und eine hohe Robustheit sowie hohes Erklärbarkeitspotential (im Gegensatz zu „End-to-End Learning“) besitzen.

Contact

Prof. Dr. Didier Stricker

• Didier.Stricker@dfki.de
• Phone +49 631 20575 3500
• Fax +49 631 20575 3520

The RACKET project addresses the problem of detecting rare and unknown faults by combining model-based and machine learning methods. The approach is based on the assumption that a physical or procedural model of a manufacturing plant is available, which is not fully specified and has uncertainties in structure, parameters and variables. Gaps and errors in this model are detected by machine learning and corrected, resulting in a more realistic process model (nominal model). This model can be used to simulate system behavior and estimate the future characteristics of a product.

Actual product defects can thus be attributed to anomalies in the output signal and to inconsistencies in the process variables, without the need for a known failure event or an accurate failure model. Errors have a wide range, i.e., geometric errors such as scratches, out-of-tolerance dimensional variables, or dynamic errors such as deviations between estimated and actual product position on a conveyor belt, process steps or incorrect path assignment in the production flow, etc., and can occur at the product and process level.

CONTACT

Carsten Harms, M.Sc.

• Carsten.Harms@dfki.de
• Phone +49 631 20575 3419

Dr.-Ing. Alain Pagani

• Alain.Pagani@dfki.de
• Phone +49 631 20575 3530

Im Bereich Wearable Computing liegt der Schwerpunkt traditionell auf der Verwendung Kleidungsstücke als Plattformen für das On-Body-Sensing. Die Funktionalität solcher Systeme wird durch Abtastung und Berechnung definiert. Gegenwärtig sind Überlegungen zum Modedesign nur Mittel zum Zweck: die Optimierung der Sensor-/Berechnungsleistung bei gleichzeitiger Minimierung des Unbehagens für den Benutzer. Mit anderen Worten, innerhalb des traditionellen Wearable Computing-Ansatzes ist das Kleidungsstück im Wesentlichen ein einfaches Behältnis für hochentwickelte digitale Intelligenz, aber es schließt nicht die Lücke zwischen der Funktion und den tatsächlichen Bedürfnissen des Benutzers. Parallel dazu hat die High-Tech-Fashion-Gemeinschaft nach Möglichkeiten gesucht, die Elektronik in neue Designkonzepte einzubinden. Hier lag der Schwerpunkt auf Design-Aspekten, wobei die digitale Funktion oft ziemlich einfach ist: typischerweise eine Art von Lichteffekten, die durch einfache Signale wie die Menge an Bewegung, Impuls oder Umgebungsbedingungen (Licht, Ton, Temperatur) mit wenig intelligenter Verarbeitung gesteuert werden. Mit anderen Worten, im traditionellen High-Tech-Fashion-Ansatz ist der digitale Teil ein einfaches “Add-on” zu anspruchsvollem Design. Aufbauend auf einer einzigartigen Reihe von Kompetenzen der verschiedenen beteiligten DFKI-Gruppen wollen wir eine neue Generation intelligenter Mode entwickeln, die anspruchsvolle künstliche Intelligenz mit anspruchsvollem Design verbindet. Um dies zu erreichen, müssen wir den gesamten klassischen Prozess der Entwicklung sowohl von Kleidungsstücken als auch der zugehörigen tragbaren Elektronik neu überdenken: Mode- und Elektronikdesign-Kriterien sowie Implementierungsprozesse müssen nahtlos integriert werden können. Wir werden Signalverarbeitungs- und Lernmethoden entwickeln, die es solchen intelligenten Kleidungsstücken ermöglichen, komplexe soziale Umgebungen zu verstehen und auf sie zu reagieren, und neue Interaktionsparadigmen entwerfen, um die soziale Interaktion auf neue, subtile und reichhaltige Weise zu verbessern und zu vermitteln.Dabei werden wir ein breites Spektrum entlang der Größe der sozialen Gruppe und des Übergangs zwischen impliziter und expliziter Interaktion berücksichtigen.

Contact

Dr. Patrick Gebhard

• Patrick.Gebhard@dfki.de
• Phone +49 681 85775 3001
• Fax +49 681 85775 5341

The ambition of the project INFINITY is to become a flagship project against society’s most pressing cybercriminal, terrorist and hybrid threats. Synthesising the latest innovations in virtual and augmented reality, artificial intelligence and machine learning with big data and visual analytics, Infinity will deliver an integrated solution that aims to revolutionise data-driven investigations. Bringing together a strong representation from national and supranational agencies with an end-user-driven design, it will directly address the core needs of contemporary law enforcement. Specifically, it will equip investigators and analysts with cuttingedge tools to acquire, process, visualise and act upon the enormous quantities of data they are faced with every day. Bolstered by cognitive research, automated systems and instinctive interfaces and controls, Infinity will be designed and developed to maximise the potential of individual investigators. On a collective level, the immersive collaborative environment offered by Infinity will enable co-located and remote cooperation with law enforcing agencies in ways that have not yet been realised. This end-to-end system for operations with law enforcing agencies will cover the full investigative cycle, including generating reports for decisionmakers and admissible evidence to demonstrate to juries and judges. Ultimately, the solutions offered by Infinity will propel law enforcing agencies ahead of traditional and evolving complex, hybrid and transnational threats and protect the societies they serve.

Das Ziel des Projekts INFINITY ist es, ein Vorzeigeprojekt gegen die drängendsten cyberkriminellen, terroristischen und hybriden Bedrohungen der Gesellschaft zu werden. Durch die Synthese der neuesten Innovationen in den Bereichen virtuelle und erweiterte Realität, künstliche Intelligenz und maschinelles Lernen mit großen Datenmengen und visueller Analyse wird Infinity eine integrierte Lösung liefern, die darauf abzielt, datengesteuerte Untersuchungen zu revolutionieren. Durch die Zusammenführung einer starken Vertretung von nationalen und supranationalen Behörden mit einem endbenutzerorientierten Design wird sie direkt auf die Kernbedürfnisse der heutigen Strafverfolgung eingehen. Insbesondere wird es Ermittler und Analysten mit hochmodernen Werkzeugen ausstatten, um die enormen Datenmengen, mit denen sie täglich konfrontiert sind, zu erfassen, zu verarbeiten, zu visualisieren und zu bearbeiten. Unterstützt durch kognitive Forschung, automatisierte Systeme und instinktive Schnittstellen und Kontrollen wird Infinity so konzipiert und entwickelt, dass das Potenzial einzelner Ermittler maximiert wird. Auf kollektiver Ebene wird die immersive kollaborative Umgebung, die Infinity bietet, eine Zusammenarbeit mit den Strafverfolgungsbehörden an einem gemeinsamen Standort und aus der Ferne auf eine Weise ermöglichen, die bisher noch nicht realisiert wurde. Dieses End-to-End-System für Operationen mit Strafverfolgungsbehörden wird den gesamten Ermittlungszyklus abdecken, einschließlich der Erstellung von Berichten für Entscheidungsträger und zulässiger Beweise, die den Geschworenen und Richtern vorgelegt werden können. Letztlich werden die von Infinity angebotenen Lösungen die Strafverfolgungsbehörden den traditionellen und sich entwickelnden komplexen, hybriden und transnationalen Bedrohungen einen Schritt voraus bringen und die Gesellschaften, denen sie dienen, schützen.

Partners

• Universität Wien (Universität Wien)
• ASOCIACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH (FUNDACION CENTRO DE TECHNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES-VICOMTECH)
• Sheffield Hallam University (Geschäftsleitung)
• EUROPEAN UNION AGENCY FOR LAW ENFORCEMENT COOPERATION (EUROPOL)
• Politiezone Van Antwerpen
• Police Service of Northern Ireland
• Ministerio da Justica Lissabon
• Manzavision
• Kineviz Inc
• Hellenic Police
• HOCHSCHULE FUR DEN ÖFFENTLICHEN DIENST IN BAYERN
• Ministerio del Interior Espana
• Universidad Politecnica De Madrid
• Kentro Meleton Asfaleias
• ENGINEERING – INGEGNERIA INFORMATICA SPA (ENGINEERING – INGEGNERIA INFORMATICA SPA)
• Centre National De La Recherche Scientifique (Centre National De La Recherche Scientifique)
• Ethniko Kentro Erevnas Kai Technologikis Anaptyxis
• Teknologian tutkimuskeskus VTT oy
• Airbus Defence and Space GmbH

Continual learning for visual and multi-modal encoding of human surrounding and behavior

Machine Learning, and in particular Artificial Intelligence (AI) in Deep Learning, has revolutionised Computer Vision in almost all areas. These include topics such as motion estimation, object recognition, semantic segmentation (division and classification of parts of an image), pose estimation of people and hands, and many more. A major problem with this method is the distribution of the data. Training data often differs greatly from real applications and do not adequately cover them. Even if suitable data are available, extensive extensive retraining is time-consuming and costly. Adaptive methods that continuously learn (lifelong learning) are the central challenge for the development of robust, realistic AI applications. In addition to the rich history in the field of general continuous learning, the topic of continuous learning for machine vision under real conditions has recently gained interest. The goal of the DECODE project is to explore continuously adaptive models for reconstructing and understanding human motion and the environment in application-related environments. For this purpose, mobile, visual and inertial sensors (accelerometers and angular rate sensors) will be used. For these different types of sensors and data, different approaches from the field of continuous learning will be researched and developed to ensure a smooth transfer from laboratory conditions to everyday, realistic scenarios. The work will concentrate on in the areas of segmented image and video segmentation, kinematic and pose estimation and the estimation of kinematics and pose of the human body as well as the representation of movements and their context. The field of potential applications for the methods developed in DECODE is wide-ranging and includes detailed ergonomic analysis of human-machine analysis of human-machine interactions, for example in the workplace, in factories, or in vehicles. vehicles.

Fehlbelastungen des Stütz- und Bewegungsapparats, repetitive Bewegungsabläufe oder eine ergonomisch ungünstige Körperhaltung führen bei vielen Beschäftigten zu Beschwerden. Insbesondere ältere Arbeitnehmer leiden aufgrund ihrer langjährigen Tätigkeiten oftmals an Störungen des Muskel-Skelett-Systems oder anderen altersbedingten Einschränkungen. Im von der Europäischen Union (EU) geförderten Projekt BIONIC arbeitet das DFKI als Koordinator zusammen mit zehn internationalen Partnern an intelligenten Lösungen, die solche Gesundheitseinschränkungen reduzieren sollen.

Body Sensor-Netzwerk (BSN) analysiert Belastungen und korrigiert Fehlstellungen in Echtzeit

Durch ein Netzwerk von verschiedenen, am Körper getragenen Sensoren soll ein System entwickelt werden, das den gesundheitlichen Zustand von Arbeitern im Verlauf des Tages erfasst. Die Analyse wird auf einem intelligenten Chip am Körper stattfinden; die Rohdatenvorverarbeitung direkt an der „Quelle“ ermöglicht eine lokale Verarbeitung der Datenströme in Echtzeit. Neuartige Methoden der Risikoanalyse erlauben eine direkte Rückmeldung zu Belastungen und Fehlstellungen. Spielerische Anwendungen und eine Trainings-App motivieren dazu, einseitigen Belastungen entgegenzuwirken und geben personalisierte und medizinische Hilfestellungen für ein Training zuhause.

Weiterentwicklung der Anwendungen aus Vorgängerprojekt „EASY-IMP“

Ein Großteil der Partner hat bereits im EU Projekt „EASY-IMP“ erfolgreich an der Entwicklung eines BSN gearbeitet, das zur Analyse von Körperbewegungen kleine IMU-Sensoren verwendete (Beschleunigungs- oder Drehratensensoren), die in der Kleidung oder auf der Haut befestigt waren. Die leichte und modulare Bauweise des Systems wird in BIONIC weiterentwickelt, um eine einfachere Integration zu realisieren.

Biomechanische Modelle und Deep Learning zur ergonomischen Risikobewertung

Durch den Einsatz biomechanischer Modelle für altersbedingte und chronische Beeinträchtigungen werden Algorithmen zur ergonomischen Risikobewertung der physischen Belastungen entworfen. Zu den Eingangsparametern gehören Körperhaltung, Kräfte und Momente, sowie physiologische Parameter wie Herzfrequenz oder Körpertemperatur.

Verfahren, die auf objektiven sowie subjektiven Daten (Expertenkriterien) basieren, werden als Grundlage herangezogen und durch personalisierte Algorithmen ergänzt, für die Methoden des Deep Learning eingesetzt werden.Die erzeugten Daten werden entsprechend der EU Datenschutzrichtlinie gespeichert.

„BIONIC – Personalized Body Sensor Networks with Built-In Intelligence for Real-Time Risk Assessment and Coaching of Ageing workers, in all types of working and living environments “ ist ein interdisziplinäres Forschungsprojekt mit elf Partnern aus Medizin, Biotechnik, Elektronik, Informationstechnologie und Künstliche Intelligenz, bis hin zu Bau- und Fabrikarbeitern, die in Pilotversuchen die Ergebnisse validieren werden.

Partners :

• Deutsches Forschungszentrum für Künstliche Intelligenz GmbH DFKI (Projektkoordination)
• Technische Universität Kaiserslautern – wearHEALTH Group
• Instituto de Biomechanica de Valencia, Spanien
• Roessingh Research and Development, University of Twente, Niederlande
• University of Piraeus – Systems Security Lab, Griechenland
• Interactive Wear GmbH, München
• Hypercliq IKE, Griechenland
• ACCIONA Construcción S.A. – Spanien
• Rolls-Royce Power Systems AG – Friedrichshafen
• Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA), Dortmund
• Fundación Laboral de la Construcción – Spanien

Website : https://bionic-h2020.eu/