SHARESPACE will demonstrate a radically new technology for promoting ethical and social interaction in eXtended Reality (XR) Shared Hybrid Spaces (SHS), anchored in human sensorimotor communication. Our core concept is to identify and segment social sensorimotor primitives and reconstruct them in hybrid settings to build continuous, embodied, and rich human- avatar experiences.
To achieve this, three interconnected science-towards-technology breakthroughs will be delivered: – novel computational cognitive architectures, – a unique self-calibrating body sensor network, and – a fully mobile spatial Augmented Reality (AR) and virtual human rendering.
We will create a library of social motion primitives and use them to design AI-based architectures of our artificial agents. SHARESPACE mobile capturing technologies combine loosely-coupled visual-inertial tracking of full body kinematic, hand pose and facial expression, incorporating novel neural encoding/decoding functionalities, together with local context-aware animations and highly realistic neural rendering.
Our technology will be iteratively tested in 2 Proofs-of-principles involving human and artificial agents interacting in SHS, and 3 real-world use case scenarios in Health, Sport and Art. We will demonstrate a fully functional prototype of SHARESPACE tailored to the agents’ personalized characteristics (gender, culture, and social dispositions). SHARESPACE will support community-building and exploitation with concrete initiatives, including (i) public engagement around our research and innovation, (ii) promoting high-tech innovation and early transfer to our deep-tech companies, as premises for the consolidation of human-centric and sovereign European market areas such Industry AR and SHS, eHealth and tele-Health. Our long-term vision is to bring XR to a radically new level of presence and sociality by reconstructing sensorimotor primitives that enable ethical, trusted and inclusive modes of social interaction.
SHARESPACE wird eine radikal neue Technologie zur Förderung ethischer und sozialer Interaktion in eXtended Reality (XR) Shared Hybrid Spaces (SHS) demonstrieren, die in der menschlichen sensomotorischen Kommunikation verankert ist. Unser Kernkonzept besteht darin, soziale sensomotorische Grundeinheiten zu identifizieren, zu segmentieren und sie in hybriden Umgebungen zu rekonstruieren, um kontinuierliche, verkörperte und reichhaltige Erfahrungen zwischen Mensch und Avatar zu ermöglichen.
Um dies zu erreichen, werden drei miteinander verbundene Wissenschaft-zu-Technologie-Durchbrüche erzielt: – neuartige computergestützte kognitive Architekturen, – ein einzigartiges selbstkalibrierendes Körpersensornetz und – eine vollständig mobile räumlich-eingebundene Augmented Reality (AR) und virtuelles Rendering von Menschen.
Wir werden eine Bibliothek sozialer Bewegungsprimitive erstellen und diese nutzen, um KI-basierte Architekturen für unsere künstlichen Agenten zu entwerfen. Die mobilen Erfassungstechnologien von SHARESPACE kombinieren eine lose gekoppelte visuell-inertiale Verfolgung der Ganzkörperkinematik, der Handhaltung und des Gesichtsausdrucks mit neuartigen neuronalen Kodierungs-/Dekodierungsfunktionen sowie lokale kontextabhängige Animationen und hochrealistisches neuronales Rendering.
Unsere Technologie wird iterativ in 2 Proofs-of-principles mit menschlichen und künstlichen Agenten, die in SHS interagieren, und 3 realen Anwendungsszenarien in den Bereichen Gesundheit, Sport und Kunst getestet. Wir werden einen voll funktionsfähigen Prototyp von SHARESPACE demonstrieren, der auf die persönlichen Eigenschaften der Agenten (Geschlecht, Kultur und soziale Neigungen) zugeschnitten ist. SHARESPACE wird das Community-Building mit konkreten Initiativen unterstützen, einschließlich (i) des öffentlichen Engagements rund um unsere Forschung und Innovation, (ii) der Förderung von High-Tech-Innovationen und des frühzeitigen Transfers zu unseren Deep-Tech-Unternehmen, als Voraussetzungen für die Konsolidierung von menschenzentrierten und souveränen europäischen Marktbereichen wie Industrie-AR und SHS, eHealth und Tele-Health. Unsere langfristige Vision ist es, XR auf eine radikal neue Ebene der Präsenz und Sozialität zu bringen, indem wir sensomotorische Primitive rekonstruieren, die ethische, vertrauenswürdige und inklusive Formen der sozialen Interaktion ermöglichen.
Partners
- DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH (DFKI), Germany
- UNIVERSITE DE MONTPELLIER (UM), France
- CRDC NUOVE TECNOLOGIE PER LE ATTIVITA PRODUTTIVE SCARL (CRdC), Italy
- UNIVERSITAETSKLINIKUM HAMBURG-EPPENDORF (UKE), Germany
- ALE INTERNATIONAL (ALE), France
- UNIVERSITAT JAUME I DE CASTELLON (UJI), Spain
- GOLAEM SA (GOLAEM), France
- SIA LIGHTSPACE TECHNOLOGIES (LST), Latvia
- CYENS CENTRE OF EXCELLENCE (CYENS), Cyprus
- RICOH INTERNATIONAL BV (RICOH), Netherlands
- INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET AUTOMATIQUE (INRIA), France
- ARS ELECTRONICA LINZ GMBH & CO KG (AE), Austria
- FUNDACIO HOSPITAL UNIVERSITARI VALL D’HEBRON -INSTITUT DE RECERCA (VHIR), Spain