[Back]

Ch. Schranz, H. Urban, H. Kaufmann, C. Schönauer, J. Rattenberger, P. O´Brien, L. Ozeraitis, P. Jaritz:
"AR-AQ-Bau − Einsatz von Augmented Reality zur Abnahme und Qualitätssicherung auf Baustellen";
Report for BMK / Nachhaltigwirtschaften; Report No. 5/2022, 2021; 62 pages.

Starting point / Motivation
To date, the construction industry has been one of the sectors least affected by digitization. At present, construction progress control, function checks, and inventories are mostly still carried out manually. A special case is building services (HVAC) in construction; it has become increasingly complex and is responsible for up to 35 % of construction costs. With the increasing use of Building Information Modeling (BIM), other technologies are following (step by step), such as augmented reality (AR), virtual reality (VR), artificial intelligence (AI), etc. (also called Construction 4.0). Many studies already highlight the potential added value of using AR. Therefore, the project AR-AQ-Bau focuses on the acceptance control and remote support of HVAC systems using augmented reality.
For widespread use of AR on construction sites, there was a need for research among the available AR systems in 2018. There were a few reasons for this. At that time, data could be transferred from the BIM model to the AR model, but not back again. This is especially important for quality and progress control. Conditions on construction sites (sunlight, dust, same-colored surfaces with few recognition features) make it difficult to locate the position (tracking) of the AR glasses as well as the virtual AR model more accurately over longer distances. There are still few user interfaces specialized for construction - and these only for tablets and not for AR glasses, which are more suitable for construction site use due to their better usability for this purpose.

Contents and goals
The project AR-AQ-Bau is developing an advanced AR system for the acceptance control of HVAC systems in the field of building services. In construction, the BIM model is the central data model; all information of the BIM model should be available for all parties involved in the construction process and, for the first time, be kept continuously up-to-date in a closed-loop approach. This so-called "closed-loop data communication" enables construction progress and as-built inventories to be marked in the AR model on the construction site and, thus, kept up to date. The project focuses on interaction options for transferring comments, images, and new component information to the AR model and then feeding them back into the BIM model ("closed-loop"). As a result, this information is available to everyone involved in the construction process at all times. With a remote expert system, external experts can be connected to support the execution control and create holographic elements (3D elements, images, marking). These functions lead to an increase in the quality of the completed structures, as errors can be identified and worked on together. The people do not all have to be on construction site in the process. While initial positioning of the AR model works quite well on construction sites, reliable tracking of the AR glasses as well as the AR model in the construction site environment is another challenge. The tracking systems currently available cannot cope with the difficult conditions on construction sites and must therefore be adapted accordingly.

Methods
The first step was an application and requirements analysis of augmented reality in the design, construction, and operation phases - with a focus on the construction phase. Then, with the support of experts, the project team determined the necessary requirements for tools, tracking, layouts, and workflows for HVAC acceptance control and for the remote expert system. The project team implemented these in the AR quality assurance tool in the next step. Construction experts (e.g., local construction supervisors, technical planners, students) tested all developments (including data exchange, tracking, remote expert system, layouts) under practical conditions in laboratories and on construction sites (including the Future Art Lab and the subway station "An den alten Schanzen"). In the process, the project team evaluated, among other things, the suitability for construction sites, the accuracy of the tracking system, the setup time of the AR model, the change in documentation, user satisfaction, a possible increase in the quality and energy efficiency of buildings on the construction site. The results were again incorporated into a further development of the AR tool software. Here, the project combined research expertise from construction operations, AR, BIM modeling, and international engineering experience.

Results
The results of the application and requirement analysis show the wide range of possible uses of AR in the construction site context, with the experts seeing very high potential in construction inspection and defect recording. Additional interest was aroused by the possibility of displaying component information and collisions with components still to be installed, including maintenance space. The project team developed an optimized menu path for the user interface for entering defects in the HVAC system. The developed defect classification is based on the important IFC classes and fits ideally into the BIM model. The implemented closed-loop BIM exchange service allows data to be fed back into both the BIM model and a facility management database, thus supporting building operations. Investigations of the newly developed tracking methods in a real construction site environment showed significant improvements in the localization of the AR glasses and the AR model during long-distance movements. This enables the use in many construction site situations. The developed remote expert system for AR communication between construction site and remote experts could be extended by essential functions. This mainly concerns the interaction possibilities. An essential basic requirement for the use of the remote expert system is a stable and very good Internet connection. Unfortunately, this is still not the case in all areas of construction sites. Sometimes communication and interaction were interrupted in the construction site tests. For the satisfactory use of the AR remote expert system, there is still a need for development in the network technology.
Augmented reality is a technology that can bring the benefits of using BIM to the construction site. Many processes can be simplified and optimized. The advanced AR system developed in this project for the acceptance of HVAC systems in building services is an important step in this direction. Further developments based on this system can drive the widespread use of AR in construction. In addition to the pollutant savings predicted by eliminating the need for trips to the construction site, other benefits in the use of AR became apparent during the COVID-19 pandemic. The remote expert system allows experts to be connected remotely, which means that fewer personnel are needed directly at the construction site during on-site inspections and travel to the site can be reduced.

Ausgangssituation/Motivation
Die Bauwirtschaft gehört bis dato zu den am wenigsten von der Digitalisierung erfassten Wirtschaftszweigen. Derzeit erfolgen die Baufortschrittsermittlung, die Funktionsüberprüfung und die Bestandsaufnahme meistens noch immer händisch. Als spezieller Fall ist die Haustechnik (HKLS) im Bauwerk zu sehen; sie wurde immer komplexer und ist für bis zu 35 % der Baukosten verantwortlich. Mit dem zunehmenden Einsatz von Building Information Modeling (BIM) folgen auch (langsamer) andere Technologien, wie Augmented Reality (AR), Virtual Reality (VR), Künstliche Intelligenz (KI) etc. (unter Construction 4.0 zusammengefasst). In vielen Studien wird schon der mögliche Mehrwert des Einsatzes von AR hervorgehoben. Das AR-AQ-Bau Projekt fokussiert sich daher auf die Abnahme und Fernunterstützung von HKLS-Systemen mit Hilfe von Augmented Reality.
Für einen breitflächigen Einsatz von AR auf Baustellen herrschte bei den verfügbaren AR-Systemen im Jahr 2018 Forschungsbedarf. Dafür gab es einige Gründe. Damals konnten Daten vom BIM-Modell ins AR-Modell übertragen werden, nicht jedoch wieder zurück. Dies ist besonders für die Qualitäts- und Fortschrittskontrolle wichtig. Die Bedingungen auf Baustellen (Sonneneinstrahlung, Staub, gleichfärbige Oberflächen mit wenigen Erkennungsmerkmalen) erschweren die genauere Lokalisierung der Position (Tracking) der AR-Brille sowie des virtuellen AR-Modells über längere Strecken. Es gibt noch wenige auf das Bauwesen spezialisierte Benutzeroberflächen - und diese nur für Tablets und nicht für AR-Brillen, die für den Baustelleneinsatz aufgrund ihrer für diesen Zweck besseren Bedienbarkeit geeigneter sind.

Inhalte und Zielsetzung
Das AR-AQ-Bau-Projekt entwickelte ein fortschrittliches AR-System für die Abnahme von HKLS- Systemen im Bereich der Haustechnik. Im Bauwesen ist das BIM-Modell das zentrale Datenmodell; alle Informationen des BIM-Modells sollen für sämtliche am Bau Beteiligten zur Verfügung stehen und erstmalig in einem Closed-Loop-Ansatz durchgehend aktuell gehalten werden. Durch diese sog. "Closed-Loop-Datenkommunikation" können auf der Baustelle Baufortschritte und Bestandsaufnahmen im AR-Modell gekennzeichnet und damit aktuell gehalten werden. Das Projekt fokussierte dabei auf Interaktionsmöglichkeiten, um Kommentare, Bilder sowie neue Bauteilinformationen ins AR-Modell zu übertragen und dann ins BIM-Modell zurückzuspielen ("closed-loop") mittels eines AR-Abnahme-Prototypen. Dadurch sind diese Informationen für alle am Bau Beteiligten jederzeit verfügbar. Mit einem Remote-Expert-System können externe Experter:innen zur Unterstützung der Ausführungskontrolle zugeschalten werden und holografische Elemente (3D-Elemente, Bilder, Markierung) erstellen. Diese Funktionen führen zur Qualitätssteigerung der fertiggestellten Bauwerke, da Fehler erkannt und gemeinsam bearbeitet werden können. Die Personen müssen dabei nicht alle vor Ort sein. Während die erste Positionierung des AR-Modells auch auf Baustellen recht gut funktioniert, stellt das zuverlässige Tracking der AR- Brille sowie des AR-Modells im Baustellenumfeld eine weitere Herausforderung dar. Die derzeit vorhandenen Trackingsysteme kommen mit den schwierigen Verhältnissen auf Baustellen nicht zurecht und müssen daher entsprechend angepasst werden.

Methodische Vorgehensweise
Im ersten Schritt erfolgte eine Anwendungs- und Anforderungsanalyse von Augmented Reality in den Phasen Planen, Bauen und Betreiben - mit dem Schwerpunkt in der Phase Bauen. Anschließend ermittelte das Projektteam mit Unterstützung weiterer Expert:innen die notwendigen Anforderungen an Werkzeuge, Tracking, Layouts und Workflows für die HKLS-Abnahme bzw. für das Remote-Expert-System. Das Projektteam implementierte diese im nächsten Schritt in das AR- Qualitätssicherungstool. Bauexpert:innen (z.B. örtliche Bauaufsicht, Fachplaner:innen, Studierende) testeten sämtliche Entwicklungen (u.a. Datenaustausch, Tracking, Remote-Expert-System, Layouts) praxisnah in Labors sowie auf Baustellen (u.a. Future Art Lab und U-Bahn-Station "An den alten Schanzen"). Dabei evaluierte das Projektteam unter anderem die Baustellentauglichkeit, die Genauigkeit des Trackingsystems, die Einrichtungsdauer des AR-Modells, die Veränderung der Dokumentation, die Nutzerzufriedenheit, eine mögliche Steigerung der Qualität und der Energieeffizienz von Gebäuden auf der Baustelle. Die Ergebnisse flossen wiederum in eine Weiterentwicklung der Software des AR-Tools ein. Das Projekt vereinte hierbei Forschungsexpertisen aus Baubetrieb, AR, BIM-Modellierung sowie internationale Ingenieurserfahrung.

Ergebnisse
Die Ergebnisse der Anwendungsanalyse zeigen die vielfältigen Einsatzmöglichkeiten von AR im Baustellenkontext, wobei die Expert:innen sehr hohes Potential bei der Baukontrolle und Mängelaufnahme sehen. Zusätzliches Interesse riefen die Anzeigemöglichkeit von Bauteilinformationen sowie von Kollisionen mit noch zu installierenden Bauteilen inkl. Wartungsraum hervor. Das Projektteam entwickelte einen optimierten Menüpfad für die Benutzeroberfläche zur Eingabe von Mängeln im HKLS-System. Die entwickelte Mängelklassifizierung basiert auf den wichtigen IFC-Klassen und fügt sich ideal ins BIM-Modell ein. Der umgesetzte Closed- Loop-BIM-Exchange-Service erlaubt die Rückspielung von Daten sowohl ins BIM-Modell als auch in eine Facility-Management-Datenbank und unterstützt somit den Bauwerksbetrieb. Die Untersuchungen der neu entwickelten Tracking-Methoden im realen Baustellenumfeld zeigten wesentliche Verbesserungen in der Lokalisierung der AR-Brille und des AR-Modells bei weiten Bewegungen im Raum. Dies ermöglicht den Einsatz in vielen Baustellensituationen. Das entwickelte Remote-Expert-System zur AR-Kommunikation zwischen Baustelle und Remote Experts konnte um wesentliche Funktionen erweitert werden. Dies betrifft vor allem die Interaktionsmöglichkeiten. Eine wesentliche Grundvoraussetzung für den Einsatz des Remote-Expert-Systems stellt eine stabile und sehr gute Internetverbindung dar. Bei Baustellen ist dies leider immer noch nicht in allen Bereichen der Baustelle gegeben. Hier kam es in den Baustellentests dann zu Abbrüchen der Kommunikation und Interaktion. Für den zufriedenstellenden Einsatz des AR-Remote-Expert-Systems ist hier noch Entwicklungsbedarf in der Netzwerktechnologie gegeben.
Augmented Reality ist eine Technologie, die die Vorteile des Einsatzes von BIM auf die Baustelle bringen kann. Viele Prozesse können vereinfacht und optimiert werden. Das in diesem Projekt entwickelte fortschrittliche AR-System für die Abnahme von HKLS-Systemen im Bereich der Haustechnik ist hierzu ein wichtiger Schritt. Weitere Entwicklungen aufbauend auf diesem System können den breitflächigen Einsatz von AR im Bauwesen vorantreiben. Neben den prognostizierten Einsparungen an Schadstoffen durch die Vermeidung nicht mehr notwendiger Fahrten auf die Baustelle zeigten sich während der COVID-19-Pandemie weitere Vorteile im Einsatz von AR. Das Remote-Expert-System erlaubt die Zuschaltung von Expert:innen aus der Ferne, weshalb bei Inspektionen vor Ort weniger Personal direkt auf der Baustelle notwendig ist und Anreisen reduziert werden können.

Augmented Reality, BIM, openBIM, Qualitätskontrolle

https://publik.tuwien.ac.at/files/publik_303396.pdf

Project Head Christian Schranz:
AR-AQ-Bau