KI-gestützte Erstellung von CE-Dokumenten

Ausgangslage:
Die Kautenburger GmbH, gegründet 1990 in Merzig-Brotdorf, ist spezialisiert auf innovative Lösungen im Bereich Industrie-Automation. Das Unternehmen entwickelt und fertigt maßgeschneiderte Systeme wie Robotik, Greifsysteme, Fördertechnik und Sondermaschinen – von der Konzeption bis zur Inbetriebnahme. Besonders bekannt ist Kautenburger für robuste, flexible Automatisierungslösungen, die auch in anspruchsvollen Umgebungen wie Gießereien oder Schmieden eingesetzt werden. Ein entscheidender Kosten- und Zeitfaktor im Sondermaschinenbau ist dabei die Erstellung von CE Zertifizierungen für die Anlagen.
Unternehmen sehen sich dabei mit der Herausforderung konfrontiert, dass bei sehr ähnlichen Bauformen unterschiedliche Normen und Richtlinien gelten können, damit diese eine CE-Zertifizierung erhalten können. Diese Vielfalt an Anforderungen führt oft zu komplexen und zeitaufwendigen Prozessen, insbesondere da die Normen oft erst im Laufe des Konstruktionsprozesses identifiziert werden. Um diese Herausforderung zu bewältigen, stellt sich die Frage, ob diese im Vorhinein einfacher identifiziert werden können. Eine frühzeitige Erkennung der wichtigsten Randbedingungen würde es ermöglichen Iterationsschritte und somit Zeit für spätere Änderungen zu sparen. Dies würde nicht nur die Effizienz des Entwicklungsprozesses steigern, sondern auch die Kosten senken, da weniger Nacharbeit und Anpassungen notwendig wären.
Ein Ansatz könnte die Implementierung eines LLM-basierten Expertensystems sein, das dem Mitarbeiter diese Randbedingungen zur Verfügung stellt. Ein solches System könnte die notwendigen Normen und Richtlinien automatisch erkennen und bereitstellen, um die benötigte Recherche zu reduzieren. Durch die Automatisierung dieses Prozesses ließe sich die Fehlerquote reduzieren und die Produktqualität erhöhen.

Projektziele:
In der heutigen digitalen Welt, in der Effizienz und Präzision entscheidend sind, stellt sich die Frage, ob ein lokales LLM in der Lage ist, einem Mitarbeiter die notwendigen Informationen für eine CE-Zertifizierung aus Dokumenten zu extrahieren. Diese Informationen sind essenziell, um den Mitarbeiter bei der Erstellung der Dokumentation zu unterstützen. Die CE-Zertifizierung ist ein wichtiger Schritt, um sicherzustellen, dass ein Produkt den Sicherheits-, Gesundheits- und Umweltanforderungen entspricht, die in der Europäischen Union gelten.
Ein zentraler Aspekt der CE-Zertifizierung betrifft die physischen Eigenschaften des Bauteils. Dazu gehören unter anderem die Form, Kanten und Abrundungen. Diese Merkmale sind entscheidend, um potenzielle Schäden an Personen zu verhindern. Ein LLM könnte diese Informationen identifizieren, sodass der Mitarbeiter sie leicht in die Dokumentation integrieren kann. Durch die Automatisierung dieses Prozesses könnte nicht nur Zeit gespart werden, sondern auch die Genauigkeit der Dokumentation erhöht werden.
Ein weiterer wichtiger Punkt ist die Frage, ob aus bereits bestehenden Dokumentationen ein generelles Template für einzelne Kategorien von Produkten erstellt werden kann. Ein solches Template würde dem Mitarbeiter als Leitfaden dienen und die Erstellung der Dokumentation erheblich vereinfachen.

Vorgehensweise und Umsetzung:
Zu Beginn des Projekts wurden die zur Verfügung gestellten Dokumente sorgfältig gesichtet, um zu prüfen, ob diese eine einheitliche Struktur besitzen, aus der ein grundlegendes Template erstellt werden könnte, das gen Auf Grund der eingeschränkten Datenlage wurden als erste Evaluation nur lose Lastaufnahmemittel betrachtet, da diese den größten Teil der bereitgestellten Dokumente darstellen.
Der nächste Schritt bestand darin, Betriebsanweisungen von losen Lastaufnahmemitteln mehreren lokalen LLM-Modellen zur Verfügung zu stellen, um mittels Retrieval Augmented Generation (RAG) relevante Informationen aus den Dokumenten zu extrahieren. Dabei wurden sowohl unterschiedliche Modelle, Umgebungen und Embedding Layer geprüft. Als Beispiele seien hier genannt Llama, Mistral und Qwen. Die Ergebnisse dieser Tests waren jedoch nicht durchweg zufriedenstellend. In einigen Fällen wurden nur Teile der Dokumente gelesen, oder der Zusammenhang zwischen den extrahierten Informationen stimmte nicht vollständig. Das größte Problem stellte sich die Eingabe der Dokumente in die lokalen Modelle heraus. Deren "Einlesefunktion", sogenannte Embedding Layer, sind in der Regel nicht optimal darauf trainiert, deutsche Dokumente zu verarbeiten. Ein spezialisiertes Modell konnte die Genauigkeit hier erhöhen, lieferte jedoch auch nicht die gewünschte Qualität.
Nach dieser ersten Phase der Untersuchungen wurden die Ergebnisse mit der Firma Kautenburger besprochen, die die Durchführung weiterer Tests mit den Cloud-basierten Modellen verschiedener Anbieter, wie ChatGPT, LeChat und Ms Copilot, bestätigte. Diese Cloud-Modelle erwiesen sich als deutlich leistungsfähiger als die lokalen LLM-Systeme. Die Ergebnisse waren signifikant besser, was darauf hindeutet, dass Cloud-basierte LLM-Systeme in der Lage sind, die komplexen Strukturen und Nuancen der deutschen Dokumente präziser zu erfassen.
Daher wurde zur Erstellung eines Templates für lose Lastaufnahmemittel die Recherche auf Cloud-Modelle eingeschränkt. Dabei wurden teils sehr gute Ergebnisse erzielt, die durch gezielte Fragen und Anpassungen weiter verbessert werden konnten. Die Cloud-Modelle zeigten sich besonders flexibel und konnten auf spezifische Anforderungen schnell reagieren. Dies ermöglichte es, ein präzises und anwendungsorientiertes Template zu gestalten.
Zum Abschluss des Projekts wurden die erstellten Templates miteinander verglichen, um die bestmögliche Kombination von Abschnitten zu ermitteln. Durch diesen abschließenden Schritt konnte ein optimiertes Template erstellt werden, das sowohl die Anforderungen des Projekts erfüllt als auch die Stärken der verschiedenen Cloud-Modelle optimal nutzt.

Ergebnis:
Als Projektergebnis lässt sich festhalten, dass lokale LLMs nur bedingt dafür geeignet sind, essentiell wichtige Informationen aus Dokumenten zu entnehmen und diese zur Verfügung zu stellen. Ein großer Knackpunkt stellt hierbei die deutsche Sprache dar, auf die viele Modelle nicht speziell trainiert sind. Dies führt dazu, dass die Genauigkeit und Relevanz der extrahierten Informationen oft zu wünschen übrig lässt. Besonders bei komplexen oder fachspezifischen Texten zeigen lokale Modelle Schwächen.
Des Weiteren lässt sich festhalten, dass Cloud-LLM-Modelle in der Lage sind, gezielte Fragen zu Dokumenten zu beantworten, um weitere Betriebsanleitungen zu erstellen. Sie können nicht nur einfache Fragen beantworten, sondern auch komplexe Zusammenhänge erkennen und strukturiert aufbereiten. Dies macht sie zu einem wertvollen Werkzeug für die Erstellung von Anleitungen, Handbüchern und anderen technischen Dokumentationen.
Ebenso konnte mit Hilfe der Modelle ein erster Entwurf eines generellen Templates erstellt werden. Dieses Template dient als Grundlage für die standardisierte Erstellung von Dokumenten. Durch die Nutzung von LLMs lassen sich repetitive Aufgaben automatisieren, was Zeit spart und die Qualität der Ergebnisse verbessert. Allerdings erfordert die Implementierung solcher Modelle eine sorgfältige Planung und Anpassung an die spezifischen Anforderungen des jeweiligen Projekts.