Die visuellen Patentretrieval-Methoden basieren auf Algorithmen für die Analyse der oftmals binären (schwarz und weiß) bzw. in Graustufen verfügbaren Abbildungen in Patenten. In diesen APs werden auf Deep Learning beruhende Vorarbeiten der TIB an die besonderen Eigenschaften von Patentabbildungen adaptiert: Die Repräsentation und Qualität der Abbildungen sowie deren schematischer und skizzenhafter Charakter erfordern spezifische Lösungsansätze.

Hierzu sind erstens Algorithmen zur Erkennung der Art von Abbildungen in Patenten notwendig (typische sind z.B. Balkendiagramme, Datenflussdiagramme, Ablaufdiagramm, technische Zeichnungen und graphische Darstellungen von Funktionen (x-/y-Achse). Zweitens ist die Erkennung von Texten und Zahlen in Abbildungen (OCR), die Erkennung der Orientierung einer Abbildung (Hochformat, Querformat der Abbildung) sowie das Erkennen von Pfeilen und Linien, die Bezüge zwischen grafischen Informationen und Text herstellen, erforderlich. Darüber hinaus werden bildbeschreibende Textstellen im Dokument identifiziert und ihr Bezug zur Abbildung qualifiziert.

Die Ansätze werden iterativ nach Anforderungen der Patentexperten angepasst, um die tatsächliche Nutzbarkeit durch die Zielgruppe sicherzustellen.

Da für das Projektvorhaben keine technikgetriebene, sondern eine benutzerorientierte Perspektive angelegt wird, ist es unabdingbar, Arbeitsumfeld und Informationsverhalten der späteren Benutzer zu kennen. Um die aus der Literatur gewonnenen diesbezüglichen Erkenntnisse in der Praxis zu validieren und in ihrer Komplexität zu erfassen, werden die verschiedenen Bedarfe durch Beobachtungen und Befragungen erhoben. Das IWIST analysiert im Rahmen des Projektes das domänenspezifische (Fach-)Informationsverhalten und entwirft ein Generalisierungskonzept. Zentral ist in diesem Zusammenhang die Verknüpfung zwischen Text und Bild bei der Suche nach Patenten/Offenlegungen oder bei der Prüfung einer entsprechenden Ergebnismenge. Die Analyseergebnisse des Expertenverhaltens bilden die Basis für die Identifikation des Funktionsumfangs und die Darstellungsform bei der Prototypentwicklung. Sie dienen auch dazu, bei der Evaluierung auf authentisches Material zurückgreifen zu können.

Das IWIST erstellt einen Anforderungskatalog für die Gestaltung der Funktionalität und der Benutzungsoberfläche, welcher in enger Beziehung zum erhobenen Informationsbedarf erstellt wird. Die Entwicklung des Prototyps für die GUI erfolgt iterativ nach dem User-Centered Design-Ansatz und ganzheitlich aus Benutzerperspektive. Entwickler und spätere Anwender arbeiten schon in frühen Phasen der Spezifizierung zusammen. Eine erste Version wird bereits im ersten Jahr entwickelt. Auf Basis der Erfahrungen und der empirischen Evaluierungen sowie dem Fortschritt bei der Entwicklung von geeigneten Suchverfahren entsteht im zweiten Projektjahr eine überarbeitete und optimierte Version. Die Anforderungen werden jeweils in einem low-fidelity-Prototypen dargestellt und visualisiert. 

Das prototypische System muss einen Patent-Experten in die Lage versetzen, die Werkzeuge ohne detaillierte Kenntnis der dahinter stehenden Algorithmen einzusetzen und für seine Fragestellungen zu nutzen. Der im Projekt gewählte benutzerzentrierte Ansatz sorgt dafür, dass das System einfach und intuitiv zu bedienen ist.  Der Ansatz passt den entstehenden Prototyp optimal an die Bedürfnisse der Zielgruppe an. Er muss vor allem eine geeignete Aufteilung der Aufgaben zwischen System und Experten (bzw. Mensch und Maschine) bieten, so dass der Nutzer effektiv und effizient während der Interaktion das gewünschte Ergebnis erreichen kann. Dabei werden verschiedene Visualisierungs- und Interaktionsansätze erprobt, um die optimale Mischung für den Workflow der Experten herauszuarbeiten.

Grundlage für die graphische Benutzeroberfläche (GUI) sind die während der Information-Behaviour-Analyse identifizierten Anforderungen, die in prototypische Aufgaben und Fragestellungen münden.  Diese werden in der GUI durch entsprechende Funktionalitäten umgesetzt, welche die Bildanalyse-Algorithmen zugrundelegen. Die Strategien und Lösungswege werden en détail mit den Nutzern entwickelt; sie setzen auf den Vorgaben durch die Daten (Patentbilder und -texte, ihre semantischen Annotationsschemata, Ähnlichkeiten etc.) auf. Für die Realisierung der Funktionen wird ein möglichst effizientes Design gewählt (Objekt-Funktion-Schema), das durchgängig auf der GUI genutzt wird. Dieses orientiert sich an Richtlinien der Usability und User Experience.

Für die Entwicklung des prototypischen Tools und die formative Evaluation des Prototypen sind eine ausreichend große Menge prototypischer Fragestellungen und ihre zugehörigen Antwortmengen erforderlich. Die laufende, ganzheitliche Evaluierung des Systems aus Benutzerperspektive, bezogen auf die Arbeitsaufgaben der Patent-Experten, erfordert ähnliche empirische und teils qualitative Methoden wie die Informationsbedarfsanalyse. Die Evaluierung erfolgt also formativ und begleitet die einzelnen Entwicklungsschritte, um sinnvolle Funktionen zu realisieren, aber auch summativ, um am Ende die Gesamtleistung des Prototyps abzuschätzen. Es sind Zwischenevaluierungen von zwei Iterationsstufen des Prototyps geplant sowie eine Gesamtevaluation zum Projektende.

Die summative Evaluierung prüft gegen Ende des Projektes den Prototyp in seiner Gesamtheit. Es sollen das System und die entwickelten Methoden (wie die Cross-Domain bzw. Cross-Industrie-Analysen) ganzheitlich und aus Sicht der Anwender evaluiert werden. Dazu sollen auch bisher nicht beteiligte Anwender aus der Zielgruppe mit dem System arbeiten, dazu befragt und geschult werden. Besonderer Wert wird auch hier auf die aufgabenspezifischen Zugänge gelegt.

Zur Integration der visuellen Suche wird zunächst untersucht, wie sich die extrahierten visuellen Merkmale und die Bezüge zwischen Abbildungen und Text repräsentieren und für eine effektive semantische Suche nutzen lassen. Hierfür dienen die in der Vorverarbeitung erzielten Ergebnisse als Grundlage, denn die hier erarbeiteten Daten bilden die Informationsbasis für die visuelle semantische Suche. Auf Basis dieser Informationen wird untersucht, ob sich die extrahierten Mid- & High-Level-Merkmale adäquat als einfache Merkmale der indexierten Patent-Dokumente darstellen lassen, oder ob eine Repräsentation in einem graph-basierten Datenmodell angemessener ist.

Für eine stichwortbasierte Recherche wird untersucht, wie die Stichwörter — ggf. unter Verwendung der für die unterschiedlichen Domänen erarbeiteten Lexika — zur kombinierten textuellen und visuellen Suche verwendet werden können. Neben der stichwortbasierten und booleschen Suche und der Verfeinerung von Suchergebnissen ist die ähnlichkeitsbasierte Suche ein weiterer wichtiger Teil dieses Arbeitspakets. Es wird untersucht, wie eine multimodale Ähnlichkeit definiert werden kann, die sowohl die textuellen als auch die visuellen Merkmale nutzt. Diese Aspekte bilden die Grundlage für die Durchführung von sprachübergreifenden und multimodelenen Analysen zur Prüfung von Cross-Domain bzw. Cross-Industrie-Verwertungen.

Ziel des Arbeitspakets "Systemintegration" ist es, die im Rahmen dieses Projekts zu entwickelnden technischen Komponenten und ihre Interaktionen aus softwaretechnischer Sicht so zu gestalten, dass die funktionalen und nichtfunktionalen Anforderungen möglichst gut unterstützt werden.

Ausgehend von der vorverarbeiteten Datenbasis wird untersucht, wie die Patentdokumente möglichst effizient in das Suchsystem eingelesen, vorverarbeitet und adäquat indexiert werden können. Die Kombination aus Text- und Bilddaten, die unterschiedliche Vorverarbeitung dieser Daten sowie die nachfolgende Indexierung der extrahierten Merkmale für die gemeinsame semantische Suche erfordern dabei eine Orchestrierung, um den Fortschritt und Status der einzelnen Arbeitsschritte nachvollziehen und überwachen zu können.

Neben der Orchestrierung der Datenverarbeitung machen die erwarteten großen Datenmengen eine Skalierbarkeit der Verarbeitung und Speicherung notwendig. Hier werden wir untersuchen, wie sich die Verarbeitung der Text- und Bilddaten unter Verwendung von Computerclustern parallelisieren lässt, und welche Persistenz die anschließende Suche am besten unterstützt. Ein Schwerpunkt wird hierbei die Indexierung der extrahierten visuellen Merkmale sein, da diese für eine effiziente Suche unabdingbar ist.

Ein weiteres Arbeitsfeld der Systemintegration ist die Schnittstelle für die Benutzeroberfläche sowie die Implementierung der gemeinsamen semantischen Suche. Bei der Entwicklung dieser gemeinsamen Suchschnittstelle wird auf wichtige Entwurfsprinzipien aus der Softwarearchitektur wie lose Kopplung und Datenkapselung, aber auch Laufzeiteffizienz geachtet.

Ziel dieses Arbeitspakets ist es eine Verwertungsstrategie zu entwickeln und zu evaluieren, die die Kommunikation der Projektergebnisse, die Beratung der potentiellen Anwender und den Technologietransfer des entwickelten Tools sowie dessen Einsatz umfasst. In den Transferstellen der beteiligten Einrichtungen sollen Kompetenzen im Bereich Patentrecherche mit einem Fokus auf Patentretrieval-Tools aufgebaut werden, damit in einem weiteren Schritt potentielle Anwender- und Nutzerkreise für das entwickelte Tool identifiziert und beraten werden können. Es kommen Maßnahmen aus dem Bereich Gründungsförderung, Technologiemarketing und Vernetzung zum Einsatz. Dazu zählen beispielsweise individuelle Gründungsberatungen, Webinare, Schulungen und Workshops. Zudem werden die organisatorischen Voraussetzungen geschaffen, dass nach Projektlaufzeit das Patentretrieval-Tool den Leibniz-Einrichtungen und weiteren Interessierten zur Verfügung gestellt wird. Mit diesem Maßnahmenpaket soll Wissen und innovative Technologie für Forschung und Gesellschaft schnell und dauerhaft verfügbar gemacht werden.