Unstrukturierte Daten
In der Wirtschaftsinformatik und Computerlinguistik sind unstrukturierte Daten digitalisierte Informationen, die in einer nicht formalisierten Struktur vorliegen und auf die dadurch von Computerprogrammen nicht über eine einzelne Schnittstelle aggregiert zugegriffen werden kann. Beispiele sind digitale Texte in natürlicher Sprache und digitale Tonaufnahmen menschlicher Sprache.
Einordnung
Unterschieden werden unstrukturierte Daten von strukturierten und semistrukturierten Daten. Betrachtet man eine E-Mail, so liegt diese in einer gewissen Struktur vor: Sie enthält einen Empfänger, einen Absender und eventuell einen Titel. Damit gehört sie zu den semistrukturierten Daten. Der Inhalt der E-Mail selbst ist jedoch strukturlos.
Die automatische Nutzbarkeit unstrukturierter Daten ist dadurch eingeschränkt, dass für sie kein Datenmodell und meist auch keine Metadaten vorliegen. Auch in Textdokumenten sind Metadaten und Daten vermischt. Um Strukturen daraus zu gewinnen, ist Modellierung erforderlich. Des Weiteren wird von unstrukturierten Daten im Zusammenhang mit der Ablage von Dokumenten ohne vorhandenem Data-Warehousing gesprochen.[1] Dadurch sind diese nicht indizierbar und können dementsprechend nicht gemeinsam durchsucht werden.
Bedeutung
Viele Daten sind bei ihrem Ursprung unstrukturiert. Sie gewinnen Struktur, indem sie durch menschliche Intervention in ein Schema gebracht werden. Der Vorgang der Strukturierung kann Nachteile hervorrufen, da er oft mit einem Informationsverlust verbunden ist. Im Unternehmensumfeld liegen oftmals wichtige Informationen in unstrukturierten Daten vor, deren Nichterfassung auch rechtliche Probleme verursachen kann.[2] Daher befassen sich die Felder Wissensmanagement und Datenmanagement mit deren Integration und Verwaltung.
Um die unstrukturierten Daten mit Strukturen zu versehen, existiert im Bereich Open Source das Framework UIMA (Unstructured Information Management Architecture). Dies ist ein Framework zum Erstellen von Anwendungen zur Verarbeitung von unstrukturierten Informationen.
Behandlung von unstrukturierten Daten
Speziell für die Strukturierung der Daten können folgende Verfahren in Betracht gezogen werden:
- Textanalyse und Textmining existieren schon seit vielen Jahren auf dem Markt. Die Produkte dafür weisen eine solide Marktreife auf. Verschiedene kleine spezialisierte Hersteller haben Werkzeuge dafür entwickelt. Manche Business-Intelligence-Hersteller haben solche Technologien auf Druck des Marktes dazu gekauft. Textmining kann manuell, durch statistische Verfahren, über maschinelles Lernen oder über die Verarbeitung natürlicher Sprachen erfolgen. Es kann Begriffe und Konzepte in Thesauri liefern, die unabdingbar für zusätzliche Business-Intelligence-Analysen werden können.[3][4]
- Maschinelles Lernen basiert auf statistischen Verfahren wie Bayes-Klassifikatoren, künstlichen neuronalen Netzwerken, oder latenter semantischer Analyse (LSA). Es ist viel effektiver als die klassischen statistischen Verfahren, jedoch nicht überall anwendbar. Es erfordert Überwachung und Training der Maschinen, und wie bei den Data-Mining Verfahren ist ein tiefes Wissen der Materie notwendig.[3]
- Linguistische Verfahren können schneller als maschinelles Lernen sein, und manchmal auch akkurater. Sie können Ambiguität reduzieren, benötigen aber nach wie vor die menschliche Intervention. Hier sind die Modelle im Vergleich zu LSA und maschinellem Lernen einfacher zu verstehen.
Einzelnachweise
- Computerwoche: Unstrukturierte Daten, Der ungehobene Schatz
- Unstrukturierte Daten: Die Bombe tickt. In: www.cio.de. Archiviert vom Original am 2. September 2013; abgerufen am 12. Januar 2017.
- Computerwoche: Auf Datensuche mit Textmining und Web-Mining
- BI Kennzahlen benötigen einen Kontext , beyenetwork, 1. Dezember 2009 (englisch)
Weblinks
- Structure, Models and Meaning: Is "unstructured" data merely unmodeled?, Intelligent Enterprise, 1. März 2005 (englisch)
- Structuring Unstructured Data, Forbes Magazine, 5. April 2007 (englisch)