Message Understanding Conference
Die Message Understanding Conferences (MUC) waren eine Reihe von Forschungswettbewerben, die von der US-amerikanischen Behörde DARPA initiiert und finanziert wurden, um die Entwicklung neuer und besserer Methoden der Informationsextraktion zu fördern. Der Wettbewerbscharakter – mehrere konkurrierende Forscherteams traten gegeneinander an – erforderte die Entwicklung verlässlicher Standards zur Evaluation, z. B. die zur MUC-2 entwickelten Maße Recall und Precision.
Themengebiete und Aufgaben
Nur bei der ersten Tagung (MUC-1) konnten die Teilnehmer das Ausgabeformat für die extrahierte Information selbst bestimmen. Ab der zweiten Tagung war das Ausgabeformat vorgegeben, die Systeme der Teilnehmer wurden evaluiert. Für jedes Themengebiet waren einzelne Felder vorgegeben, die mit Information aus den Texten gefüllt werden mussten. Typische Felder waren z. B. das Ereignis, die Akteure, Zeit und Ort des Ereignisses, die Folgen etc. Die Anzahl der Felder nahm von Tagung zu Tagung stetig zu.
Mit der sechsten Tagung (MUC-6) kam als Zusatzaufgabe die Identifikation von Eigennamen (Named Entity Recognition) hinzu. Dabei sollten in einem Text alle Phrasen markiert werden, die Personen, Orte, Organisationen, Zeitpunkte und Maße bezeichnen.
Die Themengebiete und Textgattungen, die zu bearbeiten waren, zeigen einen kontinuierlichen Übergang von militärischen zu zivilen Themen, was die zunehmende wirtschaftliche Bedeutung der Informationsextraktion widerspiegelt.
| Konferenz | Jahr | Textgattung | Themengebiet (Domäne) |
| MUC-1 | 1987 | mil. Meldungen | Flottenoperationen |
| MUC-2 | 1989 | mil. Meldungen | Flottenoperationen |
| MUC-3 | 1991 | Nachrichten | terroristische Aktivitäten |
| MUC-4 | 1992 | Nachrichten | terroristische Aktivitäten |
| MUC-5 | 1993 | Nachrichten | Joint Ventures, Chipproduktion |
| MUC-6 | 1995 | Nachrichten | Führungswechsel in der Wirtschaft |
| MUC-7 | 1997 | Nachrichten | Flugzeugabstürze, Raumfahrzeuge, Raketenstarts |
Literatur
- Ralph Grishman, Beth Sundheim: Message Understanding Conference – 6: A Brief History. (PDF; 580 kB) In: Proceedings of the 16th International Conference on Computational Linguistics (COLING), I, Kopenhagen, 1996, 466–471.