text: Die Informationssucher im Wettstreit | NZZ
  Die Informationssucher im Wettstreit
  Die Informationsflut schwillt an. Entsprechend unersetzlich sind Suchwerkzeuge, um relevante Information gezielt zu finden. Internationale Evaluationskampagnen fördern die Entwicklung zukunftsträchtiger Systeme.
  Wer schon mehr als nur flüchtig mit dem World Wide Web (WWW) in Kontakt gekommen ist, kennt sicher auch mindestens eine der grossen Suchmaschinen (Search Engines). Das WWW umfasst heute schon mehrere Milliarden Textseiten und unzählige Datenbanken, die dem häufig von einer solchen Informationsflut überwältigten Benutzer potenziell zur Verfügung stehen. Ohne die Hilfe von Suchmaschinen ist es nicht mehr möglich, in diesem «Informations-Heuhaufen» die sprichwörtliche Nadel zu finden. Was jedoch die wenigsten Benutzer von Web-Suchdiensten wie Google und Altavista wissen, ist, dass diese relativ neuen Dienste ein Resultat von Forschungsergebnissen aus einer akademischen Disziplin, dem «Information Retrieval», darstellen, welche weit älter ist als das Web oder das Internet selbst. Information Retrieval befasst sich allgemein mit der Speicherung und dem Wiederauffinden von Information. Diese Forschungsdisziplin führte jahrzehntelang ein Mauerblümchendasein im Umfeld von Bibliotheken und Archiven. Es war schwierig, Information-Retrieval-Experimente in einen grösseren Kontext zu setzen, da sich die Resultate auf unterschiedliche, oft nur kleine Datenmengen abstützten. Es ist aber zentral, die Forscher zu ermuntern, ihre Neuentwicklungen in realistischen Umgebungen an die Bedürfnisse der Wirtschaft und anderer künftiger Benutzer anzupassen.
  Im Wettstreit Suchsysteme evaluiert
  Eine Initialzündung in diesem Sinn erfolgte im Jahr 1992, als die erste Text Retrieval Conference (TREC) in den USA abgehalten wurde. Diese Konferenz war die erste von bis heute zehn Evaluationskampagnen, ursprünglich gesponsert von ARPA (heute DARPA - Defense Advanced Research Projects Agency) und NIST (National Institute of Standards and Technology), zwei US- Regierungsstellen. Ziel solcher Evaluationskampagnen ist es, Forscher und ihre Systeme zusammenzubringen, eine klar definierte, realistische Testbasis zur Verfügung zu stellen und den Vergleich unterschiedlicher Methoden und Ideen zu ermöglichen. Nur so kann gewährleistet werden, dass Forschungsergebnisse konkrete Bedürfnisse adressieren und dass ein Transfer der neuen Technologie in ein kommerzielles Umfeld stattfindet. Der Vergleich erfolgt durch Verwendung gemeinsamer Testdaten und -anfragen. Zu Beginn der Kampagne erhalten alle Teilnehmer die gleiche Datensammlung, z. B. mehrere hunderttausend Dokumente, zugeschickt. Die Forscher versuchen dann, mit einer Anzahl von Testfragen möglichst gute Suchergebnisse zu erzeugen. Die Anfragen simulieren konkrete Informationsbedürfnisse, welche ein realer Benutzer eines Suchsystems haben könnte. Alle Ergebnislisten werden dann anonym ausgewertet und publiziert. Da alle Teilnehmer dieselben Testdaten und -anfragen verwenden, sind direkte Vergleiche zwischen verschiedenen Methoden möglich, so dass man von einem freundlichen Wettstreit der Suchsysteme sprechen kann, bei dem Forscher neue, manchmal noch unausgereifte Methoden und Ideen erproben. Einer der rückblickend glücklichsten Entscheide in den frühen Jahren von TREC war es, den Umfang der Testdaten so gross zu wählen, dass die Teilnehmer der Evaluationskampagnen gezwungen waren, ihre Systeme so anzupassen, dass diese mindestens eine Grössenordnung mehr Daten verarbeiten können. So wurde die Informationsflut, die mittlerweile über uns hereingebrochen ist, vorweggenommen.
  In diesem Sinne wird im Rahmen der TREC- Kampagnen weiterhin versucht, die stetig wachsende Anzahl von Teilnehmern zu stimulieren, neu sich abzeichnende Bedürfnisse zu adressieren. Konzentrierte sich die erste Kampagne noch gänzlich auf die Suche in (englischsprachigen) Texten, kamen im Laufe der Jahre zusätzliche Unteraufgaben bezüglich neuer Medien (gescannte Dokumente, Audio- und Videodaten), neuer Sprachen (erst Spanisch und Chinesisch, später Deutsch, Französisch sowie Italienisch und seit kurzem auch Arabisch), neuer Aspekte (automatische Erstellung von Antworten aus gefundenen Dokumenten, Analyse des Suchverhaltens von Benutzern) und neuer Datenmengen (Webdaten) dazu. Viele dieser Unteraufgaben zwingen die Teilnehmer, allerneueste Technologie und Methoden einzusetzen, welche einen Ausblick auf Entwicklungen geben, die den Endbenutzer in den nächsten Jahren erreichen werden (Suche in Videodaten, Antwortgeneration).
  Eine solche neue Forschungsrichtung, die sehr gut in ein Schweizer Umfeld passt, ist die Suche auf mehrsprachigen Daten. Ein Suchsystem muss dabei nicht nur Texte und Anfragen in einer Reihe von verschiedenen Sprachen verarbeiten können, es muss auch in der Lage sein, Dokumente aufzufinden, die nicht in der Sprache der Anfrage verfasst sind. Dies ist ein natürliches Szenario für die Informationssuche in vielen Schweizer Unternehmen und Organisationen, wo oft Daten in mehreren Landessprachen und Fremdsprachen erschlossen werden müssen. Es ist daher auch nicht erstaunlich, dass diese Unteraufgabe ursprünglich mit Schweizer Hilfe (der ETH Zürich) in TREC eingeführt wurde.
  Mehrsprachigkeit als Schweizer Stärke
  Die grosse Resonanz der Forschergemeinschaft auf solche mehrsprachigen Unteraufgaben führte dann später zur Gründung einer europäischen Evaluationskampagne, der CLEF-Kampagne (Cross-Language Evaluation Forum), und eines asiatischen Pendants, der NTCIR-Kampagne. CLEF ist Teil der EU-Forschungsrahmenprogramme und wird organisiert von einem Konsortium, welches Partner aus sechs verschiedenen Ländern vereint (Italien, Deutschland, Spanien, USA, Schweiz und Frankreich). Der Schweizer Partner, die Zürcher Softwarefirma Eurospider Information Technology AG, ist für die technische Infrastruktur der CLEF-Kampagne zuständig, nimmt aber auch selbst aktiv mit ihren eigenen Systemen am Vergleichstest teil.
  Dieses Jahr fanden die CLEF-Kampagne und der zugehörige Workshop zum zweiten Mal statt. 34 Teilnehmer aus 15 Ländern nahmen daran teil. Hauptaufgabe war die Suche auf einer Testdatenbasis, bestehend aus Dokumenten in fünf verschiedenen Sprachen - Deutsch, Französisch, Italienisch, Englisch und Spanisch. Dabei konnten die Teilnehmer wählen, in welcher von insgesamt zwölf verschiedenen Sprachen sie die Testanfragen stellen wollten, um dann auf den Dokumenten in allen fünf Sprachen gleichzeitig zu suchen. Erkenntnisse aus dieser Aufgabe werden nun zweifellos in professionelle Suchsysteme einfliessen, wie sie heute für anspruchsvolle Aufgaben in grossen Schweizer Unternehmen und Organisationen eingesetzt werden. Wer im heutigen Umfeld der Globalisierung bestehen und zukunftsweisende Entwicklungen an den Markt bringen will, hat nur Erfolg, indem er sich aktiv dem Wettbewerb stellt. Es ist daher erfreulich, dass die beiden besten Resultate in der mehrsprachigen Suche dieses Jahr von Schweizer Teilnehmern kamen (Universität Neuenburg und Eurospider).
  Es wurde bereits in der Vergangenheit bewiesen, dass Teilnehmer von Evaluationskampagnen wie TREC und CLEF ihre Systeme von Jahr zu Jahr massiv verbessern konnten. Zukünftig wird auch CLEF um neue Aufgaben erweitert werden, die zukunftsweisende neue Ansätze fördern werden (mehrsprachige Suche auf Audiodaten, besseres Verständnis für den Umgang des Benutzers mit mehrsprachigen Suchresultaten usw.). Zweifellos werden damit viele Entwicklungen vorweggenommen, welche bald auch in den Suchsystemen zu finden sein werden, mit welchen Endbenutzer im Alltag konfrontiert werden. Durch eine schrittweise Umsetzung der Forschungsergebnisse zuerst in professionellen Suchsystemen wird die Technologie so reifen, dass es in einigen Jahren z. B. wie selbstverständlich möglich sein wird, mit Hilfe eines Web-Suchsystems in Deutsch auf dem Radioarchiv der BBC zu suchen. CLEF ermöglicht somit einerseits einen Blick auf die Technologie der Profis von morgen, nimmt andererseits aber auch eine wichtige Brückenfunktion ein, indem der effektive Technologietransfer ermöglicht wird. Die Bedeutung von Evaluationskampagnen, dem fairen Wettstreit verschiedener Forschungsgruppen, wird daher in Zukunft zunehmen.
  research.nii.ac.jp/ntcadm/
  * Martin Braschler ist Head of Research and Innovation, Peter Schäuble ist Gründer und CEO von Eurospider Information Technology AG, einem Spin-off der ETH Zürich.