Beitrag "StatBot.Swiss: Bilingual Open Data Exploration in Natural Language" akzeptiert in "Findings of the ACL 2024" - The Major International Conference on Natural Language Processing
Der Beitrag "StatBot.Swiss: Bilingual Open DataExploration in Natural Language" der ZHAW-Forschenden Farhad Nooralahzadeh, Yi Zhang und Kurt Stockinger wurde in die "Findings of the ACL 2024" (Association of Computational Linguistics) akzeptiert. Die ACL gilt als die renommierteste internationale Konferenz zur Erforschung der Verarbeitung natürlicher Sprache.
Der Beitrag ist eine Zusammenarbeit zwischen dem Institut für Informatik der ZHAW, dem Kompetenzzentrum Data Science des Bundesamtes für Statistik und dem Swiss Data Science Center. Der Beitrag veröffentlicht den StatBot.Swiss-Datensatz, den ersten zweisprachigen Benchmark zur Evaluation von Text-to-SQL-Systemen auf der Basis von realen Anwendungen. Der StatBot.Swiss-Datensatz enthält 455 natürliche Sprach-/SQL-Paare aus 35 grossen Datenbanken mit unterschiedlichem Komplexitätsgrad sowohl für Englisch als auch für Deutsch. Die experimentelle Analyse zeigt, dass aktuelle Large Language Models bei der Generierung von SQL-Abfragen auf diesem neuartigen zweisprachigen Datensatz nur schwer zu generalisieren sind. Die Arbeit legt somit den Grundstein für neue Forschungsanstrengungen im weiteren Bereich der generativen KI.
Diese Publikation ist das Ergebnis des INODE4Statbot-Projekts, das vom Schweizer Bundesamt für Statistik finanziert wird.