CAI trägt zur Veröffentlichung des Schweizer Open LLM bei
Das Zentrum für Künstliche Intelligenz (CAI) der ZHAW war an der Entwicklung des ersten großen Sprachmodells der Schweiz beteiligt, einem System mit 70 Milliarden Parametern, als Teil der SwissAI-Initiative. Das Modell soll im Spätsommer 2025 veröffentlicht werden.
Die SwissAI-Initiative wird von der ETH Zürich und der EPFL geleitet und umfasst über 800 Forscher aus mehr als 10 Schweizer Institutionen. Sie stellt damit Europas größte Open-Science-Anstrengung für KI-Grundlagenmodelle dar. Das Zentrum für Künstliche Intelligenz (CAI) der ZHAW ist seit der Gründung im August 2023 Teil der Initiative. Es beteiligt sich an verschiedenen Bereichen wie Gesundheit oder Vision für Robotik und trägt aktiv zum horizontalen Bereich der Daten für LLMs bei.
Dr. Jan Deriu aus der NLP-Gruppe des CAI unterstützte beispielsweise die Sammlung hochwertiger, Schweiz-zentrierter Trainingsdaten. Dabei stellte er die Einhaltung der Schweizer Datenschutzgesetze, Urheberrechtsbestimmungen und Website-Crawling-Richtlinien sicher.
Das Modell wird als vollständig Open-Source veröffentlicht - mit kompletter Transparenz bei Trainingsdaten, Code und Gewichtungen unter der Apache 2.0-Lizenz. Das mehrsprachige Modell unterstützt über 1.000 Sprachen und ist in 8B- und 70B-Parameter-Versionen verfügbar. Trainiert wurde auf dem "Alps"-Supercomputer, der mit 100% CO₂-neutralem Strom betrieben wird. Die Initiative will die europäische Abhängigkeit von geschlossenen kommerziellen KI-Systemen aus den USA und China reduzieren. Die vollständige Pressemitteilung der SwissAI-Initiative gibt es hier: https://ethz.ch/en/news-and-events/eth-news/news/2025/07/a-language-model-built-for-the-public-good.html.
Die SwissAI-Initiative beschränkt sich nicht nur auf den Aufbau von LLMs, sondern will KI für das Gemeinwohl entwickeln. Sie unterstützte auch ein kürzlich veröffentlichtes ICML-Paper von Forschern der ETH Zürich und des CAI. Dieses untersuchte die internen Abläufe von Transformer-Modellen und fand Symmetrien, die zu energieeffizienteren Trainings großer Modelle führen könnten. Das vollständige Paper gibt es hier: https://arxiv.org/pdf/2502.10927.