Eingabe löschen

Kopfbereich

Schnellnavigation

Hauptnavigation

CAS Data Engineering

Das Phänomen der stetig zunehmenden Menge und Verbreitung von Daten begleitet uns seit Jahrzehnten. Zu Beginn dieser Entwicklung entstanden Daten in Systemen, bei denen die gewünschte Funktionalität die Form und Verarbeitung der Daten vorgab. Heutzutage verbreiten sich aber auch Systeme, in denen ein Nutzen dank dem Einbezug vorhandener Daten gestiftet wird.

Anmelden

Favoriten vergleichen

Auf einen Blick

Abschluss:

Certificate of Advanced Studies ZHAW in Data Engineering (12 ECTS)

Start:

30.08.2024

Dauer:

Kosten:

CHF 8'000.00

Bemerkung zu den Kosten: 

  • Die vollständigen Studiengebühren sind vor Studienbeginn zu begleichen.
  • In den Studiengebühren sind die Einschreibe- und Prüfungsgebühren sowie sämtliche kursrelevanten Unterlagen enthalten.

Durchführungsort: 

ZHAW School of Management and Law / Campus St.-Georgen-Platz, 8401 Winterthur

Unterrichtssprache:

  • Deutsch
  • Das Unterrichtsmaterial ist teilweise in englischer Sprache.

Weiterführende Informationen: 

Es besteht eine Präsenzpflicht von 80%.
Der CAS kann einzeln oder als Teil des MAS Business Engineering absolviert werden.

Ziele und Inhalt

Zielpublikum

Der CAS richtet sich an Fach- und Führungskräfte aus allen Branchen, welche ein Grundlagenverständnis für das Datenmanagement mitbringen, bereits Erfahrungen im generellen Umgang mit Daten gesammelt haben (bspw. durch den Besuch des CAS Data Competence for Business) und sich im Bereich der Sammlung, Aufbereitung, Validierung und Distribution von Daten vertiefen wollen. Idealerweise haben Sie bereits erste Erfahrungen mit 1 – 2 Abfrage-, Programmier- oder Skriptsprachen gesammelt. Der CAS bereitet Sie darauf vor, Aufgaben im Bereich des Data Engineering selbst durchzuführen sowie auf einem fachlichen Niveau zu überwachen.

Ziele

Sie können im Anschluss an diesen CAS:

  • Fragestellungen identifizieren, denen mit dem Einbezug von Daten und unterschiedlichen Aufbereitungs- und Analysemethoden begegnet werden kann
  • für den Erkenntnisgewinn erforderliche Daten identifizieren und spezifizieren
  • Speicherlösungen konzeptionieren und Datenmodelle skizzieren
  • die wichtigsten Überlegungen im Bereich der Sicherheitsaspekte kennen
  • Daten mittels unterschiedlicher Vorgehensweisen beschaffen und in geeignete Speicherlösungen überführen
  • für die Datenpipeline geeignete Transformationsmethoden kennen und anwenden, um die Datenkompatibilität herzustellen
  • für die Datenpipeline geeignete Bereinigungsmethoden kennen und anwenden, um eine akzeptable Datenqualität herzustellen
  • Statistische Methoden und Modelle des maschinellen Lernens für die Analyse und Validation der Daten innerhalb des Data Engineering - Lebenszyklus kennen und anwenden
  • Statistische Methoden und Modelle des maschinellen Lernens für die Identifikation von Anomalien in Daten kennen und anwenden
  • Werkzeuge und Methoden für den Umgang mit natürlicher Sprache kennen und anwenden
  • Werkzeuge und Methoden für den Umgang mit Bilddaten kennen und anwenden
  • Werkzeuge und Methoden für den Umgang mit räumlichen Daten kennen und anwenden
  • Daten über ausgewählte Deployment-Lösungen bereitstellen und Datenübergänge automatisieren

Inhalt

Data Engineering wird je nach Definition als Teilbereich oder als Vorstufe des Data Science verstanden und befasst sich hauptsächlich mit den praktischen Aspekten der Datenbeschaffung und Zusammenführung, über den gesamten Datenaufbereitungskreislauf bis zur Analyse mit dem Ziel, eine qualitativ und quantitativ akzeptable Datengrundlage für die anschliessende Modellierung zu bieten.

Mit dem Wachstum der Datenmenge haben wir immer mehr Möglichkeiten, nützliche Produkte, Dienstleistungen und effektive Betriebe zu gestalten. Menschen in diversen Positionen, Funktionen und Rollen verfolgen ein breites Spektrum an Aufgaben, in denen Fragestellungen mit der Erfassung, Aufbereitung und Verarbeitung von Daten effektiver und effizienter beantwortet werden können. Im CAS Data Engineering vermitteln wir ein ebenso breites Spektrum an Werkzeugen und Methoden, welche Teilnehmende dazu befähigt, in ihrem beruflichen Alltag Daten mittels systematischer Techniken bereitzustellen, damit aus diesen ein konkreter Nutzen gewonnen werden kann.

Jeder Themenblock wird begleitet durch eine theoretische Einführung in die Thematik, die prozessorientierte Perspektive sowie praktische Übungen. Die Übungen finden mit öffentlich zugänglichen Daten aus den Bereichen Pharma & Gesundheit, Energie & Umwelt, Automobilindustrie, Versicherungen, Finanzen und Agrarwirtschaft statt. Es besteht ebenfalls die Möglichkeit, mit eigenen Daten zu arbeiten.

Modul 1: Werkzeuge und Methoden

1. Einführung

  • Definition von Data Engineering, Abgrenzung zu verwandten Themenbereichen
  • Motivation, Organisation, Anforderungen, Organisatorisches
  • Tools und Equipment (Programmier-, Abfrage- und Skriptsprachen, Umgebungen)

2. Data Ingestion

  • Formate und Datentypen
  • Datenquellen und -identifikation
  • API’s
  • Webscraping

3. Explorative Datenanalyse

  • Explorative Datenanalyse und -evaluation
  • Formen und Regeln der Visualisierung
  • Initiale Datenbereinigung
  • Clustering
  • Hypothesentest

4. Datenorganisation

  • Datenströme
  • Strukturierte Daten vs. unstrukturierte Daten
  • Datenarchitekturen (Datenbanken, Managementsysteme, Schnittstellen)
  • Relationale Datenbanken und zugehörige Abfragesprachen
  • Nicht-relationale Datenbanken und zugehörige Datenmodelle sowie Abfragesprachen
  • Daten- und Informationssicherheit

5. Transformation & Aggregation

  • Formen der Zusammenführung von Daten
  • Integration
  • Verteilte Systeme
  • Transformationsarchitekturen

6. Cleansing

  • Datenqualität
  • Die gängigsten Anomalien (uni- und multivariate Analyse)
  • Kompatibilitäten
  • Prognosen

Modul 2: Domänen und Daten

1. Analyse & Validation

  • Kurze Repetition statistischer Grundlagen
  • Panel-Daten
  • Analyse und Validation mit maschinellem Lernen
  • Maschinelles Lernen für Data Engineering (u.a. zur Erkennung von Anomalien)

2. Modell- und Ressourcen-Optimierung

  • Performance-Optimierung vs. Ressourcen-Optimierung
  • Modellbasierte Optimierung
  • Datenbasierte Optimierung
  • Umgebungsbasierte Optimierung

3. Natural Language Processing

  • Datenaufbereitung für und Anwendung von natürlicher Sprache

4. Bilddaten

  • Datenaufbereitung für und Anwendung von Bildern

5. Räumliche Daten

  • Analyse und Visualisierung räumlicher Daten

6. Distribution von Objekten

  • DevOps
  • Deployment
  • Container und Microservices

Wir arbeiten mit den folgenden Sprachen und Umgebungen:

Programmier-, Abfrage- und Skriptsprachen:

  • Python (Pandas, NumPy, Matplotlib, Seaborn, Scikit Learn)
  • SQL
  • Cypher
  • R
  • Visual Basic

Entwicklungsumgebungen:

  • OpenRefine
  • Anaconda (Jupyter Notebook / Lab, Spyder, PyCharm)
  • Google Colab
  • MS Visual Studio
  • MS Excel
  • MS Access

Datenbanken:

  • MySQL, MariaDB
  • MS Azure SQL Server (optional)
  • MongoDB
  • Neo4J (optional)
  • MS Azure Cosmos DB (optional)

Weitere:

  • Git
  • MS Shell / Terminal
  • Docker
  • Flask
  • Dash
  • QT Designer
  • Social Network Visualizer

Methodik

Der CAS zeichnet sich durch methodische Vielfalt aus. Neben Lehrgesprächen, Referaten, (Gruppen-)Übungen, Fallstudien oder Arbeit an Fallbeispielen aus der Praxis wird grosser Wert auf den Erfahrungsaustausch zwischen den Teilnehmenden gelegt.

Leistungsnachweis

Der Leistungsnachweis besteht aus einer Projektarbeit, die den gesamten CAS begleitet und in Gruppen erarbeitet wird. Die Projektarbeit wird pro Modul im Rahmen eines Kolloquiums durch die Gruppen präsentiert und im Plenum diskutiert.

Mehr Details zur Durchführung

Die Vorlesungen finden jeweils am Freitag und Samstag statt. Änderungen sind möglich.
Der CAS kann einzeln oder als Teil des MAS Business Engineering absolviert werden.

Beratung und Kontakt

Veranstalter

Dozierende

Prof. Dr. Alexandre de Spindler, Datenorganisation, Natural Language Processing

Dr. Andrea Günster, Analyse und Validation

Dr. Anna Wiedemann, DevOps

Benjamin Kühnis, Bilddaten

Dr. Christian Hitz, Datenorganisation

Maria Pelli, EDA, Transformation und Aggregation, Cleansing, Analyse und Validation, Distribution von Objekten

Dr. Mario Gellrich, Data Ingestion und Räumliche Daten

Nicole Bellert, Analyse und Validation

Dr. Peter Heinrich, Datenorganisation

Kooperationspartner

Gastvortrag
Kirsten Scherer
Use Cases und Best Practices im Umgang mit unstrukturierten Daten im Service Public
(Kantonspolizei ZH, SRG SSR)

Der Vortrag widmet sich den Aufgaben, die sich in der Praxis im Umgang mit unstrukturierten Daten ergeben können. Dazu werden drei Beispiele aus dem Umfeld des Service Public, deren spezifische Problemfelder und die gewählten Lösungsansätze vorgestellt. Anschliessend erfolgt einerseits ein Spotlight auf die allgemeinen Fähigkeiten, die zur Identifizierung von Daten und Verfahren für bestimmte Problemstellungen erforderlich sind und andererseits auf die besonderen Anforderungen, die die Nutzung unstrukturierter Daten im Unternehmen mit sich bringen kann.

Gastvortrag
Frederic Auberson
SRE for Data Engineers
(Google)

Site Reliability Engineering is Google's way of running services at scale. Because up to 90% of the cost of software is incurred after a service is launched, SREs make data-driven decisions in order to optimize the efficiency of systems operations. In this talk, we'll look at what an SRE does, where we get our data from, and how we leverage it in our day-to-day work.

  • Kirsten Scherer

  • Frederic Auberson

Anmeldung

Zulassungskriterien

Der Zertifikatslehrgang richtet sich an Absolventinnen und Absolventen von Hochschulen (FH/Universität) mit mind. 3 Jahren Berufserfahrung sowie an Berufsleute ohne Hochschulabschluss mit mind. 5 Jahren Berufserfahrung und entsprechenden Weiterbildungsausweisen (höhere Fachschule oder höhere Fachprüfung mit eidg. Fachausweis/Diplom).

Englischkenntnisse werden vorausgesetzt, weil im Studiengang mit englischer Literatur gearbeitet wird.

Über die definitive Zulassung entscheidet die Studienleitung.

Anmeldeinformationen

Anmeldungen werden in der Reihenfolge des Eingangs berücksichtigt.

Startdaten und Anmeldung

Start Anmeldeschluss Anmeldelink
30.08.2024 01.08.2024 Anmeldung

Downloads und Broschüre

Downloads