Data Science Deep Dive

Ob in der Entwicklungszusammenarbeit, im Online-Marketing oder beim Pricing: Wer wissen will, was eine Maßnahme bewirkt hat, steht vor dem Problem, dass sich immer nur eine Welt beobachten lässt. In dieser Folge sprechen Mira und Amit darüber, wie sich trotzdem ein belastbares Counterfactual konstruieren lässt und warum Korrelation dafür nicht ausreicht. Sie gehen Studiendesigns von RCTs über Difference-in-Differences, Regression Discontinuity und Propensity Score Matching bis hin zu Instrumentvariablen, Synthetic Control und Panel-Methoden durch. Außerdem geht es um die Frage, welche Variablen in die Auswertung gehören, wie man Ergebnisse auf Robustheit prüft und was Dosis-Wirkungs-Beziehungen zusätzlich verraten. Ein Plädoyer dafür, die Auswertung schon vor Beginn einer Maßnahme mitzudenken.

**Zusammenfassung**

• Das Kernproblem der Evaluation: Das Counterfactual ist unbeobachtbar, und ein statistischer Zusammenhang belegt noch keine Kausalität.
• Vor jeder Analyse steht die Wirkkette: Ohne logisches Verständnis, wie eine Maßnahme wirken soll, drohen falsche Metriken, übersehene Einflüsse und schlechte Vergleichsgruppen.
• Metriken sollten das messen, was wirklich zählt (z.B. Gewinn statt Auslastung, CLV statt Click-Through-Rate), und die Frage der Generalisierbarkeit gehört von Anfang an dazu.
• RCTs und A/B-Tests gelten als Goldstandard, setzen aber eine Poweranalyse vorab und eine saubere Auswertung voraus.
• Wenn Randomisierung nicht möglich ist, helfen DiD, RDD, Propensity Score Matching, Synthetic Control, Interrupted Time Series oder Fixed-Effects-Modelle, je nach Datenlage und Selektionsprozess.
• Instrumentvariablen lösen das Problem unbeobachteter Confounder wie Motivation, liefern aber nur einen lokalen Effekt (LATE), und die Ausschlussrestriktion lässt sich nicht statistisch testen.
• In der Analyse gehören Confounder ins Modell, Mediatoren nicht; Double ML, Causal Forests und Dosis-Wirkungs-Analysen erweitern das Werkzeugset.
• Robustheitschecks und eine Fehlerkultur, in der auch "wirkt nicht" ein wertvolles Ergebnis ist, sind entscheidend für glaubwürdige Evaluation.

**Links**

• #73: Korrelation vs. Kausalität: Was braucht es für fundierte Entscheidungen? https://www.podbean.com/ew/pb-xmeyy-18c0d20
• #26: A/B-Testing: Erkenntnisse statt Bauchgefühl https://www.podbean.com/ew/pb-6fzpj-143cfb1

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de

In dieser Folge sprechen wir über den EU AI Act: was er unter einem KI-System versteht, welche Risikostufen er unterscheidet und welche Regeln bereits gelten. Wir gehen auf die kurzfristigen Änderungen durch den EU AI Omnibus ein, unter anderem die verschobenen Fristen für Hochrisiko-Systeme. Außerdem erklären wir, welche Pflichten für Anbieter von General-Purpose-AI-Modellen gelten und welche Rolle der Code of Practice dabei spielt. Im Deep Dive zur Transparenzpflicht geht es darum, wie sich KI-generierte Inhalte kennzeichnen lassen und wie Text-Watermarking mit SynthID technisch funktioniert. Zum Schluss ordnen wir ein, was die Regulierung für Data-Science-Projekte in der Praxis bedeutet.

**Zusammenfassung**

• Stand der Umsetzung: Verbotene Praktiken und die Pflicht zur KI-Kompetenz gelten seit dem 2.2.2025, die Transparenzpflichten seit dem 2.8.2026.
• EU AI Omnibus: Die Fristen für Hochrisiko-Systeme wurden auf den 2.12.2026 (Stand-alone) bzw. 2.12.2027 (eingebettet) verschoben, zudem kam ein Verbot nicht einvernehmlicher sexualisierter Deepfakes hinzu.
• Definition von KI: Der AI Act beschreibt KI-Systeme als maschinengestützte Systeme mit unterschiedlichem Autonomiegrad, die aus Eingaben ableiten, wie sie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen.
• Risikostufen: Unterschieden werden verbotene Praktiken (z. B. Manipulation, Social Scoring), Hochrisiko-Anwendungen (z. B. kritische Infrastruktur, Gesundheit, Bildung, Justiz) und die Restkategorie mit geringem Risiko.
• General-Purpose-AI: Große Foundation-Modelle unterliegen Dokumentations- und Informationspflichten, etwa zu Trainingsdaten und Urheberrecht; ab 10^25 FLOPs Trainingsaufwand wird ein systemisches Risiko vermutet.
• Code of Practice: Anbieter*innen können Compliance über den Code of Practice mit den Kapiteln Transparenz, Urheberrecht sowie Sicherheit und Gefahrenabwehr nachweisen.
• Kennzeichnung von KI-Inhalten: Bilder, Videos und Audio lassen sich per Wasserzeichen oder Metadaten (C2PA) markieren, Texte über eine subtile Beeinflussung der Token-Auswahl wie bei SynthID – beide Ansätze haben aber klare Grenzen bei Erkennung und Manipulationssicherheit.
• Bedeutung für die Praxis: Wichtig sind die Risikoeinordnung eines Projekts, eingebaute Transparenzmechanismen etwa bei Chatbots und dokumentierte Maßnahmen zur KI-Kompetenz – vieles davon entspricht ohnehin guter Praxis.

**Links**

• Verordnung (EU) 2024/1689 (AI Act) auf EUR-Lex: https://eur-lex.europa.eu/eli/reg/2024/1689/oj
  Bundesnetzagentur – KI-Verordnung, Zeitplan und Überblick (deutsch): https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/1_Ziel/start_ziel.html
• EU-Kommission – Safer and more transparent AI (2.8.2026): https://commission.europa.eu/news-and-media/news/safer-and-more-transparent-ai-2026-08-02_en
• Rat der EU – Final green light für den AI Omnibus: https://www.consilium.europa.eu/en/press/press-releases/2026/06/29/artificial-intelligence-council-gives-final-green-light-to-simplify-and-streamline-rules/
• technology.org – What actually applies on 2 August 2026: https://www.technology.org/2026/07/17/eu-ai-act-what-actually-applies-on-2-august-2026/
• Nature-Paper zu SynthID-Text: https://www.nature.com/articles/s41586-024-08025-4
• Google DeepMind – Watermarking mit SynthID: https://deepmind.google/blog/watermarking-ai-generated-text-and-video-with-synthid/
• C2PA – Standard für Herkunftsnachweise von Inhalten: https://c2pa.org/

Lust auf einen Schnack bei der goto; Konferenz in Kopenhagen?

Sebastian auf LinkedIn: https://www.linkedin.com/in/sebastianwarnholz

goto; Konferenz in Kopenhagen: https://gotocph.com/2026

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de

Die letzten Monate waren geprägt von neuen Foundation Models für tabellarische und sequentielle Daten: TabPFN 3 skaliert auf eine Million Beobachtungen, Google stellt mit TabFM ein eigenes Modell samt BigQuery-Integration vor, NXAI veröffentlicht TiRex-2 mit Kovariaten-Unterstützung, und an der Spitze von GIFT-Eval steht mit STRIDE eine Kombination aus LLM-Reasoning und Time Series Foundation Model. Dazu kommen der ClickHouse-MCP-Server und der Stand der Umsetzung des EU AI Act nach dem Digital Omnibus. Im Praxisteil vergleichen wir TabICL v2 mit einem getunten XGBoost, Meta Prophet und naiven Baselines auf stündlichen NO2-Messwerten von fünf Messstationen, ausgewertet über ein Jahr rollierender Kreuzvalidierung mit dem Mean Absolute Scaled Error. Wir zeigen, welches Feature-Engineering nötig ist, wie sich der Vorteil von TabICL mit der Länge der Historie verändert und was das an Rechenzeit kostet. Zum Schluss ordnen wir ein, wann sich ein Foundation Model für Zeitreihen anbietet und wann XGBoost die pragmatischere Wahl bleibt.

**Zusammenfassung**

• TabPFN 3 (Mai 2026) skaliert auf einer H100 auf bis zu 1 Mio. Beobachtungen; verbessertes KV-Caching senkt die Prognosezeit auf 0,1–3 ms pro Testbeobachtung und macht das Modell für schnelle Batch-Prognosen nutzbar.
• Googles TabFM ist von TabPFN und TabICL inspiriert, liegt im TabArena-Benchmark vor TabPFN 3 und ist direkt in BigQuery integriert.
• TiRex-2 von NXAI setzt auf eine xLSTM- statt Transformer-Architektur und kann jetzt zusätzliche Kovariate einbeziehen – ein Test steht bei uns noch aus.
• STRIDE führt den GIFT-Eval-Benchmark an: Das LLM prognostiziert nicht selbst, sondern steuert über destillierte Embeddings ein Time Series Foundation Model.
• Kurz notiert: Der ClickHouse-MCP-Server (v0.4.1) erlaubt LLM-Abfragen ohne SQL, etwa zur Log-Diagnose; beim EU AI Act gelten die Transparenzpflichten seit August, die Kennzeichnung von Bestandssystemen greift ab dem 2.12.2026.
• Praxis-Setup: TabICL v2 mit Kalender-, Fourier- und Lag-Features gegen getuntes XGBoost, Prophet, TabICL out-of-the-box sowie Naive und Seasonal-Naive; stündliche NO2-Daten, 24-Stunden-Horizont, Metrik MASE.
• Ergebnisse: Bei zwei Jahren Historie liegt TabICL klar vorn, bei rund 8.000–9.000 Trainingsbeobachtungen ist XGBoost praktisch gleichauf, bei drei Monaten Historie noch etwa 4 % schlechter; ohne jedes Feature-Engineering schlägt TabICL Prophet und die naiven Baselines deutlich.
• Kosten: Die Kreuzvalidierung mit TabICL auf einer L40S-GPU dauert etwa 17-mal länger als mit XGBoost, auf CPU ist das Modell nicht praktikabel – Caching dürfte diesen Nachteil künftig verkleinern.

**Links**

• Link zum begeleitenden Blogartikel "TabICL v2 für Zeitreihen: Das In-Context-Learning-Modell im Vergleich mit XGBoost und Meta's Prophet" https://www.inwt-statistics.de/blog/tabicl_v2_fuer_zeitreihen
• #72: TabPFN: Die KI-Revolution für tabulare Daten mit Noah Hollmann https://www.podbean.com/ew/pb-94ri2-18aca83
• #57: Mehr als heiße Luft: unsere Berliner Luftschadstoffprognose mit Dr. Andreas Kerschbaumer https://www.podbean.com/ew/pb-u6xwt-16ff139
• TabPFN-3 Technical Report: https://priorlabs.ai/technical-reports/tabpfn-3
• TabPFN auf GitHub: https://github.com/PriorLabs/TabPFN
• Google Research zu TabFM: https://research.google/blog/introducing-tabfm-a-zero-shot-foundation-model-for-tabular-data/
• TabFM in BigQuery: https://cloud.google.com/blog/products/data-analytics/tabfm-adds-predictive-ml-to-bigquery
• TiRex-2 (NXAI): https://www.nx-ai.com/en/tirex-2 | Code: https://github.com/NX-AI/tirex-2 | Paper: https://arxiv.org/abs/2607.01204
• STRIDE – Reasoning-Aware Training for Time Series Forecasting: https://arxiv.org/abs/2605.08625
• Time Series LLMs am Beispiel t0-alpha: https://towardsdatascience.com/time-series-llms-explained-with-t0-alpha/
• ClickHouse MCP Server: https://github.com/ClickHouse/mcp-clickhouse
• EU AI Act nach dem Digital Omnibus (Überblick): https://www.deloitte.com/de/de/issues/innovation-ai/eu-ai-act-digital-omnibus.html
• TabICL v2 auf GitHub: https://github.com/soda-inria/tabicl
• TabICL-Dokumentation: https://tabicl.readthedocs.io/en/latest/
• Tutorial zum TabICLForecaster: https://tabicl.readthedocs.io/en/latest/tutorials/time_series_forecasting.html
• Meta Prophet: https://github.com/facebook/prophet
• GIFT-Eval Leaderboard: https://huggingface.co/spaces/Salesforce/GIFT-Eval
• TabArena Leaderboard: https://huggingface.co/spaces/TabArena/leaderboard

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: podcast@inwt-statistics.de