Sind Zeitreihenprognosen
mit Foundation Models auf Edge Devices möglich?

Den vollständigen lauffähigen Code haben wir auf Github https://github.com/eoda-dev/tsfm-edge als open source veröffentlicht, sodass sich das Setup bequem klonen und reproduzieren lässt.

Herausforderung: PyTorch auf ARM-Architektur

Die größte technische Hürde war weniger das Modell selbst, sondern die Installation von PyTorch auf ARM-basierten Raspberry-Pi-Systemen.

Die Herausforderungen:

• Torch benötigt architekturspezifische Builds passend zur CPU
• Raspberry Pis nutzen ARM-CPUs statt x86
• aktuelle Torch-Versionen verwenden CPU-Instruktionen, die ältere Pis nicht unterstützen
• die benötigten Pytorch Wheels liegen nicht direkt auf PyPI

Mittels moderner Paketmanager wie uv  (aus unserer Sicht einfacher als bspw. pip) lassen sich die benötigten Anforderungen (bspw. Pytorch zwischen 2.0 und 2.10 ) gut in der pyproject.toml konfigurieren:

Auszug pyproject.toml:

[project]
dependencies = [
    "chronos-forecasting==2.2.2",
    "polars==1.40.1",
    "torch>=2.0,<2.10",
]


[tool.uv.sources]
torch = [ # required by chronos-forecasting
    { index = "pytorch-cpu", marker = "platform_machine == 'aarch64'" }
]

[[tool.uv.index]]
name = "pytorch-cpu"
url = "https://download.pytorch.org/whl/cpu"
explicit = true

Download und Laden des Modells

Die Modelle werden beim ersten Durchlauf automatisch vom Hugging Face Model Hub geladen und lokal zwischengespeichert.

Auszug: src/forecast.py

from chronos import Chronos2Pipeline

# Zero shot model (will be cached at ~\.cache\huggingface\hub)
model = Chronos2Pipeline.from_pretrained("autogluon/chronos-2-small", device_map="cpu", dtype=torch.float32)

Dadurch entstehen beim ersten Start zusätzliche Downloadzeiten, spätere Durchläufe profitieren jedoch vom lokalen Cache.

Der Datensatz

Für einen realistischen Test haben wir 50 Zeitreihen aus einem praktischen Anwendungsfall verwendet: Prognosen des Stromverbrauchs.

Die Vorhersage basiert auf:

• • 7 Tagen Historie
  • Prognosehorizont von 2 Tagen

• 15-Minuten-Intervallen

Die verwendeten Parameter sahen folgendermaßen aus:

# 7 days of context, 2 days of forecast
context_length = 7 * 24 * 4
forecast_length = 2 * 24 * 4

Effiziente Prognoseerstellung mit Batch-Verarbeitung

Die Prognose durch das Modell wird auf Basis der Pytorch-Bibliothek ausgeführt. Für eine schnelle Verarbeitung durch Pytorch werden die 50 Zeitreihen in einen Input-Tensor zusammengefasst und dem Modell zur Vorhersage übergeben. Die ground_truth ist hier lediglich für die spätere Evaluation mittels Mean Average Error (MAE) Metrik nötig.

# build context + ground truth for processing with torch

for values in groups["value"]:
    context_tensors.append(torch.tensor(values[:context_length], dtype=torch.float32))
    ground_truth.append(torch.tensor(values[context_length : context_length + forecast_length]))

batch_context = torch.stack(context_tensors).unsqueeze(1)

Gerade auf kleineren Geräten wie dem Raspberry Pi Zero 2 W empfiehlt es sich, die batch_size zu reduzieren, um Speicherprobleme zu vermeiden.

# run forecast
forecasts = model.predict(inputs=batch_context, prediction_length=forecast_length, batch_size=32)

Besonderheit Raspberry Pi Zero 2 W: Stromversorgung

Für die Erstellung einer Prognose (Modellinferenz) benötigt der Raspberry Pi Zero 2 W eine zuverlässige Stromversorgung. Während einfache Anwendungen oft problemlos über einen USB-Port betrieben werden können, führte die höhere Last während der Modellinferenz teilweise zu Instabilitäten und Abstürzen. Mit einem externen Netzteil lief das System dagegen stabil.