Hintergrundprozesse + UI beeinträchtigt / Background processes and UI delayed
Incident Report for smenso
Postmortem

Wir entschuldigen uns für entstandene Unannehmlichkeiten im Rahmen der temporären Beeinträchtigung unserer Clouddienste vom 26.01.2022.

Beschreibung

Wir haben Verbindungsprobleme zwischen unserem Microsoft Azure Kubernetes Cluster und den Datenbank-Diensten festgestellt, die zunächst unregelmäßig, später vereinzelt auch kontinuierlich auftraten. Die Ursache lag in einer Konfiguration der Datenbankverbindungen.

Auswirkungen

Die Verbindungsprobleme führten von gelegentlichen Ladeproblemen von Daten bis hin zu Ausfällen von vereinzelten Kundensystemen (Zugriff war immer möglich, nur wurden Daten nicht geladen).

Für die Zukunft

Wir werden weiter daran arbeiten, alle Systemkomponenten noch widerstandsfähiger zu machen.


We apologize for any inconvenience caused during the temporary disruption of our cloud services from 26/01/2022.

Description

We encountered connection issues between our Microsoft Azure Kubernetes cluster and our database services, which occurred irregularly at first, but later on continuously on some workspaces. The cause was a misconfiguration of the database connection.

Impact

The connectivity problems ranged from occasional data loading problems to outages of isolated customer systems (access was always possible, but data didn’t load).

Moving forward

We will continue to work on making all system components more resilient.

Posted Jan 30, 2022 - 18:45 CET

Resolved
Das Problem wurde gelöst und alle Systeme laufen wieder im Normalzustand.

The issue has been resolved and all systems are operational.
Posted Jan 26, 2022 - 23:25 CET
Monitoring
Die Ursache wurde identifiziert und eine Lösung wird aktuell ausgerollt. Wir beobachten die Situation weiter.

We have identified the root cause of the issue and a fix is currently being deployed. We are monitoring the situation.
Posted Jan 26, 2022 - 22:16 CET
Update
Wir arbeiten mit Hochdruck an einer Lösung. Wichtige Hintergrundprozesse sind derzeit teilweise gestört. Vielen Dank für Ihr Verständnis.

We continue to work at full speed to find a solution. Important background processes are currently partially disrupted. Thank you for your understanding.
Posted Jan 26, 2022 - 16:55 CET
Identified
Es gibt nach wie vor Probleme in Hintergrundprozessen, die auch Auswirkungen auf die Benutzeroberfläche haben. Wir arbeiten mit Hochdruck an einer Lösung.

Services are still deprecated, UI and Backend processes are affected. We continue to work on a solution.
Posted Jan 26, 2022 - 14:10 CET
Update
Wir untersuchen das Problem weiterhin.

We are continuing to investigate the issue.
Posted Jan 26, 2022 - 11:52 CET
Investigating
Unsere Hintergrundprozesse reagieren aktuell unter Umständen verzögert. Dies hat Auswirkungen auf manche Berechnungen und Aktualität der Daten. Wir untersuchen das Problem.

Our background processes are running behind which affects performance and some calculations of data fields. We are currently investigating this issue.
Posted Jan 26, 2022 - 10:39 CET
This incident affected: Web Application and Backend Services.