Benachrichtigungen teilweise beeinträchtigt / Notifications partially degraded
Incident Report for smenso
Postmortem

Wir entschuldigen uns für entstandene Unannehmlichkeiten im Rahmen der temporären Beeinträchtigung der Benachrichtigungsdienste am 23.12.2022.

Beschreibung

Es wurde ein Problem mit den Benachrichtigungsdiensten festgestellt.

Auswirkungen

Alle Benachrichtigungsfunktionen, d.h. Projektfeed, Aktivitätenprotokoll in Aufgaben, Benachrichtigungen in-app (Glocken-Symbol) sowie E-Mail-Benachrichtigungen bei Zuweisungen, Kommentaren etc., waren nicht funktional. Die Nachrichten wurden zwar erzeugt, aber nicht gepostet/versendet. Die entsprechende Nachrichten-Queue wurde nicht abgearbeitet. Nachdem der Fehler behoben war, wurden alle Nachrichten nacheinander abgearbeitet und neue Aktionen werden wieder normal im Rahmen der Benachrichtigungsfunktion abgearbeitet.

Für die Zukunft

Wir werden weiter daran arbeiten, unsere Testanstrengungen zu verbessern und die Produktivsysteme noch freier von Fehlern zu halten.


We apologize for any inconvenience caused as part of the temporary disruption to our notification services from 12/23/2022.

Description

A problem with the notification services has been detected.

Impact

All notification features, i.e. project feed, activity log in tasks, in-app notifications (bell icon), and email notifications for assignments, comments, etc., were not functional. Messages were generated but not posted/sent. The corresponding message queue was not processed. After the error was fixed, all messages were processed one after the other and new actions are processed normally again within the notification function.

For the future

We will continue to work on improving our testing efforts and keeping production systems even freer from bugs.

Posted Dec 24, 2022 - 09:29 CET

Resolved
Die Benachrichtigungsdienste laufen wieder normal.

---

Notification services are running normally again.
Posted Dec 24, 2022 - 09:20 CET
Monitoring
Ein Hotfix wurde verteilt. Wir überwachen die Systeme weiter.

---

A hotfix has been implemented and rolled out. We are continuing to monitor the systems.
Posted Dec 24, 2022 - 05:27 CET
Identified
Das Problem wurde identifiziert und ein Hotfix wird gerade ausgerollt.

---

The issue has been identified and a hotfix is currently being deployed.
Posted Dec 24, 2022 - 04:30 CET
Update
Wir untersuchen das Problem weiter.

---

We are continuing to investigate the issue.
Posted Dec 23, 2022 - 15:15 CET
Investigating
Die Benachrichtigungsdienste sind teilweise (auf manchen Systemen) nicht funktional.

Es werden auf betroffenen Systemen derzeit keine Änderungen im Feed angezeigt und keine Benachrichtigungen versendet (in-App/E-Mail).

Wir untersuchen das Problem.

---

Notification services are partially non-functional (on some systems).

Changes are currently not displayed in the feed and no notifications are sent (in-app/email) on affected systems.

We are investigating the issue.
Posted Dec 23, 2022 - 12:28 CET
This incident affected: Notifications.