Awaria aplikacji - podsumowanie działań

W nocy z wtorku na środę (9/10.03.2021) wybuchł pożar w serwerowni OVHCloud, w wyniku którego uszkodzone zostały dwa centra danych, co spowodowało bezpośrednio brak możliwości wysyłki notyfikacji, zbierania subskrybentów oraz całkowite wstrzymanie działania aplikacji PushPushGo. 

Obecnie sytuacja została już opanowana i całkowite działanie aplikacji zostało w pełni przywrócone. Jako PushPushGo dołożyliśmy wszelkich starań, aby pomimo poważnej i nieprzewidzianej awarii, przywrócić możliwość działania tak szybko jak to tylko możliwe. 

Dzięki wytężonej pracy naszego zespołu IT, udało nam się tego dokonać w czasie poniżej 24h, co jak widać po aktualnej sytuacji na rynku w związku z awarią, jest wynikiem nadspodziewanie dobrym. 

Chciałbym bardzo podziękować wszystkim klientom za cierpliwość i wyrozumiałość w obliczu sytuacji w jakiej się znaleźliśmy. Państwa słowa wsparcia były dla nas nieocenione, dziękujemy.

Poniżej kilka najważniejszych wydarzeń z przebiegu wczorajszej awarii oraz odpowiedzi na najczęściej pojawiające się pytania.

Timeline

00:30

Pojawił się niegroźny incydent - otrzymaliśmy pierwsze powiadomienie od Page Duty - Wyłączonych zostało kilka serwerów. Nasi Administratorzy rozpoczęli pracę nad poprawą infrastruktury.

00:47 

Pierwsza informacja o ogniu w SGB2 - zgodnie z informacjami opublikowanymi przez OVH. Wdrożenie planu awaryjnego.

04:10 

Przestało działać 90% infrastruktury - (akcja gaśnicza) datacenter SGB1, SGB2, SGB3, SGB4, w których mieliśmy dużą część repozytoriów. Pozostałe datacenter nie zostały uszkodzone. 

06:00 - 18:00 

Pełne odtwarzanie infrastruktury oraz odzyskanie kodów źródłowych aplikacji, na co składało się przygotowanie oraz uruchomienie kopii bazy danych (żeby przyjąć ruch z pełnym obciążeniem),

Ok. 14:00 pierwszy update:

• Możliwość zalogowania do aplikacji,

• Wznowione zostało zbieranie subskrybentów,

• Nie przetwarzamy wysyłki (celowe działanie),

• Infrastruktura gotowa.

18:30

Przywróciliśmy wysyłki - uruchomienie senderów/requesterów.

FAQ

• Przez jaki okres nie zbierały się zapisy na notyfikacje/nowi subskrybenci? 
  
  Zapisy na notyfikacje nie były możliwe od 00:30 do 13:00 

• Czy zaplanowane kampanie z wczoraj zostały wysłane?
  
  Zgodnie z naszymi wczorajszymi komunikatami, żadna kampania zaplanowana pomiędzy 00:30 a 18:00 nie została wysłana.

• Czy utracone zostały jakiekolwiek dane?
  
  Żadne dane historyczne odnośnie subskrybentów, wysyłek ani rozliczeń nie zostały utracone.