Whaller Status Page

Jul 9, 2026 · resolved Jul 9

# Post-mortem — Incident Elasticsearch du 9 juillet 2026 ## Résumé Le 9 juillet 2026, un incident de production a affecté le service Elasticsearch utilisé par les fonctions de recherche et d’analytics. L’incident a entraîné une indisponibilité partielle du cluster Elasticsearch, avec un impact visible sur certaines fonctionnalités dépendantes de la recherche, notamment l’affichage de l’annuaire dans les sphères et l’accès aux interfaces dédiées de monitoring ou de recherche. L’incident a été détecté à partir de remontées support et de constats techniques indiquant que le cluster n’était plus accessible sur les URLs dédiées. Les équipes techniques sont intervenues pour diagnostiquer l’origine du problème, mettre à niveau le nœud concerné, redémarrer les services affectés et vérifier le retour à un état nominal. L’incident a été ouvert à 12h32 CEST sur la page de statut et clôturé à 14h35 CEST après rétablissement des serveurs. ## Chronologie des événements Le 9 juillet 2026, les événements suivants se sont produits : * **12h20 CEST** : les équipes techniques redémarrent l’un des nœuds Elasticsearch. * **12h22 CEST** : les équipes techniques confirment un incident de production : Elasticsearch ne redémarre pas correctement. * **12h28 CEST** : l’analyse montre un écart de version entre les nœuds du cluster. Deux nœuds sont en version plus récente, tandis que le nœud redémarré, qui jouait le rôle de master, est dans une version antérieure. Les équipes techniques procèdent alors à sa mise à jour. * **12h32 CEST** : une page d’incident est publiée sur la page de statut. * **14h35 CEST** : les serveurs sont à nouveau fonctionnels. Les vérifications étant concluantes, l’incident est considéré comme résolu et la page de statut est clôturée. ## Difficultés rencontrées La principale difficulté a été liée à la configuration particulière de la machine concernée. Cette machine hébergeait deux instances Elasticsearch distinctes correspondant à deux services différents. La remise en cohérence de la version Elasticsearch devait donc être réalisée avec précaution sur les deux instances, sans écraser les configurations, les données, les logs ou les sauvegardes propres à chaque service. Une autre difficulté a concerné le comportement du cluster au redémarrage. Le nœud concerné ne pouvait pas rejoindre le cluster, car sa version était inférieure à celle des autres nœuds déjà en fonctionnement. Les logs indiquaient explicitement qu’un nœud dans cette version ne pouvait pas rejoindre un cluster composé uniquement de nœuds dans une version plus récente. ## Cause de l'incident La cause de l’incident est un écart de version entre les nœuds du cluster Elasticsearch. Le nœud redémarré était dans une version antérieure à celle des deux autres nœuds. Or, Elasticsearch ne permettait pas à ce nœud de rejoindre un cluster composé uniquement de nœuds dans une version plus récente. Le cluster s’est donc retrouvé dans un état non nominal après le redémarrage du nœud concerné, ce qui a entraîné l’indisponibilité des services dépendants. La cause racine n’est pas liée à une action individuelle, mais à un manque de formalisation et de sécurisation de la procédure de mise à jour et de redémarrage du cluster Elasticsearch, en particulier dans un contexte d’installation spécifique avec plusieurs instances sur une même machine. ## Perte de données Aucune perte de données n’a été identifiée à la suite de cet incident. L’incident a concerné la disponibilité du service Elasticsearch et la capacité des nœuds à fonctionner correctement ensemble au sein du cluster. Les données existantes n’ont pas été supprimées ni altérées. ## Mesures de remédiation Les équipes techniques ont procédé à la remise à niveau du nœud concerné afin d’aligner sa version Elasticsearch avec celle des autres nœuds du cluster. Les services Elasticsearch concernés ont ensuite été redémarrés progressivement, avec vérification des versions installées, des plugins nécessaires et des logs de démarrage. Les équipes techniques ont également vérifié le retour à un état nominal depuis les interfaces de monitoring des clusters concernés. À la suite de cet incident, plusieurs actions de remédiation sont prévues : * formaliser une procédure de mise à jour et de redémarrage du cluster Elasticsearch ; * documenter les étapes spécifiques applicables aux machines hébergeant plusieurs instances Elasticsearch ; * préciser la procédure d’installation ou de réinstallation des plugins nécessaires après mise à jour ; * ajouter une étape de vérification explicite des versions avant redémarrage d’un nœud ; * étudier la procédure de sortie propre d’un nœud du cluster afin de permettre l’élection d’un nouveau master sans interruption ; * étudier une séparation plus forte des clusters, par exemple sur davantage de machines, afin de réduire les dépendances entre services et de limiter l’impact d’un incident similaire. Ces mesures doivent permettre de réduire le risque de réapparition d’un incident lié à un écart de version entre nœuds Elasticsearch et d’améliorer la résilience des opérations de maintenance. --- # Post-mortem — Elasticsearch incident of 9 July 2026 ## Summary On 9 July 2026, a production incident affected the Elasticsearch service used by the search and analytics functions. The incident resulted in partial unavailability of the Elasticsearch cluster, with a noticeable impact on certain search-dependent features, notably the display of the directory within the spheres and access to dedicated monitoring and search interfaces. The incident was detected following support reports and technical findings indicating that the cluster was no longer accessible via the dedicated URLs. The technical teams intervened to diagnose the cause of the problem, upgrade the affected node, restart the affected services and verify that the system had returned to normal operation. The incident was logged at 12:32 CEST on the status page and closed at 14:35 CEST once the servers had been restored. ## Timeline of events On 9 July 2026, the following events occurred: * **12.20 CEST**: the technical teams restarted one of the Elasticsearch nodes. * **12.22 CEST**: the technical teams confirmed a production incident: Elasticsearch was not restarting correctly. * **12.28 CEST**: analysis revealed a version discrepancy between the nodes in the cluster. Two nodes were running a newer version, whilst the restarted node, which was acting as the master, was running an older version. The technical teams then proceeded to update it. * **12.32 CEST**: an incident notice was published on the status page. * **14:35 CEST**: The servers are operational again. As the checks were conclusive, the incident is considered resolved and the status page is closed. ## Challenges encountered The main challenge was linked to the specific configuration of the machine in question. This machine hosted two separate Elasticsearch instances corresponding to two different services. The process of synchronising the Elasticsearch version therefore had to be carried out with care on both instances, without overwriting the configurations, data, logs or backups specific to each service. Another difficulty concerned the cluster’s behaviour upon restart. The node in question was unable to join the cluster because its version was older than that of the other nodes already in operation. The logs explicitly stated that a node running this version could not join a cluster consisting solely of nodes running a more recent version. ## Cause of the incident The cause of the incident was a version discrepancy between the nodes in the Elasticsearch cluster. The restarted node was running an older version than the other two nodes. However, Elasticsearch did not allow this node to join a cluster consisting solely of nodes running a newer version. The cluster therefore ended up in a non-nominal state after the affected node was restarted, resulting in the unavailability of dependent services. The root cause is not linked to any individual action, but to a lack of formalisation and security measures in the procedure for updating and restarting the Elasticsearch cluster, particularly in the context of a specific installation with multiple instances on the same machine. ## Data loss No data loss was identified as a result of this incident. The incident affected the availability of the Elasticsearch service and the ability of the nodes to function correctly together within the cluster. Existing data was neither deleted nor altered. ## Remedial measures The technical teams upgraded the affected node to bring its Elasticsearch version into line with that of the other nodes in the cluster. The affected Elasticsearch services were then restarted gradually, whilst verifying the installed versions, the necessary plugins and the start-up logs. The technical teams also verified that the system had returned to normal operation via the monitoring interfaces for the affected clusters. Following this incident, several remedial actions are planned: * to formalise a procedure for updating and restarting the Elasticsearch cluster; * document the specific steps applicable to machines hosting multiple Elasticsearch instances; * clarify the procedure for installing or reinstalling the necessary plugins after an update; * add an explicit version verification step before restarting a node; * review the procedure for gracefully removing a node from the cluster to allow the election of a new master without interruption; * examine the possibility of greater cluster segregation, for example across more machines, in order to reduce dependencies between services and limit the impact of a similar incident. These measures should help to reduce the risk of a recurrence of an incident linked to a version discrepancy between Elasticsearch nodes and improve the resilience of maintenance operations.

Jul 7, 2026 · resolved Jul 7

# Post-mortem — Déconnexions intempestives sur la plateforme ## Résumé Le 7 juillet 2026, la plateforme Whaller a rencontré un incident de production provoquant des déconnexions intempestives de certains utilisateurs. Le symptôme observé était le suivant : après authentification, l’interface semblait charger normalement, puis l’utilisateur était renvoyé vers la page de connexion. L’incident a été traité en priorité critique par les équipes techniques. Après investigation et déploiement d’un correctif, le service est revenu à un fonctionnement normal. ## Chronologie des événements Le 7 juillet 2026, en fin d’après-midi, les équipes techniques constatent un premier cas de déconnexion forcée après authentification. Peu après, un client confirme un comportement similaire : tentative de connexion, chargement de l’interface, puis retour automatique vers la page de connexion. Une première analyse oriente les investigations vers une évolution applicative récemment mise en production. Un correctif est préparé et déployé afin de revenir en arrière sur cette évolution. Un premier correctif est mis en production, sans résoudre complètement la situation. Les équipes techniques poursuivent alors l’analyse et identifient plus précisément le composant applicatif à l’origine du problème. Un second correctif est ensuite déployé. Après cette mise en production, les déconnexions intempestives ne sont plus constatées. ## Difficultés rencontrées L’incident a présenté plusieurs difficultés d’analyse. Le symptôme visible côté utilisateur était simple à décrire, mais sa cause pouvait provenir de plusieurs couches techniques différentes : gestion des sessions, évolution applicative récente, traitement de maintenance ou infrastructure de base de données. Les équipes techniques ont donc dû investiguer plusieurs pistes en parallèle avant d’isoler la cause réelle. Enfin, un premier correctif a été déployé sur la base de l’hypothèse la plus probable à ce moment-là, mais cette correction n’a pas suffi à résoudre durablement l’incident. Un second correctif a été nécessaire après identification plus précise du composant concerné. ## Cause de l’incident L’incident a été causé par une régression introduite dans une mise à jour récente d’un composant applicatif lié aux discussions. Cette régression provoquait, dans certaines conditions, une instabilité de la session utilisateur après authentification. L’utilisateur pouvait donc réussir à se connecter, puis être immédiatement renvoyé vers la page de connexion. ## Perte de données Aucune perte de données n’a été identifiée. L’incident a affecté l’accès à la plateforme et la stabilité des sessions utilisateur, mais il n’a pas entraîné de suppression, d’altération ou de corruption de données. ## Mesures de remédiation Les équipes techniques ont déployé un correctif permettant de revenir à une version stable du composant applicatif concerné. À la suite de cet incident, les mesures suivantes sont engagées : * analyse détaillée du composant applicatif concerné afin d’identifier précisément le changement ayant provoqué la régression ; * surveillance renforcée après déploiement des correctifs liés à l’authentification, aux discussions et aux mécanismes de reconnexion. Les équipes techniques restent mobilisées afin de prévenir la réapparition de ce type d’incident. --- # Post-mortem — Unexpected logouts on the platform ## Summary On 7 July 2026, the Whaller platform experienced a production incident causing some users to be unexpectedly logged out. The symptom observed was as follows: after logging in, the interface appeared to load normally, but the user was then redirected back to the login page. The incident was treated as a critical priority by the technical teams. Following an investigation and the deployment of a fix, the service returned to normal operation. ## Timeline of events On 7 July 2026, in the late afternoon, the technical teams noted the first instance of a forced logout following authentication. Shortly afterwards, a customer confirmed similar behaviour: an attempt to log in, the interface loading, then an automatic return to the login page. An initial analysis pointed the investigation towards an application update that had recently been put into production. A patch was prepared and deployed to roll back this update. An initial patch was put into production, but this did not fully resolve the issue. The technical teams then continued their analysis and identified more precisely the application component causing the problem. A second patch was then deployed. Following this deployment, the unexpected logouts were no longer observed. ## Challenges encountered The incident presented several challenges for analysis. The symptom visible to the user was simple to describe, but its cause could have stemmed from several different technical layers: session management, a recent application update, maintenance operations or the database infrastructure. The technical teams therefore had to investigate several lines of inquiry in parallel before isolating the actual cause. Finally, an initial fix was deployed based on the most likely hypothesis at that time, but this fix was not sufficient to resolve the incident permanently. A second fix was required following a more precise identification of the component concerned. ## Cause of the incident The incident was caused by a regression introduced in a recent update to an application component related to chat functionality. Under certain conditions, this regression caused user sessions to become unstable after authentication. As a result, users could successfully log in, only to be immediately redirected back to the login page. ## Data loss No data loss was identified. The incident affected access to the platform and the stability of user sessions, but did not result in any data being deleted, altered or corrupted. ## Remedial measures The technical teams deployed a patch to revert to a stable version of the affected application component. Following this incident, the following measures have been implemented: * a detailed analysis of the affected application component to precisely identify the change that caused the regression; * enhanced monitoring following the deployment of patches relating to authentication, chat and reconnection mechanisms. The technical teams remain on high alert to prevent this type of incident from recurring.

Jun 23, 2026 · resolved Jun 23

# Post-mortem — Incident de production du 23 juin 2026 ## Résumé Le 23 juin 2026, un incident de production a rendu la plateforme principale ainsi que les accès associés indisponibles pour les utilisateurs. L’incident a été détecté à la suite d’alertes de supervision indiquant une indisponibilité des services. Les équipes techniques ont immédiatement engagé les premières actions de diagnostic et de redémarrage sur les composants applicatifs et d’infrastructure concernés. L’analyse a montré que le mécanisme de vérification de disponibilité du répartiteur de charge ne parvenait plus à valider correctement les frontaux applicatifs. Ceux-ci répondaient avec un code HTTP 403 aux requêtes de contrôle, ce qui les faisait considérer comme indisponibles, entraînant l’interruption du service. Le service a été rétabli après ajustement temporaire de la validation côté infrastructure, puis correction de la cause ayant entraîné ces réponses 403. ## Chronologie des événements Le 23 juin 2026 en début d’après-midi, les alertes de supervision ont signalé l’indisponibilité de la plateforme principale et des accès associés. Les équipes techniques ont procédé aux premières vérifications et redémarrages des composants applicatifs concernés, notamment les services web et certains serveurs frontaux. Un ticket prioritaire a été ouvert auprès de notre fournisseur d’infrastructure afin d’analyser le comportement du répartiteur de charge et des composants réseau associés. Les investigations ont ensuite porté sur l’état des pools HTTPS du répartiteur de charge, les composants d’infrastructure réseau, les serveurs frontaux et les journaux applicatifs. En fin de journée, une cellule de crise a été ouverte avec le fournisseur d’infrastructure afin d’accélérer l’analyse. Les vérifications croisées ont permis d’identifier que les requêtes de contrôle de disponibilité recevaient des réponses HTTP 403, ce qui empêchait le répartiteur de charge de considérer les frontaux comme disponibles. Une mesure temporaire a été appliquée sur la configuration du répartiteur de charge afin de rétablir le service. Après rétablissement, les équipes techniques ont poursuivi l’analyse et confirmé qu’une adresse interne utilisée pour les contrôles de disponibilité avait été bloquée. Le blocage a été levé, les réponses attendues sont redevenues conformes, puis la mesure temporaire a été supprimée. ## Difficultés rencontrées L’identification de la cause a été rendue difficile par le fait que plusieurs couches techniques pouvaient être en cause : serveurs applicatifs, configuration web, répartiteur de charge, composants réseau et infrastructure d’hébergement. Les premiers symptômes laissaient penser à un dysfonctionnement du répartiteur de charge ou de la couche réseau, car les frontaux étaient considérés comme indisponibles alors que certains services applicatifs continuaient à répondre localement. La corrélation entre le blocage d’une adresse interne et l’incident n’a été établie que tardivement, après recoupement des journaux applicatifs et des contrôles effectués pendant la cellule de crise. L’analyse a également nécessité l’intervention de plusieurs niveaux de support côté fournisseur d’infrastructure, ce qui a rallongé le temps de diagnostic. ## Cause de l’incident La cause de l’incident est le blocage d’une adresse interne utilisée par le mécanisme de contrôle de disponibilité du répartiteur de charge. À la suite de ce blocage, les requêtes de contrôle adressées aux serveurs frontaux recevaient des réponses HTTP 403 au lieu des réponses attendues. Le répartiteur de charge a alors considéré les frontaux comme indisponibles et n’a plus correctement distribué le trafic vers les services applicatifs. Cette situation a entraîné l’indisponibilité de la plateforme pour les utilisateurs. ## Perte de données Aucune perte de données n’a été constatée. L’incident a concerné l’accessibilité au service, mais n’a pas affecté l’intégrité des données stockées. ## Mesures de remédiation Les équipes techniques ont levé le blocage de l’adresse interne utilisée par les contrôles de disponibilité. Les équipes techniques ont vérifié le retour à un comportement nominal des serveurs frontaux et du répartiteur de charge. Les équipes techniques ont supprimé la mesure temporaire appliquée pendant l’incident une fois la cause corrigée. Les équipes techniques vont renforcer la supervision des contrôles de disponibilité afin de détecter plus rapidement les cas où un composant est considéré indisponible à cause d’un rejet applicatif ou réseau. Les équipes techniques vont revoir les règles de filtrage internes afin de mieux identifier les adresses techniques nécessaires au bon fonctionnement de l’infrastructure. Les équipes techniques vont documenter plus précisément les dépendances entre les contrôles de disponibilité, les serveurs frontaux et les règles de sécurité internes, afin de réduire le temps de diagnostic en cas d’incident similaire. Les équipes techniques vont améliorer les procédures d’escalade et de diagnostic avec le fournisseur d’infrastructure afin d’accélérer l’analyse lorsque plusieurs couches techniques sont susceptibles d’être impliquées. --- # Post-mortem — Production incident of 23 June 2026 ## Summary On 23 June 2026, a production incident rendered the main platform and associated access points unavailable to users. The incident was detected following monitoring alerts indicating that services were unavailable. The technical teams immediately began initial diagnostic checks and restarted the affected application and infrastructure components. Analysis revealed that the load balancer’s availability check mechanism was no longer able to correctly validate the application front-ends. These were responding to check requests with an HTTP 403 code, which caused them to be treated as unavailable, resulting in the service interruption. The service was restored following a temporary adjustment to the infrastructure-side validation, followed by the correction of the cause leading to these 403 responses. ## Timeline of events In the early afternoon of 23 June 2026, monitoring alerts indicated that the main platform and associated access points were unavailable. The technical teams carried out initial checks and restarted the affected application components, notably the web services and certain front-end servers. A high-priority ticket was raised with our infrastructure provider to analyse the behaviour of the load balancer and associated network components. Investigations then focused on the status of the load balancer’s HTTPS pools, the network infrastructure components, the front-end servers and the application logs. At the end of the day, a crisis task force was set up with the infrastructure provider to speed up the analysis. Cross-checks revealed that availability check requests were receiving HTTP 403 responses, which prevented the load balancer from recognising the front-end servers as available. A temporary fix was applied to the load balancer’s configuration to restore the service. Once service had been restored, the technical teams continued their analysis and confirmed that an internal address used for availability checks had been blocked. The block was lifted, the expected responses returned to normal, and the temporary fix was then removed. ## Challenges encountered Identifying the cause was made difficult by the fact that several technical layers could have been involved: application servers, web configuration, load balancer, network components and hosting infrastructure. The initial symptoms suggested a malfunction in the load balancer or the network layer, as the front-end servers were considered unavailable whilst some application services continued to respond locally. The link between the blocking of an internal address and the incident was only established at a late stage, after cross-referencing application logs and checks carried out during the crisis response. The analysis also required the involvement of several levels of support from the infrastructure provider, which prolonged the diagnosis time. ## Cause of the incident The cause of the incident was the blocking of an internal address used by the load balancer’s availability monitoring mechanism. As a result of this blocking, monitoring requests sent to the front-end servers received HTTP 403 responses instead of the expected responses. The load balancer then deemed the front-end servers to be unavailable and ceased to distribute traffic correctly to the application services. This situation resulted in the platform being unavailable to users. ## Data loss No data loss was observed. The incident affected access to the service but did not affect the integrity of the stored data. ## Remedial measures The technical teams unblocked the internal address used by the availability checks. The technical teams verified that the front-end servers and the load balancer had returned to normal operation. The technical teams removed the temporary measure applied during the incident once the cause had been rectified. The technical teams will strengthen the monitoring of availability checks in order to detect more quickly instances where a component is deemed unavailable due to an application or network rejection. The technical teams will review the internal filtering rules in order to better identify the technical addresses necessary for the infrastructure to function correctly. The technical teams will document the dependencies between availability checks, front-end servers and internal security rules in greater detail, in order to reduce the time taken to diagnose a similar incident. The technical teams will improve escalation and diagnostic procedures with the infrastructure provider in order to speed up analysis when several technical layers are likely to be involved.

May 13, 2026 · resolved May 13

This incident has been resolved.

May 12, 2026 · resolved May 12

## Résumé Entre 15h41 et 15h55, plusieurs services de la plateforme sont devenus inaccessibles \(Discussions, accès aux fichiers\). Une perturbation a également affecté les box de fichiers, rendant impossible la navigation dans l'arborescence et la visualisation ou modification des fichiers. Les équipes techniques ont diagnostiqué et résolu l'ensemble des problèmes entre 16h49 et 17h27. ## Chronologie des événements * **15:41** — Déclenchement des premières alertes de supervision * **15:55** — Retour à la normale pour les services supervisés \(alertes OK\). * **~16h** — Remontées clients signalant l'inaccessibilité des box de fichiers \(navigation dans les dossiers, visualisation et modification de fichiers\). * **16:33** — Prise en compte officielle de l'incident par les équipes techniques. * **16:49** — Ouverture d'une page de statut. Début des actions correctives * **~17h15** — Services de nouveau pleinement opérationnels. * **17:27** — Fermeture de la page de statut. Clôture des tickets clients. ## Difficultés rencontrées * L'incident a touché plusieurs composants indépendants, ce qui a nécessité un diagnostic multi-couches. * La cause principale n'était pas immédiatement visible et a dû être corrélée avec les données de supervision. * Une erreur de permissions sur un fichier système a bloqué le redémarrage du moteur de recherche et a dû être corrigée manuellement avant de pouvoir rétablir le service. ## Cause de l'incident L'incident a été provoqué par le redémarrage inopiné de plusieurs serveurs d'infrastructure. ## Perte de données Aucune perte de données n'a été constatée. L'incident était de nature disponibilité uniquement.

Is Whaller down right now?

No — Whaller is up. All systems operational as of Jul 13, 11:49 PM UTC.

What is Whaller's current status?

Whaller: All Systems Operational. Alert24 checks Whaller's status page continuously and can notify you the moment it changes.

How do I get alerted when Whaller goes down?

Alert24 monitors Whaller and 3,700+ other cloud and SaaS providers. When an outage is detected it updates your status page automatically and pages your on-call team — no manual checks. Start free at alert24.net.