2.3. Utilisation des données

Le GCenter génère plusieurs données : événements, statistiques, journaux de santé, journaux d’authentification.
Le GCenter génère des événements en fonction des données GCap (trafic capturé), des données GScan et des moteurs GCenter.
Les données (événements) créés par le GCap et le GCenter sont de divers types:
Ces données peuvent, si le besoin s'en fait sentir, être gérées par l'administrateur.
Cette gestion consiste à :

2.3.1. Données liées à la détection

En complément de tableaux de bord présents depuis l'interface web du GCenter, il est possible d'utiliser des équipements externes en utilisant le protocole syslog ( tel qu'un SIEM), afin d'exploiter les données remontées par la solution.

2.3.1.1. Export des données via le protocole Syslog

Le GCenter offre la possibilité aux administrateurs de configurer jusqu'à deux exports de données vers des destinations différentes.
Les données peuvent être exportées vers un SIEM par exemple.
Une fois qu'un export a été activé, l'ensemble des données choisies est alors exporté vers la destination configurée.
Il est évidemment possible pour l'administrateur de choisir les données qu'il souhaite exporter.

Note

Lorsqu'on parle de données exportées, seules les données de type "alerte", "métadonnée" sont concernées.
Aucun fichier log système du GCenter ou du GCap n'est concerné par cet export.

Pour plus d'informations, voir la présentation de la Ecran `Data export`.

2.3.1.2. Format ECS pour l’exportation des données

Le GCenter utilise le format ECS pour l’exportation des données.
L’Elastic Common Schema (ECS) est une spécification open source, développée avec le soutien de la communauté des utilisateurs d’Elastic.
ECS définit un ensemble commun de champs à utiliser lors du stockage des données d’événement dans Elasticsearch, telles que les journaux et les métriques.
ECS spécifie les noms de champs et les types de données Elasticsearch pour chaque champ, et fournit des descriptions et des exemples d’utilisation.
ECS regroupe également les champs en niveaux ECS, qui sont utilisés pour indiquer la quantité de champ que l’on s’attend à voir.

2.3.1.2.1. Exemple d'une alerte exportée

Pour information : cet exemple montre une alerte du type infecté

<0>Sep 11 09:31:00 gcenter-xxxo-01.gatewatcher.com gatewatcher[-]: {"observer":{"vendor":"gatewatcher","uuid":"78f4fed1-c9ad-52b9-b509-6b87767f501f","gcap":{"ingress":{"interface":{"name":"monvirt"}},"hostname":"gcap-xxx.gatewatcher.fr","version":"2.5.x.x-yy"},"version":"2.5.3.103","log_format_version":"1.0.0","hostname":"gcenter-xxx.gatewatcher.com","product":"gcenter"},"source":{"port":80,"ip":"xx.xx.xx.xx"},"file":{"magic":"Macromedia Flash data (compressed), version 13","sid":[1100020],"hash":{"sha256":"6d3a6e2c771ab1a3721235ed3b3c4a2c3013290564272bcb6f79278b"},"name":"/","file_id":219,"tx_id":2,"state":"CLOSED","gaps":false,"size":55351,"stored":true},"@timestamp":"2024-09-11T09:31:00.111583612Z","malcore":{"file_type":"application/x-shockwave-flash","analyzers_up":16,"analyzed_clean":9,"engines_last_update_date":"2024-09-03T17:15:00Z","state":"Infected","total_found":"3/16","detail_scan_time":373,"reporting_token":"","analyzed_infected":3,"detail_threat_found":"Infected : EXP/Flash.EB.502, SWF/Exploit, Exploit.Flash","analyzed_suspicious":0,"analyzed_error":0,"processing_time":1576,"engine_id":{"5":{"scan_result":"CLEAN","threat_details":"","id":"c18ab9n"},"8":{"scan_result":"INFECTED","threat_details":"Exploit.Flash","id":"ib54e9s"},"4":{"scan_result":"UNSUPPORTED_FILE_TYPE","threat_details":"","id":"c10195e"},"14":{"scan_result":"CLEAN","threat_details":"","id":"t3114fn"},"13":{"scan_result":"CLEAN","threat_details":"","id":"sde882s"},"9":{"scan_result":"CLEAN","threat_details":"","id":"kfb8487"},"12":{"scan_result":"CLEAN","threat_details":"","id":"qb9308l"},"10":{"scan_result":"CLEAN","threat_details":"","id":"mb2b5fe"},"0":{"scan_result":"CLEAN","threat_details":"","id":"a32935b"},"15":{"scan_result":"UNSUPPORTED_FILE_TYPE","threat_details":"","id":"we9a17t"},"6":{"scan_result":"CLEAN","threat_details":"","id":"c81e55c"},"7":{"scan_result":"NOT_SCANNED","threat_details":"","id":"e83bf1t"},"3":{"scan_result":"CLEAN","threat_details":"","id":"b557a5r"},"1":{"scan_result":"INFECTED","threat_details":"EXP/Flash.EB.502","id":"acf9bba"},"11":{"scan_result":"NOT_SCANNED","threat_details":"Unavailable (permanently_failed)","id":"n00000e"},"2":{"scan_result":"INFECTED","threat_details":"SWF/Exploit","id":"af7872b"}},"detail_wait_time":660,"file_type_description":"Macromedia Flash Player","code":1,"magic_details":"Macromedia Flash data (compressed), version 13","analyzed_other":4},"@version":"1","network":{"protocol":"http","timestamp":"2024-09-11T09:15:23.329615+0000","transport":"tcp","flow_id":1779492455056060},"destination":{"port":47858,"ip":"x.x.x.x"},"url":{"domain":"exnchantingweddingsants.co.uk","path":"/?q=&g=BDvv&y=enL16_6s_&s=t5qV-&e=_b_J--DqR&w=C2pZhaRyfn3uVT_v5Sfgs"},"user_agent":{"original":"Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko"},"ecs":{"version":"8.6.0"},"http":{"request":{"method":"GET"},"hostname":"nchantingweddingsandevents.co.uk","version":"HTTP/1.1","http_refer":"http://echantingweddingsandevents.co.uk/topic/03251-esplanade-interoperability-fuchsias-renegotiate-percent-youngster-trounced/","response":{"status":200,"mime_type":"application/x-shockwave-flash","bytes":55351}},"event":{"id":"7c4e2a77-3481-4201-8247-889fe0718ed8","kind":"alert","module":"malcore","severity":1,"category":["network","file"],"created":"2024-09-11T09:15:23.329615+0000","dataset":"alert"}}

Les compteurs sont détaillés dans l'Structure des données du journal de bord du moteur.

2.3.2. Données liées aux résultats de la détection

Les données donnant les résultats de la détection et donc les informations liées aux menaces sont traitées dans le GCenter et affichées sous forme de tableaux de bord :

  • Tableaux de bord synthétiques
    Ceux ci sont gérés par l'interface WEB User Interface.
    Pour plus d'informations, voir la Présentation de la WebUI.
    Les alertes affichées dans les tableaux de bord sont triées avec l'aide d'un score de menace.
    Ce score est calculé à partir du score d'analyse retourné par les différents moteurs actifs au moment de la détection.
    Le niveau de menace est défini comme :

    • Critical risk (score de 75% à 100%)

    • High risk (score de 50% à 74%)

    • Medium risk (score de 25% à 49%)

    • low risk (pas de score affiché)

    Note

    Ces niveaux de menaces sont détaillés dans l'Ecran `Home` de la WebUI.

  • Tableaux de bord complets
    Ceux ci sont gérés par l'interface Kibana.
    Pour plus d'informations, voir l'Interface graphique Kibana.

2.3.3. Données sur la gestion et l'état du système

Ces données permettent les fonctions :

2.3.3.1. Visualisation de l'état du système

  • Ecran `Health checks` de la WebUI
    Les données de l'état du système sont gérées par la WebUI
    Pour plus d'informations, voir l'Ecran `Health checks`.
  • Interface graphique Gstats
    Les données de l'état du système sont aussi gérées par des services Netdata.
    Plus précisément chaque GCap possède un service Netdata qui envoie ses informations au serveur Netdata localisé dans le GCenter.
    De la même façon, le GCenter possède un service Netdata qui envoie ses informations au serveur Netdata interne au GCenter.
    Le serveur Netdata interne au GCenter permet l'affichage de ces données via l'interface graphique Gstats.
    Pour plus d'informations, voir la Présentation de l'interface graphique Gstats.

2.3.3.2. Export des données de l'état du système vers des serveurs distants

2.3.3.2.1. Export des données vers un serveur Netdata

En plus de l'interface Netdata utilisée pour Gstats, le GCenter possède une autre interface Netdata export dont le but est l'exportation des données vers un serveur externe.
Celle-ci doit être configurée : pour plus d'informations, voir la présentation de l'Ecran `Retention policy`.
Pour la mise en œuvre, voir la procédure de Configuration de l'interface Netdata export.

2.3.3.2.2. Récupération des données par un serveur Nagios

Pour plus d'informations, voir la présentation de l'Ecran `Retention policy`.

2.3.3.3. Gestion du système et sa configuration

La gestion du système et en particulier sa configuration sont effectuées via :

Lors d'un problème bloquant, il est nécessaire d’accéder aux journaux de la solution afin de résoudre ce dernier.
Ces informations sont utilisées pour le diagnostic en collaboration avec le service support de GATEWATCHER.
La fonction de diagnostic permet de :
  • générer les fichiers de logs puis de les télécharger afin d'analyse par le support GATEWATCHER.
    Le fichier d'export de log est protégé par un mot de passe que seule l'équipe administrateur GATEWATCHER connaît.
    Les messages de tous les journaux seront accessibles ainsi que tous les appels systèmes de la solution.
  • générer le fichier "Tech support" puis de le télécharger afin d'analyse par un administrateur.
    Le fichier "Tech support" donne les informations sur l'état de santé du serveur GCenter mais ne contient pas de données capturées.
    Ce dernier n'est pas chiffré et est exploitable par l'administrateur

    Note

    Dans certains environnements sensibles, il peut être interdit d'extraire l'ensemble des journaux non anonymisés tel qu'il est possible avec l'archive Log files.
    Le `Tech support` permet à l'administrateur de fournir des éléments non sensibles et anonymes de diagnostic au support.
L'interface graphique de la fonction de diagnostic est décrite dans l'Ecran `Diagnostics`.

Note

Il est également possible depuis le menu setup de générer un "Tech Support".
Pour plus d'informations, voir l'Ecran `Diagnostics`.
Dans ces deux cas, il est généralement nécessaire pour l'administrateur de contacter le support de GATEWATCHER.
Ces fichiers permettront au support d'identifier au mieux les potentiels dysfonctionnements et de les résoudre.

2.3.4. Rétention des données

Les données sont stockées sur le GCenter pour une durée limitée (appelée durée de rétention) et pour une taille maximum.

Astuce

Augmenter cette durée augmente la taille des données stockées. Ceci implique des latences plus importantes et des performances et une stabilité réduites.

Note

La configuration s'applique en deux étapes :

  • la première sur le GCenter au niveau de ce champ,

  • la deuxième au niveau de la sonde de détection GCap dans les paramètres de configuration.

Ces paramètres sont réglables.
L'interface graphique est décrite dans l'Ecran `Retention policy`.

2.3.5. Suppression des données

Après une sauvegarde complète ou incrémentielle par la fonctionnalité de backup, les anciens logs se suppriment automatiquement, en fonction de la durée de rétention de données, libérant ainsi de l'espace disque.
Il est possible de supprimer manuellement les informations, en sélectionnant tout ou une partie selon le type et les dates des informations à supprimer.
Cette période de suppression est sélectionnée par l'administrateur mais celle-ci ne pourra pas dépasser la durée totale de rétention des données déjà pré-configurées dans la solution.
Il en va de même pour les services ICAP et Syslog.

Important

Les données n'ayant pas encore été traitées seront aussi supprimées.

L'interface graphique est décrite dans l'Ecran `Data Management`.
Pour la mise en œuvre, voir la procédure de Suppression des données (fichiers de logs).