Passer au contenu

BigQuery : analyse de log

Un article rédigé par Benjamin Giacone

Dans les lignes qui vont suivre nous allons approfondir l’une des possibilités réservée aux possesseurs de licences Enterprise Education Standard et Enterprise Plus de pouvoir exporter automatiquement tous les logs de la console Admin. 

Pour cela Google a construit au niveau de la console d’administration un outil qui permet d’extraire les logs vers BigQuery en quelques clics.

Notre objectif dans cet article sera donc de mettre en place cette extraction des logs afin d’analyser les actions administrateurs et les niveaux de permissions.

Ces logs se retrouvent alors stockés dans BigQuery.

Nous verrons alors ensemble comment se configure BigQuery, comment nous allons activer les exports et enfin travailler sur l’exploitation des données.

Pour commencer :

En premier vous devez paramétrer votre projet Google Cloud Platform, pour cela :

  1. Allez sur GCP, console.cloud.google.com
  2. Créez un nouveau projet,
  3. Activez le billing (référence)
  4. Créez une table BiqQuery.

Pour vous accompagner dans cette démarche, vous pouvez suivre ce guide très bien détaillé proposé par les équipes de Google :

Configurer BigQuery pour vos journaux de données de rapports

 

BigQuery.1

Une fois le projet créé et la table BigQuery active, il vous faut activer l’export des données de logs vers BigQuery depuis la console Admin :

https://admin.google.com/ac/reporting/bigqueryexport 

 

 

L’export est automatique et une fois son activation faite, il ne vous demande aucune action supplémentaire.

Les premières logs mettent un peu de temps à arriver, attendez quelques heures pour retrouver les premières données dans votre table BigQuery.

 

Pourquoi BigQuery ?

BigQuery est un entrepôt de données sans serveur, hautement évolutif et économique, conçu pour optimiser l’agilité des entreprises.

BigQuery est la solution proposée automatiquement par Google pour stocker les données exportées automatiquement depuis la console Admin.

L’autre avantage de BigQuery est qu’il se connecte parfaitement avec Data Studio que ce soit une simple vue ou l’intégralité des données stockées. Data Studio permet de tirer pleinement parti des données stockées dans BigQuery grâce à des tableaux de bord interactifs et des rapports facilement compréhensibles qui permettent de prendre les meilleures décisions de configuration de la console admin de Google

Grâce à Data Studio, les données sont centralisées, l’outil permet facilement la transformation et l’exploitation des données.

Comment connecter votre BigQuery à DataStudio

Pour se faire, deux solutions sont proposées par BigQuery pour la connexion avec Data Studio :

 

Les Tables

Les tables correspondent à l’ensemble des données collectées. Ces données seront ensuite filtrées et analysées dans Data Studio.

L’ensemble des données collectés sont disponibles directement dans Data Studio.

Les requêtes personnalisées (ou vue)

Correspondent cette fois à des filtres fait directement dans BigQuery.

Uniquement les données choisies sont connectées à DataStudio.

Et en pratique ?

Dans les exemples qui vont suivre, j’ai besoin de réduire le nombre des super admins de la plateforme Google afin de limiter les impacts d’un éventuel piratage de compte et de maximiser la sécurité de mes comptes.

Bien sûr, quand je pose la question à mon équipe informatique, chacun de leur compte admin est utilisé et nécessaire à leur activité quotidienne.

Je fais une requête BigQuery pour mettre en avant les comptes Super Admin et les actions liées pendant 365 jours.

Une fois mis en forme dans Data Studio j’obtiens ce résultat :

Je peux facilement constater que certains utilisateurs utilisent très peu leurs comptes Super Admin.

Il peut être intéressant de faire quelques actions correctrices autour de ces comptes.

Maintenant en voulant pousser l’analyse un peu plus loin et aller au-delà du simple nombre d’action effectuées par mes Super Admin, je veux cette fois mettre en avant le type d’action effectuées. Cela me permettra peut être d’identifier des rôles d’admin délégués pouvant se substituer au rôle de Super Admin et ainsi limiter les accès aux stricts minimum nécessaires.

Je vais cette fois créer une requête BigQuery mettant en avant pour un Super Admin : le nom des actions, le type d’action, le nombre de ces actions.

Une fois ces données mises en forme dans DataStudio, j’obtiens le tableau ci-dessus.

Grâce à ce tableau je peux facilement constater que les actions les plus souvent effectuées par ce compte Super Admin sont des actions de gestions de comptes. 

Ces actions sont regroupées dans un rôle délégué, rôle qui pourrait être attribué à ce Super Admin et qui lui permettrait de continuer ses actions sans le pénaliser .

Conclusion

Grâce à cette fonctionnalité, Google offre la possibilité aux administrateurs de stocker les logs pendant une longue durée et une solution pour pousser l’analyse des logs .

Les possibilités sont sans limites, il est par exemple possible de superviser les règles de D.L.P. savoir en détail, qui et avec quel type de contenu elles sont enfreintes.

Analyser en détail les flux de mail de l’ensemble du domaine,  avoir des informations précises sur l’usage des protocoles POP et IMAP et pouvoir comprendre pourquoi certains SPAM arrivent tout de même à être délivrés malgré les règles en place.

Si vous souhaitez avoir plus d’informations, n’hésitez pas à nous contacter.