Aller au contenu principal

Kestra sur GKE Autopilot

Kestra sur GKE Autopilot

Kestra est une plateforme d'orchestration de données open source (Apache 2.0) pour la création, la planification et la surveillance de pipelines ETL/ELT, de jobs batch et d'automatisation de workflows via des définitions de flux déclaratives basées sur YAML et un écosystème de plus de 500 plugins. Ce module déploie Kestra sur GKE Autopilot en mode autonome, au-dessus du socle App_GKE, qui provisionne et gère l'infrastructure partagée Google Cloud et Kubernetes.

Ce guide se concentre sur les services cloud utilisés par Kestra et sur la manière de les explorer et de les opérer depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à chaque application GKE — Workload Identity, ingress, autoscaling, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement — reportez-vous au guide du socle App_GKE plutôt que de les répéter ici.


Ce que coûte Kestra sur RAD, et comment cela se compare​

Kestra sur le module GKE de RAD coûte environ 136 $ US par mois dans votre propre projet, plus des frais de module de 175 crédits (18 $ US) une fois par déploiement. Si vous n'exécutez des pipelines que selon un calendrier plutôt que de manière continue, consultez la section "Mettez-le en pause gratuitement" ci-dessous pour arrêter de payer sans perdre vos définitions de flux. Kestra est également disponible en tant que module Cloud Run ; dans votre propre projet, GKE est le choix le moins cher ici car le mode autonome de Cloud Run nécessite une allocation continue de CPU pour son ordonnanceur, mais dans un projet géré par RAD, le module du guide Cloud Run est en fait l'option la moins chère en crédits quotidiens (140 crédits/jour contre 110 ici) — vérifiez les deux avant de choisir.

Ce que vous payez sur RAD​

Dans un projet Google Cloud que vous possédezDans un projet géré par RAD pour vous
Frais de module, une fois par déploiement175 crédits (17,50 $ US)157,5 crédits (10 % de moins)
BuildsInclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés à la minute pour le temps de buildIdem
Coût d'exécution Google CloudFacturé par Google à votre propre compte de facturation, environ 136,37 $ US par mois pour la configuration par défaut (tableau ci-dessous)Mesuré à l'heure en crédits ; RAD publie 140 crédits par jour, soit environ 4 200 par mois (environ 420 $ US au prix de la recharge ; estimé à partir des prix catalogue Google, et incluant les frais de cluster)
Qui possède quoiVous possédez le projet et sa facturation ; RAD le déploie et le met à jourRAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde minimum acheté est conservé en réserve

10 crédits coûtent 1 $ US pour une recharge ponctuelle, moins sur un abonnement. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par chaque application du projet, de sorte qu'une deuxième application n'ajoute pas une deuxième base de données.

Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :

Ressource (module par défaut)Par mois
Pod GKE Autopilot, 2 vCPU / 4 Gio79,35 $ US
Cloud SQL pour PostgreSQL, 1 vCPU / 3,75 Go, zonal, 10 Go SSD51,02 $ US
Cloud NAT et réseau5,00 $ US
Cloud Storage (modules complémentaires, sauvegardes)1,00 $ US
Frais de gestion de cluster GKEpartagés entre toutes les applications GKE du projet ; 0 $ si c'est votre seul cluster, sinon ~73
Totalenviron 136,37 $ US

Comment cela se compare​

  • Les offres commerciales de Kestra — Kestra Cloud et Kestra Enterprise Edition — ne publient pas de prix mensuel ; les deux pages vous demandent de contacter les ventes, nous ne citons donc pas un chiffre que nous n'avons pas pu vérifier.
  • L'empreinte de Kestra (2 vCPU, 4 Gio, serveur en mode autonome, plus une base de données PostgreSQL) se situe au-dessus d'un droplet Hetzner CPX22 ou DigitalOcean 2 vCPU/4 Go (environ 24 $/mois) et plus proche d'un GCP Compute Engine e2-standard-2 (environ 49 $/mois) — moins cher en espèces dans les deux cas, mais vous exécutez alors l'orchestrateur, PostgreSQL, les sauvegardes et les mises à niveau vous-même, sur un système dont d'autres pipelines dépendent pour rester opérationnels.
  • RAD vous offre deux façons de l'exécuter qui coûtent différemment pour la même raison : le mode autonome de Cloud Run nécessite une allocation continue de CPU pour exécuter son propre ordonnanceur, il ne peut donc pas se mettre à l'échelle à zéro comme le font d'autres modules, tandis que la facturation des pods de GKE Autopilot est plus faible pour une charge de travail toujours active comme celle-ci.

Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le lorsque vous en avez besoin​

Si Kestra s'exécute dans un projet géré par RAD pour vous et que vous prévoyez d'y revenir — une pause entre les cours, un creux saisonnier, ou simplement ne pas savoir si vous en aurez besoin le mois prochain — c'est la meilleure option, et elle ne coûte presque rien.

Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration, de sorte que la restauration ne peut pas être considérée comme un moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.

La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer purement et simplement le projet : la suppression logicielle récupérable de 30 jours de Google. Contrairement à la suppression de Kestra en tant que module unique, cela ne détruit pas le service Cloud Run/GKE, la base de données Cloud SQL et le réseau un par un — tout le projet s'arrête simplement, et rien n'est facturé pendant qu'il attend, car la facturation est déjà déliée.

La restauration, dans les 30 jours et uniquement par le propriétaire du projet, demande à Google de restaurer le projet et de rattacher son compte de facturation, puis vous demande d'exécuter la mise à jour sur chaque déploiement pour confirmer que tout est revenu. Parce que rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.

Ce qu'il faut : vous devez posséder le projet (pas un projet dont RAD ne gère que la facturation), vous devez le restaurer vous-même dans les 30 jours — après cela, Google le supprime définitivement — et la restauration est admise comme la création d'un nouveau projet, de sorte que votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox que la plupart utilisent convient). Google affirme que la plupart des services sont à nouveau pleinement fonctionnels dans les 36 heures suivant une restauration.

Un véritable manque : les sauvegardes nocturnes sont écrites dans un bucket à l'intérieur du projet, et ce bucket a la suppression logicielle de Cloud Storage explicitement désactivée, il est donc très probable qu'il disparaisse dès que vous supprimez le projet, même si le projet lui-même est récupérable pendant 30 jours. L'exportation nocturne de Kestra couvre sa base de données (définitions de flux, historique d'exécution) ; copiez-la d'abord si vous voulez un instantané restaurable au-delà des 30 jours du projet.

Ne payez que pendant que vous l'utilisez, l'autre façon : supprimer et redéployer​

Dans votre propre projet, ou une fois que la fenêtre de 30 jours ci-dessus est passée, la solution de repli consiste à supprimer Kestra purement et simplement et à le redéployer plus tard.

  • Ce que coûte un redéploiement : les frais de module à nouveau (les builds sont inclus) — les frais de module indiqués ci-dessus.
  • Quand cela en vaut la peine : la suppression ne permet d'économiser de l'argent que lorsque Kestra resterait inutilisé pendant environ 4 jours ou plus dans votre propre projet (environ 2 jours ou plus dans un projet géré par RAD). La base de données représente la majeure partie du coût d'exécution ici, donc la suppression de Kestra seule permet d'économiser la totalité de la facture ci-dessus, à moins que quelque chose d'autre dans le projet ne la partage.
  • Conservez d'abord les données. Les sauvegardes nocturnes sont écrites dans un bucket à l'intérieur du déploiement, et ce bucket est supprimé avec lui — copiez la dernière sauvegarde (vers Google Drive, ou un bucket que vous conservez) avant de supprimer si vous voulez la conserver.

Sessions de lab et environnements gérés​

  • Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant obtient l'application dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits inutilisés retournent au formateur.
  • Environnements gérés, pour les sociétés de conseil. Un partenaire exécute l'application pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est mise en pause et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire transfère le projet et les déploiements deviennent ceux du client.
  • Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.

Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; frais RAD et estimation des crédits quotidiens de radmodules.dev/pricing ; Google Cloud : supprimer et restaurer des projets pour le mécanisme de pause/restauration. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.


1. Vue d'ensemble​

Kestra s'exécute comme un conteneur Java/JVM en mode autonome (serveur, worker et ordonnanceur dans un seul conteneur). Le déploiement relie un ensemble ciblé de services Google Cloud :

CapacitéService Google CloudNotes
CalculGKE AutopilotPod Java/JVM, 2 vCPU / 4 Gio par défaut, mode autonome à réplica unique
Base de donnéesCloud SQL pour PostgreSQL 15Requis — stocke la file d'attente, le référentiel et l'historique d'exécution
Stockage d'objetsCloud StorageBucket GCS dédié pour les flux, les exécutions et les artefacts
SecretsSecret ManagerMot de passe administrateur Kestra auto-généré
IngressCloud Load BalancingLoadBalancer externe, nom de domaine personnalisé facultatif + certificat géré

Valeurs par défaut judicieuses à connaître d'emblée :

  • PostgreSQL 15 est obligatoire. Kestra utilise PostgreSQL pour sa file d'attente interne et son référentiel de flux. MySQL n'est pas pris en charge.
  • Le mode autonome exécute tous les composants dans un seul conteneur. Conservez max_instance_count = 1 pour éviter les états de verrouillage de file d'attente conflictuels entre les réplicas.
  • Le démarrage à froid de la JVM Java est lent. La sonde de démarrage par défaut autorise jusqu'à ~14 minutes (délai initial de 30 s + période de 20 s × 40 tentatives). Conservez min_instance_count = 1 en production afin que les déclencheurs planifiés ne soient jamais manqués pendant les démarrages à froid.
  • Redis n'est pas utilisé. Kestra utilise PostgreSQL pour la mise en file d'attente en mode autonome.
  • L'affinité de session est ClientIP. Requise pour la connexion de streaming de logs persistante de l'interface utilisateur de Kestra — les requêtes du même navigateur doivent atteindre le même pod.
  • Le mot de passe administrateur est auto-généré et stocké dans Secret Manager ; il n'est jamais défini en texte clair.
  • Un bucket de stockage GCS est toujours provisionné pour les flux, les exécutions et les artefacts ; son nom est injecté automatiquement en tant que KESTRA_STORAGE_GCS_BUCKET.

2. Services Google Cloud et comment les explorer​

Toutes les commandes supposent que vous avez exécuté gcloud container clusters get-credentials <cluster> --region <region> --project <project> et que PROJECT, REGION et NAMESPACE sont définis. L'espace de noms et les autres identifiants sont rapportés dans les Sorties du déploiement.

A. GKE Autopilot — la charge de travail Kestra​

Les pods Kestra sont planifiés sur Autopilot, qui facture le CPU/la mémoire que les pods demandent réellement. Par défaut, un seul réplica gère tous les composants d'orchestration (serveur, worker, ordonnanceur) dans un seul pod.

  • Console : Kubernetes Engine → Charges de travail → sélectionnez la charge de travail Kestra pour voir les pods, les événements et l'état. Kubernetes Engine → Services et Ingress affiche l'adresse IP externe.
  • CLI :
    kubectl get pods,svc,hpa -n "$NAMESPACE"
    kubectl logs -n "$NAMESPACE" deploy/<service-name> --tail=100
    kubectl describe hpa -n "$NAMESPACE" # current vs target utilisation

Voir App_GKE pour la gestion d'Autopilot, de la mise à l'échelle et du type de charge de travail (Deployment vs StatefulSet).

B. Cloud SQL pour PostgreSQL 15​

Kestra stocke tout l'état du workflow — définitions de flux, historique d'exécution, déclencheurs, espaces de noms et file d'attente de tâches interne — dans une instance Cloud SQL pour PostgreSQL 15 gérée. Les pods l'atteignent via le sidecar Cloud SQL Auth Proxy sur un socket TCP à 127.0.0.1:5432 (aucune IP publique n'est exposée). Lors du premier déploiement, un job d'initialisation crée la base de données Kestra, l'utilisateur et accorde les privilèges requis.

  • Console : SQL → sélectionnez l'instance pour les connexions, les sauvegardes, les flags et les métriques.
  • CLI :
    gcloud sql instances list --project "$PROJECT"
    gcloud sql instances describe <instance-name> --project "$PROJECT"
    # Open an interactive shell to inspect schema/data:
    gcloud sql connect <instance-name> --user=<db-user> --project "$PROJECT"

Le nom de l'instance, le nom de la base de données, l'utilisateur et le secret Secret Manager contenant le mot de passe sont tous affichés dans les Sorties. Pour le modèle de connexion, les sauvegardes automatisées et la rotation des mots de passe, voir App_GKE.

C. Cloud Storage​

Un bucket Cloud Storage dédié est provisionné pour le backend de stockage d'artefacts GCS de Kestra. Toutes les exécutions de flux, les entrées/sorties de tâches et les objets de stockage internes y sont écrits. Le nom du bucket est injecté dans chaque pod en tant que KESTRA_STORAGE_GCS_BUCKET. Des buckets supplémentaires ou des volumes GCS Fuse peuvent être montés pour l'accès aux données de flux.

  • Console : Cloud Storage → Buckets.
  • CLI :
    gcloud storage buckets list --project "$PROJECT"
    gcloud storage ls gs://<kestra-storage-bucket>/ # bucket name in Outputs
    # Confirm a GCS Fuse volume is mounted inside a pod (if configured):
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- df -h | grep -i fuse

Voir App_GKE pour le provisionnement NFS, GCS Fuse et les options CMEK.

D. Secret Manager​

Le mot de passe administrateur de Kestra est stocké en tant que secret Secret Manager et injecté dans les pods au moment de l'exécution ; le texte clair n'apparaît jamais dans la configuration.

  • Console : Sécurité → Secret Manager.
  • CLI :
    gcloud secrets list --project "$PROJECT"
    gcloud secrets versions access latest --secret=<admin-password-secret> --project "$PROJECT"

Le secret du mot de passe administrateur est nommé <resource_prefix>-admin-password. Le nom du secret du mot de passe de la base de données se trouve dans les Sorties. Voir App_GKE pour l'intégration et la rotation de Secret Store CSI.

E. Réseau et ingress​

La charge de travail est exposée via une IP externe de Cloud Load Balancing. enable_custom_domain par défaut à true, provisionnant une passerelle Kubernetes avec un certificat géré par Google pour les noms d'hôtes dans application_domains ; une IP statique est réservée par défaut afin que l'adresse survive aux redéploiements.

  • Console : Services réseau → Équilibrage de charge ; Réseau VPC → Adresses IP.
  • CLI :
    kubectl get ingress,svc -n "$NAMESPACE"
    gcloud compute addresses list --project "$PROJECT"

Voir App_GKE pour les domaines personnalisés, Cloud CDN et les détails de l'IP statique.

F. Cloud Logging et Monitoring​

Les sorties stdout/stderr des pods sont acheminées vers Cloud Logging ; les métriques GKE et Cloud SQL sont acheminées vers Cloud Monitoring. Les sondes de santé ciblent le point de terminaison /health de Kestra. Des tests de disponibilité et des règles d'alerte facultatifs sont disponibles.

  • Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
  • CLI :
    gcloud logging read 'resource.type="k8s_container" AND resource.labels.namespace_name="'"$NAMESPACE"'"' \
    --project "$PROJECT" --limit 50

3. Comportement de l'application Kestra​

  • Configuration de la base de données au premier déploiement. Un job d'initialisation (db-init) utilise postgres:15-alpine pour se connecter via le Cloud SQL Auth Proxy et crée de manière idempotente la base de données et l'utilisateur Kestra, accorde les privilèges et réinitialise le schéma public afin que Flyway puisse appliquer toutes les migrations proprement sur une nouvelle instance Cloud SQL. Le job signale au proxy de s'arrêter proprement une fois terminé.
  • Migrations Flyway au démarrage. Kestra exécute ses propres migrations de schéma basées sur Flyway à chaque démarrage. Le paramètre FLYWAY_DATASOURCES_POSTGRES_BASELINE_ON_MIGRATE=true empêche les échecs sur Cloud SQL, qui pré-remplit le schéma public avec des objets d'extension. La mise à jour de application_version applique automatiquement les modifications de schéma.
  • Pont de socket JDBC. Sur GKE, le sidecar Cloud SQL Auth Proxy écoute déjà sur TCP 127.0.0.1:5432, de sorte que la logique du pont JDBC entrypoint.sh est ignorée automatiquement — aucun pont socat n'est nécessaire ici (contrairement à la variante Cloud Run).
  • Point de terminaison de santé. Les sondes de démarrage et de vivacité ciblent GET /health sur le port 8080. Kestra (JVM Java) a un démarrage lent ; la sonde par défaut autorise jusqu'à ~14 minutes avant de déclarer un échec.
  • Affinité de session. L'interface utilisateur de Kestra diffuse les logs d'exécution sur une connexion persistante. session_affinity = "ClientIP" achemine toutes les requêtes du même navigateur vers le même pod, empêchant les déconnexions du flux de logs.
  • Période de grâce de terminaison. Définie à 60 secondes (contre la valeur par défaut de Kubernetes) pour permettre aux exécutions de tâches en cours de se terminer gracieusement avant que le pod ne soit terminé de force.
  • Connexion administrateur. Le nom d'utilisateur administrateur initial est admin. Le mot de passe est récupéré de Secret Manager (voir §2.D).
  • Déclencheurs planifiés. L'ordonnanceur interne de Kestra traite les déclencheurs définis par le flux (cron, intervalle, webhook). Tant qu'un pod est en cours d'exécution, tous les déclencheurs se déclenchent selon le calendrier. La définition de min_instance_count = 0 entraîne des déclencheurs manqués pendant les périodes de démarrage à froid.

4. Variables de configuration​

Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour Kestra sont listés ; toutes les autres entrées sont héritées de App_GKE avec son comportement et ses valeurs par défaut standard.

Groupe 1 — Projet et identité​

VariableValeur par défautDescription
project_id(requis)Projet Google Cloud cible.
regionus-central1Région pour la charge de travail et les ressources régionales.

Groupe 2 — Environnement de déploiement​

VariableValeur par défautDescription
tenant_iddemoSuffixe court qui rend les noms de ressources uniques par environnement.
support_users[]E-mails ayant accès au projet et aux alertes de surveillance.
resource_labels{}Étiquettes appliquées à toutes les ressources pour le suivi des coûts/propriété.

Groupe 3 — Identité de l'application​

VariableValeur par défautDescription
application_namekestraNom de base des ressources. Ne pas modifier après le premier déploiement.
application_versionlatestTag de version de l'image Kestra ; incrémenter pour déployer une nouvelle version (par exemple 0.17.0).
display_nameKestra Data OrchestrationNom convivial affiché dans la console et l'interface utilisateur de la plateforme.
descriptionKestra Data Orchestration - ETL/ELT pipeline and workflow orchestration on GKE AutopilotAnnotation de description de la charge de travail.
deploy_applicationtrueDéfinir false pour provisionner uniquement l'infrastructure.

Groupe 4 — Exécution et mise à l'échelle​

VariableValeur par défautDescription
cpu_limit2000mCPU par pod ; 2 vCPU minimum recommandés pour Kestra JVM.
memory_limit4GiMémoire par pod ; 4 Gio recommandés (minimum 2 Gio).
container_port8080Port du serveur Kestra/Micronaut. Doit correspondre à MICRONAUT_SERVER_PORT.
min_instance_count1Réplicas minimum. Garder ≥ 1 pour ne jamais manquer les déclencheurs planifiés.
max_instance_count1Réplicas maximum. Garder à 1 pour le mode autonome afin d'éviter les conflits de file d'attente.
timeout_seconds300Durée maximale de la requête en secondes (0–3600).
enable_cloudsql_volumetrueSidecar Cloud SQL Auth Proxy pour les connexions socket TCP à PostgreSQL.
cloud_sql_proxy_version2-alpineTag d'image du sidecar Cloud SQL Auth Proxy. Épingler à un digest pour les déploiements immuables.
enable_image_mirroringtrueMettre en miroir l'image Kestra dans Artifact Registry avant le déploiement.
enable_vertical_pod_autoscalingfalseLaisser Autopilot ajuster automatiquement les requêtes de ressources.
termination_grace_period_seconds60Secondes pendant lesquelles Kubernetes attend après SIGTERM — permet aux exécutions en cours de se terminer.
deployment_timeout1800Secondes maximales pendant lesquelles Terraform attend la fin du déploiement (grande image Java).

container_image_source, container_image, container_build_config, container_protocol et container_resources sont déclarés pour la parité de convention de la Fondation mais ne sont pas transmis par ce module — Kestra_Common construit toujours l'image officielle kestra/kestra via Cloud Build (container_build_config) et transmet cpu_limit/memory_limit directement au lieu de container_resources. La définition de l'un d'entre eux n'a aucun effet ; utilisez cpu_limit/memory_limit ci-dessus pour dimensionner le pod.

Groupe 5 — Variables d'environnement et secrets​

VariableValeur par défautDescription
environment_variables{}Paramètres supplémentaires non secrets. Les variables Kestra principales sont injectées automatiquement ; ne les écrasez pas ici.
secret_environment_variables{}Mappage de variable d'environnement → nom de secret Secret Manager (par exemple { KESTRA_ENCRYPTION_SECRET = "kestra-enc-key" }).
secret_propagation_delay30Secondes à attendre après la création du secret (0–300).
secret_rotation_period2592000sPériode de notification de rotation de Secret Manager.
enable_auto_password_rotationfalseRotation automatisée du mot de passe de la base de données sans interruption.
rotation_propagation_delay_sec90Secondes à attendre après la rotation avant de redémarrer les pods.

Groupe 6 — Backend GKE et cluster​

VariableValeur par défautDescription
service_typeLoadBalancerComment le service est exposé.
session_affinityClientIPRoutage persistant requis pour le streaming de logs de l'interface utilisateur de Kestra.
workload_typenullSe résout automatiquement en StatefulSet lorsque le stockage par pod est activé ; sinon Deployment.
gke_cluster_name""Laisser vide pour découvrir automatiquement le cluster géré par Services_GCP.
namespace_name""Laisser vide pour générer automatiquement à partir du nom de l'application et de l'ID du locataire.
network_tags["nfsserver"]Tags de nœud/pod pour les règles de pare-feu VPC.
enable_network_segmentationfalseCréer des ressources Kubernetes NetworkPolicy.
configure_service_meshfalseActiver l'injection Istio pour l'espace de noms de l'application.
extra_service_ports[]Ports de service supplémentaires pour les charges de travail multiprotocoles. Déclaré mais non transmis — n'a aucun effet sur ce module.

prereq_gke_subnet_cidr, prereq_subnet_cidr_override, prereq_gke_pod_cidr_override et prereq_gke_service_cidr_override contrôlent les prérequis VPC/GKE intégrés créés uniquement lorsqu'aucun réseau/cluster Services_GCP n'existe encore. prereq_gke_subnet_cidr est déclaré mais non référencé ; les trois variables *_override sont transmises et n'ont d'importance que sur les déploiements intégrés existants (sans Services_GCP), pour éviter de remplacer le cluster lors d'une nouvelle application.

Groupe 7 — StatefulSet​

Pertinent uniquement lorsque workload_type = "StatefulSet" ou stateful_pvc_enabled = true.

VariableValeur par défautDescription
stateful_pvc_enablednullActiver un PVC par pod pour le stockage local de plugins ou les fichiers d'exécution temporaires.
stateful_pvc_size10GiTaille de stockage pour chaque PVC. Immuable après la création — planifier la capacité à l'avance.
stateful_pvc_mount_path/app/storageChemin du conteneur où le PVC est monté.
stateful_pvc_storage_class""Kubernetes StorageClass ; vide utilise la valeur par défaut du cluster.

Groupe 9 — Politiques de fiabilité​

VariableValeur par défautDescription
enable_pod_disruption_budgettrueProtéger la disponibilité pendant les mises à niveau de nœuds (par défaut true pour Kestra).
pdb_min_available1Nombre minimal de pods disponibles pendant les perturbations volontaires.
enable_topology_spreadfalseRépartir les pods sur les zones (pertinent uniquement lorsque max_instance_count > 1).

Groupe 10 — Observabilité et santé​

VariableValeur par défautDescription
startup_probeHTTP /health, délai 30s, période 20s, 40 échecsSonde de démarrage de l'application — autorise jusqu'à ~14 minutes pour le démarrage de la JVM.
liveness_probeHTTP /health, délai 180s, période 30s, 5 échecsSonde de vivacité de l'application.
uptime_check_configdésactivéTest de disponibilité Cloud Monitoring facultatif.
alert_policies[]Règles d'alerte métrique facultatives.

Groupe 11 — Jobs et tâches planifiées​

VariableValeur par défautDescription
initialization_jobs[]Laisser vide pour utiliser le job db-init intégré. Fournir une liste non vide pour le remplacer entièrement.
cron_jobs[]Kubernetes CronJobs pour les tâches auxiliaires planifiées (par exemple, les sauvegardes).
additional_services[]Services GKE sidecar ou auxiliaires déployés avec Kestra.

Groupe 12 — CI/CD et intégration GitHub​

Intégration standard App_GKE Cloud Build / Cloud Deploy — voir App_GKE. Entrées clés : enable_cicd_trigger, github_repository_url, github_token, enable_cloud_deploy, enable_binary_authorization. binauthz_evaluation_mode est déclaré pour la parité de convention mais non référencé — seul enable_binary_authorization est transmis.

Groupe 13 — Système de fichiers (NFS)​

VariableValeur par défautDescription
enable_nfsfalseProvisionner un partage Cloud Filestore (NFS) et le monter dans les pods. Utile pour les scripts de flux qui écrivent des fichiers locaux.
nfs_mount_path/mnt/nfsChemin de montage à l'intérieur du conteneur.
nfs_volume_namenfs-data-volumeNom du volume ; écraser lors du montage d'un deuxième partage NFS à côté du premier.

Groupe 14 — Cloud Storage et Artifact Registry​

VariableValeur par défautDescription
create_cloud_storagetrueProvisionner des buckets supplémentaires dans storage_buckets. Le bucket de stockage Kestra est toujours créé.
storage_buckets[]Buckets GCS supplémentaires au-delà du bucket de stockage intégré.
gcs_volumes[]Buckets GCS à monter via le pilote CSI GCS Fuse.
manage_storage_kms_iam / enable_artifact_registry_cmekfalseOptions CMEK.

Groupe 15 — Redis​

VariableValeur par défautDescription
enable_redisfalseDéclaré pour la parité de convention de la Fondation. Non référencé — main.tf désactive Redis en dur (enable_redis = false) car le mode autonome de Kestra met en file d'attente via PostgreSQL, pas Redis.
redis_host / redis_port / redis_auth"" / "6379" / ""Également déclaré mais non référencé, pour la même raison.

Groupe 16 — Backend de base de données​

VariableValeur par défautDescription
db_namekestraNom de la base de données PostgreSQL. Immuable après le premier déploiement.
db_userkestraUtilisateur de l'application. Immuable après le premier déploiement.
database_password_length32Longueur du mot de passe généré (16–64).
enable_auto_password_rotationfalseRotation du mot de passe de la base de données sans interruption.
enable_mysql_plugins / mysql_pluginsfalse / []Transmis à App_GKE mais non applicable — Kestra est uniquement PostgreSQL.

database_type, sql_instance_name, sql_instance_base_name, application_database_name, application_database_user, enable_postgres_extensions, postgres_extensions, et l'ensemble db_host_env_var_name / db_name_env_var_name / db_user_env_var_name / db_password_env_var_name / db_port_env_var_name sont tous déclarés pour la parité de convention de la Fondation mais non transmis par ce module — Kestra_Common fixe le moteur à POSTGRES_15 et injecte uniquement les noms standard DB_HOST/DB_NAME/DB_USER/DB_PASSWORD/DB_PORT. La définition de l'un d'entre eux n'a aucun effet.

Groupe 17 — Sauvegarde et maintenance​

VariableValeur par défautDescription
backup_schedule0 2 * * *Cron de sauvegarde automatisée (UTC).
backup_retention_days7Rétention ; augmenter à 30–90 pour la production/conformité.
enable_backup_import / backup_source / backup_urioptions de restaurationRestaurer à partir d'une sauvegarde lors du déploiement.
backup_filebackup.sqlDéclaré pour la parité de convention. Non référencé — main.tf transmet backup_uri comme source d'importation à la place.

Groupe 18 — Scripts SQL personnalisés​

enable_custom_sql_scripts, custom_sql_scripts_bucket, custom_sql_scripts_path, custom_sql_scripts_use_root — exécuter du SQL à partir d'un bucket GCS après le provisionnement. Voir App_GKE.

Groupe 19 — Domaine personnalisé, IP statique et réseau​

VariableValeur par défautDescription
enable_custom_domaintrueProvisionner une passerelle Kubernetes avec un certificat SSL pour les noms d'hôtes personnalisés.
application_domains[]Noms d'hôtes à servir. Vide avec enable_custom_domain = true génère un domaine nip.io.
reserve_static_iptrueIP externe stable sur les redéploiements. Recommandé pour la production.
gateway_backend_stagedevÉtape Cloud Deploy (dev/staging/prod) dont le service est ciblé par la route HTTP de la passerelle. Ignoré lorsque enable_cloud_deploy = false.
network_name""Déclaré pour la parité de convention de la Fondation. Non référencé — la découverte du réseau est gérée en interne via module.network_discovery.

Groupe 20 — Identity-Aware Proxy (IAP)​

VariableValeur par défautDescription
enable_iapfalseExiger la connexion Google devant Kestra.
iap_authorized_users / iap_authorized_groups[]Qui peut accéder.
iap_oauth_client_id / iap_oauth_client_secret""Requis lorsque l'IAP est activé (sensible).

Groupe 21 — Cloud Armor​

VariableValeur par défautDescription
enable_cloud_armorfalseAttacher une politique Cloud Armor (WAF) au backend Ingress.
admin_ip_ranges[]CIDR autorisés à un accès privilégié.
cloud_armor_policy_namedefault-waf-policyNom de la politique.

Groupe 22 — VPC Service Controls et journalisation d'audit​

VariableValeur par défautDescription
enable_vpc_scfalseAppliquer un périmètre VPC-SC (nécessite organization_id).
vpc_cidr_ranges / vpc_sc_dry_run(défini)CIDR de niveau d'accès / mode simulation.
enable_audit_loggingfalseJournaux d'audit Cloud détaillés.

5. Sorties​

Ces valeurs sont renvoyées lors d'un déploiement réussi et constituent le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.

SortieDescription
service_nameNom du service Kubernetes.
namespaceEspace de noms dans lequel la charge de travail s'exécute.
service_cluster_ipClusterIP intra-cluster.
stage_service_cluster_ipsMappage des ClusterIP pour les services spécifiques à chaque étape (Cloud Deploy).
service_external_ipIP externe du LoadBalancer (lorsqu'une IP statique est réservée).
service_urlURL pour atteindre Kestra.
database_instance_nameNom de l'instance Cloud SQL.
database_nameNom de la base de données de l'application.
database_userUtilisateur de la base de données de l'application.
database_password_secretSecret Manager secret contenant le mot de passe de la base de données.
database_host / database_portPoint de terminaison de la base de données (127.0.0.1 via le proxy d'authentification) / port.
storage_bucketsBuckets Cloud Storage créés (inclut le bucket de stockage Kestra).
network_name / network_exists / regionsRéseau VPC, présence, régions disponibles.
container_image / container_registryImage déployée et dépôt Artifact Registry.
monitoring_enabled / monitoring_notification_channelsStatut et canaux de surveillance.
initialization_jobs / db_import_jobNoms des jobs de configuration et d'importation (facultatif).
deployment_id / tenant_id / resource_prefixIdentifiants de nommage.
project_id / project_numberIdentifiants du projet.
cicd_enabled / cicd_configurationStatut et détails CI/CD (dépôt, déclencheur, registre).
github_repository_url / github_repository_owner / github_repository_nameDétails du dépôt GitHub.
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_idRegistre et déclencheur de build.
kubernetes_readyIndique si le cluster/la charge de travail est prêt(e). false lors du premier apply d'un nouveau cluster intégré.
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_modeStatut VPC-SC.
audit_logging_enabled / artifact_registry_cmek_enabledJournalisation d'audit et statut CMEK.

6. Pièges de configuration et valeurs par défaut judicieuses​

Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).

ParamètreValeur judicieuseRisqueConséquence si incorrect
db_namekestra — défini une foisCritiqueImmuable après le premier déploiement ; le modifier connecte Kestra à une base de données vide, perdant tous les flux, l'historique d'exécution, les déclencheurs et les espaces de noms.
application_namekestra — défini une foisCritiqueImmuable après le premier déploiement ; le modifier renomme toutes les ressources GCP/Kubernetes, entraînant une recréation complète avec perte de données.
KESTRA_BASICAUTH_ENABLED (injecté true)laisser tel qu'injectéCritiqueLe fait de le remplacer par false expose l'interface utilisateur complète de Kestra et l'API REST sans authentification. Ne le désactiver que derrière un proxy d'authentification fiable (IAP, Cloud Armor).
enable_backup_importfalse sauf en cas de restaurationCritiqueL'activation sans backup_uri valide fait échouer le job d'importation.
max_instance_count1ÉlevéKestra Community Edition utilise le verrouillage de la file d'attente PostgreSQL — plusieurs réplicas entraînent une double attribution des tâches et des conflits d'exécution.
min_instance_count1ÉlevéLe fait de le définir à 0 entraîne le manquement des déclencheurs planifiés pendant les périodes de démarrage à froid. Le démarrage de la JVM de Kestra peut prendre plusieurs minutes.
memory_limit4GiÉlevéDes valeurs inférieures à 2 Gio provoquent des erreurs OutOfMemoryError de la JVM sous une charge d'exécution concurrente.
enable_cloudsql_volumetrueÉlevéRequis pour la connectivité PostgreSQL ; bloqué au moment de la planification lorsque database_type != "NONE".
KESTRA_QUEUE_TYPE / KESTRA_REPOSITORY_TYPE (injecté postgres)laisser tel qu'injectéÉlevéSeul PostgreSQL est provisionné ; le fait de le remplacer par un type de backend non pris en charge entraîne un échec au démarrage.
KESTRA_STORAGE_TYPE (injecté gcs)laisser tel qu'injectéÉlevéLe fait de le changer en local fait que tous les artefacts d'exécution sont écrits dans le stockage éphémère du pod et sont perdus au redémarrage.
startup_probe seuil d'échec40 (par défaut)ÉlevéLa réduction en dessous de ~10 provoque des redémarrages prématurés des pods lors de démarrages lents de la JVM avant que Kestra n'ait fini de charger tous les flux.
session_affinityClientIPMoyenSans persistance de session, les connexions de streaming de logs de l'interface utilisateur de Kestra se déconnectent lorsqu'elles sont acheminées vers un pod différent.
termination_grace_period_seconds60MoyenDes valeurs inférieures à 30 s interrompent les exécutions de tâches en cours de route.
enable_pod_disruption_budgettrueMoyenLa désactivation du PDB permet à GKE d'expulser le pod Kestra pendant la maintenance des nœuds, interrompant toutes les exécutions en cours.
quota_memory_requests / _limitsunités binairesCritiqueLes entiers bruts sont traités comme des octets par Kubernetes et bloquent toute planification dans l'espace de noms.
enable_iap / enable_cloud_armoractiver pour l'interface d'administrationMoyenL'interface utilisateur et l'API Kestra sont autrement accessibles publiquement.
backup_retention_days7 (augmenter pour la production)MoyenTrop court pour les exigences de rétention de conformité.
organization_iddéfinir lors de l'utilisation de VPC-SCMoyenSi vide, les contrôles de service VPC sont ignorés silencieusement.

Pour le comportement du socle référencé partout — IAM et Workload Identity, autoscaling, ingress et certificats, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC, sauvegardes, et mise en miroir d'images — voir App_GKE. La configuration d'application spécifique à Kestra partagée avec la variante Cloud Run est décrite dans Kestra_Common.

Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.