Aller au contenu principal

Crawl4AI sur GKE Autopilot

Crawl4AI sur GKE Autopilot

Crawl4AI est un crawler et scraper web open source compatible LLM. Ce module déploie Crawl4AI sur GKE Autopilot au-dessus du socle App_GKE, qui provisionne et gère l'infrastructure partagée Google Cloud et Kubernetes.

Ce guide se concentre sur les services cloud utilisés par Crawl4AI et sur la manière de les explorer et de les opérer depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à chaque application GKE — Workload Identity, ingress, autoscaling, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement — veuillez vous référer au guide du socle App_GKE plutôt que de les répéter ici.


Ce que coûte Crawl4AI sur RAD, et comparaison​

Le module GKE Autopilot de Crawl4AI sur RAD coûte environ 164,69 $ US par mois dans un projet Google Cloud que vous possédez, plus des frais de module uniques de 175 crédits (17,50 $ US). Crawl4AI est un crawler et scraper web open source, compatible LLM, pour les pipelines d'ingestion RAG. Pour le coût le plus bas, le guide Cloud Run exécute le même Crawl4AI pour environ 22,33 $ US par mois ; choisissez GKE ici seulement si Crawl4AI doit rester actif en continu, s'adapter à travers plusieurs pods, ou fonctionner aux côtés d'autres charges de travail Kubernetes.

Si Crawl4AI n'est nécessaire qu'occasionnellement — une démo, un essai, une charge de travail saisonnière ou d'étude — un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires, de sorte que les 164,69 $ US deviennent quelques dollars par mois à la place. Voir Mettez-le en pause gratuitement, ci-dessous.

Ce que vous payez sur RAD​

Dans un projet Google Cloud que vous possédezDans un projet géré par RAD pour vous
Frais de module, une fois par déploiement175 crédits (17,50 $ US au prix de la recharge)157,5 crédits (10 % de moins)
BuildsInclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés à la minute pour le temps de buildIdem
Coût d'exécution Google CloudFacturé par Google à votre propre compte de facturation, environ 164,69 $ US par mois pour la configuration par défaut (tableau ci-dessous)Mesuré à l'heure en crédits ; RAD publie 125 crédits par jour, environ 3 750 par mois (environ 375 $ US au prix de la recharge ; estimé à partir des prix catalogue Google, et incluant les frais de cluster)
Qui possède quoiVous possédez le projet et sa facturation ; RAD le déploie et le met à jourRAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde minimum acheté est conservé en réserve

10 crédits coûtent 1 $ US pour une recharge ponctuelle, moins sur un plan. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par chaque application du projet, de sorte qu'une deuxième application n'ajoute pas une deuxième base de données.

Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :

Ressource (par défaut du module)Par mois
Pod GKE Autopilot, 4x vCPU / 8 Gio158,69 $ US
Cloud NAT et réseau5 $ US
Cloud Storage (modules complémentaires, sauvegardes)1 $ US
Frais de gestion de cluster GKEpartagés entre toutes les applications GKE du projet ; 0 $ si c'est votre seul cluster, sinon ~73
Totalenviron 164,69 $ US

Comparaison​

  • Si vous l'exécutez vous-même, un VPS exécutant le conteneur de Crawl4AI coûte moins cher en espèces : dimensionné à environ 4 vCPU/8 Gio, un VPS comparable (Hetzner ou DigitalOcean) coûte environ 24 à 48 $ par mois, ou une VM GCP de classe e2-standard-2 environ 49 $ — plus votre propre temps pour les sauvegardes, les correctifs de sécurité et les mises à niveau, que Cloud SQL géré, Secret Manager et la surveillance de RAD couvrent pour vous.
  • RAD ne prétend jamais être moins cher que l'infrastructure nue en termes d'argent — ce n'est généralement pas le cas. La différence est ce que RAD gère pour vous : les correctifs, les sauvegardes, les secrets et la surveillance, ainsi que la possibilité de mettre Crawl4AI en pause gratuitement plutôt que de payer pour une capacité inactive (voir ci-dessous).

Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le quand vous en avez besoin​

Si Crawl4AI s'exécute dans un projet géré par RAD pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez l'ensemble du projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à Crawl4AI dont vous n'avez besoin qu'occasionnellement que de le faire fonctionner en continu.

Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration, de sorte que la restauration ne peut pas être considérée comme un moyen fiable de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.

  • Comment ça marche. La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. Comme la facturation est déjà déliée, rien n'est facturé pendant cette attente. Contrairement à la suppression d'un module, cela ne détruit pas les ressources GKE Autopilot une par une — l'ensemble du projet, et tout ce qu'il contient, s'arrête simplement.
  • La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google de récupérer le projet et de rattacher son compte de facturation, puis vous demande d'exécuter Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
  • Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 375 $ US par mois pour le maintenir en fonctionnement. Déployez Crawl4AI, utilisez-le, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez les frais de module qu'une seule fois et pour les heures où il était réellement actif.
  • Ce que cela nécessite. Vous devez être propriétaire du projet (pas un projet que vous apportez et dont RAD ne gère que la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox qui convient à la plupart des utilisations d'étude et de démo). Google indique que la plupart des services sont de nouveau pleinement fonctionnels dans les 36 heures suivant une restauration.
  • Une lacune réelle : le bucket de sauvegarde ne survit pas. Les sauvegardes nocturnes sont écrites dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probable qu'il disparaisse dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé Crawl4AI et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.

Payez uniquement pendant que vous l'utilisez, l'autre méthode : supprimer et redéployer​

GKE Autopilot maintient au moins un pod en cours d'exécution, il ne se met donc jamais à l'échelle à zéro de lui-même. L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.

  • Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) : 175 crédits (17,50 $ US) dans votre propre projet. La suppression ne permet d'économiser de l'argent que si Crawl4AI resterait inutilisé pendant environ 4 jours ou plus dans votre propre projet (5,49 $ US par jour), ou environ 2 jours ou plus dans un projet géré par RAD (125 crédits par jour).
  • Conservez d'abord vos données. Les sauvegardes nocturnes sont écrites dans un bucket à l'intérieur du déploiement et sont supprimées avec celui-ci, donc copiez la dernière sauvegarde avant de supprimer si vous voulez la conserver.
  • Notez vos paramètres. RAD ne recrée pas un déploiement supprimé pour vous ; vous entrez les paramètres à nouveau lorsque vous déployez.

Sessions de lab et environnements gérés​

  • Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant obtient l'application dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits non utilisés sont reversés au formateur.
  • Environnements gérés, pour les sociétés de conseil. Un partenaire exécute l'application pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire transfère le projet et les déploiements deviennent la propriété du client.

Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.

Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; frais propres à RAD et estimations de crédits quotidiens de radmodules.dev/pricing ; Supprimer et restaurer des projets pour la fenêtre de récupération de 30 jours et ce qu'il dit sur les objets Cloud Storage sans suppression logicielle. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.

1. Vue d'ensemble​

Crawl4AI s'exécute comme un service Python/ASGI géré par supervisord. Le déploiement relie un ensemble ciblé de services Google Cloud :

CapacitéService Google CloudNotes
CalculGKE AutopilotPods Python, 4 vCPU / 8 Gio par défaut, autoscaling horizontal
File d'attente de tâchesRedis intégré (dans le pod)Supervisord démarre Redis à l'intérieur du conteneur ; éphémère par pod
Serveur ASGIGunicorn intégré (dans le pod)Port 11235, géré par supervisord avec Redis
Stockage d'objetsCloud StorageBuckets optionnels pour la mise en cache des résultats de crawl (aucun par défaut)
SecretsSecret ManagerClés API et secret JWT injectés à l'exécution
IngressCloud Load BalancingLoadBalancer externe, domaine personnalisé optionnel + certificat géré

Valeurs par défaut judicieuses à connaître d'emblée :

  • Pas de base de données externe. database_type est fixé à NONE — Cloud SQL n'est pas provisionné. Tout l'état des tâches réside dans l'instance Redis du pod et est perdu lorsque le pod redémarre.
  • Gen2 n'est pas un problème sur GKE. Contrairement à Cloud Run, GKE fournit un véritable arbre de processus Linux, de sorte que supervisord s'exécute sans contrainte. Chromium obtient un vrai volume /dev/shm emptyDir — la solution de contournement --disable-dev-shm-usage Cloud Run n'est pas nécessaire.
  • Redis s'exécute à l'intérieur du pod. Ne définissez pas REDIS_HOST ou REDIS_PORT comme variables d'environnement — elles doivent rester à localhost:6379 pour atteindre l'instance intégrée.
  • L'affinité de session est None. Les ID de tâche émis par un pod ne sont pas visibles par d'autres pods ; les clients interrogeant l'état des tâches doivent acheminer les requêtes vers le pod d'origine ou utiliser des appels de crawl synchrones (POST /crawl/sync).
  • La sécurité est désactivée par défaut. L'authentification JWT nécessite de fournir un SECRET_KEY via secret_environment_variables et un config.yml personnalisé avec security.jwt_enabled=true.

2. Services Google Cloud et comment les explorer​

Toutes les commandes supposent que vous avez exécuté gcloud container clusters get-credentials <cluster> --region <region> --project <project> et que PROJECT, REGION et NAMESPACE sont définis. L'espace de noms et les autres identifiants sont rapportés dans les Sorties du déploiement.

A. GKE Autopilot — la charge de travail Crawl4AI​

Les pods Crawl4AI s'exécutent sur Autopilot, qui facture le CPU/la mémoire que les pods demandent réellement. L'autoscaling horizontal des pods dimensionne le déploiement entre les nombres minimum et maximum de réplicas. Chaque pod exécute son propre arbre supervisord : Redis (priorité 10) démarre en premier, puis Gunicorn (priorité 20).

  • Console : Kubernetes Engine → Charges de travail → sélectionnez la charge de travail Crawl4AI pour voir les pods, les révisions et les événements. Kubernetes Engine → Services et Ingress affiche l'IP externe.
  • CLI :
    kubectl get pods,svc,hpa -n "$NAMESPACE"
    kubectl logs -n "$NAMESPACE" deploy/<service-name> --tail=100
    kubectl describe hpa -n "$NAMESPACE" # current vs target utilisation
    # Confirm supervisord is managing both processes:
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- supervisorctl status

Voir App_GKE pour la gestion d'Autopilot, de la mise à l'échelle et du type de charge de travail (Déploiement vs StatefulSet).

B. Redis intégré et file d'attente de tâches​

Redis s'exécute à l'intérieur de chaque pod en tant que processus géré par supervisord sur localhost:6379. Il stocke les résultats des tâches avec un TTL configurable (redis_task_ttl_seconds, par défaut 3600 s). Les résultats des tâches sont perdus lorsque le pod redémarre — c'est attendu pour une API de crawl éphémère. Il n'y a pas d'instance Memorystore ; le Redis intégré n'apparaît pas dans la Console.

  • CLI (depuis l'intérieur d'un pod) :
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- redis-cli ping
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- redis-cli info keyspace
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- redis-cli dbsize

C. Cloud Storage (facultatif)​

Crawl4AI n'a pas de bucket GCS par défaut — il est sans état. Des buckets optionnels peuvent être provisionnés via storage_buckets pour stocker les résultats de crawl ou des fichiers config.yml personnalisés.

  • Console : Cloud Storage → Buckets.
  • CLI :
    gcloud storage buckets list --project "$PROJECT"
    gcloud storage ls gs://<results-bucket>/

Voir App_GKE pour les montages GCS Fuse et les options CMEK.

D. Secret Manager​

Les clés API LLM et le secret de signature JWT sont stockés en tant que secrets Secret Manager et injectés dans les pods à l'exécution ; le texte en clair n'apparaît jamais dans la configuration. Crawl4AI n'a pas de secrets auto-générés — tous les secrets doivent être fournis via secret_environment_variables.

  • Console : Sécurité → Secret Manager.
  • CLI :
    gcloud secrets list --project "$PROJECT"
    gcloud secrets versions access latest --secret=<secret-name> --project "$PROJECT"

Noms de secrets reconnus (passez le nom du secret Secret Manager, pas la valeur) : SECRET_KEY, OPENAI_API_KEY, ANTHROPIC_API_KEY, DEEPSEEK_API_KEY, GROQ_API_KEY, GEMINI_API_KEY, LLM_API_KEY.

Voir App_GKE pour l'intégration et la rotation de Secret Store CSI.

E. Réseau et ingress​

Par défaut, la charge de travail est exposée via une IP externe de Cloud Load Balancing. Un domaine personnalisé avec un certificat géré par Google peut être activé, et une IP statique peut être réservée afin que l'adresse survive aux redéploiements.

  • Console : Services réseau → Équilibrage de charge ; Réseau VPC → Adresses IP.
  • CLI :
    kubectl get ingress,svc -n "$NAMESPACE"
    gcloud compute addresses list --project "$PROJECT"

Voir App_GKE pour les domaines personnalisés, Cloud CDN, et les détails de l'IP statique.

F. Cloud Logging et Monitoring​

Les sorties stdout/stderr des pods (logs Python via PYTHONUNBUFFERED=1) sont acheminées vers Cloud Logging. Les métriques GKE sont acheminées vers Cloud Monitoring. Des tests de disponibilité et des stratégies d'alerte optionnels sont disponibles.

  • Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
  • CLI :
    gcloud logging read 'resource.type="k8s_container" AND resource.labels.namespace_name="'"$NAMESPACE"'"' \
    --project "$PROJECT" --limit 50

3. Comportement de l'application Crawl4AI​

  • Séquence de démarrage de Supervisord. À chaque démarrage de pod, supervisord (PID 1) démarre Redis en premier (priorité 10), puis Gunicorn (priorité 20). Le point de terminaison /health ne répond qu'après que les deux processus sont prêts — prévoyez au moins 40 secondes de délai initial avant le début des vérifications de santé.

  • Points de terminaison de l'API REST. Crawl4AI expose :

    Point de terminaisonMéthodeObjectif
    /crawlPOSTSoumettre un job de crawl asynchrone ; renvoie un task_id
    /task/{id}GETInterroger l'état et récupérer les résultats d'une tâche
    /crawl/syncPOSTCrawl synchrone (bloque jusqu'à la fin)
    /healthGETVérification de santé — renvoie {"status":"ok"} quand prêt
    /playgroundGETInterface utilisateur de crawl interactive basée sur le navigateur
  • Cycle de vie des résultats de tâche. Les résultats de crawl asynchrones sont stockés dans le Redis intégré avec un TTL de redis_task_ttl_seconds (par défaut 1 heure). Après l'expiration du TTL, le résultat est perdu. Il n'y a pas de stockage de résultats durable.

  • Pas de migrations de base de données ni de jobs d'initialisation. Crawl4AI est entièrement sans état — Crawl4AI_Common ne fournit aucun job d'initialisation. Aucune configuration de base de données n'est requise.

  • Extraction basée sur LLM. Fournissez les clés API LLM via secret_environment_variables et définissez LLM_PROVIDER (ou des clés spécifiques au fournisseur telles que OPENAI_API_KEY) via environment_variables pour activer l'extraction de contenu basée sur l'IA.

  • Authentification JWT (facultatif). La sécurité est désactivée par défaut. Pour l'activer, fournissez SECRET_KEY via secret_environment_variables et fournissez un config.yml personnalisé avec security.jwt_enabled=true. Le point de terminaison /token émet des JWT de courte durée lorsque l'authentification est activée.

  • Avertissement CRAWL4AI_HOOKS_ENABLED. La définition de cette variable à "true" active l'exécution arbitraire de code Python via des hooks de webhook. N'activez que dans un environnement entièrement fiable.


4. Variables de configuration​

Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour Crawl4AI sont listés ; toute autre entrée est héritée de App_GKE avec son comportement standard et ses valeurs par défaut.

Groupe 1 — Projet et identité​

VariableValeur par défautDescription
project_id(obligatoire)Projet Google Cloud cible.
regionus-central1Région pour la charge de travail et les ressources régionales.

Groupe 2 — Environnement de déploiement​

VariableValeur par défautDescription
tenant_iddemoSuffixe court qui rend les noms de ressources uniques par environnement.
support_users[]E-mails ayant accès au projet et aux alertes de surveillance.
resource_labels{}Étiquettes appliquées à toutes les ressources pour le suivi des coûts/propriétés.

Groupe 3 — Identité de l'application​

VariableValeur par défautDescription
application_namecrawl4aiNom de base des ressources. Ne pas modifier après le premier déploiement.
application_display_nameCrawl4AI Web CrawlerNom convivial affiché dans la Console.
application_description(défini)Annotation de description de la charge de travail.
application_version0.7.8Tag de version de l'image Crawl4AI ; épingler à un tag spécifique pour la production.

Groupe 4 — Exécution et mise à l'échelle​

VariableValeur par défautDescription
deploy_applicationtrueDéfinissez false pour provisionner IAM sans déployer la charge de travail.
workload_typenull"Deployment" (par défaut, sans état) ou "StatefulSet" pour la mise en cache basée sur PVC.
container_resources{ cpu_limit="4", memory_limit="8Gi", cpu_request="2", mem_request="4Gi" }CPU et mémoire du conteneur. Minimum 4 Gio de mémoire pour un fonctionnement stable de Chromium.
min_instance_count1Réplicas minimum. Gardez ≥ 1 pour qu'un pool Chromium chaud soit toujours disponible.
max_instance_count5Réplicas maximum (plafond de l'autoscaler).
timeout_seconds1800Période de grâce de terminaison du pod ; définissez ≥ 1800 pour permettre aux longs crawls par lots de se vider.
termination_grace_period_seconds60Secondes pendant lesquelles Kubernetes attend après SIGTERM avant de tuer de force.
service_typeLoadBalancerComment le Service est exposé. Utilisez ClusterIP pour un accès interne au cluster uniquement.
session_affinityNonePas de routage persistant — les ID de tâche sont locaux au pod ; utilisez /crawl/sync pour la fiabilité inter-pods.
container_image_sourceprebuilt"prebuilt" utilise unclecode/crawl4ai directement ; "custom" construit via Cloud Build.
container_imageunclecode/crawl4aiURI de l'image lorsque container_image_source = "prebuilt".
enable_image_mirroringtrueMettez l'image en miroir dans Artifact Registry pour éviter les limites de débit de Docker Hub.
enable_vertical_pod_autoscalingfalseLaissez Autopilot ajuster automatiquement les requêtes de ressources.

Groupe 5 — Variables d'environnement et secrets​

VariableValeur par défautDescription
environment_variables{}Paramètres supplémentaires non secrets. PYTHONUNBUFFERED et REDIS_TASK_TTL sont définis automatiquement. Ne définissez pas REDIS_HOST ou REDIS_PORT. Surcharges reconnues : LLM_PROVIDER, LLM_BASE_URL, LLM_TEMPERATURE, CRAWL4AI_HOOKS_ENABLED.
secret_environment_variables{}Mappage de variable d'environnement → nom de secret Secret Manager. Utilisez pour SECRET_KEY, OPENAI_API_KEY, ANTHROPIC_API_KEY, etc.

Groupe 6 — Backend GKE et cluster​

VariableValeur par défautDescription
gke_cluster_name""Nom du cluster cible. Laissez vide pour la découverte automatique.
gke_cluster_selection_modeprimaryStratégie de sélection de cluster.
namespace_name""Espace de noms Kubernetes. Généré à partir du préfixe de ressource si vide.
enable_multi_cluster_servicefalseActiver Multi-Cluster Services ServiceExport.
reserve_static_iptrueRéserver une IP externe statique pour l'équilibreur de charge afin que l'adresse survive aux redéploiements (par défaut à l'échelle de la flotte selon la campagne GKE — une IP éphémère peut sinon laisser GKE_SERVICE_URL/une configuration auto-référente pointer vers un DNS interne inaccessible).
static_ip_name""Nom d'une IP statique existante à utiliser. Laissez vide pour la création automatique.

Groupe 7 — Sauvegarde et maintenance​

Non applicable pour Crawl4AI — le service est sans état et ne contient pas de base de données. backup_schedule, backup_retention_days et enable_backup_import sont présents pour la compatibilité de l'interface mais n'ont aucun effet.

Groupe 8 — Quota de ressources​

VariableValeur par défautDescription
enable_resource_quotafalsePlafonner les comptes CPU/mémoire/objets de l'espace de noms.
quota_cpu_requests8Total des requêtes CPU autorisées sur tous les pods.
quota_cpu_limits16Total des limites CPU autorisées.
quota_memory_requests32GiDoit utiliser des unités binaires (32Gi, 8192Mi) — les entiers nus sont lus comme des octets et bloquent la planification.
quota_memory_limits64GiDoit utiliser des unités binaires — même contrainte que quota_memory_requests.
quota_max_pods20Nombre maximal de pods dans l'espace de noms.

Groupe 9 — CI/CD et intégration GitHub​

Intégration standard App_GKE Cloud Build / Cloud Deploy — voir App_GKE. Entrées clés : enable_cicd_trigger, github_repository_url, github_token, enable_cloud_deploy.

Groupe 10 — Jobs et tâches planifiées​

VariableValeur par défautDescription
initialization_jobs[]Crawl4AI_Common ne fournit pas de job d'initialisation par défaut — laissez vide sauf si une étape de configuration personnalisée est nécessaire.
cron_jobs[]CronJobs Kubernetes optionnels (par exemple, des crawls périodiques de préchauffage du cache).

Groupe 11 — Cloud Storage et Artifact Registry​

VariableValeur par défautDescription
create_cloud_storagetrueProvisionner tous les buckets listés dans storage_buckets.
storage_buckets[]Aucun bucket par défaut — Crawl4AI est sans état. Ajoutez des entrées pour provisionner des buckets de résultats de crawl.
gcs_volumes[]Montages GCS Fuse.
manage_storage_kms_iam / enable_artifact_registry_cmekfalseOptions CMEK.
max_images_to_retain / delete_untagged_images / image_retention_days(défini)Politique de nettoyage d'Artifact Registry.

Groupe 12 — Backend de base de données​

VariableValeur par défautDescription
database_typeNONEFixe — aucune instance Cloud SQL n'est provisionnée pour Crawl4AI.

Toutes les autres variables de base de données (enable_cloudsql_volume, sql_instance_name, etc.) sont présentes pour la compatibilité de l'interface et n'ont aucun effet.

Groupe 14 — Observabilité et santé​

VariableValeur par défautDescription
startup_probe_config / startup_probeHTTP /health, délai initial de 40 sLaisser le temps à supervisord de démarrer Redis puis Gunicorn avant le déclenchement de la première sonde.
health_check_config / liveness_probeHTTP /health, délai initial de 60 sSonde de vivacité après le démarrage.
uptime_check_configdésactivéTest de disponibilité Cloud Monitoring optionnel.
alert_policies[]Stratégies d'alerte métrique optionnelles.

Groupe 16 — Fonctionnalités GKE avancées​

VariableValeur par défautDescription
enable_pod_disruption_budgettrueProtéger la disponibilité pendant les mises à niveau de nœuds. Ignoré automatiquement lorsque max_instance_count ≤ 1.
pdb_min_available1Augmentez min_instance_count au-dessus de 1 si vous avez besoin d'une marge d'éviction.
enable_topology_spreadfalseRépartir les pods sur plusieurs zones.
enable_network_segmentationfalseAppliquer des NetworkPolicies Kubernetes pour isoler l'espace de noms.

Groupe 17 — StatefulSet​

VariableValeur par défautDescription
stateful_pvc_enablednullActiver les modèles PVC si la persistance du cache local est requise.
stateful_pvc_size20GiTaille du PVC par pod.
stateful_pvc_mount_path/mnt/dataChemin du conteneur pour le PVC.
stateful_pvc_storage_classstandard-rwoStorageClass Kubernetes.

Groupe 19 — Paramètres de l'application Crawl4AI​

VariableValeur par défautDescription
redis_task_ttl_seconds3600TTL en secondes pour les résultats de tâche dans Redis intégré. Plage valide : 300–86400. Trop court, les résultats expirent avant que les clients ne les interrogent ; trop long, cela entraîne une croissance illimitée de la mémoire.

5. Sorties​

Ces valeurs sont renvoyées lors d'un déploiement réussi et constituent le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.

SortieDescription
service_nameNom du service Kubernetes.
namespaceEspace de noms dans lequel la charge de travail s'exécute.
service_cluster_ipClusterIP intra-cluster.
stage_service_cluster_ipsMappage des ClusterIP pour les services spécifiques à l'étape (Cloud Deploy).
service_external_ipIP externe de l'équilibreur de charge (lorsqu'une IP statique est réservée).
service_urlURL pour atteindre Crawl4AI.
storage_bucketsBuckets Cloud Storage créés.
network_name / network_exists / regionsRéseau VPC, présence, régions disponibles.
container_image / container_registryImage déployée et dépôt Artifact Registry.
monitoring_enabled / monitoring_notification_channelsStatut et canaux de surveillance.
initialization_jobsNoms des jobs de configuration.
deployment_id / tenant_id / resource_prefixIdentifiants de nommage.
project_id / project_numberIdentifiants de projet.
cicd_enabled / github_repository_url / github_repository_owner / github_repository_name / cicd_configurationStatut et détails CI/CD.
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_idRegistre et déclencheur de build.
kubernetes_readyIndique si le cluster/la charge de travail est prêt.
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_modeStatut VPC-SC.
audit_logging_enabled / artifact_registry_cmek_enabledJournalisation d'audit et statut CMEK.

6. Pièges de configuration et valeurs par défaut judicieuses​

Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).

ParamètreValeur judicieuseRisqueConséquence si incorrect
memory_limit (dans container_resources)8GiCritiqueEn dessous de 4 Gio, les processus Chromium sont tués par OOM en plein crawl, renvoyant des résultats partiels ; en dessous de 2 Gio, le conteneur ne démarre pas.
quota_memory_requests / quota_memory_limitsunités binaires (32Gi)CritiqueLes entiers nus sont lus comme des octets par Kubernetes et bloquent toute planification de pod.
REDIS_HOST / REDIS_PORT (variables d'environnement)ne pas définirCritiqueSurcharger ces valeurs rompt la connexion Redis intégrée ; tous les jobs de crawl asynchrones échouent immédiatement.
database_typeNONECritiqueCrawl4AI n'a pas de base de données ; modifier cela entraîne un provisionnement Cloud SQL inutile et un échec de démarrage.
min_instance_count1ÉlevéLa mise à l'échelle à zéro (0) provoque des démarrages à froid de 30 à 60 s (supervisord doit démarrer Redis puis Gunicorn) ; la première requête expire généralement.
cpu_limit (dans container_resources)4ÉlevéEn dessous de 2 vCPU, le rendu JavaScript de Chromium déclenche des timeouts internes sur des pages complexes, ralentissant considérablement le débit de crawl.
enable_iap / enable_cloud_armoractiver pour la productionÉlevéSans IAP ou un jeton d'API de crawl, l'IP du LoadBalancer est accessible publiquement et n'importe qui peut soumettre des jobs de crawl.
LLM_API_KEY / clés API du fournisseurvia secret_environment_variablesÉlevéLes clés manquantes ou expirées entraînent l'échec silencieux de l'extraction basée sur LLM (extracted_content vide). Injecter comme secrets, pas comme variables d'environnement en texte clair.
redis_task_ttl_seconds3600MoyenTrop court (< 300 s) entraîne l'expiration des résultats avant que les clients asynchrones ne les interrogent ; trop long entraîne une croissance illimitée de la mémoire Redis.
session_affinityNoneMoyenDéfinir à ClientIP lie les clients à un seul pod et rompt la distribution de charge sans aider au routage des tâches (les ID de tâche sont déjà locaux au pod).
application_versiontag épingléMoyenL'utilisation de "latest" n'est pas reproductible ; une reconstruction peut entraîner un changement d'API Crawl4AI cassant.
enable_image_mirroringtrueFaibleLes images Crawl4AI sont volumineuses ; sans mise en miroir, chaque démarrage de pod tire de Docker Hub et risque des échecs de limite de débit.

Pour le comportement du socle référencé tout au long — IAM et Workload Identity, autoscaling, ingress et certificats, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC et mise en miroir d'images — voir App_GKE. La configuration d'application partagée spécifique à Crawl4AI est décrite dans Crawl4AI_Common.

Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.