Aller au contenu principal

Crawl4AI sur Google Cloud Run

Crawl4AI sur Google Cloud Run

Crawl4AI est un robot d'exploration et de scraping web open-source compatible LLM. Ce module déploie Crawl4AI sur Cloud Run v2 au-dessus de la fondation App_CloudRun, qui provisionne et gère l'infrastructure Google Cloud partagée.

Ce guide se concentre sur les services cloud utilisés par Crawl4AI et sur la manière de les explorer et de les exploiter depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à toutes les applications Cloud Run — identité de service, ingress et équilibrage de charge, mise à l'échelle et concurrence, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement — reportez-vous au guide de la fondation App_CloudRun plutôt que de les répéter ici.


Ce que coûte Crawl4AI sur RAD, et comment cela se compare​

Crawl4AI sur le module Cloud Run de RAD coûte environ 22,33 US$ par mois dans un projet Google Cloud que vous possédez, plus des frais de module uniques de 40 crédits (4 US$). Crawl4AI est un robot d'exploration et de scraping web open-source compatible LLM pour les pipelines d'ingestion RAG. GKE Autopilot convient à Crawl4AI qui doit rester actif, s'adapter à plusieurs pods ou fonctionner aux côtés d'autres charges de travail Kubernetes ; pour le coût le plus bas, ce module Cloud Run est généralement le bon choix — consultez le guide GKE si vous avez besoin de l'autre.

Si Crawl4AI n'est nécessaire qu'occasionnellement — une démo, un essai, une charge de travail saisonnière ou d'étude — un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires, de sorte que les 22,33 US$ deviennent quelques dollars par mois. Voir Mettez-le en pause gratuitement, ci-dessous.

Ce que vous payez sur RAD​

Dans un projet Google Cloud que vous possédezDans un projet géré par RAD pour vous
Frais de module, une fois par déploiement40 crédits (4 US$ au prix de la recharge)36 crédits (10 % de moins)
BuildsInclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés au temps de build à la minuteIdem
Coût d'exécution Google CloudFacturé par Google à votre propre compte de facturation, environ 22,33 US$ par mois pour la configuration par défaut (tableau ci-dessous)Mesuré à l'heure en crédits ; RAD publie 16 crédits par jour, environ 480 par mois (environ 48 US$ au prix de la recharge)
Qui possède quoiVous possédez le projet et sa facturation ; RAD le déploie et le met à jourRAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde acheté minimum est conservé en réserve

Votre premier déploiement réussi sur RAD est exempt des frais de module, quel que soit le montant des frais : une fois par compte, pour un module que vous déployez et payez vous-même (dans une solution, les frais d'une application : la première à réussir ; jamais une session de lab ou un projet client).

10 crédits coûtent 1 US$ pour une recharge ponctuelle, moins sur un plan. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par toutes les applications du projet, de sorte qu'une deuxième application n'ajoute pas une deuxième base de données.

Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :

Ressource (module par défaut)Par mois
Cloud Run, 1x vCPU / 4 GiB (scaleToZero)16,33 US$
Cloud NAT et réseau5 US$
Cloud Storage (modules complémentaires, sauvegardes)1 US$
Totalenviron 22,33 US$

Comment cela se compare​

  • Si vous l'exécutez vous-même, un VPS exécutant le propre conteneur de Crawl4AI coûte moins cher en espèces : dimensionné à environ 1 vCPU/4 GiB, un VPS comparable (Hetzner ou DigitalOcean) coûte environ 24–48 $ par mois, ou une VM GCP de classe e2-standard-2 environ 49 $ — plus votre propre temps pour les sauvegardes, les correctifs de sécurité et les mises à niveau, que le Cloud SQL géré par RAD, Secret Manager et la surveillance couvrent pour vous.
  • RAD ne prétend jamais être moins cher que l'infrastructure nue en termes monétaires — ce n'est généralement pas le cas. La différence est ce que RAD gère pour vous : les correctifs, les sauvegardes, les secrets et la surveillance, plus la possibilité de mettre Crawl4AI en pause gratuitement plutôt que de payer pour une capacité inactive (voir ci-dessous).

Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le lorsque vous en avez besoin​

Si Crawl4AI s'exécute dans un projet géré par RAD pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez l'ensemble du projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à Crawl4AI dont vous n'avez besoin qu'occasionnellement que de le faire fonctionner en continu.

Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, sera utilisable après sa restauration, de sorte que la restauration ne peut pas être invoquée comme moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.

  • Comment ça marche. La suppression d'un projet géré par RAD dissocie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. Comme la facturation est déjà dissociée, rien n'est facturé pendant cette période d'attente. Contrairement à la suppression d'un module, cela ne supprime pas les ressources Cloud Run une par une — l'ensemble du projet, et tout ce qu'il contient, s'arrête simplement.
  • La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google de restaurer le projet et de rattacher son compte de facturation, puis vous demande d'exécuter Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
  • Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 48 US$ par mois pour le maintenir en fonctionnement. Déployez Crawl4AI, utilisez-le, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez les frais de module qu'une seule fois et pour les heures où il était réellement actif.
  • Ce que cela nécessite. Vous devez posséder le projet (pas un projet que vous apportez et dont RAD ne gère que la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox que la plupart des utilisations d'étude et de démonstration conviennent). Google indique que la plupart des services sont à nouveau pleinement fonctionnels dans les 36 heures suivant une restauration.
  • Une véritable lacune : le bucket de sauvegarde ne survit pas. Les sauvegardes nocturnes sont écrites dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probable qu'il disparaisse dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé Crawl4AI et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.

Payez uniquement pendant que vous l'utilisez, l'autre méthode : supprimer et redéployer​

Cloud Run s'adapte déjà à zéro entre les requêtes. L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.

  • Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) : 40 crédits (4,00 US$) dans votre propre projet. La suppression ne permet d'économiser de l'argent que si Crawl4AI restait inutilisé pendant environ 7 jours ou plus dans votre propre projet (0,74 US$ par jour), ou environ 3 jours ou plus dans un projet géré par RAD (16 crédits par jour).
  • Conservez d'abord vos données. Les sauvegardes nocturnes sont écrites dans un bucket à l'intérieur du déploiement et sont supprimées avec celui-ci, alors copiez la dernière sauvegarde avant de la supprimer si vous souhaitez la conserver.
  • Notez vos paramètres. RAD ne recrée pas un déploiement supprimé pour vous ; vous saisissez à nouveau les paramètres lors du déploiement.

Sessions de lab et environnements gérés​

  • Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant reçoit l'application dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits inutilisés sont reversés au formateur.
  • Environnements gérés, pour les cabinets de conseil. Un partenaire exécute l'application pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire transfère le projet et les déploiements deviennent la propriété du client.

Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.

Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; frais propres à RAD et estimations de crédits quotidiens de radmodules.dev/pricing ; Supprimer et restaurer des projets pour la fenêtre de récupération de 30 jours et ce qu'elle dit sur les objets Cloud Storage sans suppression logicielle. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.

1. Vue d'ensemble​

Crawl4AI s'exécute en tant que conteneur Python/ASGI sur Cloud Run v2 Gen2. Le déploiement relie un ensemble ciblé de services Google Cloud :

CapacitéService Google CloudNotes
CalculCloud Run v2 (Gen2)Service Python, 1 vCPU / 4 GiB par défaut, autoscaling basé sur les requêtes
File d'attente de tâchesRedis intégré (dans le conteneur)Supervisord démarre Redis à l'intérieur du conteneur ; éphémère par instance
Serveur ASGIGunicorn intégré (dans le conteneur)Port 11235, géré par supervisord avec Redis
Stockage d'objetsCloud StorageBuckets optionnels pour la mise en cache des résultats de crawl (aucun par défaut)
SecretsSecret ManagerClés API et secret JWT injectés au moment de l'exécution
IngressURL Cloud Run / Équilibrage de charge CloudURL run.app par défaut, équilibreur de charge HTTPS externe optionnel + domaine personnalisé

Valeurs par défaut judicieuses à connaître d'emblée :

  • Pas de base de données externe. database_type est fixé à NONE — Cloud SQL n'est pas provisionné. Tout l'état des tâches réside dans l'instance Redis intégrée au conteneur et est perdu lorsque le conteneur redémarre.
  • Gen2 est requis. Supervisord a besoin d'un arbre de processus Linux complet, et Chromium utilise /tmp pour la mémoire partagée via --disable-dev-shm-usage. Gen1 ne peut pas prendre en charge cela.
  • L'égresse ALL_TRAFFIC est requise. Le robot d'exploration doit atteindre des URL publiques arbitraires sur Internet ; PRIVATE_RANGES_ONLY bloque toutes les cibles d'exploration externes.
  • Redis s'exécute à l'intérieur du conteneur. Ne définissez pas REDIS_HOST ou REDIS_PORT comme variables d'environnement — elles doivent rester à localhost:6379 pour atteindre l'instance groupée.
  • La sécurité est désactivée par défaut. L'authentification JWT nécessite de fournir un SECRET_KEY via secret_environment_variables et un config.yml personnalisé avec security.jwt_enabled=true.

2. Services Google Cloud et comment les explorer​

Toutes les commandes supposent que PROJECT et REGION sont définis. Les noms de services et de ressources sont signalés dans les Sorties du déploiement.

A. Cloud Run — le service Crawl4AI​

Crawl4AI s'exécute en tant que service Cloud Run v2 Gen2 qui s'adapte automatiquement en fonction de la charge de requêtes entre le nombre minimal et maximal d'instances. Chaque déploiement crée une révision immuable ; le trafic peut être réparti entre les révisions pour des déploiements sûrs. Chaque instance exécute son propre arbre supervisord : Redis (priorité 10) démarre en premier, puis Gunicorn (priorité 20).

  • Console : Cloud Run → sélectionnez le service pour les révisions, le trafic, les journaux et les métriques.
  • CLI :
    gcloud run services list --project "$PROJECT" --region "$REGION"
    gcloud run services describe <service-name> --project "$PROJECT" --region "$REGION"
    gcloud run revisions list --service <service-name> --project "$PROJECT" --region "$REGION"

Voir App_CloudRun pour la mise à l'échelle, la concurrence, l'environnement d'exécution et la répartition du trafic.

B. Redis intégré et file d'attente de tâches​

Redis s'exécute à l'intérieur de chaque instance de conteneur en tant que processus géré par supervisord sur localhost:6379. Il stocke les résultats des tâches avec un TTL configurable (redis_task_ttl_seconds, par défaut 3600 s). Les résultats des tâches sont perdus lorsque le conteneur redémarre — c'est attendu pour une API de crawl éphémère. Il n'y a pas d'instance Memorystore ; le Redis intégré n'apparaît pas dans la console.

Il n'y a pas d'accès direct au shell sur Cloud Run, mais vous pouvez observer le comportement de Redis à partir des journaux :

gcloud run services logs read <service-name> --project "$PROJECT" --region "$REGION" \
--filter="supervisord" --limit 50

C. Cloud Storage (facultatif)​

Crawl4AI n'a pas de bucket GCS par défaut — il est sans état. Des buckets optionnels peuvent être provisionnés via storage_buckets pour stocker les résultats de crawl ou des fichiers config.yml personnalisés.

  • Console : Cloud Storage → Buckets.
  • CLI :
    gcloud storage buckets list --project "$PROJECT"
    gcloud storage ls gs://<results-bucket>/

Voir App_CloudRun pour les montages GCS Fuse et CMEK.

D. Secret Manager​

Les clés API LLM et le secret de signature JWT sont stockés en tant que secrets Secret Manager et injectés dans le service au moment de l'exécution ; le texte en clair n'apparaît jamais dans la configuration. Crawl4AI n'a pas de secrets auto-générés — tous les secrets doivent être fournis via secret_environment_variables.

  • Console : Sécurité → Secret Manager.
  • CLI :
    gcloud secrets list --project "$PROJECT"
    gcloud secrets versions access latest --secret=<secret-name> --project "$PROJECT"

Noms de secrets reconnus (passez le nom du secret Secret Manager, pas la valeur) : SECRET_KEY, OPENAI_API_KEY, ANTHROPIC_API_KEY, DEEPSEEK_API_KEY, GROQ_API_KEY, GEMINI_API_KEY, LLM_API_KEY.

Voir App_CloudRun pour les détails d'injection et de rotation.

E. Réseau et ingress​

Le service est accessible à son URL run.app par défaut avec ingress_settings = "all". Un équilibreur de charge HTTPS externe avec un domaine personnalisé, Cloud CDN et Cloud Armor peuvent être superposés. L'égresse VPC est définie sur ALL_TRAFFIC afin que le robot d'exploration puisse atteindre des URL publiques arbitraires.

  • Console : Cloud Run (URL du service) ; Services réseau → Équilibrage de charge.
  • CLI :
    gcloud run services describe <service-name> --region "$REGION" --format='value(status.url)'
    gcloud compute addresses list --project "$PROJECT"

Voir App_CloudRun.

F. Cloud Logging et Monitoring​

Les journaux de conteneur (sortie Python diffusée via PYTHONUNBUFFERED=1) sont envoyés à Cloud Logging. Les métriques Cloud Run sont envoyées à Cloud Monitoring, avec des tests de disponibilité et des politiques d'alerte optionnels.

  • Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
  • CLI :
    gcloud run services logs read <service-name> --project "$PROJECT" --region "$REGION" --limit 50

3. Comportement de l'application Crawl4AI​

  • Séquence de démarrage de Supervisord. À chaque démarrage de conteneur, supervisord (PID 1) démarre Redis en premier (priorité 10), puis Gunicorn (priorité 20). Le point de terminaison /health ne répond qu'après que les deux processus sont prêts — prévoyez au moins 40 secondes de délai initial avant le début des vérifications de santé.

  • Points de terminaison de l'API REST. Crawl4AI expose :

    Point de terminaisonMéthodeObjectif
    /crawlPOSTSoumet un job de crawl asynchrone ; renvoie un task_id
    /task/{id}GETInterroge l'état et récupère les résultats d'une tâche
    /crawl/syncPOSTCrawl synchrone (bloque jusqu'à la fin)
    /healthGETVérification de santé — renvoie {"status":"ok"} lorsqu'il est prêt
    /playgroundGETInterface utilisateur de crawl interactive basée sur le navigateur
  • Cycle de vie des résultats de tâche. Les résultats de crawl asynchrones sont stockés dans le Redis intégré avec un TTL de redis_task_ttl_seconds (1 heure par défaut). Après l'expiration du TTL, le résultat est perdu. Il n'y a pas de stockage de résultats durable.

  • Pas de migrations de base de données ni de jobs d'initialisation. Crawl4AI est entièrement sans état — Crawl4AI_Common ne fournit aucun job d'initialisation. Aucune configuration de base de données n'est requise.

  • Extraction basée sur LLM. Fournissez les clés API LLM via secret_environment_variables et définissez LLM_PROVIDER (ou des clés spécifiques au fournisseur telles que OPENAI_API_KEY) via environment_variables pour activer l'extraction de contenu basée sur l'IA.

  • Authentification JWT (facultatif). La sécurité est désactivée par défaut. Pour l'activer, fournissez SECRET_KEY via secret_environment_variables et un config.yml personnalisé avec security.jwt_enabled=true. Le point de terminaison /token émet des JWT de courte durée lorsque l'authentification est activée.

  • Avertissement CRAWL4AI_HOOKS_ENABLED. La définition de cette variable sur "true" active l'exécution de code Python arbitraire via des hooks de webhook. N'activez que dans un environnement entièrement fiable.


4. Variables de configuration​

Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour Crawl4AI sont listés ; toutes les autres entrées sont héritées de App_CloudRun avec son comportement standard.

Groupe 1 — Projet et identité​

VariableValeur par défautDescription
project_id(requis)Projet Google Cloud cible.
regionus-central1Région pour le service et les ressources régionales.

Groupe 2 — Environnement de déploiement​

VariableValeur par défautDescription
tenant_iddemoSuffixe court qui rend les noms de ressources uniques par environnement.
support_users[]E-mails autorisés à accéder au projet et aux alertes de surveillance.
resource_labels{}Étiquettes appliquées à toutes les ressources.

Groupe 3 — Identité de l'application​

VariableValeur par défautDescription
application_namecrawl4aiNom de base des ressources. Ne pas modifier après le premier déploiement.
application_display_nameCrawl4AI Web CrawlerNom convivial affiché dans la console.
description(défini)Description du service.
application_version0.7.8Tag de version de l'image Crawl4AI ; épingler à un tag spécifique pour la production.

Groupe 4 — Exécution et mise à l'échelle​

VariableValeur par défautDescription
deploy_applicationtrueDéfinissez false pour provisionner uniquement l'infrastructure sans déployer le conteneur.
cpu_limit1000mCPU par instance ; ~0,5–1 vCPU par contexte de navigateur actif.
memory_limit4GiMémoire par instance. Minimum 4 GiB pour un fonctionnement stable de Chromium ; 8 GiB recommandés pour les crawls concurrents.
min_instance_count0Instances minimales. Définir sur 1 pour un pool Chromium chaud ; la valeur par défaut 0 entraîne des démarrages à froid de 30–60 s.
max_instance_count3Instances maximales (plafond de coût).
cpu_always_allocatedfalseFacturation basée sur les requêtes — un crawl s'exécute de manière synchrone dans sa requête HTTP sans travail de fond post-réponse, de sorte que la limitation du CPU entre les requêtes est sûre.
execution_environmentgen2Requis — Gen2 pour l'arbre de processus de supervisord et la mémoire partagée /tmp de Chromium.
timeout_seconds3600Durée maximale de la requête ; définie sur le maximum de Cloud Run pour permettre de longs jobs de crawl par lots.
container_protocolhttp1Version du protocole HTTP.
enable_image_mirroringtrueMiroir de l'image Crawl4AI vers Artifact Registry pour éviter les limites de débit de Docker Hub.
traffic_split[]Allocation de trafic canary/bleu-vert basée sur un pourcentage entre les révisions.

Groupe 5 — Accès et réseau​

VariableValeur par défautDescription
ingress_settingsallSources de trafic autorisées à atteindre le service. Utilisez "internal-and-cloud-load-balancing" lorsqu'il est précédé de Cloud Armor.
vpc_egress_settingALL_TRAFFICRequis — achemine tout le trafic sortant via le VPC afin que le robot d'exploration puisse atteindre des URL publiques arbitraires.
enable_iapfalseExiger la connexion Google via Identity-Aware Proxy.
iap_authorized_users / iap_authorized_groups[]Qui peut accéder via IAP.
enable_cloud_armorfalseProvisionner un équilibreur de charge HTTPS global avec Cloud Armor WAF.
application_domains[]Noms d'hôtes personnalisés pour l'équilibreur de charge externe.
enable_cdnfalseActiver Cloud CDN sur le backend de l'équilibreur de charge.

Groupe 6 — Variables d'environnement et secrets​

VariableValeur par défautDescription
environment_variables{}Paramètres supplémentaires non secrets. PYTHONUNBUFFERED et REDIS_TASK_TTL sont définis automatiquement. Ne définissez pas REDIS_HOST ou REDIS_PORT. Substitutions reconnues : LLM_PROVIDER, LLM_BASE_URL, LLM_TEMPERATURE, CRAWL4AI_HOOKS_ENABLED.
secret_environment_variables{}Mappage de variable d'environnement → nom de secret Secret Manager. Utilisez pour SECRET_KEY, OPENAI_API_KEY, ANTHROPIC_API_KEY, etc.
secret_propagation_delay30Secondes à attendre après la création du secret avant de continuer.
secret_rotation_period2592000sFréquence de notification de rotation de Secret Manager.

Groupe 7 — Sauvegarde et restauration​

Non applicable pour Crawl4AI — le service est sans état et ne contient pas de base de données. backup_schedule, backup_retention_days et enable_backup_import sont présents pour la compatibilité d'interface mais n'ont aucun effet.

Groupe 8 — CI/CD et autorisation binaire​

Intégration standard de Cloud Build / Cloud Deploy d'App_CloudRun — voir App_CloudRun. Entrées clés : enable_cicd_trigger, github_repository_url, github_token, enable_cloud_deploy, enable_binary_authorization.

Groupe 9 — Jobs et SQL personnalisé​

VariableValeur par défautDescription
initialization_jobs[]Crawl4AI_Common ne fournit pas de job d'initialisation par défaut — laissez vide sauf si une étape de configuration personnalisée est nécessaire.
cron_jobs[]Jobs Cloud Run récurrents optionnels déclenchés par Cloud Scheduler.
enable_custom_sql_scriptsfalseNon applicable pour Crawl4AI (pas de base de données).

Groupe 11 — Stockage et système de fichiers​

VariableValeur par défautDescription
create_cloud_storagetrueProvisionner tous les buckets listés dans storage_buckets.
storage_buckets[]Aucun bucket par défaut — Crawl4AI est sans état. Ajoutez des entrées pour provisionner des buckets de résultats de crawl.
enable_nfsfalseProvisionner un volume NFS Filestore. Non requis pour les déploiements standard de Crawl4AI.
gcs_volumes[]Montages GCS Fuse.
manage_storage_kms_iam / enable_artifact_registry_cmekfalseOptions CMEK.

Groupe 12 — Backend de base de données​

VariableValeur par défautDescription
database_typeNONEFixe — aucune instance Cloud SQL n'est provisionnée pour Crawl4AI.

Toutes les autres variables de base de données (enable_cloudsql_volume, database_password_length, etc.) sont présentes pour la compatibilité d'interface et n'ont aucun effet.

Groupe 14 — Observabilité et santé​

VariableValeur par défautDescription
startup_probe_config / startup_probeHTTP /health, délai de 40 sLaisser le temps à supervisord de démarrer Redis puis Gunicorn avant que la première sonde ne se déclenche.
health_check_config / liveness_probeHTTP /health, délai de 60 sSonde de vivacité après le démarrage.
uptime_check_configdésactivé par défaut, chemin /healthTest de disponibilité Cloud Monitoring.
alert_policies[]Politiques d'alerte métrique optionnelles.
max_images_to_retain / delete_untagged_images / image_retention_days(défini)Politique de nettoyage d'Artifact Registry.

Groupe 19 — Paramètres de l'application Crawl4AI​

VariableValeur par défautDescription
redis_task_ttl_seconds3600TTL en secondes pour les résultats de tâche dans Redis intégré. Plage valide : 300–86400. Trop court, les résultats expirent avant que les clients ne les interrogent ; trop long, la mémoire augmente de manière illimitée.

5. Sorties​

Retourné lors d'un déploiement réussi — le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.

SortieDescription
service_nameNom du service Cloud Run.
service_urlURL run.app par défaut du service.
service_locationRégion dans laquelle le service s'exécute.
stage_servicesURL de service spécifiques à l'étape (Cloud Deploy).
load_balancer_ip / load_balancer_urlIP / URL de l'équilibreur de charge HTTPS externe (lorsqu'il est activé).
storage_bucketsBuckets Cloud Storage créés.
network_name / network_exists / regionsRéseau VPC, présence, régions.
container_image / container_registryImage déployée et dépôt Artifact Registry.
monitoring_enabled / monitoring_notification_channels / uptime_check_namesÉtat de la surveillance, canaux, tests de disponibilité.
initialization_jobsNoms des jobs de configuration.
deployment_id / tenant_id / resource_prefixIdentifiants de nommage.
project_id / project_numberIdentifiants de projet.
cicd_enabled / github_repository_url / github_repository_owner / github_repository_name / cicd_configurationÉtat et détails CI/CD.
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_idRegistre et déclencheur de build.
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_modeÉtat VPC-SC.
audit_logging_enabled / artifact_registry_cmek_enabledJournalisation d'audit et état CMEK.

6. Pièges de configuration et valeurs par défaut judicieuses​

Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).

ParamètreValeur judicieuseRisqueConséquence en cas d'erreur
vpc_egress_settingALL_TRAFFICCritiqueL'utilisation de PRIVATE_RANGES_ONLY bloque toutes les cibles de crawl externes ; chaque crawl vers une URL publique échoue avec une erreur de connexion.
memory_limit8GiCritiqueEn dessous de 4 GiB, les processus Chromium sont tués par OOM en plein crawl, renvoyant des résultats partiels ; en dessous de 2 GiB, le conteneur ne démarre pas.
REDIS_HOST / REDIS_PORT (variables d'environnement)ne pas définirCritiqueLa surcharge de ces variables rompt la connexion Redis intégrée ; tous les jobs de crawl asynchrones échouent immédiatement.
database_typeNONECritiqueCrawl4AI n'a pas de base de données ; la modification de cette valeur entraîne un provisionnement Cloud SQL inutile et un échec de démarrage.
execution_environmentgen2ÉlevéGen1 ne peut pas exécuter l'arbre de processus de supervisord ; le service ne parvient pas à se déployer avec la configuration réseau VPC.
min_instance_count1ÉlevéLa mise à l'échelle à zéro (0) entraîne des démarrages à froid de 30–60 s (supervisord doit démarrer Redis puis Gunicorn) ; la première requête expire généralement.
cpu_limit4000mÉlevéEn dessous de 2000m, le rendu Chromium déclenche des délais d'attente internes sur les pages complexes ; le débit de crawl diminue considérablement.
enable_iap / enable_cloud_armoractiver pour la productionÉlevéAvec ingress_settings = "all", l'API est accessible publiquement et n'importe qui peut soumettre des jobs de crawl consommant des ressources cloud.
LLM_API_KEY / clés API du fournisseurvia secret_environment_variablesÉlevéLes clés manquantes ou expirées entraînent l'échec silencieux de l'extraction basée sur LLM (extracted_content vide). Injecter en tant que secrets, pas en tant que variables d'environnement en texte clair.
redis_task_ttl_seconds3600MoyenTrop court (< 300 s) entraîne l'expiration des résultats avant que les clients asynchrones ne les interrogent ; trop long entraîne une croissance illimitée de la mémoire. Plage valide : 300–86400.
timeout_seconds3600MoyenLes crawls profonds ou l'extraction LLM de grandes pages peuvent prendre plusieurs minutes ; réduire uniquement pour les API de courte durée où les requêtes zombies doivent être terminées plus rapidement.
application_versiontag épingléMoyenL'utilisation de "latest" n'est pas reproductible ; une reconstruction peut entraîner un changement d'API Crawl4AI cassant.
enable_image_mirroringtrueFaibleLes images Crawl4AI sont volumineuses ; sans mise en miroir, chaque déploiement tire de Docker Hub et risque des échecs de limite de débit et des démarrages à froid lents.

Pour le comportement de base référencé tout au long — identité de service, mise à l'échelle et concurrence, ingress et équilibrage de charge, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC et mise en miroir d'images — voir App_CloudRun. La configuration d'application partagée spécifique à Crawl4AI est décrite dans Crawl4AI_Common.

Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.