Crawl4AI sur GKE Autopilot — Guide de lab

📖 Guide de configuration

Vue d’ensemble

Durée estimée : 45–90 minutes

Crawl4AI est un robot d’exploration et d’extraction web open source, adapté aux LLM et conçu pour les équipes IA qui construisent des pipelines RAG, des bases de connaissances et des flux de surveillance. Ce lab vous fait parcourir le cycle de vie opérationnel complet du module Crawl4AI on GKE Autopilot sur Google Cloud : le déployer, y accéder et le vérifier, l’exploiter au quotidien, l’observer, diagnostiquer les problèmes courants et le démanteler.

Le lab porte sur l’exploitation du module GKE et de la plateforme Google Cloud, et non sur les fonctionnalités du produit Crawl4AI. Pour la liste complète des services provisionnés et de chaque paramètre de configuration (organisés par groupe), consultez le Guide de configuration — ce lab ne reprend volontairement pas ce détail afin de rester exact dans la durée.

Objectifs

À la fin de ce lab, vous saurez :

• Déployer le module depuis la plateforme RAD et repérer les ressources qu’il provisionne.
• Vous connecter au cluster GKE et accéder à la charge de travail en cours d’exécution.
• Effectuer les opérations du jour 2 — inspecter, mettre à l’échelle, mettre à jour et gérer les secrets.
• Observer la charge de travail avec Cloud Logging et Cloud Monitoring.
• Diagnostiquer et résoudre les problèmes de déploiement et d’exécution les plus courants.
• Démanteler proprement le déploiement.

Prérequis

• Services_GCP (fournit le VPC, le cluster GKE Autopilot, Artifact Registry et les comptes de service partagés dont dépend ce module). Vous n’avez pas besoin de le déployer vous-même au préalable — la plateforme détecte automatiquement s’il existe déjà dans le projet cible et, sinon, le provisionne avant ce module (voir la tâche 1).
• Un projet Google Cloud avec la facturation activée.
• gcloud CLI et kubectl installés ; gcloud auth login et gcloud auth application-default login exécutés.
• Le rôle IAM Project Owner (ou équivalent) sur le projet.
• Vous apportez votre propre projet ? Avant le premier déploiement dans celui-ci, la boîte de dialogue de confirmation du déploiement vous demande de prouver que vous le contrôlez (Get verification code, exécutez les commandes qu’elle affiche en tant qu’Owner du projet, puis Verify) et d’attribuer le rôle Owner au compte de service de déploiement RAD. Un projet que RAD crée pour vous n’exige ni l’un ni l’autre.
• Mode avancé pour les modifications ultérieures. Le formulaire de création ne demande que la première page de paramètres (et, dans un projet que RAD crée pour vous, guère plus que le nom du tenant et la région). Tous les autres paramètres du Guide de configuration — y compris les paramètres de mise à l’échelle et de version des tâches du jour 2 — se modifient ensuite avec Update sur la page du déploiement après avoir coché Enable advanced mode, ce qui exige un solde de crédits couvrant le coût de build estimé de la mise à jour (les mises à jour n’entraînent jamais de frais de module). Dans un environnement de lab, seul un administrateur peut utiliser le mode avancé.
• Un accès à la plateforme RAD avec l’autorisation de déployer des modules dans le projet.

Définissez une fois ces variables shell ; chaque tâche ci-dessous les réutilise :

export PROJECT="<your-gcp-project-id>"
export REGION="us-central1"           # the region you deploy into

---

Tâche 1 — Déployer le module [Automatisé]

1. Ouvrez Solutions → Solution Catalog → RAD modules dans la navigation supérieure de la plateforme RAD, ouvrez Crawl4AI (GKE) dans la liste Platform Modules pour démarrer la configuration, choisissez Configuration Form sous How would you like to configure this deployment? (le formulaire s’ouvre sur le Conversational Assistant si vous détenez des crédits achetés ou si vous êtes partenaire ou administrateur), renseignez project_id et passez en revue les paramètres. Ne configurez que ce dont vous avez besoin — le Guide de configuration documente chaque paramètre par groupe, avec ses valeurs par défaut. Cliquez sur Deploy Module, vérifiez le coût estimé dans la boîte de dialogue Deployment Confirmation lorsqu’elle apparaît et cliquez sur Submit (si la boîte de dialogue ajoute alors une étape de confirmation, comme la vérification d’un projet que vous apportez, effectuez-la et cliquez sur Confirm), ce qui ouvre la page d’état du déploiement avec les journaux en temps réel.

2. La plateforme déploie la charge de travail dans le cluster GKE Autopilot, réplique l’image de conteneur dans Artifact Registry, provisionne un Horizontal Pod Autoscaler et expose le service via un LoadBalancer. Crawl4AI n’a ni base de données externe ni job d’initialisation — les premiers déploiements se terminent plus vite que ceux des modules adossés à une base de données.

3. Connectez-vous au cluster et découvrez l’espace de noms à l’aide de filtres indépendants des noms :

   CLUSTER=$(gcloud container clusters list --project="$PROJECT" --format="value(name)" --limit=1)
   gcloud container clusters get-credentials "$CLUSTER" --region="$REGION" --project="$PROJECT"
   
   NS=$(kubectl get ns -o name | grep crawl4ai | head -1 | cut -d/ -f2)
   echo "Cluster: $CLUSTER   Namespace: $NS"
   kubectl get all -n "$NS"

---

Tâche 2 — Accéder et vérifier [Manuel]

1. Vérifiez que la charge de travail s’exécute et trouvez son adresse externe. Au premier démarrage du pod, supervisord doit lancer Redis puis Gunicorn — comptez jusqu’à 60 secondes avant que le contrôle d’état ne réponde :

   kubectl get pods,svc -n "$NS"
   EXTERNAL_IP=$(kubectl get svc -n "$NS" \
     -o jsonpath='{.items[?(@.spec.type=="LoadBalancer")].status.loadBalancer.ingress[0].ip}')
   echo "External IP: $EXTERNAL_IP"
   curl -s "http://${EXTERNAL_IP}:11235/health"   # expect {"status":"ok"}

2. Crawl4AI n’a pas de connexion administrateur ni d’identifiants générés automatiquement. Le service est prêt lorsque le contrôle d’état ci-dessus renvoie {"status":"ok"}. Un playground interactif est disponible à l’adresse http://${EXTERNAL_IP}:11235/playground dans un navigateur — aucune connexion n’est requise par défaut.

---

Tâche 3 — Exploiter et maintenir en service (jour 2) [Manuel]

1. Inspectez la charge de travail — déploiement, pods, HPA et (si activés) volumes persistants :

   kubectl get deploy,pods,hpa,pvc -n "$NS"
   kubectl describe deploy -n "$NS"

2. Mettez à l’échelle en modifiant les paramètres de nombre minimal/maximal d’instances dans la plateforme RAD et en les appliquant via Update — le module possède la spécification de la charge de travail, la mise à l’échelle est donc une modification de configuration, et non un kubectl scale manuel (une modification manuelle serait annulée lors du prochain apply).

3. Mettez à jour la version de l’application en modifiant le paramètre de version dans l’interface RAD et en l’appliquant via Update ; une nouvelle image est répliquée et une mise à jour progressive remplace les pods.

4. Gérez les secrets (les clés d’API LLM et le secret JWT facultatif sont stockés dans Secret Manager s’ils ont été fournis au moment du déploiement) :

   kubectl get secrets -n "$NS"
   gcloud secrets list --project="$PROJECT" --filter="name~crawl4ai"

5. Crawl4AI est entièrement sans état — il n’a par défaut ni base de données, ni jobs de sauvegarde, ni stockage persistant. Les résultats des tâches résident dans le Redis intégré au pod et sont perdus au redémarrage du pod. Aucune session de base de données n’est nécessaire.

---

Tâche 4 — Observer : journalisation et surveillance [Manuel]

1. Journaux — depuis kubectl ou l’explorateur de journaux (Logs Explorer) :

   kubectl logs -n "$NS" deploy/"$(kubectl get deploy -n "$NS" -o jsonpath='{.items[0].metadata.name}')" --tail=50

   Filtre du Logs Explorer : resource.type="k8s_container" AND resource.labels.namespace_name="<namespace>".

2. Surveillance — ouvrez les tableaux de bord GKE / Kubernetes et examinez l’utilisation du processeur et de la mémoire des pods, le nombre de redémarrages et les événements de mise à l’échelle du HPA. Le module peut aussi provisionner un test de disponibilité (uptime check, qui interroge /health) ; lorsqu’il est activé, consultez Monitoring → Uptime checks et Alerting → Policies.

---

Tâche 5 — Dépanner et déboguer [Manuel]

Des techniques durables pour les modes de défaillance que vous rencontrerez le plus probablement. Il s’agit de diagnostics au niveau de la plateforme, qui ne changent pas d’une version de Crawl4AI à l’autre.

• Pod non Ready / CrashLoopBackOff : la sonde de démarrage interroge /health après un délai initial de 40 secondes, pour laisser supervisord lancer Redis puis Gunicorn. Examinez les événements et les journaux à la recherche d’erreurs de démarrage :

  kubectl describe pod -n "$NS" <pod>          # Events section shows scheduling/probe/mount errors
  kubectl logs -n "$NS" <pod> --previous       # logs from the crashed container

• OOM / plantages de Chromium : Chromium exige au moins 4 GiB par pod. Recherchez dans les journaux les événements OOMKilled et augmentez container_resources.memory_limit dans la plateforme RAD.
• Pod en attente (Pending) / pas d’IP externe : consultez les événements de kubectl describe pod pour repérer des problèmes de ressources ou de quotas, et vérifiez que le Service LoadBalancer a une IP attribuée (kubectl get svc -n "$NS").
• L’extraction LLM renvoie des résultats vides : vérifiez que les clés d’API LLM requises ont été fournies via secret_environment_variables et que les secrets ont bien été matérialisés dans l’espace de noms.

  gcloud secrets list --project="$PROJECT" --filter="name~crawl4ai"
  kubectl get secrets -n "$NS"

• Erreurs de récupération d’image : vérifiez que l’image existe dans Artifact Registry et que le compte de service des nœuds peut la récupérer.

Consultez la section Configuration Pitfalls du Guide de configuration pour les pièges propres à chaque paramètre.

---

Tâche 6 — Démanteler [Automatisé]

Sur la page Deployments, ouvrez le déploiement et cliquez sur l’icône Trash (Delete). La suppression exécute terraform destroy et est irréversible (l’enregistrement du déploiement est conservé pour l’historique). Si un déploiement est bloqué et que la plateforme RAD ne peut plus le gérer (par exemple après des modifications manuelles en conflit avec l’état Terraform), utilisez plutôt Purge (depuis la même boîte de dialogue Delete) — elle retire le déploiement des enregistrements de RAD sans détruire les ressources cloud (RAD oublie simplement le déploiement). La suppression retire tout ce que le module a créé — la charge de travail et l’espace de noms Kubernetes, les secrets Secret Manager (s’il en a été provisionné) et les images Artifact Registry. Crawl4AI ne provisionne aucune base de données ; il n’y a donc aucune instance Cloud SQL à supprimer. Les ressources appartenant à Services_GCP (le VPC, le cluster GKE, le registre partagé) sont gérées séparément et ne sont pas supprimées ici.

---

Récapitulatif

Tâche	Type	Résultat
1 — Déployer	Automatisé	Le module déploie la charge de travail GKE, réplique l’image, provisionne le HPA et le LoadBalancer
2 — Accéder et vérifier	Manuel	Connexion au cluster ; le contrôle d’état réussit sur /health ; playground accessible
3 — Exploiter	Manuel	Inspecter la charge de travail, mettre à l’échelle, mettre à jour la version, gérer les secrets
4 — Observer	Manuel	Interroger Cloud Logging ; examiner les métriques Cloud Monitoring et le test de disponibilité
5 — Dépanner	Manuel	Diagnostiquer l’état des pods, les OOM, la planification, les clés LLM et les erreurs de récupération d’image
6 — Démanteler	Automatisé	La suppression (Trash) retire toutes les ressources du module