Ollama sur Cloud Run — Guide de lab

📖 Guide de configuration

Vue d'ensemble

Durée estimée : 45–90 minutes

Ollama est un serveur open source d'inférence de LLM qui sert de grands modèles de langage — Llama, Mistral, Gemma, Phi et d'autres — via une API REST. Ce lab vous fait parcourir l'intégralité du cycle de vie opérationnel du module Ollama on Cloud Run sur Google Cloud : le déployer, y accéder et le vérifier, l'exploiter au quotidien, l'observer, diagnostiquer les problèmes courants et le démanteler.

Le lab porte sur l'exploitation du module Cloud Run et de la plateforme Google Cloud, et non sur les fonctionnalités du produit Ollama ou les workflows propres à chaque modèle. Pour la liste complète des services provisionnés et de chaque paramètre de configuration (organisés par groupe), consultez le Guide de configuration — ce lab ne reprend volontairement pas ce détail afin de rester exact dans le temps.

Objectifs

À la fin de ce lab, vous saurez :

• Déployer le module depuis la plateforme RAD et repérer les ressources qu'il provisionne.
• Accéder au service en cours d'exécution et le vérifier.
• Effectuer les opérations du jour 2 — inspecter, mettre à l'échelle, mettre à jour, et gérer le stockage des modèles et les jobs.
• Observer le service avec Cloud Logging et Cloud Monitoring.
• Diagnostiquer et résoudre les problèmes de déploiement et d'exécution les plus courants.
• Démanteler proprement le déploiement.

Prérequis

• Services_GCP (fournit le VPC, Artifact Registry et les comptes de service partagés dont dépend ce module). Vous n'avez pas besoin de le déployer vous-même au préalable — la plateforme détecte automatiquement s'il existe déjà dans le projet cible et, sinon, le provisionne avant ce module (voir la tâche 1).
• Un projet Google Cloud avec la facturation activée.
• gcloud CLI authentifié : gcloud auth login et gcloud auth application-default login.
• Le rôle IAM Project Owner (ou équivalent) sur le projet.
• Vous utilisez votre propre projet ? Avant le premier déploiement dans celui-ci, la boîte de dialogue de confirmation du déploiement vous demande de prouver que vous le contrôlez (Get verification code, exécutez les commandes affichées en tant que propriétaire (Owner) du projet, puis Verify) et d'attribuer le rôle Owner au compte de service de déploiement RAD. Un projet que RAD crée pour vous ne nécessite ni l'un ni l'autre.
• Mode avancé pour les modifications ultérieures. Le formulaire de création ne demande que la première page de paramètres (et, dans un projet que RAD crée pour vous, guère plus que le nom du tenant et la région). Tous les autres paramètres du Guide de configuration — y compris les paramètres de mise à l'échelle et de version des tâches du jour 2 — se modifient ensuite avec Update sur la page du déploiement après avoir coché Enable advanced mode, ce qui exige un solde de crédits couvrant le coût de build estimé de la mise à jour (les mises à jour n'entraînent jamais de frais de module). Dans un environnement de lab, seul un administrateur peut utiliser le mode avancé.
• Accès à la plateforme RAD avec l'autorisation de déployer des modules dans le projet.

Définissez une fois ces variables shell ; chaque tâche ci-dessous les réutilise :

export PROJECT="<your-gcp-project-id>"
export REGION="us-central1"          # the region you deploy into

---

Tâche 1 — Déployer le module [Automatisé]

1. Ouvrez Solutions → Solution Catalog → RAD modules dans la navigation supérieure de la plateforme RAD, ouvrez Ollama (Cloud Run) depuis la liste Platform Modules pour démarrer la configuration, choisissez Configuration Form sous How would you like to configure this deployment? (le formulaire s'ouvre sur le Conversational Assistant si vous détenez des crédits achetés ou si vous êtes partenaire ou administrateur), renseignez project_id et passez en revue les paramètres. Ne configurez que ce dont vous avez besoin — le Guide de configuration documente chaque paramètre par groupe, avec ses valeurs par défaut. Cliquez sur Deploy Module, vérifiez le coût estimé dans la boîte de dialogue Deployment Confirmation lorsqu'elle apparaît et cliquez sur Submit (si la boîte de dialogue ajoute ensuite une étape de confirmation, comme la vérification d'un projet que vous apportez, effectuez-la et cliquez sur Confirm), ce qui ouvre la page d'état du déploiement avec les journaux en temps réel.

2. La plateforme provisionne le service Cloud Run v2 (gen2), un bucket GCS pour le stockage des poids des modèles (monté via GCS Fuse sur /mnt/gcs), construit ou met en miroir l'image du conteneur et exécute éventuellement un job ponctuel de récupération de modèle si default_model est défini. Il n'y a pas de base de données. Les premiers déploiements prennent généralement 10–20 minutes (davantage si un modèle volumineux est récupéré).

3. Une fois l'opération terminée, repérez le service avec des filtres indépendants des noms :

   SERVICE=$(gcloud run services list --project="$PROJECT" --region="$REGION" \
     --filter="metadata.name~ollama" --format="value(metadata.name)" --limit=1)
   SERVICE_URL=$(gcloud run services describe "$SERVICE" \
     --project="$PROJECT" --region="$REGION" --format="value(status.url)")
   echo "Service: $SERVICE"
   echo "URL:     $SERVICE_URL"

---

Tâche 2 — Accéder et vérifier [Manuel]

Ollama est déployé avec ingress_settings = "internal" par défaut — l'API est joignable depuis le même VPC, mais pas depuis l'internet public. Pour y accéder depuis votre machine locale, utilisez le proxy Cloud Run :

gcloud run services proxy "$SERVICE" \
  --region="$REGION" --project="$PROJECT" --port=11434

Laissez le proxy tourner dans un terminal séparé, puis vérifiez que le service répond :

curl http://localhost:11434   # expect: Ollama is running

Ollama n'a aucun identifiant administrateur ni aucun secret Secret Manager à récupérer — l'API est non authentifiée au sein du VPC, par conception.

---

Tâche 3 — Exploiter et maintenir en service (jour 2) [Manuel]

1. Inspectez le service et ses révisions (chaque déploiement crée une révision immuable ; le trafic bascule vers la plus récente en bonne santé) :

   gcloud run services describe "$SERVICE" --project="$PROJECT" --region="$REGION"
   gcloud run revisions list --service="$SERVICE" --project="$PROJECT" --region="$REGION"

2. Mettez à l'échelle en modifiant les paramètres de nombre minimal/maximal d'instances puis en cliquant sur Update sur la page de détails du déploiement — le module possède la spécification du service, la mise à l'échelle est donc une modification de configuration, et non une modification manuelle avec gcloud (une modification manuelle serait annulée lors de la prochaine application).

3. Mettez à jour la version de l'application en modifiant le paramètre de version via Update sur la page de détails du déploiement ; une nouvelle image est mise en miroir et une nouvelle révision est déployée.

4. Inspectez le bucket de stockage des modèles et les éventuels jobs :

   MODELS_BUCKET=$(gcloud storage buckets list --project="$PROJECT" \
     --filter="name~ollama" --format="value(name)" --limit=1)
   gcloud storage ls "gs://${MODELS_BUCKET}/ollama/models/"
   gcloud run jobs list --project="$PROJECT" --region="$REGION"   # model-pull job if configured

5. Ollama n'a pas de base de données SQL — il n'y a ni instance Cloud SQL ni job db-init à gérer.

---

Tâche 4 — Observer : journalisation et surveillance [Manuel]

1. Journaux — depuis la CLI ou l'explorateur de journaux (Logs Explorer) :

   gcloud run services logs read "$SERVICE" --project="$PROJECT" --region="$REGION" --limit=50

   Filtre du Logs Explorer : resource.type="cloud_run_revision" AND resource.labels.service_name="<service>".

2. Surveillance — ouvrez le tableau de bord Cloud Run du service et examinez le nombre de requêtes, la latence des requêtes (P50/P95/P99), le nombre d'instances (comportement de mise à l'échelle) et l'utilisation du CPU / de la mémoire. L'utilisation de la mémoire reste élevée tant que les poids des modèles sont chargés en mémoire. Le module provisionne également un test de disponibilité (uptime check) (lorsqu'il est activé) ; vérifiez qu'il est au vert sous Monitoring → Uptime checks, et consultez Alerting → Policies.

---

Tâche 5 — Dépanner et déboguer [Manuel]

Des techniques durables pour les modes de défaillance que vous rencontrerez le plus probablement. Il s'agit de diagnostics au niveau de la plateforme, qui ne changent pas avec les versions d'Ollama.

• Révision en mauvaise santé / le service ne répond pas : la sonde de démarrage cible GET / avec un seuil d'échec généreux pour tenir compte du chargement des modèles via GCS Fuse (30–120 s). Inspectez la dernière révision et ses journaux à la recherche d'erreurs de démarrage.

  gcloud run revisions list --service="$SERVICE" --project="$PROJECT" --region="$REGION"
  gcloud run services logs read "$SERVICE" --project="$PROJECT" --region="$REGION" --limit=100

• Échec du job de récupération de modèle : listez les exécutions et lisez les journaux de celle en échec :

  MODEL_PULL_JOB=$(gcloud run jobs list --project="$PROJECT" --region="$REGION" \
    --filter="metadata.name~model-pull" --format="value(metadata.name)" --limit=1)
  gcloud run jobs executions list --job="$MODEL_PULL_JOB" \
    --project="$PROJECT" --region="$REGION"

• Erreurs GCS Fuse / modèle introuvable : vérifiez que le bucket des modèles existe, que le compte de service dispose du rôle Storage Object Viewer sur celui-ci et que execution_environment vaut gen2 (GCS Fuse n'est pas pris en charge sur gen1).
• OOM / boucle de redémarrage du conteneur : Ollama nécessite en mémoire au moins 2× la taille des poids quantifiés du modèle. Augmentez memory_limit dans la plateforme RAD et appliquez-le via Update.
• Échec du build ou de la mise en miroir de l'image : consultez l'historique Cloud Build pour lire le journal du build en échec.
• Erreurs 403 / d'autorisation : vérifiez les rôles IAM du compte de service d'exécution.

Consultez la section Configuration Pitfalls du Guide de configuration pour les pièges propres à chaque paramètre.

---

Tâche 6 — Démanteler [Automatisé]

Sur la page Deployments, ouvrez le déploiement et cliquez sur l'icône Trash (Delete). Delete exécute terraform destroy et est irréversible (l'enregistrement du déploiement est conservé pour l'historique). Si un déploiement est bloqué et que la plateforme RAD ne peut plus le gérer (par exemple après des modifications manuelles en conflit avec l'état Terraform), utilisez plutôt Purge (depuis la même boîte de dialogue Delete) — cela supprime le déploiement des enregistrements de RAD sans détruire les ressources cloud (RAD oublie simplement le déploiement). Cela supprime tout ce que le module a créé — le service Cloud Run, le bucket GCS des modèles (et tous les poids de modèles téléchargés), les images Artifact Registry et les tests de disponibilité Cloud Monitoring. Les ressources appartenant à Services_GCP (le VPC, le registre partagé) sont gérées séparément et ne sont pas supprimées ici.

---

Récapitulatif

Tâche	Type	Résultat
1 — Déployer	Automatisé	Le module provisionne Cloud Run (gen2), le stockage GCS des modèles et un job facultatif de récupération de modèle
2 — Accéder et vérifier	Manuel	Proxy vers le service interne au VPC ; la vérification d'état réussit sur /
3 — Exploiter	Manuel	Inspecter les révisions, mettre à l'échelle, mettre à jour la version, gérer le stockage des modèles et les jobs
4 — Observer	Manuel	Interroger Cloud Logging ; consulter les métriques Cloud Monitoring et le test de disponibilité
5 — Dépanner	Manuel	Diagnostiquer les problèmes de révision, de job de récupération de modèle, de GCS Fuse, d'OOM, de build et d'IAM
6 — Démanteler	Automatisé	Delete (Trash) supprime toutes les ressources du module, y compris les poids des modèles