Ollama sur Google Cloud Run
Ollama est un serveur d'inférence LLM open source qui sert de grands modèles de langage — Llama, Mistral, Gemma, Phi et autres — via une API REST. Ce module déploie Ollama sur Cloud Run v2 (CPU uniquement, sans serveur) sur la base de la fondation App_CloudRun, qui provisionne et gère l'infrastructure Google Cloud partagée.
Ce guide se concentre sur les services cloud qu'Ollama utilise et sur la façon de les explorer et de les exploiter depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à chaque application Cloud Run — identité de service, ingress et équilibrage de charge, mise à l'échelle et concurrence, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement — reportez-vous au guide de la fondation App_CloudRun plutôt que de les répéter ici.
Ce que coûte Ollama sur RAD, et comment cela se compare
Ollama sur le module Cloud Run de RAD coûte environ 85 US$ par mois, avec les frais de module facturés une seule fois en crédits RAD. Si vous avez besoin qu'Ollama reste opérationnel en continu, qu'il s'adapte à plusieurs pods ou qu'il fonctionne aux côtés d'autres charges de travail Kubernetes, consultez le guide GKE pour cette option. Si vous n'en avez besoin qu'occasionnellement — une démo, un projet saisonnier, quelque chose que vous évaluez — un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires au lieu de payer pour qu'il reste inactif. Voir Mettez-le en pause gratuitement, ci-dessous. Les chiffres sont valables au 8 octobre 2026 ; les sources sont listées à la fin de cette section.
Ce que vous payez sur RAD
RAD déploie Ollama, qui est open source, il n'y a donc pas de frais de licence par utilisateur. Vous payez pour trois choses :
| Dans un projet Google Cloud que vous possédez | Dans un projet que RAD gère pour vous | |
|---|---|---|
| Frais de module, une fois par déploiement | 175 crédits (18 US$ au prix de la recharge) | 157,5 crédits (10 % de moins) |
| Builds | Inclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés pour le temps de build à la minute | Idem |
| Coût de fonctionnement Google Cloud | Facturé par Google à votre propre compte de facturation, environ 85 US$ par mois pour la configuration par défaut (tableau ci-dessous) | Mesuré à l'heure en crédits ; RAD publie 46 crédits par jour, soit environ 1 380 par mois (environ 138 US$ au prix de la recharge) |
| Qui possède quoi | Vous possédez le projet et sa facturation ; RAD le déploie et le met à jour | RAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde minimum acheté est conservé en réserve |
10 crédits coûtent 1 US$ pour une recharge ponctuelle, et moins avec un plan mensuel. Dans un projet géré par RAD, le réseau et le stockage sont partagés par toutes les applications du projet, de sorte qu'une deuxième application n'ajoute pas un deuxième ensemble de ces éléments.
Coût de fonctionnement par défaut dans votre propre projet (us-central1, prix catalogue Google) :
| Ressource (valeur par défaut du module) | Par mois |
|---|---|
| Cloud Run, 4x vCPU / 8 GiB (chaud) | 78,85 US$ |
| Cloud NAT et réseau | 5 US$ |
| Cloud Storage (modules complémentaires, sauvegardes) | 1 US$ |
| Total | environ 85 US$ |
Comment cela se compare
- Aucun SaaS géré clé en main n'a été vérifié pour Ollama lui-même, donc la comparaison honnête est un serveur autogéré : un Hetzner CPX22 (2 vCPU/4 Go) coûte environ 24 $/mois, un DigitalOcean 2 vCPU/4 Go Droplet environ 24 $/mois, et un GCP Compute Engine e2-standard-2 (2 vCPU/8 Go) environ 49 $/mois.
- Cela nécessite considérablement plus de CPU et de mémoire que les boîtiers de référence ci-dessous, donc un équivalent autogéré coûterait sensiblement plus que la classe d'entrée de gamme de 24 à 49 $/mois — probablement une instance dédiée à haute mémoire.
- Il n'existe pas de SaaS géré qui héberge votre propre instance Ollama comme le fait ce module — une API d'inférence de modèle hébergée est un produit différent d'un serveur d'inférence privé, ce n'est donc pas une comparaison équivalente et aucun chiffre n'est donné ici. L'alternative réaliste est l'auto-hébergement sur votre propre matériel ou une VM cloud dimensionnée pour les modèles que vous exécutez.
- Le prix du VPS n'est pas le coût total. Sur un VPS nu, c'est aussi vous qui corrigez le système d'exploitation, faites tourner les sauvegardes et maintenez la base de données (le cas échéant) en bonne santé. Cloud SQL, Secret Manager et la surveillance gérés par RAD s'en chargent pour vous, ce qui est le véritable argument en faveur de RAD par rapport à un boîtier moins cher — pas le prix affiché.
Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le lorsque vous en avez besoin
Si Ollama s'exécute dans un projet que RAD gère pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez l'ensemble du projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à Ollama dont vous n'avez besoin qu'occasionnellement — une démo, une évaluation, un projet saisonnier — que de le faire fonctionner en continu.
Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration, de sorte que la restauration ne peut pas être considérée comme un moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.
- Comment ça marche. La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. Comme la facturation est déjà déliée, rien n'est facturé pendant cette attente. Contrairement à la suppression d'un module, cela ne détruit pas les ressources de calcul une par une — l'ensemble du projet, et tout ce qu'il contient, s'arrête simplement.
- La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google de récupérer le projet et de rattacher son compte de facturation, puis vous demande de lancer Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
- Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 138 US$ par mois pour le maintenir en fonctionnement. Déployez Ollama, utilisez-le pendant un certain temps, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez les frais de module qu'une seule fois et le temps pendant lequel Ollama a été réellement actif.
- Ce que cela nécessite. Vous devez être propriétaire du projet (pas un projet que vous apportez et dont RAD ne gère que la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox qui convient à la plupart des utilisations d'étude et de démonstration). Google indique que la plupart des services sont de nouveau pleinement fonctionnels dans les 36 heures suivant une restauration.
- Un véritable manque : les sauvegardes nocturnes ne survivent pas. Les sauvegardes sont écrites dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probable qu'il disparaisse dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé Ollama et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive, ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.
Payez uniquement pendant que vous l'utilisez, l'autre méthode : supprimer et redéployer
L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.
- Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) : 175 crédits (17,50 US$) dans votre propre projet, ou 157,5 crédits dans un projet géré par RAD. La suppression permet d'économiser de l'argent une fois qu'Ollama resterait inutilisé pendant environ 6 jours ou plus dans votre propre projet (environ 2,83 US$ par jour), ou environ 4 jours ou plus dans un projet géré par RAD (46 crédits par jour).
- La majeure partie du coût de fonctionnement est généralement la base de données et toute VM de fichier/cache partagée. Elles ne s'arrêtent que lorsque rien d'autre dans le projet ne les utilise, donc la suppression d'Ollama alors que quelque chose d'autre partage le projet n'économise que la partie calcul propre à cette application.
- Conservez vos données en premier. Les sauvegardes nocturnes vont dans un bucket à l'intérieur du déploiement et sont supprimées avec lui, donc copiez la dernière sauvegarde avant de la supprimer si vous voulez la conserver.
Sessions de lab et environnements gérés
- Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant dispose d'Ollama dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits inutilisés sont reversés au formateur.
- Environnements gérés, pour les sociétés de conseil. Un partenaire exécute Ollama pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire remet le projet et les déploiements deviennent la propriété du client.
- Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.
Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; Supprimer et restaurer des projets pour la fenêtre de récupération de 30 jours et ce qu'elle dit sur les objets Cloud Storage sans suppression logicielle ; frais RAD et estimations de crédits quotidiens de radmodules.dev/pricing. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.
1. Vue d'ensemble
Ollama s'exécute comme un serveur d'inférence conteneurisé sur Cloud Run v2. Le déploiement relie un ensemble ciblé de services Google Cloud :
| Capacité | Service Google Cloud | Notes |
|---|---|---|
| Calcul | Cloud Run v2 (gen2) | Service Ollama, 4 vCPU / 8 GiB par défaut (modèles 3B), autoscaling basé sur les requêtes |
| Stockage de modèles | Cloud Storage + GCS Fuse | Bucket de modèles monté à /mnt/gcs ; les poids persistent lors des redémarrages de conteneurs et des nouvelles révisions |
| Secrets | Secret Manager | Pas de secrets gérés par l'application — Ollama ne nécessite aucune credential |
| Ingress | URL Cloud Run (interne au VPC) | Ingress par défaut internal ; seuls les services du même VPC peuvent atteindre l'API |
Valeurs par défaut judicieuses à connaître d'emblée :
- Pas de base de données, pas de Redis. Ollama est stateless au-delà de son cache de modèles basé sur GCS. Ni Cloud SQL ni Redis ne sont provisionnés.
- GCS Fuse est la couche de persistance. Les poids des modèles sont stockés dans un bucket GCS dédié
et montés dans le conteneur à
/mnt/gcsvia GCS Fuse. Les redémarrages de conteneurs chargent les modèles depuis GCS plutôt que de les télécharger à nouveau. ingress_settings = "internal"par défaut. Ollama est conçu comme un endpoint d'inférence partagé interne au VPC appelé par d'autres applications (Flowise, N8N, RAGFlow, Django). Le réglageingress_settings = "all"expose l'API non authentifiée à l'internet public — toujours à coupler avec IAP dans ce cas.execution_environment = "gen2"est requis pour le support GCS Fuse et ne peut pas être rétrogradé à gen1.- Tirage automatique de modèle. Lorsque
default_modelest défini et qu'aucuninitialization_jobspersonnalisé n'est fourni, un job Cloud Run nommémodel-pullest créé lors du premier déploiement et stocke le modèle dans le bucket GCS. - Trois variables d'environnement sont toujours injectées :
OLLAMA_MODELS,OLLAMA_HOST, etOLLAMA_KEEP_ALIVE. Ne pas écraserOLLAMA_MODELSouOLLAMA_HOSTdansenvironment_variables.
2. Services Google Cloud et comment les explorer
Toutes les commandes supposent que PROJECT et REGION sont définis. Les noms de services et de ressources sont rapportés
dans les Sorties du déploiement.
A. Cloud Run — le service Ollama
Ollama s'exécute comme un service Cloud Run v2 (gen2) qui s'adapte automatiquement à la charge de requêtes entre le nombre minimal et maximal d'instances. Chaque déploiement crée une révision immuable ; le trafic peut être réparti entre les révisions pour des déploiements sûrs.
- Console : Cloud Run → sélectionnez le service pour les révisions, le trafic, les logs et les métriques.
- CLI :
gcloud run services list --project "$PROJECT" --region "$REGION"
gcloud run services describe <service-name> --project "$PROJECT" --region "$REGION"
gcloud run revisions list --service <service-name> --project "$PROJECT" --region "$REGION"
# Send a test inference request from within the VPC:
curl -s "$OLLAMA_API_URL/api/tags" | jq '.models[].name'
Voir App_CloudRun pour la mise à l'échelle, la concurrence, l'environnement d'exécution et la répartition du trafic.
B. Cloud Storage — persistance du poids des modèles
Les poids des modèles Ollama sont stockés dans un bucket GCS dédié (nommé
<resource_prefix>-models) et montés dans le conteneur via GCS Fuse à /mnt/gcs.
La variable d'environnement OLLAMA_MODELS est définie sur /mnt/gcs/ollama/models afin qu'Ollama
découvre et mette en cache les modèles à cet endroit.
- Console : Cloud Storage → Buckets → sélectionnez le bucket de modèles pour parcourir les fichiers de modèles téléchargés.
- CLI :
# Bucket name is in the Outputs (models_bucket)
gcloud storage ls gs://<models-bucket>/ollama/models/
gcloud storage buckets describe gs://<models-bucket> --project "$PROJECT"
Le nom du bucket est rapporté comme la sortie models_bucket. Voir
App_CloudRun pour GCS Fuse, les options CMEK et les politiques de cycle de vie.
C. Secret Manager
Ollama ne nécessite aucune credential gérée par l'application — il n'y a pas de mot de passe administrateur ni de
mot de passe de base de données. Secret Manager est disponible pour tout secret personnalisé que vous injectez via
secret_environment_variables.
- Console : Sécurité → Secret Manager.
- CLI :
gcloud secrets list --project "$PROJECT"
gcloud secrets versions access latest --secret=<secret-name> --project "$PROJECT"
Voir App_CloudRun pour les détails d'injection et de rotation.
D. Réseau et ingress
Le service est accessible par défaut uniquement depuis le même VPC (ingress_settings = "internal"). Tout service Cloud Run, pod GKE ou VM Compute Engine dans le VPC peut appeler l'API Ollama à l'URL du service sur le port 11434. Un équilibreur de charge HTTPS externe avec un domaine personnalisé, Cloud CDN et Cloud Armor peuvent être ajoutés pour un accès externe.
- Console : Cloud Run (URL du service) ; Services réseau → Équilibrage de charge.
- CLI :
gcloud run services describe <service-name> \
--region "$REGION" --format='value(status.url)'
gcloud compute addresses list --project "$PROJECT"
Voir App_CloudRun.
E. Cloud Logging et Monitoring
Les logs des conteneurs sont envoyés à Cloud Logging ; les métriques Cloud Run sont envoyées à Cloud Monitoring, avec des tests de disponibilité et des politiques d'alerte optionnels.
- Console : Logging → Explorateur de logs ; Monitoring → Tableaux de bord / Alertes.
- CLI :
gcloud run services logs read <service-name> \
--project "$PROJECT" --region "$REGION" --limit 50
3. Comportement de l'application Ollama
-
Pas de configuration de base de données au premier déploiement. Ollama n'a pas de base de données. Il n'y a pas de job
db-initet pas d'instance Cloud SQL. -
Tirage de modèle au premier déploiement. Lorsque
default_modelest défini et queinitialization_jobsest vide, un job Cloud Run nommémodel-pulls'exécute une fois. Il démarre un serveur Ollama local en arrière-plan, tire le modèle nommé, le stocke dans le bucket GCS, puis s'arrête. Le job monte le volume GCSollama-modelsafin que les poids persistent. Le délai d'expiration est contrôlé parmodel_pull_timeout_seconds(par défaut 3600 secondes) ; les grands modèles (7B+) peuvent prendre 20 à 30 minutes au premier tirage.Inspectez le job et ses exécutions :
gcloud run jobs list --project "$PROJECT" --region "$REGION"
gcloud run jobs executions list --job <model-pull-job-name> \
--project "$PROJECT" --region "$REGION" -
Chargement de modèle au démarrage à froid. À chaque démarrage d'instance, Ollama charge les poids du modèle depuis GCS Fuse. Cela prend généralement 30 à 120 secondes selon la taille du modèle. La sonde de démarrage utilise un délai initial de 30 s avec 20 tentatives d'échec (environ 5 minutes) pour s'adapter à cela.
OLLAMA_KEEP_ALIVEest défini sur"24h"afin que les modèles chargés restent résidents entre les requêtes. Écraser viaenvironment_variables. -
Variables injectées automatiquement.
OLLAMA_MODELS(/mnt/gcs/ollama/models),OLLAMA_HOST(0.0.0.0:11434), etOLLAMA_KEEP_ALIVE(24h) sont injectées automatiquement. Ne pas écraser les deux premières ; la troisième peut être écrasée. -
Endpoint de santé. Le chemin racine d'Ollama (
/) répond avec"Ollama is running"une fois que le serveur est prêt. Les sondes de démarrage et de vivacité ciblent ce chemin. -
Réglage supplémentaire. Utilisez
environment_variablespour définirOLLAMA_NUM_PARALLEL(par défaut1, augmenter pour les appelants concurrents),OLLAMA_ORIGINS(restreindre CORS), et d'autres variables d'environnement Ollama.
4. Variables de configuration
Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour Ollama sont listés ; toute autre entrée est héritée de App_CloudRun avec son comportement standard.
Groupe 1 — Projet et identité
| Variable | Valeur par défaut | Description |
|---|---|---|
project_id | (obligatoire) | Projet Google Cloud cible. |
region | us-central1 | Région pour le service et les ressources régionales. |
Groupe 2 — Environnement de déploiement
| Variable | Valeur par défaut | Description |
|---|---|---|
tenant_id | demo | Suffixe court qui rend les noms de ressources uniques par environnement. |
support_users | [] | Emails ayant accès au projet et aux alertes de surveillance. |
resource_labels | {} | Libellés appliqués à toutes les ressources. |
Groupe 3 — Identité de l'application
| Variable | Valeur par défaut | Description |
|---|---|---|
application_name | ollama | Nom de base des ressources. Ne pas modifier après le premier déploiement. |
application_display_name | Ollama LLM Server | Nom convivial affiché dans la console. |
description | (défini) | Description du service. |
application_version | latest | Tag d'image Ollama ; épingler à une version spécifique (par exemple, 0.3.12) en production. |
Groupe 4 — Exécution et mise à l'échelle
| Variable | Valeur par défaut | Description |
|---|---|---|
deploy_application | true | Définir false pour provisionner le stockage et IAM sans déployer le service. |
cpu_limit | 4000m | CPU par instance. Modèles 3B : "4000m" ; modèles 7B : "8000m". Le maximum de Cloud Run est "8". |
memory_limit | 8Gi | Mémoire par instance. Modèles 3B : "8Gi" ; modèles 7B : "16Gi". |
min_instance_count | 1 | Instances minimales. Garder ≥ 1 pour éviter une latence de chargement de modèle de 60 à 120 s au démarrage à froid. |
max_instance_count | 1 | Instances maximales. L'inférence LLM sature le CPU ; plusieurs instances augmentent le coût. |
execution_environment | gen2 | Doit rester "gen2" — requis pour les montages de volume GCS Fuse. |
timeout_seconds | 3600 | Durée maximale de la requête. L'inférence de grands modèles peut être lente ; 3600 s est le maximum de Cloud Run. |
container_protocol | http1 | Version du protocole HTTP. |
traffic_split | [] | Allocation de trafic entre les révisions pour les déploiements canary. Toutes les entrées doivent totaliser 100. |
enable_image_mirroring | true | Mettre en miroir ollama/ollama vers Artifact Registry pour éviter les limites de débit de Docker Hub. |
Groupe 5 — Accès et réseau
| Variable | Valeur par défaut | Description |
|---|---|---|
ingress_settings | internal | Garder "internal" pour un accès uniquement VPC. "all" expose l'API non authentifiée à l'internet public. |
vpc_egress_setting | PRIVATE_RANGES_ONLY | Routage du trafic sortant via VPC. |
enable_iap | false | Exiger la connexion Google via Identity-Aware Proxy. Requis lorsque ingress_settings = "all". |
iap_authorized_users / iap_authorized_groups | [] | Qui peut accéder via IAP. |
enable_cloud_armor | false | Attacher un WAF Cloud Armor précédé d'un équilibreur de charge HTTPS global. |
application_domains | [] | Noms de domaine personnalisés pour l'équilibreur de charge HTTPS. |
enable_cdn | false | Activer Cloud CDN sur l'équilibreur de charge HTTPS. |
enable_vpc_sc | false | Appliquer un périmètre VPC-SC (nécessite organization_id). |
enable_audit_logging | false | Logs d'audit Cloud détaillés. |
Groupe 6 — Variables d'environnement et secrets
| Variable | Valeur par défaut | Description |
|---|---|---|
environment_variables | {} | Paramètres supplémentaires non secrets. OLLAMA_MODELS, OLLAMA_HOST et OLLAMA_KEEP_ALIVE sont injectés automatiquement. Utilisez OLLAMA_NUM_PARALLEL, OLLAMA_ORIGINS, etc. ici. |
secret_environment_variables | {} | Mappage de variable d'environnement → nom de secret Secret Manager. |
Groupe 7 — Sauvegarde et maintenance
Non applicable pour Ollama — les poids des modèles sont stockés de manière durable dans GCS. Ces variables sont présentes uniquement pour la compatibilité d'interface. Voir App_CloudRun.
Groupe 8 — CI/CD et Binary Authorization
Intégration standard App_CloudRun Cloud Build / Cloud Deploy — voir
App_CloudRun. Entrées clés : enable_cicd_trigger,
github_repository_url, github_token, enable_cloud_deploy,
enable_binary_authorization.
Groupe 9 — Instance NFS et initialisation personnalisée
| Variable | Valeur par défaut | Description |
|---|---|---|
initialization_jobs | [] | Laisser vide et définir default_model pour utiliser le job de tirage de modèle auto-généré. Fournir une liste non vide pour le remplacer entièrement. |
cron_jobs | [] | Jobs Cloud Run récurrents déclenchés par Cloud Scheduler. |
Groupe 11 — Stockage et système de fichiers
| Variable | Valeur par défaut | Description |
|---|---|---|
create_cloud_storage | true | Provisionner les buckets GCS dans storage_buckets. Le bucket de modèles est toujours créé quoi qu'il arrive. |
storage_buckets | [] | Buckets GCS supplémentaires au-delà du bucket de modèles. |
enable_nfs | false | Non requis pour Ollama (utilise GCS Fuse). |
gcs_volumes | [] | Montages de volume GCS Fuse supplémentaires. Le bucket ollama-models à /mnt/gcs est toujours ajouté automatiquement. |
manage_storage_kms_iam / enable_artifact_registry_cmek | false | Options CMEK. |
max_images_to_retain / delete_untagged_images / image_retention_days | (défini) | Politique de nettoyage d'Artifact Registry. |
Groupe 12 — Backend de base de données
Non applicable pour Ollama. database_type est fixé à "NONE" — aucune instance Cloud SQL n'est
provisionnée. Ces variables sont présentes uniquement pour la compatibilité d'interface.
Groupe 14 — Observabilité et santé
| Variable | Valeur par défaut | Description |
|---|---|---|
startup_probe | { type="HTTP", path="/", initial_delay_seconds=30, failure_threshold=20 } | Le seuil de 20 tentatives permet environ 5 minutes pour le chargement du modèle depuis GCS. |
liveness_probe | { type="HTTP", path="/", initial_delay_seconds=60, failure_threshold=3 } | Un délai de 60 s évite les faux redémarrages pendant le chargement du modèle. |
uptime_check_config | { enabled=false, path="/" } | Test de disponibilité Cloud Monitoring. |
alert_policies | [] | Politiques d'alerte métrique. |
max_revisions_to_retain | 7 | Non référencé — déclaré pour la compatibilité d'interface uniquement ; n'a aucun effet sur le déploiement de ce module. |
Groupe 19 — Configuration du modèle Ollama
| Variable | Valeur par défaut | Description |
|---|---|---|
default_model | "" | Modèle à tirer lors du premier déploiement (par exemple, "llama3.2:3b", "mistral", "llama3:8b"). Laisser vide pour ignorer le job de tirage automatique. |
model_pull_timeout_seconds | 3600 | Délai d'expiration pour le job Cloud Run de tirage de modèle. Les grands modèles (7B+) peuvent prendre 20 à 30 minutes. Plage valide : 300 à 7200. |
5. Sorties
Retourné lors d'un déploiement réussi — le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.
| Sortie | Description |
|---|---|
service_name | Nom du service Cloud Run. |
ollama_api_url | URL de base de l'API REST Ollama — ajouter /api/generate, /api/chat, etc. Construite comme <api_url>/api. |
service_location | Région dans laquelle le service s'exécute. |
stage_services | URL de service spécifiques à l'étape (Cloud Deploy). |
models_bucket | Nom du bucket GCS où les poids du modèle Ollama sont persistés. |
storage_buckets | Tous les buckets Cloud Storage provisionnés. |
network_name / network_exists / regions | Réseau VPC, présence, régions. |
container_image / container_registry | Image déployée et dépôt Artifact Registry. |
monitoring_enabled / monitoring_notification_channels / uptime_check_names | Statut de surveillance, canaux, tests de disponibilité. |
initialization_jobs | Noms des jobs de configuration (y compris model-pull lorsqu'il est déclenché). |
deployment_id / tenant_id / resource_prefix | Identifiants de nommage. |
project_id / project_number | Identifiants de projet. |
cicd_enabled / github_repository_url / github_repository_owner / github_repository_name / cicd_configuration | Statut et détails CI/CD. |
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_id | Registre et déclencheur de build. |
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_mode | Statut VPC-SC. |
audit_logging_enabled / artifact_registry_cmek_enabled | Journalisation d'audit et statut CMEK. |
6. Pièges de configuration et valeurs par défaut judicieuses
Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).
| Paramètre | Valeur judicieuse | Risque | Conséquence si incorrect |
|---|---|---|---|
ingress_settings | internal | Critique | "all" expose publiquement l'API Ollama non authentifiée — tout appelant internet peut interroger ou charger des modèles. |
enable_iap | true si ingress_settings = "all" | Critique | Sans IAP, l'API n'est pas authentifiée et est publiquement accessible. Ollama n'a pas d'authentification intégrée. |
memory_limit | 8Gi (3B) / 16Gi (7B) | Critique | Une mémoire insuffisante provoque un OOM-kill en pleine inférence ; le conteneur redémarre en boucle. Allouer au moins 2 fois la taille du poids quantifié du modèle. |
execution_environment | gen2 (par défaut) | Élevé | Gen1 ne prend pas en charge les montages GCS Fuse. La rétrogradation empêche silencieusement la persistance du modèle. |
cpu_limit | 4000m (3B) / 8000m (7B) | Élevé | Trop peu de CPU rend la génération de jetons extrêmement lente (minutes par jeton sur les modèles 7B). |
min_instance_count | 1 | Élevé | 0 permet la mise à l'échelle à zéro mais provoque des démarrages à froid de 60 à 120 s pendant que le modèle se recharge depuis GCS. |
model_pull_timeout_seconds | 3600 | Élevé | Un délai d'expiration court fait échouer le job de tirage de modèle avant que le téléchargement ne soit terminé pour les modèles de plus de 2 Go. |
startup_probe.failure_threshold | 20 (par défaut) | Élevé | Un seuil trop bas fait que Cloud Run tue et redémarre le conteneur avant qu'Ollama ne soit prêt après le montage GCS Fuse. |
timeout_seconds | 3600 | Élevé | L'inférence LLM pour les grandes invites peut dépasser 5 minutes. Les requêtes pour les générations de longue durée sont terminées avec une erreur 504 si le délai est trop court. |
max_instance_count | 1–3 | Élevé | Chaque instance charge indépendamment le modèle. Plusieurs instances sont sûres mais augmentent considérablement les coûts et le trafic de lecture GCS. |
default_model | défini sur le modèle souhaité | Moyen | Laisser vide est sûr pour le déploiement initial mais l'API renvoie une erreur sur toutes les requêtes d'inférence jusqu'à ce qu'un modèle soit tiré manuellement. |
environment_variables.OLLAMA_NUM_PARALLEL | 2–4 pour une utilisation partagée | Moyen | La valeur par défaut 1 sérialise toutes les requêtes. Augmenter pour les endpoints VPC partagés avec des appelants concurrents. |
environment_variables.OLLAMA_KEEP_ALIVE | 24h (injecté automatiquement) | Moyen | La valeur par défaut d'Ollama (5m) évince les modèles de la mémoire, provoquant des délais de rechargement de 30 à 60 s. Le module injecte 24h automatiquement. |
environment_variables.OLLAMA_ORIGINS | restreindre pour l'utilisation du navigateur | Moyen | La politique CORS par défaut d'Ollama accepte toute origine. Restreindre aux origines d'interface utilisateur spécifiques lorsqu'elle est exposée via un équilibreur de charge. |
gcs_volumes options de montage | inclure implicit-dirs | Moyen | Sans implicit-dirs, les listes de répertoires GCS Fuse échouent et Ollama ne peut pas découvrir les modèles mis en cache. |
enable_image_mirroring | true | Moyen | Désactivation des tirages depuis Docker Hub, qui est soumis à des limites de débit. Garder true en production. |
Pour le comportement de la fondation référencé tout au long — identité de service, mise à l'échelle et concurrence, ingress et équilibrage de charge, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC, sauvegardes et mise en miroir d'images — voir App_CloudRun. La configuration d'application partagée spécifique à Ollama est décrite dans Ollama_Common.
Guides associés
- Lab pratique : Ollama sur Cloud Run — déployez-le étape par étape, avec les écrans de console et les commandes à chaque étape.
- Ollama sur GKE Autopilot — la même application sur Kubernetes, pour quand vous avez besoin de l'autre cible de déploiement.
- Ollama Common — Configuration d'application partagée — la configuration partagée par les deux cibles de déploiement.
- Déployé aux côtés de LiteLLM sur Google Cloud Run, Qdrant sur Google Cloud Run, Open WebUI sur Google Cloud Run, SearXNG sur Google Cloud Run dans la solution Assistant IA Privé.
Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.