Aller au contenu principal

Ollama sur GKE Autopilot

Ollama sur GKE Autopilot

Ollama est un serveur d'inférence LLM open source qui sert de grands modèles de langage — Llama, Mistral, Gemma, Phi et autres — via une API REST. Ce module déploie Ollama sur GKE Autopilot sur la base de la fondation App_GKE, qui provisionne et gère l'infrastructure partagée Google Cloud et Kubernetes.

Ce guide se concentre sur les services cloud qu'Ollama utilise et sur la façon de les explorer et de les exploiter depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à toutes les applications GKE — Workload Identity, ingress, autoscaling, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement — reportez-vous au guide de la fondation App_GKE plutôt que de les répéter ici.


Coût d'Ollama sur RAD et comparaison​

Ollama sur le module GKE Autopilot de RAD coûte environ 323 à 396 $ US par mois, avec les frais de module facturés une seule fois en crédits RAD. GKE Autopilot convient à Ollama qui doit rester opérationnel, s'adapter à plusieurs pods ou fonctionner aux côtés d'autres charges de travail Kubernetes ; pour le coût le plus bas, le module Cloud Run exécute le même Ollama pour environ 85 $ US par mois. Si vous n'en avez besoin qu'occasionnellement — une démo, un projet saisonnier, quelque chose que vous évaluez — un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires au lieu de payer pour qu'il reste inactif. Voir Mettez-le en pause gratuitement, ci-dessous. Les chiffres sont ceux du 8 octobre 2026 ; les sources sont listées à la fin de cette section.

Ce que vous payez sur RAD​

RAD déploie Ollama, qui est open source, il n'y a donc pas de frais de licence par utilisateur. Vous payez pour trois choses :

Dans un projet Google Cloud que vous possédezDans un projet géré par RAD pour vous
Frais de module, une fois par déploiement300 crédits (30 $ US au prix de la recharge)270 crédits (10 % de moins)
BuildsInclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites, puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés à la minute pour le temps de buildIdem
Coût d'exécution Google CloudFacturé par Google à votre propre compte de facturation, environ 323 $ US par mois pour la configuration par défaut (tableau ci-dessous) — plus si ce n'est pas votre seul cluster AutopilotMesuré à l'heure en crédits ; RAD publie 188 crédits par jour, soit environ 5 640 par mois (environ 564 $ US au prix de la recharge ; estimé à partir des prix catalogue de Google, et incluant les frais de cluster)
Qui possède quoiVous possédez le projet et sa facturation ; RAD le déploie et le met à jourRAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde minimum acheté est conservé en réserve

10 crédits coûtent 1 $ US pour une recharge unique, et moins pour un plan mensuel. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par toutes les applications du projet, de sorte qu'une deuxième application n'ajoute pas un deuxième ensemble de ces éléments.

Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :

Ressource (module par défaut)Par mois
Pod GKE Autopilot, 8x vCPU / 16 GiB317,38 $ US
Cloud NAT et réseau5 $ US
Cloud Storage (modules complémentaires, sauvegardes)1 $ US
Frais de gestion de cluster GKEpartagés entre toutes les applications GKE du projet ; 0 $ si c'est votre seul cluster, sinon ~73 $
Totalenviron 323 $ US (environ 396 $ US si ce n'est pas votre seul cluster Autopilot)

Comparaison​

  • Aucun SaaS géré clé en main n'a été vérifié pour Ollama lui-même, donc la comparaison honnête est un serveur autogéré : un Hetzner CPX22 (2 vCPU/4 Go) coûte environ 24 $/mois, un DigitalOcean 2 vCPU/4 Go Droplet environ 24 $/mois, et un GCP Compute Engine e2-standard-2 (2 vCPU/8 Go) environ 49 $/mois.
  • Cela nécessite considérablement plus de CPU et de mémoire que les boîtiers de référence ci-dessous, de sorte qu'un équivalent autogéré coûterait nettement plus cher que la classe d'entrée de gamme de 24 à 49 $/mois — probablement une instance dédiée à haute mémoire.
  • Il n'existe pas de SaaS géré qui héberge votre propre instance Ollama comme le fait ce module — une API d'inférence de modèle hébergée est un produit différent d'un serveur d'inférence privé, ce n'est donc pas une comparaison équivalente et aucun chiffre n'est donné ici. L'alternative réaliste est l'auto-hébergement sur votre propre matériel ou une VM cloud dimensionnée pour les modèles que vous exécutez.
  • Le prix du VPS n'est pas le coût total. Sur un VPS nu, c'est aussi vous qui corrigez le système d'exploitation, faites pivoter les sauvegardes et maintenez la base de données (le cas échéant) en bonne santé. Cloud SQL, Secret Manager et la surveillance gérés par RAD s'en occupent pour vous, ce qui est le véritable argument en faveur de RAD par rapport à un boîtier moins cher — pas le prix affiché.

Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le lorsque vous en avez besoin​

Si Ollama s'exécute dans un projet géré par RAD pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez l'ensemble du projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à Ollama dont vous n'avez besoin qu'occasionnellement — une démo, une évaluation, un projet saisonnier — que de le faire fonctionner en continu.

Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration, de sorte que la restauration ne peut pas être utilisée comme moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.

  • Comment ça marche. La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. Comme la facturation est déjà déliée, rien n'est facturé pendant cette attente. Contrairement à la suppression d'un module, cela ne détruit pas le cluster ou la ressource de calcul un par un — l'ensemble du projet, et tout ce qu'il contient, s'arrête simplement.
  • La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google de restaurer le projet et de rattacher son compte de facturation, puis vous demande de exécuter Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
  • Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 564 $ US par mois pour le maintenir en fonctionnement. Déployez Ollama, utilisez-le pendant un certain temps, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez les frais de module qu'une seule fois et le temps pendant lequel Ollama a été réellement actif.
  • Ce que cela nécessite. Vous devez posséder le projet (pas un projet que vous apportez et dont RAD ne gère que la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox que la plupart des utilisations d'étude et de démo conviennent). Google indique que la plupart des services sont à nouveau entièrement fonctionnels dans les 36 heures suivant une restauration.
  • Un véritable manque : les sauvegardes nocturnes ne survivent pas. Les sauvegardes sont écrites dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probable qu'il disparaisse dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé Ollama et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive, ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.

Payez uniquement pendant que vous l'utilisez, l'autre façon : supprimer et redéployer​

L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.

  • Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) : 300 crédits (30,00 $ US) dans votre propre projet, ou 270 crédits dans un projet géré par RAD. La suppression permet d'économiser de l'argent une fois qu'Ollama resterait autrement inutilisé pendant environ 3 jours ou plus dans votre propre projet (environ 10,78 $ US par jour), ou environ 2 jours ou plus dans un projet géré par RAD (188 crédits par jour).
  • La majeure partie du coût d'exécution est généralement la base de données et toute VM de fichier/cache partagée. Elles ne s'arrêtent que lorsque rien d'autre dans le projet ne les utilise, donc la suppression d'Ollama alors que quelque chose d'autre partage le projet n'économise que la partie calcul propre à cette application.
  • Conservez d'abord vos données. Les sauvegardes nocturnes vont dans un bucket à l'intérieur du déploiement et sont supprimées avec lui, donc copiez la dernière sauvegarde avant de la supprimer si vous voulez la conserver.

Sessions de lab et environnements gérés​

  • Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant obtient Ollama dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits inutilisés sont reversés au formateur.
  • Environnements gérés, pour les sociétés de conseil. Un partenaire exécute Ollama pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire remet le projet et les déploiements deviennent la propriété du client.
  • Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.

Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; Supprimer et restaurer des projets pour la fenêtre de récupération de 30 jours et ce qu'elle dit sur les objets Cloud Storage sans suppression logicielle ; frais RAD et estimations de crédits quotidiens de radmodules.dev/pricing. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.

1. Vue d'ensemble​

Ollama fonctionne comme un serveur d'inférence conteneurisé. Le déploiement connecte un ensemble ciblé de services Google Cloud :

CapacitéService Google CloudNotes
CalculGKE AutopilotPods Ollama, 8 vCPU / 16 GiB par défaut (modèles 7B), autoscalés horizontalement
Stockage de modèlesCloud Storage + GCS Fuse CSIBucket de modèles monté à /mnt/gcs ; les poids persistent après les redémarrages de pods
SecretsSecret ManagerPas de secrets gérés par l'application — Ollama ne nécessite aucune information d'identification
IngressKubernetes ClusterIPInterne uniquement par défaut ; utilisez LoadBalancer uniquement lorsque l'accès externe est requis

Valeurs par défaut judicieuses à connaître d'emblée :

  • Pas de base de données, pas de Redis. Ollama est sans état au-delà de son cache de modèles basé sur GCS. Ni Cloud SQL ni Redis ne sont provisionnés.
  • GCS Fuse est la couche de persistance. Les poids des modèles sont stockés dans un bucket GCS dédié et montés dans le pod à /mnt/gcs. Les redémarrages de pods chargent les modèles depuis GCS plutôt que de les retélécharger.
  • ClusterIP par défaut. Ollama est conçu comme un point de terminaison d'inférence partagé au sein du cluster. Tout pod du même cluster l'atteint à http://<service-name>.<namespace>.svc.cluster.local:11434. La définition de service_type = "LoadBalancer" expose l'API non authentifiée publiquement — ne faites pas cela sans IAP ou Cloud Armor.
  • Extraction automatique de modèles. Lorsque default_model est défini et qu'aucun initialization_jobs personnalisé n'est fourni, un job Kubernetes nommé model-pull est créé lors du premier déploiement et stocke le modèle dans le bucket GCS.
  • Trois variables d'environnement sont toujours injectées : OLLAMA_MODELS, OLLAMA_HOST, et OLLAMA_KEEP_ALIVE. Ne pas écraser OLLAMA_MODELS ou OLLAMA_HOST dans environment_variables.

2. Services Google Cloud et comment les explorer​

Toutes les commandes supposent que vous avez exécuté gcloud container clusters get-credentials <cluster> --region <region> --project <project> et que PROJECT, REGION et NAMESPACE sont définis. L'espace de noms et les autres identifiants sont signalés dans les Sorties du déploiement.

A. GKE Autopilot — la charge de travail Ollama​

Les pods Ollama sont planifiés sur Autopilot, qui facture le CPU et la mémoire que les pods demandent réellement. L'autoscaling horizontal des pods adapte le déploiement entre le nombre minimal et maximal de réplicas.

  • Console : Kubernetes Engine → Charges de travail → sélectionnez la charge de travail Ollama pour voir les pods et les événements. Kubernetes Engine → Services et Ingress affiche le ClusterIP (ou l'adresse IP externe lorsque service_type = "LoadBalancer").
  • CLI :
    kubectl get pods,svc,hpa -n "$NAMESPACE"
    kubectl logs -n "$NAMESPACE" deploy/<service-name> --tail=100
    kubectl describe hpa -n "$NAMESPACE" # current vs target utilisation
    # Verify Ollama is responding inside the cluster:
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- \
    curl -s http://localhost:11434/api/tags | jq '.models[].name'

Voir App_GKE pour la gestion d'Autopilot, de la mise à l'échelle et du type de charge de travail (Deployment vs StatefulSet).

B. Cloud Storage — persistance des poids de modèle​

Les poids des modèles Ollama sont stockés dans un bucket GCS dédié (nommé <resource_prefix>-models) et montés dans chaque pod via le pilote CSI GCS Fuse à /mnt/gcs. La variable d'environnement OLLAMA_MODELS est définie sur /mnt/gcs/ollama/models afin qu'Ollama y découvre et y mette en cache les modèles.

  • Console : Cloud Storage → Buckets → sélectionnez le bucket de modèles pour parcourir les fichiers de modèles téléchargés.
  • CLI :
    # Bucket name is in the Outputs (models_bucket)
    gcloud storage ls gs://<models-bucket>/ollama/models/
    gcloud storage buckets describe gs://<models-bucket> --project "$PROJECT"
    # Confirm the GCS volume is mounted inside a running pod:
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- ls /mnt/gcs/ollama/models/

Le nom du bucket est signalé comme la sortie models_bucket. Voir App_GKE pour GCS Fuse, les options CMEK et les politiques de cycle de vie des buckets.

C. Secret Manager​

Ollama ne nécessite aucune information d'identification gérée par l'application — il n'y a pas de mot de passe administrateur ni de mot de passe de base de données. Secret Manager est disponible pour tout secret personnalisé que vous injectez via secret_environment_variables.

  • Console : Sécurité → Secret Manager.
  • CLI :
    gcloud secrets list --project "$PROJECT"
    gcloud secrets versions access latest --secret=<secret-name> --project "$PROJECT"

Voir App_GKE pour l'intégration et la rotation de Secret Store CSI.

D. Réseau et Ingress​

Par défaut, le service Ollama est exposé uniquement au sein du cluster (ClusterIP). Lorsque service_type = "LoadBalancer" est défini, une adresse IP externe de Cloud Load Balancing est provisionnée. Un domaine personnalisé, Cloud Armor WAF et IAP peuvent être superposés pour les scénarios d'accès externe.

  • Console : Kubernetes Engine → Services et Ingress ; Services réseau → Équilibrage de charge ; Réseau VPC → Adresses IP.
  • CLI :
    kubectl get svc -n "$NAMESPACE"
    # Internal cluster URL (printed as ollama_cluster_url output):
    echo "http://<service-name>.$NAMESPACE.svc.cluster.local:11434"
    gcloud compute addresses list --project "$PROJECT"

Voir App_GKE pour les domaines personnalisés, Cloud CDN et les détails des adresses IP statiques.

E. Cloud Logging et Monitoring​

Le stdout/stderr des pods est acheminé vers Cloud Logging ; les métriques GKE sont acheminées vers Cloud Monitoring. Des tests de disponibilité et des politiques d'alerte facultatifs sont disponibles.

  • Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
  • CLI :
    gcloud logging read \
    'resource.type="k8s_container" AND resource.labels.namespace_name="'"$NAMESPACE"'"' \
    --project "$PROJECT" --limit 50

3. Comportement de l'application Ollama​

  • Pas de configuration de base de données au premier déploiement. Ollama n'a pas de base de données. Il n'y a pas de job db-init et pas d'instance Cloud SQL.
  • Extraction de modèle au premier déploiement. Lorsque default_model est défini et que initialization_jobs est vide, un job Kubernetes nommé model-pull s'exécute une fois. Il démarre un serveur Ollama local en arrière-plan, extrait le modèle nommé, le stocke dans le bucket GCS, puis s'arrête. Le job monte le volume GCS ollama-models afin que les poids persistent. Le délai d'expiration est contrôlé par model_pull_timeout_seconds (par défaut 3600 secondes) ; les grands modèles (7B+) peuvent prendre 20 à 30 minutes lors de la première extraction.
  • Chargement de modèle à froid. Au démarrage de chaque pod, Ollama charge les poids du modèle depuis GCS Fuse. Cela prend généralement 30 à 120 secondes selon la taille du modèle. La sonde de démarrage utilise un délai initial de 30 s avec 20 tentatives d'échec (environ 5 minutes) pour s'adapter à cela. OLLAMA_KEEP_ALIVE est défini sur "24h" afin que les modèles chargés restent résidents en mémoire entre les requêtes. Écrasez via environment_variables.
  • Variables injectées automatiquement. OLLAMA_MODELS (/mnt/gcs/ollama/models), OLLAMA_HOST (0.0.0.0:11434), et OLLAMA_KEEP_ALIVE (24h) sont injectées automatiquement. Ne pas écraser les deux premières ; la troisième peut être écrasée.
  • Point de terminaison de santé. Le chemin racine d'Ollama (/) répond avec "Ollama is running" une fois que le serveur est prêt. Les sondes de disponibilité (readiness) et de vivacité (liveness) ciblent ce chemin.
  • Réglage supplémentaire. Utilisez environment_variables pour définir OLLAMA_NUM_PARALLEL (par défaut 1, augmentez pour les appelants concurrents), OLLAMA_ORIGINS (restreindre CORS), et d'autres variables d'environnement Ollama.
  • Gestion manuelle des modèles. Extrayez des modèles supplémentaires ou supprimez des modèles existants directement :
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- ollama pull mistral
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- ollama list
    kubectl exec -n "$NAMESPACE" deploy/<service-name> -- ollama rm mistral

4. Variables de configuration​

Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour Ollama sont listés ; toutes les autres entrées sont héritées de App_GKE avec son comportement et ses valeurs par défaut standard.

Groupe 1 — Projet et identité​

VariableValeur par défautDescription
project_id(requis)Projet Google Cloud cible.
regionus-central1Région pour la charge de travail et les ressources régionales.

Groupe 2 — Environnement de déploiement​

VariableValeur par défautDescription
tenant_iddemoCourt suffixe qui rend les noms de ressources uniques par environnement.
support_users[]E-mails auxquels sont accordés l'accès au projet et les alertes de surveillance.
resource_labels{}Étiquettes appliquées à toutes les ressources pour le suivi des coûts/de la propriété.

Groupe 3 — Identité de l'application​

VariableValeur par défautDescription
application_nameollamaNom de base pour les ressources. Ne pas modifier après le premier déploiement.
application_display_nameOllama LLM ServerNom convivial affiché dans la console.
application_description(défini)Annotation de description de la charge de travail.
application_versionlatestTag d'image Ollama ; épingler à une version spécifique (par exemple, 0.3.12) en production.

Groupe 4 — Exécution et mise à l'échelle​

VariableValeur par défautDescription
deploy_applicationtrueDéfinissez false pour provisionner le stockage et IAM sans déployer la charge de travail.
container_resources{ cpu_limit="8", memory_limit="16Gi", cpu_request="4", mem_request="8Gi" }CPU et mémoire du conteneur. Modèles 3B : cpu_limit="4", memory_limit="8Gi". Modèles 7B : cpu_limit="8", memory_limit="16Gi".
min_instance_count1Réplicas minimum. Gardez ≥ 1 pour éviter la latence de chargement de modèle à froid à chaque requête.
max_instance_count3Réplicas maximum (plafond de l'autoscaler). Chaque pod charge indépendamment le modèle en mémoire — dimensionnez en conséquence.
timeout_seconds300Période de grâce de terminaison du pod. Augmentez pour les requêtes d'inférence de longue durée.
termination_grace_period_seconds60Secondes pendant lesquelles Kubernetes attend avant de tuer de force le pod après SIGTERM.
service_typeClusterIPType de service Kubernetes. ClusterIP maintient l'API interne. LoadBalancer l'expose publiquement sans authentification.
session_affinityNoneAffinité de session pour le service Kubernetes. ClientIP améliore la continuité du contexte multi-tours mais fausse la distribution de la charge.
enable_image_mirroringtrueMettre en miroir ollama/ollama vers Artifact Registry pour éviter les limites de débit de Docker Hub.
enable_vertical_pod_autoscalingfalseLaissez Autopilot ajuster automatiquement les requêtes de ressources.
container_image_sourceprebuiltNon transféré — main.tf épingle "prebuilt", donc ollama/ollama:<application_version> est toujours mis en miroir et jamais construit.
container_imageollama/ollamaURI d'image complète lorsque container_image_source = "prebuilt".
enable_cloudsql_volumefalseNon nécessaire pour Ollama (pas de base de données).

Groupe 5 — Accès et réseau​

VariableValeur par défautDescription
enable_iapfalseExiger la connexion Google via Identity-Aware Proxy. Recommandé lorsque service_type = "LoadBalancer".
iap_authorized_users / iap_authorized_groups[]Qui peut accéder via IAP.
iap_oauth_client_id / iap_oauth_client_secret""Requis lorsque IAP est activé.
enable_cloud_armorfalseAttacher une politique Cloud Armor (WAF) au backend Ingress.
application_domains[]Noms d'hôtes personnalisés pour l'équilibreur de charge.
enable_custom_domaintrueConfigurer un domaine personnalisé et un certificat géré.
reserve_static_iptrueRéserver une adresse IP externe stable.
enable_vpc_scfalseAppliquer un périmètre VPC-SC (nécessite organization_id).
enable_audit_loggingfalseJournaux d'audit Cloud détaillés.

Groupe 6 — Variables d'environnement et secrets​

VariableValeur par défautDescription
environment_variables{}Paramètres supplémentaires non secrets. OLLAMA_MODELS, OLLAMA_HOST et OLLAMA_KEEP_ALIVE sont injectés automatiquement. Utilisez OLLAMA_NUM_PARALLEL, OLLAMA_ORIGINS, etc. ici.
secret_environment_variables{}Mappage de var d'environnement → nom de secret Secret Manager.

Groupe 7 — Sauvegarde et maintenance​

Non applicable pour Ollama — les poids des modèles sont stockés durablement dans GCS. Ces variables sont présentes uniquement pour la compatibilité de l'interface. Voir App_GKE.

Groupe 8 — CI/CD et intégration GitHub​

Intégration standard App_GKE Cloud Build / Cloud Deploy — voir App_GKE. Entrées clés : enable_cicd_trigger, github_repository_url, github_token, enable_cloud_deploy, enable_binary_authorization.

Également dans ce groupe : enable_resource_quota, quota_cpu_requests, quota_cpu_limits, quota_memory_requests, quota_memory_limits, quota_max_pods, quota_max_services, quota_max_pvcs. Lorsque enable_resource_quota = true, les valeurs de mémoire doivent utiliser des suffixes d'unité binaire (4Gi, 8192Mi) — les entiers nus sont traités comme des octets par Kubernetes et bloquent toute planification de pod.

Groupe 9 — Jobs et tâches planifiées​

VariableValeur par défautDescription
initialization_jobs[]Laissez vide et définissez default_model pour utiliser le job d'extraction de modèle auto-généré. Fournissez une liste non vide pour le remplacer entièrement.
cron_jobs[]CronJobs Kubernetes récurrents pour la gestion des modèles ou d'autres tâches.
additional_services[]Conteneurs supplémentaires déployés en tant que déploiements Kubernetes distincts (par exemple, une base de données vectorielle Qdrant à côté d'Ollama).
enable_topology_spreadfalseRépartir les pods sur plusieurs zones pour une plus grande disponibilité.

Groupe 11 — Stockage et système de fichiers​

VariableValeur par défautDescription
create_cloud_storagetrueProvisionner des buckets GCS dans storage_buckets. Le bucket de modèles est toujours créé quoi qu'il arrive.
storage_buckets[]Buckets GCS supplémentaires au-delà du bucket de modèles.
enable_nfsfalseNon requis pour Ollama (utilise GCS Fuse).
gcs_volumes[]Points de montage de volume GCS Fuse supplémentaires. Le bucket ollama-models à /mnt/gcs est toujours ajouté automatiquement.
manage_storage_kms_iam / enable_artifact_registry_cmekfalseOptions CMEK.

Groupe 12 — Backend de base de données​

Non applicable pour Ollama. database_type est fixé à "NONE" — aucune instance Cloud SQL n'est provisionnée. Ces variables sont présentes uniquement pour la compatibilité de l'interface.

Groupe 14 — Observabilité et santé​

VariableValeur par défautDescription
startup_probe{ type="HTTP", path="/", initial_delay_seconds=30, failure_threshold=20 }Le seuil de 20 tentatives permet environ 5 minutes pour le chargement du modèle depuis GCS.
liveness_probe{ type="HTTP", path="/", initial_delay_seconds=60, failure_threshold=3 }Un délai de 60 s évite les faux redémarrages pendant le chargement du modèle.
uptime_check_config{ enabled=false, path="/" }Test de disponibilité Cloud Monitoring ; désactivé par défaut, activez explicitement pour l'activer.
alert_policies[]Politiques d'alerte métrique facultatives.

Groupe 15 — Redis​

Non applicable pour Ollama. enable_redis est codé en dur à false quelle que soit cette configuration.

Groupe 16 — Backend et cluster GKE​

VariableValeur par défautDescription
gke_cluster_name""Nom du cluster GKE ; laissez vide pour la découverte automatique à partir de Services_GCP.
namespace_name""Espace de noms Kubernetes ; auto-généré à partir du nom de l'application lorsqu'il est vide.
enable_pod_disruption_budgettrueProtéger la disponibilité pendant les mises à niveau de nœuds.
pdb_min_available1Assurez-vous de max_instance_count ≥ 2 lors de l'utilisation d'un PDB afin que les mises à niveau progressives puissent se poursuivre.
deployment_timeout1800Secondes pendant lesquelles Terraform attend le déploiement. Augmentez à 1200 pour les grands modèles (13B+).

Groupe 17 — StatefulSet​

S'applique uniquement lorsque workload_type = "StatefulSet". La charge de travail de déploiement par défaut avec GCS Fuse persistence est recommandée ; ces paramètres ne sont pas nécessaires dans le cas typique.

VariableValeur par défautDescription
stateful_pvc_enablednullActiver un PVC pour le stockage local des modèles. Non requis lors de l'utilisation de GCS Fuse.
stateful_pvc_size50GiTaille du PVC (par exemple, "100Gi" pour plusieurs grands modèles).
stateful_pvc_mount_path/mnt/dataChemin du conteneur pour le PVC.
stateful_pvc_storage_classstandard-rwoKubernetes StorageClass.

Groupe 19 — Configuration du modèle Ollama​

VariableValeur par défautDescription
default_model""Modèle à extraire lors du premier déploiement (par exemple, "llama3.2:3b", "mistral", "phi3:mini"). Laissez vide pour ignorer le job d'extraction automatique.
model_pull_timeout_seconds3600Délai d'expiration pour le job Kubernetes d'extraction de modèle. Les grands modèles (7B+) peuvent prendre 20 à 30 minutes. Plage valide : 300 à 7200.

5. Sorties​

Ces valeurs sont renvoyées lors d'un déploiement réussi et constituent le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.

SortieDescription
service_nameNom du service Kubernetes.
namespaceEspace de noms dans lequel la charge de travail s'exécute.
ollama_cluster_urlURL Kubernetes interne : http://<service-name>.<namespace>.svc.cluster.local:11434. Utilisez-la dans d'autres pods pour appeler l'API Ollama.
service_cluster_ipClusterIP intra-cluster.
stage_service_cluster_ipsMappage des ClusterIP pour les services spécifiques à l'étape (Cloud Deploy).
service_external_ipIP externe de l'équilibreur de charge (lorsque service_type = "LoadBalancer" et qu'une IP statique est réservée).
api_urlURL du service.
models_bucketNom du bucket GCS où les poids du modèle Ollama sont persistés.
storage_bucketsTous les buckets Cloud Storage provisionnés.
network_name / network_exists / regionsRéseau VPC, présence, régions disponibles.
container_image / container_registryImage déployée et dépôt Artifact Registry.
monitoring_enabled / monitoring_notification_channelsÉtat et canaux de surveillance.
initialization_jobsNoms des jobs de configuration (y compris model-pull lorsqu'il est déclenché).
deployment_id / tenant_id / resource_prefixIdentifiants de nommage.
project_id / project_numberIdentifiants de projet.
cicd_enabled / cicd_configurationÉtat et détails CI/CD.
kubernetes_readytrue lorsque le point de terminaison du cluster est disponible et que les charges de travail sont déployées. false lors du premier apply d'un nouveau cluster inline — réexécutez apply pour terminer.
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_modeÉtat VPC-SC.
audit_logging_enabled / artifact_registry_cmek_enabledJournalisation d'audit et état CMEK.

6. Pièges de configuration et valeurs par défaut judicieuses​

Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).

ParamètreValeur judicieuseRisqueConséquence si incorrect
service_typeClusterIPCritiqueLoadBalancer expose publiquement l'API Ollama non authentifiée sur le port 11434. Ollama n'a pas d'authentification intégrée.
container_resources.memory_limit16Gi (7B) / 8Gi (3B)CritiqueUne mémoire insuffisante provoque un OOM-kill en cours d'inférence et un redémarrage en boucle du pod. Allouez au moins 2 fois la taille des poids du modèle quantifié.
quota_memory_requests / _limitsunités binaires (4Gi, 8Gi)CritiqueLes entiers nus (par exemple, "4") sont traités comme des octets par Kubernetes et bloquent toute planification de pod dans l'espace de noms.
enable_iaptrue si service_type = "LoadBalancer"CritiqueSans IAP ou restriction VPC, l'API Ollama n'est pas authentifiée et est publiquement accessible.
container_resources.cpu_limit8 (7B) / 4 (3B)ÉlevéTrop peu de CPU rend la génération de jetons extrêmement lente. Pour l'inférence 7B en production, 6 à 8 cœurs sont nécessaires.
min_instance_count1Élevé0 permet la mise à l'échelle à zéro mais provoque des démarrages à froid de 60 à 120 s pendant que le modèle se recharge depuis GCS.
model_pull_timeout_seconds3600ÉlevéUn délai d'expiration court fait échouer le job d'extraction de modèle avant que le téléchargement ne soit terminé pour les modèles de plus de 2 Go.
deployment_timeout600ÉlevéTrop court pour un grand modèle (13B+) se chargeant depuis GCS au premier démarrage. Augmentez à 1200.
max_instance_count3ÉlevéChaque pod charge indépendamment le modèle complet en mémoire. Trois réplicas 7B nécessitent environ 48 GiB.
default_modeldéfini sur le modèle souhaitéMoyenLaisser vide est sûr pour le déploiement initial mais l'API renvoie une erreur sur toutes les requêtes d'inférence jusqu'à ce qu'un modèle soit extrait manuellement.
environment_variables.OLLAMA_NUM_PARALLEL2–4 pour une utilisation partagéeMoyenLa valeur par défaut 1 sérialise toutes les requêtes. Augmentez pour les déploiements de clusters partagés avec des appelants concurrents.
environment_variables.OLLAMA_KEEP_ALIVE24h (injecté automatiquement)MoyenLa valeur par défaut d'Ollama (5m) évince les modèles de la mémoire après inactivité, ce qui entraîne des délais de rechargement de 30 à 60 s. Le module injecte 24h automatiquement.
enable_pod_disruption_budgettrueMoyenAvec pdb_min_available = 1 et un seul réplica, les mises à niveau de nœuds glissantes bloquent. Assurez-vous de max_instance_count ≥ 2.
enable_resource_quotaactiver pour les clusters partagésMoyenSans ResourceQuota, un pod mal configuré peut consommer toutes les ressources du cluster.
gcs_volumes options de montageinclure implicit-dirsMoyenSans implicit-dirs, les listes de répertoires GCS Fuse échouent et Ollama ne peut pas découvrir les modèles mis en cache.
enable_image_mirroringtrueMoyenDésactive les extractions de Docker Hub, qui est soumis à des limites de débit. Gardez true en production.

Pour le comportement de la fondation référencé tout au long — Workload Identity, autoscaling, ingress et certificats, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC, sauvegardes et mise en miroir d'images — voir App_GKE. La configuration d'application partagée spécifique à Ollama est décrite dans Ollama_Common.

Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.