Aller au contenu principal

LiteLLM sur GKE Autopilot

LiteLLM sur GKE Autopilot

LiteLLM est un proxy LLM open source et une passerelle IA qui fournit une API unifiée compatible OpenAI pour plus de 100 fournisseurs, dont OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock et Ollama. Les organisations l'utilisent pour centraliser le suivi des dépenses IA, gérer les clés API virtuelles, appliquer des limites de débit et obtenir une visibilité complète sur l'utilisation des modèles. Ce module déploie LiteLLM sur GKE Autopilot sur la base de la fondation App_GKE, qui provisionne et gère l'infrastructure partagée de Google Cloud et Kubernetes.

Ce guide se concentre sur les services cloud utilisés par LiteLLM et sur la manière de les explorer et de les exploiter depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à chaque application GKE — Workload Identity, ingress, autoscaling, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement —, reportez-vous au guide de la fondation App_GKE plutôt que de les répéter ici.


Coût de LiteLLM sur RAD et comparaison​

Le module LiteLLM sur GKE Autopilot de RAD coûte environ 129 $ US par mois dans votre propre projet, sans facturation par requête. RAD facture 110 crédits une fois par déploiement dans votre propre projet (99 crédits, soit 10 % de moins, dans un projet géré par RAD). Les builds sont inclus dans le prix. La même application se déploie également sur Cloud Run pour environ 77 $ US par mois — voir le guide Cloud Run pour l'option la moins chère. Si vous n'en avez besoin qu'occasionnellement, un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires, de sorte que ce chiffre mensuel ne représente que quelques dollars — voir Mettez-le en pause gratuitement, ci-dessous.

Ce que vous payez sur RAD​

Dans un projet Google Cloud que vous possédezDans un projet géré par RAD pour vous
Frais de module, une fois par déploiement110 crédits (11,00 $ US au prix de la recharge)99 crédits (10 % de moins)
BuildsInclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites, puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés à la minute pour le temps de buildIdem
Coût d'exécution Google CloudFacturé par Google à votre propre compte de facturation, environ 129 $ US par mois pour la configuration par défaut (tableau ci-dessous)Mesuré à l'heure en crédits ; RAD publie 137 crédits par jour, soit environ 4 110 par mois (environ 411 $ US au prix de la recharge ; estimé à partir des prix catalogue Google, et incluant les frais de cluster)
Qui possède quoiVous possédez le projet et sa facturation ; RAD le déploie et le met à jourRAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde minimum acheté est conservé en réserve

Pourquoi les deux colonnes diffèrent. Le chiffre géré par RAD inclut les frais de gestion du cluster GKE (environ 73 $ US par mois) et la fondation partagée du projet. Dans votre propre projet, le niveau gratuit de Google couvre les frais de gestion d'un cluster par compte de facturation, ce que le chiffre du propre projet suppose. Il est estimé à partir des prix catalogue de Google, car il n'y a pas encore assez d'historique GKE géré par RAD pour le mesurer, donc la confirmation de déploiement ne le cite pas. Une deuxième application GKE dans le même projet géré par RAD partage le cluster et n'ajoute que ses propres pods.

Votre premier déploiement réussi sur RAD est exempt de frais de module, quel que soit le montant des frais : une fois par compte, pour un module que vous déployez et payez vous-même (dans une solution, les frais d'une application : la première à réussir ; jamais une session de lab ou un projet client).

10 crédits coûtent 1 $ US pour une recharge ponctuelle, et moins avec un plan mensuel. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par chaque application du projet, de sorte qu'une deuxième application n'ajoute pas de deuxième base de données.

Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :

Ressource (par défaut du module)Par mois
Pod GKE Autopilot, 2x vCPU / 2 GiB72 $ US
Cloud SQL pour PostgreSQL, 1 vCPU / 3,75 Go, zonal, 10 Go SSD51 $ US
Cloud NAT et réseau5 $ US
Cloud Storage (modules complémentaires, sauvegardes)1 $ US
Frais de gestion du cluster GKEpartagés entre toutes les applications GKE du projet ; 0 $ US si c'est votre seul cluster, sinon ~73 $ US
Totalenviron 129 $ US

Comparaison​

  • Portkey, une passerelle LLM hébergée offrant un ensemble de fonctionnalités similaires (API unifiée/suivi des coûts), coûte 49 $ US par mois sur son plan Production, couvrant 100 000 requêtes enregistrées par mois, avec une utilisation au-delà facturée par tranches de 9 $ US par 100 000 requêtes.
  • Le module LiteLLM de RAD coûte environ 129 $ US par mois dans votre propre projet — plus que Portkey à faible volume, mais il n'y a pas de facturation par requête, et chaque prompt, réponse et clé API du fournisseur reste dans l'infrastructure que vous contrôlez plutôt que de passer par la passerelle d'un tiers.
  • Comparaison autogérée : son pod GKE de 2 vCPU / 2 GiB est plus proche d'un GCP Compute Engine e2-standard-2 (2 vCPU/8 Go, ~49 $ US/mois) — mais vous exécutez alors PostgreSQL, les correctifs de sécurité et la disponibilité de la passerelle vous-même ; Cloud SQL géré par RAD, Secret Manager et la surveillance couvrent cela.

Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le quand vous en avez besoin​

Si LiteLLM s'exécute dans un projet géré par RAD pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez tout le projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à LiteLLM dont vous n'avez besoin qu'occasionnellement — évaluation, environnement de démonstration, charge de travail saisonnière ou intermittente — que de le faire fonctionner en continu.

Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration, de sorte que la restauration ne peut pas être considérée comme un moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.

  • Comment ça marche. La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. Comme la facturation est déjà déliée, rien n'est facturé pendant cette attente. Contrairement à la suppression d'un module, cela ne détruit pas la base de données, les VM ou les ressources de calcul une par une — tout le projet, et tout ce qu'il contient, s'arrête simplement.
  • La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google de réactiver le projet et de rattacher son compte de facturation, puis vous demande d'exécuter Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
  • Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 411 $ US par mois pour le maintenir en fonctionnement. Déployez LiteLLM, utilisez-le pendant un certain temps, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez que les frais de module une fois et le temps qu'il a été réellement actif.
  • Ce que cela nécessite. Vous devez être propriétaire du projet (pas un projet dont RAD ne gère que la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox que la plupart des utilisations d'évaluation conviennent). Google indique que la plupart des services sont de nouveau pleinement fonctionnels dans les 36 heures suivant une restauration.
  • Un véritable manque : les sauvegardes nocturnes ne survivent pas. Les sauvegardes et autres fichiers générés sont écrits dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probable qu'il disparaisse dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé LiteLLM et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.

Payez uniquement pendant que vous l'utilisez, l'autre méthode : supprimer et redéployer​

L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.

  • Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) — 110 crédits (11,00 $ US) au total. La suppression ne permet d'économiser de l'argent que si LiteLLM reste inutilisé assez longtemps pour compenser ce coût de redéploiement par rapport à son propre coût de fonctionnement — environ 3 jours ou plus, à la fois dans votre propre projet (environ 4,31 $ US par jour) et dans un projet géré par RAD (137 crédits par jour).
  • La majeure partie du coût de fonctionnement est généralement partagée. Pour LiteLLM, il s'agit de la base de données. Ils ne s'arrêtent que si rien d'autre dans le projet ne les utilise, donc la suppression de cette application alors que quelque chose d'autre partage le projet n'économise que la partie calcul propre à cette application.
  • Conservez d'abord vos données. Les sauvegardes nocturnes vont dans un bucket à l'intérieur du déploiement et sont supprimées avec lui, donc copiez la dernière sauvegarde avant de supprimer si vous voulez la conserver.

Sessions de lab et environnements gérés​

  • Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant obtient l'application dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits non utilisés sont restitués au formateur.
  • Environnements gérés, pour les sociétés de conseil. Un partenaire exécute l'application pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire transfère le projet et les déploiements deviennent la propriété du client.

Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.

Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; frais RAD et estimation des crédits quotidiens de radmodules.dev/pricing ; Supprimer et restaurer des projets pour les mécanismes de pause/restauration et ce qu'il dit sur les objets Cloud Storage sans suppression logicielle ; Portkey. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.

1. Vue d'ensemble​

LiteLLM fonctionne comme une charge de travail proxy basée sur Python. Le déploiement relie un ensemble ciblé de services Google Cloud :

CapacitéService Google CloudNotes
CalculGKE AutopilotPods proxy Python, 2 vCPU / 2 GiB par défaut, mise à l'échelle horizontale automatique
Base de donnéesCloud SQL pour PostgreSQL 15Requis — l'ORM Prisma de LiteLLM utilise PostgreSQL pour les clés virtuelles et le suivi des dépenses
Stockage d'objetsCloud StorageFacultatif — aucun bucket créé par défaut
CacheRedisFacultatif — réduit la latence et le coût pour les requêtes LLM identiques répétées
SecretsSecret ManagerClé maîtresse et clé de sel auto-générées ; clés API du fournisseur LLM injectées à l'exécution
IngressCloud Load BalancingLoadBalancer externe, nom de domaine personnalisé facultatif + certificat géré

Valeurs par défaut judicieuses à connaître à l'avance :

  • PostgreSQL 15 est obligatoire. L'ORM Prisma de LiteLLM nécessite PostgreSQL pour la gestion des clés virtuelles et le suivi des dépenses ; changer le moteur interrompt le démarrage.
  • Une image de conteneur personnalisée est construite par Cloud Build. L'image intègre un entrypoint.sh qui assemble DATABASE_URL à partir des variables d'environnement DB_* injectées par la fondation à l'exécution.
  • LITELLM_MASTER_KEY et LITELLM_SALT_KEY sont auto-générées et stockées dans Secret Manager. La clé de sel ne doit jamais être renouvelée après l'émission de clés virtuelles — toutes les clés virtuelles existantes deviendraient définitivement invalides.
  • STORE_MODEL_IN_DB = "true" est défini automatiquement, permettant la gestion des modèles à l'exécution et l'interface utilisateur d'administration sans redémarrage des conteneurs.
  • Redis est désactivé par défaut. Activez-le pour les déploiements multi-répliques afin de partager les compteurs de limites de débit et les caches de réponses entre les pods.
  • La sonde de démarrage cible /health/readiness, qui valide la connectivité de la base de données et confirme que les migrations Prisma sont terminées avant que le trafic ne soit acheminé vers le pod.

2. Services Google Cloud et comment les explorer​

Toutes les commandes supposent que vous avez exécuté gcloud container clusters get-credentials <cluster> --region <region> --project <project> et que PROJECT, REGION et NAMESPACE sont définis. L'espace de noms et les autres identifiants sont rapportés dans les Sorties du déploiement.

A. GKE Autopilot — la charge de travail LiteLLM​

Les pods LiteLLM sont planifiés sur Autopilot, qui facture le CPU/la mémoire réellement demandés par les pods. L'autoscaling horizontal des pods dimensionne le déploiement entre les nombres minimum et maximum de réplicas.

  • Console : Kubernetes Engine → Charges de travail → sélectionnez la charge de travail LiteLLM pour voir les pods, les révisions et les événements. Kubernetes Engine → Services et Ingress affiche l'adresse IP externe.
  • CLI :
    kubectl get pods,svc,hpa -n "$NAMESPACE"
    kubectl logs -n "$NAMESPACE" deploy/<service-name> --tail=100
    kubectl describe hpa -n "$NAMESPACE" # current vs target utilisation

Voir App_GKE pour la gestion d'Autopilot, de la mise à l'échelle et du type de charge de travail (Deployment vs StatefulSet).

B. Cloud SQL pour PostgreSQL 15​

LiteLLM stocke toutes les clés virtuelles, les journaux d'utilisation, les enregistrements de coûts et les règles de routage des modèles dans une instance Cloud SQL pour PostgreSQL 15 gérée. Les pods l'atteignent en privé via le sidecar Cloud SQL Auth Proxy sur un socket Unix, de sorte qu'aucune IP publique n'est exposée. Lors du premier déploiement, un job d'initialisation crée la base de données et l'utilisateur de l'application.

  • Console : SQL → sélectionnez l'instance pour les connexions, les sauvegardes, les indicateurs et les métriques.
  • CLI :
    gcloud sql instances list --project "$PROJECT"
    gcloud sql instances describe <instance-name> --project "$PROJECT"
    # Open an interactive shell to inspect schema/data:
    gcloud sql connect <instance-name> --user=<db-user> --database=litellm_db --project "$PROJECT"

Le nom de l'instance, le nom de la base de données, l'utilisateur et le secret Secret Manager contenant le mot de passe sont tous affichés dans les Sorties. Pour le modèle de connexion, les sauvegardes automatisées et la rotation des mots de passe, voir App_GKE.

C. Cloud Storage​

Aucun bucket de stockage n'est créé par défaut. Les buckets peuvent être déclarés via la variable storage_buckets et montés via GCS Fuse lorsque gcs_volumes est défini — par exemple, pour livrer un config.yaml au conteneur sans reconstruire l'image.

  • Console : Cloud Storage → Buckets.
  • CLI :
    gcloud storage buckets list --project "$PROJECT"
    gcloud storage ls gs://<bucket-name>/

Voir App_GKE pour les options GCS Fuse et CMEK.

D. Cache Redis​

Redis prend en charge la mise en cache des réponses facultative de LiteLLM et les compteurs de limites de débit partagés. Lorsque enable_redis = true, les variables d'environnement REDIS_HOST, REDIS_PORT et (facultativement) REDIS_PASSWORD sont injectées automatiquement dans les pods.

  • Console : Memorystore → Redis (si vous utilisez une instance gérée).
  • CLI :
    redis-cli -h <redis-host> ping        # from a host with network access
    redis-cli -h <redis-host> info keyspace

E. Secret Manager​

LITELLM_MASTER_KEY (la clé API d'administration principale, préfixée sk-) et LITELLM_SALT_KEY (utilisée pour hacher les clés virtuelles) sont générées automatiquement et stockées dans Secret Manager. Les clés API du fournisseur LLM (par exemple OPENAI_API_KEY) sont injectées en référençant des secrets préexistants via secret_environment_variables.

  • Console : Sécurité → Secret Manager.
  • CLI :
    gcloud secrets list --project "$PROJECT"
    # Retrieve the master key:
    gcloud secrets versions access latest --secret=<master-key-secret> --project "$PROJECT"

Le nom du secret du mot de passe de la base de données se trouve dans les Sorties. Voir App_GKE pour l'intégration et la rotation de Secret Store CSI.

F. Réseau et ingress​

Par défaut, la charge de travail est exposée via une IP externe de Cloud Load Balancing. Un domaine personnalisé avec un certificat géré par Google peut être activé, et une IP statique peut être réservée afin que l'adresse survive aux redéploiements.

  • Console : Services réseau → Équilibrage de charge ; Réseau VPC → Adresses IP.
  • CLI :
    kubectl get ingress,svc -n "$NAMESPACE"
    gcloud compute addresses list --project "$PROJECT"

Voir App_GKE pour les détails sur les domaines personnalisés, Cloud CDN et les adresses IP statiques.

G. Cloud Logging et Monitoring​

Les sorties stdout/stderr des pods sont acheminées vers Cloud Logging ; les métriques GKE et Cloud SQL sont acheminées vers Cloud Monitoring. Des tests de disponibilité et des stratégies d'alerte facultatifs sont disponibles.

  • Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
  • CLI :
    gcloud logging read 'resource.type="k8s_container" AND resource.labels.namespace_name="'"$NAMESPACE"'"' \
    --project "$PROJECT" --limit 50

3. Comportement de l'application LiteLLM​

  • Configuration de la base de données au premier déploiement. Un job d'initialisation crée la base de données et l'utilisateur LiteLLM et accorde les privilèges avant le démarrage de l'application. Il se connecte à Cloud SQL via le proxy d'authentification et est idempotent.

  • Migrations Prisma au démarrage. LiteLLM exécute ses migrations ORM Prisma à chaque démarrage de pod, de sorte que la mise à niveau de la version de l'application applique automatiquement les modifications de schéma. La sonde de démarrage attend que /health/readiness renvoie 200, confirmant que les migrations sont terminées avant d'acheminer le trafic vers le pod.

  • Interface utilisateur d'administration. L'interface utilisateur d'administration de LiteLLM est disponible à l'adresse /ui sur l'URL du service. Authentifiez-vous avec la clé LITELLM_MASTER_KEY (récupérez-la dans Secret Manager). Depuis l'interface utilisateur, vous pouvez ajouter des modèles, créer des clés virtuelles, définir des budgets et afficher des tableaux de bord d'utilisation — le tout sans redémarrer le conteneur.

  • Ajout de clés de fournisseur LLM. Les clés API du fournisseur ne sont pas gérées par ce module. Fournissez-les au moment du déploiement via secret_environment_variables (mappant chaque variable d'environnement à un secret Secret Manager préexistant), ou ajoutez-les après le déploiement via l'interface utilisateur d'administration ou le point de terminaison d'API /model/new en utilisant la clé maîtresse.

  • Gestion des clés virtuelles. Utilisez l'API /key/generate avec la clé maîtresse pour émettre des clés virtuelles par équipe ou par utilisateur avec des limites de débit et des budgets de dépenses. Ces clés sont stockées dans PostgreSQL et salées avec LITELLM_SALT_KEY.

    # Retrieve the master key then create a virtual key:
    MASTER_KEY=$(gcloud secrets versions access latest --secret=<master-key-secret> --project "$PROJECT")
    curl -X POST "https://<service-url>/key/generate" \
    -H "Authorization: Bearer $MASTER_KEY" \
    -H "Content-Type: application/json" \
    -d '{"key_alias": "team-a", "max_budget": 10.0}'
  • Points de terminaison de santé. /health/readiness valide la connectivité de la base de données et l'achèvement des migrations Prisma ; /health/liveliness confirme que le processus proxy est en cours d'exécution. Ceux-ci sont utilisés respectivement comme sondes de démarrage et de vivacité.


4. Variables de configuration​

Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour LiteLLM sont listés ; toutes les autres entrées sont héritées de App_GKE avec son comportement et ses valeurs par défaut standards.

Groupe 1 — Projet et identité​

VariableValeur par défautDescription
project_id(requis)Projet Google Cloud cible.
regionus-central1Région pour la charge de travail et les ressources régionales.

Groupe 2 — Environnement de déploiement​

VariableValeur par défautDescription
tenant_iddemoSuffixe court qui rend les noms de ressources uniques par environnement.
support_users[]Adresses e-mail autorisées à accéder au projet et aux alertes de surveillance.
resource_labels{}Étiquettes appliquées à toutes les ressources pour le suivi des coûts/de la propriété.

Groupe 3 — Identité de l'application​

VariableValeur par défautDescription
application_namelitellmNom de base des ressources. Ne pas modifier après le premier déploiement.
display_nameLiteLLM AI GatewayNom convivial affiché dans la console.
description(défini)Annotation de description de la charge de travail.
application_versionmain-stableTag de version de l'image LiteLLM ; épingler à une version spécifique pour la stabilité en production.

Groupe 4 — Exécution et mise à l'échelle​

VariableValeur par défautDescription
deploy_applicationtrueDéfinir false pour provisionner uniquement l'infrastructure.
cpu_limit2000mCPU par pod ; 2 vCPU recommandés.
memory_limit2GiMémoire par pod ; augmenter à 4Gi pour les déploiements à haut débit.
min_instance_count1Réplicas minimum. Garder ≥ 1 pour éviter les démarrages à froid sur la passerelle API.
max_instance_count3Réplicas maximum (plafond de l'autoscaler).
container_port4000Port natif de LiteLLM.
timeout_seconds600Délai d'expiration de la requête ; augmenter pour les appels d'inférence LLM de longue durée.
enable_cloudsql_volumetrueSidecar Cloud SQL Auth Proxy pour les connexions de socket Unix.
enable_vertical_pod_autoscalingfalseLaisser Autopilot ajuster automatiquement les requêtes de ressources (désactive HPA).

Groupe 5 — Variables d'environnement et secrets​

VariableValeur par défautDescription
environment_variables{ LITELLM_LOG="INFO", NUM_WORKERS="1" }Paramètres supplémentaires non secrets. Les variables LiteLLM principales sont définies automatiquement.
secret_environment_variables{}Mappage de variable d'environnement → nom de secret Secret Manager. Utiliser pour injecter les clés API du fournisseur LLM.

Groupe 6 — Backend GKE et cluster​

VariableValeur par défautDescription
service_typeLoadBalancerComment le service est exposé.
session_affinityClientIPRoutage persistant ; utile lorsqu'un client réutilise une connexion ouverte au même pod.
workload_typenullSe résout automatiquement en StatefulSet lorsque le stockage par pod est activé.
network_tags["nfsserver"]Tags de nœud/pod pour les règles de pare-feu.

Groupe 7 — StatefulSet​

VariableValeur par défautDescription
stateful_pvc_enablednullActiver les modèles PVC ; sélectionne automatiquement le type de charge de travail StatefulSet.
stateful_pvc_size10GiTaille de stockage pour chaque PVC.
stateful_pvc_mount_path/dataChemin du conteneur où le PVC est monté.
stateful_pvc_storage_classstandard-rwoKubernetes StorageClass pour les PVC.

Groupe 8 — Quota de ressources​

VariableValeur par défautDescription
enable_resource_quotafalseDéclaré pour la parité de convention ; non référencé par le déploiement de ce module (aucun ResourceQuota n'est créé).
quota_memory_requests / quota_memory_limits""Non référencé par ce module. Si câblé via un autre module, doit utiliser des unités binaires (4Gi, 8192Mi) — les entiers nus sont lus comme des octets et bloquent la planification.

Groupe 9 — Politiques de fiabilité​

VariableValeur par défautDescription
enable_pod_disruption_budgettrueProtéger la disponibilité pendant les mises à niveau de nœuds.
pdb_min_available1Augmenter min_instance_count au-dessus de 1 si vous avez besoin d'une marge d'éviction.
enable_topology_spreadfalseRépartir les pods entre les zones.

Groupe 10 — Observabilité et santé​

VariableValeur par défautDescription
startup_probe/health/readinessSonde HTTP ; valide la connectivité DB et les migrations Prisma avant d'acheminer le trafic.
liveness_probe/health/livelinessSonde HTTP ; confirme que le processus proxy est en cours d'exécution.
uptime_check_configdésactivéTest de disponibilité Cloud Monitoring facultatif.
alert_policies[]Stratégies d'alerte métrique facultatives.

Groupe 11 — Jobs et tâches planifiées​

VariableValeur par défautDescription
initialization_jobs[]Laisser vide pour utiliser le job de configuration de base de données intégré de LiteLLM_Common.
cron_jobs[]CronJobs Kubernetes planifiés pour les tâches de maintenance ou de nettoyage.

Groupe 12 — CI/CD et intégration GitHub​

Intégration standard App_GKE Cloud Build / Cloud Deploy — voir App_GKE. Entrées clés : enable_cicd_trigger, github_repository_url, github_token, enable_cloud_deploy.

Groupe 13 — Système de fichiers (NFS)​

VariableValeur par défautDescription
enable_nfsfalseNFS n'est pas requis pour LiteLLM ; activer uniquement pour la livraison de fichiers de configuration partagés.
nfs_mount_path/mnt/nfsChemin de montage à l'intérieur du conteneur.

Groupe 14 — Cloud Storage et Artifact Registry​

VariableValeur par défautDescription
create_cloud_storagetrueProvisionner les buckets déclarés dans storage_buckets.
storage_buckets[]Aucun bucket créé par défaut.
gcs_volumes[]Montages de volume GCS Fuse pour la livraison de fichiers de configuration.
manage_storage_kms_iam / enable_artifact_registry_cmekfalseOptions CMEK.

Groupe 16 — Backend de base de données​

VariableValeur par défautDescription
database_typePOSTGRESFixe — ne pas modifier ; LiteLLM nécessite PostgreSQL 15.
db_namelitellm_dbNom de la base de données. Immuable après le premier déploiement.
db_userlitellm_userUtilisateur de l'application. Immuable après le premier déploiement.
database_password_length32Longueur du mot de passe généré (16–64).
enable_auto_password_rotationfalseRotation du mot de passe de la base de données sans interruption de service.

Groupe 17 — Sauvegarde et maintenance​

VariableValeur par défautDescription
backup_schedule0 2 * * *Cron de sauvegarde automatisée (UTC).
backup_retention_days7Rétention ; augmenter à 30–90 pour la production.
enable_backup_import / backup_source / backup_urioptions de restaurationRestaurer à partir d'une sauvegarde lors du déploiement.

Groupe 18 — Scripts SQL personnalisés​

enable_custom_sql_scripts, custom_sql_scripts_bucket, custom_sql_scripts_path, custom_sql_scripts_use_root — exécuter du SQL à partir d'un bucket GCS après le provisionnement. Voir App_GKE.

Groupe 19 — Domaine personnalisé, IP statique et réseau​

VariableValeur par défautDescription
enable_custom_domaintrueProvisionner le routage de l'API Gateway pour les noms d'hôte personnalisés + certificat géré.
application_domains[]Noms d'hôte à servir.
reserve_static_iptrueIP externe stable sur les redéploiements.

Groupe 20 — Identity-Aware Proxy (IAP)​

VariableValeur par défautDescription
enable_iapfalseExiger la connexion Google devant LiteLLM.
iap_authorized_users / iap_authorized_groups[]Qui peut accéder.
iap_oauth_client_id / iap_oauth_client_secret""Requis lorsque IAP est activé (sensible).

Groupe 21 — Cache Redis​

VariableValeur par défautDescription
enable_redisfalseActiver Redis pour la mise en cache des réponses et les compteurs de limites de débit partagés.
redis_host""Point de terminaison Redis ; requis lorsque enable_redis = true.
redis_port6379Port Redis.
redis_auth""Mot de passe d'authentification Redis facultatif (sensible).

Groupe 21 — Cloud Armor​

VariableValeur par défautDescription
enable_cloud_armorfalseAttacher une politique Cloud Armor (WAF) au backend Ingress.
admin_ip_ranges[]CIDR autorisés à un accès privilégié.
cloud_armor_policy_namedefault-waf-policyNom de la politique.

Groupe 22 — VPC Service Controls et journalisation d'audit​

VariableValeur par défautDescription
enable_vpc_scfalseAppliquer un périmètre VPC-SC (nécessite organization_id).
vpc_cidr_ranges / vpc_sc_dry_run(défini)CIDR de niveau d'accès / mode simulation.
enable_audit_loggingfalseJournaux d'audit Cloud détaillés.

5. Sorties​

Ces valeurs sont renvoyées lors d'un déploiement réussi et constituent le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.

SortieDescription
service_nameNom du service Kubernetes.
namespaceEspace de noms dans lequel la charge de travail s'exécute.
service_cluster_ipClusterIP intra-cluster.
stage_service_cluster_ipsMappage des ClusterIP pour les services spécifiques à l'étape.
service_external_ipIP externe du LoadBalancer (lorsqu'une IP statique est réservée).
service_urlURL pour atteindre LiteLLM.
database_instance_nameNom de l'instance Cloud SQL.
database_nameNom de la base de données de l'application.
database_userUtilisateur de la base de données de l'application.
database_password_secretSecret Secret Manager contenant le mot de passe de la base de données.
database_host / database_portPoint de terminaison de la base de données (127.0.0.1 via le proxy d'authentification) / port.
storage_bucketsBuckets Cloud Storage créés.
network_name / network_exists / regionsRéseau VPC, présence, régions disponibles.
container_image / container_registryImage déployée et dépôt Artifact Registry.
monitoring_enabled / monitoring_notification_channelsÉtat et canaux de surveillance.
initialization_jobs / db_import_jobNoms des jobs de configuration et d'importation (facultatif).
deployment_id / tenant_id / resource_prefixIdentifiants de nommage.
project_id / project_numberIdentifiants du projet.
cicd_enabled / cicd_configurationÉtat et détails CI/CD (dépôt, déclencheur, registre).
github_repository_url / github_repository_owner / github_repository_nameDépôt connecté.
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_idRegistre et déclencheur de build.
kubernetes_readyIndique si le cluster/la charge de travail est prêt.
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_modeÉtat VPC-SC.
audit_logging_enabled / artifact_registry_cmek_enabledJournalisation d'audit et état CMEK.

6. Pièges de configuration et valeurs par défaut judicieuses​

Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).

ParamètreValeur judicieuseRisqueConséquence en cas d'erreur
database_typePOSTGRES / POSTGRES_15CritiqueLiteLLM nécessite PostgreSQL ; changer le moteur casse l'ORM Prisma et empêche le démarrage.
enable_cloudsql_volumetrueCritiqueLe sidecar Auth Proxy est requis pour la connectivité à la base de données ; le désactiver entraîne l'échec de Prisma au démarrage.
LITELLM_SALT_KEYauto-générée, jamais renouveléeCritiqueLe renouvellement de la clé de sel invalide toutes les clés virtuelles précédemment émises ; tous les consommateurs d'API perdent l'accès immédiatement.
db_name / db_userdéfini une foisCritiqueImmuable après le premier déploiement ; le renommage recrée la base de données/l'utilisateur et détruit toutes les clés virtuelles et les données de dépenses.
enable_backup_importfalse sauf restaurationCritiqueL'activation sans backup_uri valide fait échouer le job d'importation.
quota_memory_requests / _limitsunités binairesCritiqueLes entiers bruts sont des octets et bloquent toute planification.
ingress_settings / service_typerestreindre pour la productionCritiqueUn LoadBalancer public expose le point de terminaison de la clé maître ; utilisez ClusterIP avec une Gateway authentifiée pour les déploiements internes.
iap_oauth_client_id / iap_oauth_client_secretà fournir lorsque IAP est activéCritiqueDes valeurs manquantes empêchent l'initialisation de la passerelle IAP et rendent le service inaccessible.
LITELLM_MASTER_KEYauto-généréeÉlevéÀ traiter comme une information d'identification ; son renouvellement rompt toutes les intégrations existantes détenant la clé jusqu'à leur mise à jour.
enable_redistrue pour multi-réplicaÉlevéSans Redis, les compteurs de limite de débit sont par pod et non partagés ; les quotas ne sont pas appliqués sur les réplicas.
redis_hostà définir lorsque Redis est activéÉlevéUn hôte vide avec enable_redis = true provoque des erreurs de connexion à chaque requête.
min_instance_count1ÉlevéLes démarrages à froid ajoutent 30 à 60 s de latence et mettent en file d'attente tous les services dépendants.
timeout_seconds600ÉlevéL'inférence de grands modèles linguistiques peut prendre des minutes ; un délai d'attente trop court provoque des erreurs 504 sur les modèles lents.
application_versionfiger pour la productionMoyenLiteLLM publie fréquemment ; les versions non figées peuvent modifier le schéma Prisma ou casser les formats de clés virtuelles.
enable_vertical_pod_autoscalingfalse sauf si VPA est utiliséMoyenL'activation de VPA désactive HPA ; choisissez l'un ou l'autre.
NUM_WORKERS1 (augmenter pour le débit)MoyenUn seul worker sérialise toutes les requêtes ; augmentez à 2-4 et mettez à l'échelle cpu_limit proportionnellement pour les passerelles à fort trafic.
backup_schedule0 2 * * *ÉlevéSans sauvegardes, une suppression accidentelle détruit toutes les clés virtuelles et l'historique d'utilisation sans possibilité de récupération.

Pour le comportement du socle référencé partout — IAM et Workload Identity, autoscaling, ingress et certificats, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC, sauvegardes et mise en miroir des images — voir App_GKE. La configuration d'application spécifique à LiteLLM partagée avec la variante Cloud Run est décrite dans LiteLLM_Common.

Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.