LiteLLM sur GKE Autopilot
LiteLLM est un proxy LLM open source et une passerelle IA qui fournit une API unifiée compatible OpenAI pour plus de 100 fournisseurs, dont OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock et Ollama. Les organisations l'utilisent pour centraliser le suivi des dépenses IA, gérer les clés API virtuelles, appliquer des limites de débit et obtenir une visibilité complète sur l'utilisation des modèles. Ce module déploie LiteLLM sur GKE Autopilot sur la base de la fondation App_GKE, qui provisionne et gère l'infrastructure partagée de Google Cloud et Kubernetes.
Ce guide se concentre sur les services cloud utilisés par LiteLLM et sur la manière de les explorer et de les exploiter depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à chaque application GKE — Workload Identity, ingress, autoscaling, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement —, reportez-vous au guide de la fondation App_GKE plutôt que de les répéter ici.
Coût de LiteLLM sur RAD et comparaison
Le module LiteLLM sur GKE Autopilot de RAD coûte environ 129 $ US par mois dans votre propre projet, sans facturation par requête. RAD facture 110 crédits une fois par déploiement dans votre propre projet (99 crédits, soit 10 % de moins, dans un projet géré par RAD). Les builds sont inclus dans le prix. La même application se déploie également sur Cloud Run pour environ 77 $ US par mois — voir le guide Cloud Run pour l'option la moins chère. Si vous n'en avez besoin qu'occasionnellement, un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires, de sorte que ce chiffre mensuel ne représente que quelques dollars — voir Mettez-le en pause gratuitement, ci-dessous.
Ce que vous payez sur RAD
| Dans un projet Google Cloud que vous possédez | Dans un projet géré par RAD pour vous | |
|---|---|---|
| Frais de module, une fois par déploiement | 110 crédits (11,00 $ US au prix de la recharge) | 99 crédits (10 % de moins) |
| Builds | Inclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites, puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés à la minute pour le temps de build | Idem |
| Coût d'exécution Google Cloud | Facturé par Google à votre propre compte de facturation, environ 129 $ US par mois pour la configuration par défaut (tableau ci-dessous) | Mesuré à l'heure en crédits ; RAD publie 137 crédits par jour, soit environ 4 110 par mois (environ 411 $ US au prix de la recharge ; estimé à partir des prix catalogue Google, et incluant les frais de cluster) |
| Qui possède quoi | Vous possédez le projet et sa facturation ; RAD le déploie et le met à jour | RAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde minimum acheté est conservé en réserve |
Pourquoi les deux colonnes diffèrent. Le chiffre géré par RAD inclut les frais de gestion du cluster GKE (environ 73 $ US par mois) et la fondation partagée du projet. Dans votre propre projet, le niveau gratuit de Google couvre les frais de gestion d'un cluster par compte de facturation, ce que le chiffre du propre projet suppose. Il est estimé à partir des prix catalogue de Google, car il n'y a pas encore assez d'historique GKE géré par RAD pour le mesurer, donc la confirmation de déploiement ne le cite pas. Une deuxième application GKE dans le même projet géré par RAD partage le cluster et n'ajoute que ses propres pods.
Votre premier déploiement réussi sur RAD est exempt de frais de module, quel que soit le montant des frais : une fois par compte, pour un module que vous déployez et payez vous-même (dans une solution, les frais d'une application : la première à réussir ; jamais une session de lab ou un projet client).
10 crédits coûtent 1 $ US pour une recharge ponctuelle, et moins avec un plan mensuel. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par chaque application du projet, de sorte qu'une deuxième application n'ajoute pas de deuxième base de données.
Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :
| Ressource (par défaut du module) | Par mois |
|---|---|
| Pod GKE Autopilot, 2x vCPU / 2 GiB | 72 $ US |
| Cloud SQL pour PostgreSQL, 1 vCPU / 3,75 Go, zonal, 10 Go SSD | 51 $ US |
| Cloud NAT et réseau | 5 $ US |
| Cloud Storage (modules complémentaires, sauvegardes) | 1 $ US |
| Frais de gestion du cluster GKE | partagés entre toutes les applications GKE du projet ; 0 $ US si c'est votre seul cluster, sinon ~73 $ US |
| Total | environ 129 $ US |
Comparaison
- Portkey, une passerelle LLM hébergée offrant un ensemble de fonctionnalités similaires (API unifiée/suivi des coûts), coûte 49 $ US par mois sur son plan Production, couvrant 100 000 requêtes enregistrées par mois, avec une utilisation au-delà facturée par tranches de 9 $ US par 100 000 requêtes.
- Le module LiteLLM de RAD coûte environ 129 $ US par mois dans votre propre projet — plus que Portkey à faible volume, mais il n'y a pas de facturation par requête, et chaque prompt, réponse et clé API du fournisseur reste dans l'infrastructure que vous contrôlez plutôt que de passer par la passerelle d'un tiers.
- Comparaison autogérée : son pod GKE de 2 vCPU / 2 GiB est plus proche d'un GCP Compute Engine e2-standard-2 (2 vCPU/8 Go, ~49 $ US/mois) — mais vous exécutez alors PostgreSQL, les correctifs de sécurité et la disponibilité de la passerelle vous-même ; Cloud SQL géré par RAD, Secret Manager et la surveillance couvrent cela.
Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le quand vous en avez besoin
Si LiteLLM s'exécute dans un projet géré par RAD pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez tout le projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à LiteLLM dont vous n'avez besoin qu'occasionnellement — évaluation, environnement de démonstration, charge de travail saisonnière ou intermittente — que de le faire fonctionner en continu.
Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration, de sorte que la restauration ne peut pas être considérée comme un moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.
- Comment ça marche. La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. Comme la facturation est déjà déliée, rien n'est facturé pendant cette attente. Contrairement à la suppression d'un module, cela ne détruit pas la base de données, les VM ou les ressources de calcul une par une — tout le projet, et tout ce qu'il contient, s'arrête simplement.
- La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google de réactiver le projet et de rattacher son compte de facturation, puis vous demande d'exécuter Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
- Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 411 $ US par mois pour le maintenir en fonctionnement. Déployez LiteLLM, utilisez-le pendant un certain temps, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez que les frais de module une fois et le temps qu'il a été réellement actif.
- Ce que cela nécessite. Vous devez être propriétaire du projet (pas un projet dont RAD ne gère que la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du palier (100 crédits pour le palier sandbox que la plupart des utilisations d'évaluation conviennent). Google indique que la plupart des services sont de nouveau pleinement fonctionnels dans les 36 heures suivant une restauration.
- Un véritable manque : les sauvegardes nocturnes ne survivent pas. Les sauvegardes et autres fichiers générés sont écrits dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probable qu'il disparaisse dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé LiteLLM et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.
Payez uniquement pendant que vous l'utilisez, l'autre méthode : supprimer et redéployer
L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.
- Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) — 110 crédits (11,00 $ US) au total. La suppression ne permet d'économiser de l'argent que si LiteLLM reste inutilisé assez longtemps pour compenser ce coût de redéploiement par rapport à son propre coût de fonctionnement — environ 3 jours ou plus, à la fois dans votre propre projet (environ 4,31 $ US par jour) et dans un projet géré par RAD (137 crédits par jour).
- La majeure partie du coût de fonctionnement est généralement partagée. Pour LiteLLM, il s'agit de la base de données. Ils ne s'arrêtent que si rien d'autre dans le projet ne les utilise, donc la suppression de cette application alors que quelque chose d'autre partage le projet n'économise que la partie calcul propre à cette application.
- Conservez d'abord vos données. Les sauvegardes nocturnes vont dans un bucket à l'intérieur du déploiement et sont supprimées avec lui, donc copiez la dernière sauvegarde avant de supprimer si vous voulez la conserver.
Sessions de lab et environnements gérés
- Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant obtient l'application dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits non utilisés sont restitués au formateur.
- Environnements gérés, pour les sociétés de conseil. Un partenaire exécute l'application pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire transfère le projet et les déploiements deviennent la propriété du client.
Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.
Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; frais RAD et estimation des crédits quotidiens de radmodules.dev/pricing ; Supprimer et restaurer des projets pour les mécanismes de pause/restauration et ce qu'il dit sur les objets Cloud Storage sans suppression logicielle ; Portkey. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.
1. Vue d'ensemble
LiteLLM fonctionne comme une charge de travail proxy basée sur Python. Le déploiement relie un ensemble ciblé de services Google Cloud :
| Capacité | Service Google Cloud | Notes |
|---|---|---|
| Calcul | GKE Autopilot | Pods proxy Python, 2 vCPU / 2 GiB par défaut, mise à l'échelle horizontale automatique |
| Base de données | Cloud SQL pour PostgreSQL 15 | Requis — l'ORM Prisma de LiteLLM utilise PostgreSQL pour les clés virtuelles et le suivi des dépenses |
| Stockage d'objets | Cloud Storage | Facultatif — aucun bucket créé par défaut |
| Cache | Redis | Facultatif — réduit la latence et le coût pour les requêtes LLM identiques répétées |
| Secrets | Secret Manager | Clé maîtresse et clé de sel auto-générées ; clés API du fournisseur LLM injectées à l'exécution |
| Ingress | Cloud Load Balancing | LoadBalancer externe, nom de domaine personnalisé facultatif + certificat géré |
Valeurs par défaut judicieuses à connaître à l'avance :
- PostgreSQL 15 est obligatoire. L'ORM Prisma de LiteLLM nécessite PostgreSQL pour la gestion des clés virtuelles et le suivi des dépenses ; changer le moteur interrompt le démarrage.
- Une image de conteneur personnalisée est construite par Cloud Build.
L'image intègre un
entrypoint.shqui assembleDATABASE_URLà partir des variables d'environnementDB_*injectées par la fondation à l'exécution. LITELLM_MASTER_KEYetLITELLM_SALT_KEYsont auto-générées et stockées dans Secret Manager. La clé de sel ne doit jamais être renouvelée après l'émission de clés virtuelles — toutes les clés virtuelles existantes deviendraient définitivement invalides.STORE_MODEL_IN_DB = "true"est défini automatiquement, permettant la gestion des modèles à l'exécution et l'interface utilisateur d'administration sans redémarrage des conteneurs.- Redis est désactivé par défaut. Activez-le pour les déploiements multi-répliques afin de partager les compteurs de limites de débit et les caches de réponses entre les pods.
- La sonde de démarrage cible
/health/readiness, qui valide la connectivité de la base de données et confirme que les migrations Prisma sont terminées avant que le trafic ne soit acheminé vers le pod.
2. Services Google Cloud et comment les explorer
Toutes les commandes supposent que vous avez exécuté
gcloud container clusters get-credentials <cluster> --region <region> --project <project>
et que PROJECT, REGION et NAMESPACE sont définis. L'espace de noms et les autres
identifiants sont rapportés dans les Sorties du déploiement.
A. GKE Autopilot — la charge de travail LiteLLM
Les pods LiteLLM sont planifiés sur Autopilot, qui facture le CPU/la mémoire réellement demandés par les pods. L'autoscaling horizontal des pods dimensionne le déploiement entre les nombres minimum et maximum de réplicas.
- Console : Kubernetes Engine → Charges de travail → sélectionnez la charge de travail LiteLLM pour voir les pods, les révisions et les événements. Kubernetes Engine → Services et Ingress affiche l'adresse IP externe.
- CLI :
kubectl get pods,svc,hpa -n "$NAMESPACE"
kubectl logs -n "$NAMESPACE" deploy/<service-name> --tail=100
kubectl describe hpa -n "$NAMESPACE" # current vs target utilisation
Voir App_GKE pour la gestion d'Autopilot, de la mise à l'échelle et du type de charge de travail (Deployment vs StatefulSet).
B. Cloud SQL pour PostgreSQL 15
LiteLLM stocke toutes les clés virtuelles, les journaux d'utilisation, les enregistrements de coûts et les règles de routage des modèles dans une instance Cloud SQL pour PostgreSQL 15 gérée. Les pods l'atteignent en privé via le sidecar Cloud SQL Auth Proxy sur un socket Unix, de sorte qu'aucune IP publique n'est exposée. Lors du premier déploiement, un job d'initialisation crée la base de données et l'utilisateur de l'application.
- Console : SQL → sélectionnez l'instance pour les connexions, les sauvegardes, les indicateurs et les métriques.
- CLI :
gcloud sql instances list --project "$PROJECT"
gcloud sql instances describe <instance-name> --project "$PROJECT"
# Open an interactive shell to inspect schema/data:
gcloud sql connect <instance-name> --user=<db-user> --database=litellm_db --project "$PROJECT"
Le nom de l'instance, le nom de la base de données, l'utilisateur et le secret Secret Manager contenant le mot de passe sont tous affichés dans les Sorties. Pour le modèle de connexion, les sauvegardes automatisées et la rotation des mots de passe, voir App_GKE.
C. Cloud Storage
Aucun bucket de stockage n'est créé par défaut. Les buckets peuvent être
déclarés via la variable storage_buckets et montés via GCS Fuse lorsque
gcs_volumes est défini — par exemple, pour livrer un config.yaml au
conteneur sans reconstruire l'image.
- Console : Cloud Storage → Buckets.
- CLI :
gcloud storage buckets list --project "$PROJECT"
gcloud storage ls gs://<bucket-name>/
Voir App_GKE pour les options GCS Fuse et CMEK.
D. Cache Redis
Redis prend en charge la mise en cache des réponses facultative de LiteLLM et
les compteurs de limites de débit partagés. Lorsque enable_redis = true, les
variables d'environnement REDIS_HOST, REDIS_PORT et (facultativement)
REDIS_PASSWORD sont injectées automatiquement dans les pods.
- Console : Memorystore → Redis (si vous utilisez une instance gérée).
- CLI :
redis-cli -h <redis-host> ping # from a host with network access
redis-cli -h <redis-host> info keyspace
E. Secret Manager
LITELLM_MASTER_KEY (la clé API d'administration principale, préfixée sk-) et
LITELLM_SALT_KEY (utilisée pour hacher les clés virtuelles) sont générées
automatiquement et stockées dans Secret Manager. Les clés API du fournisseur LLM
(par exemple OPENAI_API_KEY) sont injectées en référençant des secrets
préexistants via secret_environment_variables.
- Console : Sécurité → Secret Manager.
- CLI :
gcloud secrets list --project "$PROJECT"
# Retrieve the master key:
gcloud secrets versions access latest --secret=<master-key-secret> --project "$PROJECT"
Le nom du secret du mot de passe de la base de données se trouve dans les Sorties. Voir App_GKE pour l'intégration et la rotation de Secret Store CSI.
F. Réseau et ingress
Par défaut, la charge de travail est exposée via une IP externe de Cloud Load Balancing. Un domaine personnalisé avec un certificat géré par Google peut être activé, et une IP statique peut être réservée afin que l'adresse survive aux redéploiements.
- Console : Services réseau → Équilibrage de charge ; Réseau VPC → Adresses IP.
- CLI :
kubectl get ingress,svc -n "$NAMESPACE"
gcloud compute addresses list --project "$PROJECT"
Voir App_GKE pour les détails sur les domaines personnalisés, Cloud CDN et les adresses IP statiques.
G. Cloud Logging et Monitoring
Les sorties stdout/stderr des pods sont acheminées vers Cloud Logging ; les métriques GKE et Cloud SQL sont acheminées vers Cloud Monitoring. Des tests de disponibilité et des stratégies d'alerte facultatifs sont disponibles.
- Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
- CLI :
gcloud logging read 'resource.type="k8s_container" AND resource.labels.namespace_name="'"$NAMESPACE"'"' \
--project "$PROJECT" --limit 50
3. Comportement de l'application LiteLLM
-
Configuration de la base de données au premier déploiement. Un job d'initialisation crée la base de données et l'utilisateur LiteLLM et accorde les privilèges avant le démarrage de l'application. Il se connecte à Cloud SQL via le proxy d'authentification et est idempotent.
-
Migrations Prisma au démarrage. LiteLLM exécute ses migrations ORM Prisma à chaque démarrage de pod, de sorte que la mise à niveau de la version de l'application applique automatiquement les modifications de schéma. La sonde de démarrage attend que
/health/readinessrenvoie 200, confirmant que les migrations sont terminées avant d'acheminer le trafic vers le pod. -
Interface utilisateur d'administration. L'interface utilisateur d'administration de LiteLLM est disponible à l'adresse
/uisur l'URL du service. Authentifiez-vous avec la cléLITELLM_MASTER_KEY(récupérez-la dans Secret Manager). Depuis l'interface utilisateur, vous pouvez ajouter des modèles, créer des clés virtuelles, définir des budgets et afficher des tableaux de bord d'utilisation — le tout sans redémarrer le conteneur. -
Ajout de clés de fournisseur LLM. Les clés API du fournisseur ne sont pas gérées par ce module. Fournissez-les au moment du déploiement via
secret_environment_variables(mappant chaque variable d'environnement à un secret Secret Manager préexistant), ou ajoutez-les après le déploiement via l'interface utilisateur d'administration ou le point de terminaison d'API/model/newen utilisant la clé maîtresse. -
Gestion des clés virtuelles. Utilisez l'API
/key/generateavec la clé maîtresse pour émettre des clés virtuelles par équipe ou par utilisateur avec des limites de débit et des budgets de dépenses. Ces clés sont stockées dans PostgreSQL et salées avecLITELLM_SALT_KEY.# Retrieve the master key then create a virtual key:
MASTER_KEY=$(gcloud secrets versions access latest --secret=<master-key-secret> --project "$PROJECT")
curl -X POST "https://<service-url>/key/generate" \
-H "Authorization: Bearer $MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"key_alias": "team-a", "max_budget": 10.0}' -
Points de terminaison de santé.
/health/readinessvalide la connectivité de la base de données et l'achèvement des migrations Prisma ;/health/livelinessconfirme que le processus proxy est en cours d'exécution. Ceux-ci sont utilisés respectivement comme sondes de démarrage et de vivacité.
4. Variables de configuration
Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour LiteLLM sont listés ; toutes les autres entrées sont héritées de App_GKE avec son comportement et ses valeurs par défaut standards.
Groupe 1 — Projet et identité
| Variable | Valeur par défaut | Description |
|---|---|---|
project_id | (requis) | Projet Google Cloud cible. |
region | us-central1 | Région pour la charge de travail et les ressources régionales. |
Groupe 2 — Environnement de déploiement
| Variable | Valeur par défaut | Description |
|---|---|---|
tenant_id | demo | Suffixe court qui rend les noms de ressources uniques par environnement. |
support_users | [] | Adresses e-mail autorisées à accéder au projet et aux alertes de surveillance. |
resource_labels | {} | Étiquettes appliquées à toutes les ressources pour le suivi des coûts/de la propriété. |
Groupe 3 — Identité de l'application
| Variable | Valeur par défaut | Description |
|---|---|---|
application_name | litellm | Nom de base des ressources. Ne pas modifier après le premier déploiement. |
display_name | LiteLLM AI Gateway | Nom convivial affiché dans la console. |
description | (défini) | Annotation de description de la charge de travail. |
application_version | main-stable | Tag de version de l'image LiteLLM ; épingler à une version spécifique pour la stabilité en production. |
Groupe 4 — Exécution et mise à l'échelle
| Variable | Valeur par défaut | Description |
|---|---|---|
deploy_application | true | Définir false pour provisionner uniquement l'infrastructure. |
cpu_limit | 2000m | CPU par pod ; 2 vCPU recommandés. |
memory_limit | 2Gi | Mémoire par pod ; augmenter à 4Gi pour les déploiements à haut débit. |
min_instance_count | 1 | Réplicas minimum. Garder ≥ 1 pour éviter les démarrages à froid sur la passerelle API. |
max_instance_count | 3 | Réplicas maximum (plafond de l'autoscaler). |
container_port | 4000 | Port natif de LiteLLM. |
timeout_seconds | 600 | Délai d'expiration de la requête ; augmenter pour les appels d'inférence LLM de longue durée. |
enable_cloudsql_volume | true | Sidecar Cloud SQL Auth Proxy pour les connexions de socket Unix. |
enable_vertical_pod_autoscaling | false | Laisser Autopilot ajuster automatiquement les requêtes de ressources (désactive HPA). |
Groupe 5 — Variables d'environnement et secrets
| Variable | Valeur par défaut | Description |
|---|---|---|
environment_variables | { LITELLM_LOG="INFO", NUM_WORKERS="1" } | Paramètres supplémentaires non secrets. Les variables LiteLLM principales sont définies automatiquement. |
secret_environment_variables | {} | Mappage de variable d'environnement → nom de secret Secret Manager. Utiliser pour injecter les clés API du fournisseur LLM. |
Groupe 6 — Backend GKE et cluster
| Variable | Valeur par défaut | Description |
|---|---|---|
service_type | LoadBalancer | Comment le service est exposé. |
session_affinity | ClientIP | Routage persistant ; utile lorsqu'un client réutilise une connexion ouverte au même pod. |
workload_type | null | Se résout automatiquement en StatefulSet lorsque le stockage par pod est activé. |
network_tags | ["nfsserver"] | Tags de nœud/pod pour les règles de pare-feu. |
Groupe 7 — StatefulSet
| Variable | Valeur par défaut | Description |
|---|---|---|
stateful_pvc_enabled | null | Activer les modèles PVC ; sélectionne automatiquement le type de charge de travail StatefulSet. |
stateful_pvc_size | 10Gi | Taille de stockage pour chaque PVC. |
stateful_pvc_mount_path | /data | Chemin du conteneur où le PVC est monté. |
stateful_pvc_storage_class | standard-rwo | Kubernetes StorageClass pour les PVC. |
Groupe 8 — Quota de ressources
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_resource_quota | false | Déclaré pour la parité de convention ; non référencé par le déploiement de ce module (aucun ResourceQuota n'est créé). |
quota_memory_requests / quota_memory_limits | "" | Non référencé par ce module. Si câblé via un autre module, doit utiliser des unités binaires (4Gi, 8192Mi) — les entiers nus sont lus comme des octets et bloquent la planification. |
Groupe 9 — Politiques de fiabilité
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_pod_disruption_budget | true | Protéger la disponibilité pendant les mises à niveau de nœuds. |
pdb_min_available | 1 | Augmenter min_instance_count au-dessus de 1 si vous avez besoin d'une marge d'éviction. |
enable_topology_spread | false | Répartir les pods entre les zones. |
Groupe 10 — Observabilité et santé
| Variable | Valeur par défaut | Description |
|---|---|---|
startup_probe | /health/readiness | Sonde HTTP ; valide la connectivité DB et les migrations Prisma avant d'acheminer le trafic. |
liveness_probe | /health/liveliness | Sonde HTTP ; confirme que le processus proxy est en cours d'exécution. |
uptime_check_config | désactivé | Test de disponibilité Cloud Monitoring facultatif. |
alert_policies | [] | Stratégies d'alerte métrique facultatives. |
Groupe 11 — Jobs et tâches planifiées
| Variable | Valeur par défaut | Description |
|---|---|---|
initialization_jobs | [] | Laisser vide pour utiliser le job de configuration de base de données intégré de LiteLLM_Common. |
cron_jobs | [] | CronJobs Kubernetes planifiés pour les tâches de maintenance ou de nettoyage. |
Groupe 12 — CI/CD et intégration GitHub
Intégration standard App_GKE Cloud Build / Cloud Deploy — voir
App_GKE. Entrées clés : enable_cicd_trigger,
github_repository_url, github_token, enable_cloud_deploy.
Groupe 13 — Système de fichiers (NFS)
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_nfs | false | NFS n'est pas requis pour LiteLLM ; activer uniquement pour la livraison de fichiers de configuration partagés. |
nfs_mount_path | /mnt/nfs | Chemin de montage à l'intérieur du conteneur. |
Groupe 14 — Cloud Storage et Artifact Registry
| Variable | Valeur par défaut | Description |
|---|---|---|
create_cloud_storage | true | Provisionner les buckets déclarés dans storage_buckets. |
storage_buckets | [] | Aucun bucket créé par défaut. |
gcs_volumes | [] | Montages de volume GCS Fuse pour la livraison de fichiers de configuration. |
manage_storage_kms_iam / enable_artifact_registry_cmek | false | Options CMEK. |
Groupe 16 — Backend de base de données
| Variable | Valeur par défaut | Description |
|---|---|---|
database_type | POSTGRES | Fixe — ne pas modifier ; LiteLLM nécessite PostgreSQL 15. |
db_name | litellm_db | Nom de la base de données. Immuable après le premier déploiement. |
db_user | litellm_user | Utilisateur de l'application. Immuable après le premier déploiement. |
database_password_length | 32 | Longueur du mot de passe généré (16–64). |
enable_auto_password_rotation | false | Rotation du mot de passe de la base de données sans interruption de service. |
Groupe 17 — Sauvegarde et maintenance
| Variable | Valeur par défaut | Description |
|---|---|---|
backup_schedule | 0 2 * * * | Cron de sauvegarde automatisée (UTC). |
backup_retention_days | 7 | Rétention ; augmenter à 30–90 pour la production. |
enable_backup_import / backup_source / backup_uri | options de restauration | Restaurer à partir d'une sauvegarde lors du déploiement. |
Groupe 18 — Scripts SQL personnalisés
enable_custom_sql_scripts, custom_sql_scripts_bucket, custom_sql_scripts_path,
custom_sql_scripts_use_root — exécuter du SQL à partir d'un bucket GCS après le
provisionnement. Voir App_GKE.
Groupe 19 — Domaine personnalisé, IP statique et réseau
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_custom_domain | true | Provisionner le routage de l'API Gateway pour les noms d'hôte personnalisés + certificat géré. |
application_domains | [] | Noms d'hôte à servir. |
reserve_static_ip | true | IP externe stable sur les redéploiements. |
Groupe 20 — Identity-Aware Proxy (IAP)
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_iap | false | Exiger la connexion Google devant LiteLLM. |
iap_authorized_users / iap_authorized_groups | [] | Qui peut accéder. |
iap_oauth_client_id / iap_oauth_client_secret | "" | Requis lorsque IAP est activé (sensible). |
Groupe 21 — Cache Redis
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_redis | false | Activer Redis pour la mise en cache des réponses et les compteurs de limites de débit partagés. |
redis_host | "" | Point de terminaison Redis ; requis lorsque enable_redis = true. |
redis_port | 6379 | Port Redis. |
redis_auth | "" | Mot de passe d'authentification Redis facultatif (sensible). |
Groupe 21 — Cloud Armor
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_cloud_armor | false | Attacher une politique Cloud Armor (WAF) au backend Ingress. |
admin_ip_ranges | [] | CIDR autorisés à un accès privilégié. |
cloud_armor_policy_name | default-waf-policy | Nom de la politique. |
Groupe 22 — VPC Service Controls et journalisation d'audit
| Variable | Valeur par défaut | Description |
|---|---|---|
enable_vpc_sc | false | Appliquer un périmètre VPC-SC (nécessite organization_id). |
vpc_cidr_ranges / vpc_sc_dry_run | (défini) | CIDR de niveau d'accès / mode simulation. |
enable_audit_logging | false | Journaux d'audit Cloud détaillés. |
5. Sorties
Ces valeurs sont renvoyées lors d'un déploiement réussi et constituent le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.
| Sortie | Description |
|---|---|
service_name | Nom du service Kubernetes. |
namespace | Espace de noms dans lequel la charge de travail s'exécute. |
service_cluster_ip | ClusterIP intra-cluster. |
stage_service_cluster_ips | Mappage des ClusterIP pour les services spécifiques à l'étape. |
service_external_ip | IP externe du LoadBalancer (lorsqu'une IP statique est réservée). |
service_url | URL pour atteindre LiteLLM. |
database_instance_name | Nom de l'instance Cloud SQL. |
database_name | Nom de la base de données de l'application. |
database_user | Utilisateur de la base de données de l'application. |
database_password_secret | Secret Secret Manager contenant le mot de passe de la base de données. |
database_host / database_port | Point de terminaison de la base de données (127.0.0.1 via le proxy d'authentification) / port. |
storage_buckets | Buckets Cloud Storage créés. |
network_name / network_exists / regions | Réseau VPC, présence, régions disponibles. |
container_image / container_registry | Image déployée et dépôt Artifact Registry. |
monitoring_enabled / monitoring_notification_channels | État et canaux de surveillance. |
initialization_jobs / db_import_job | Noms des jobs de configuration et d'importation (facultatif). |
deployment_id / tenant_id / resource_prefix | Identifiants de nommage. |
project_id / project_number | Identifiants du projet. |
cicd_enabled / cicd_configuration | État et détails CI/CD (dépôt, déclencheur, registre). |
github_repository_url / github_repository_owner / github_repository_name | Dépôt connecté. |
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_id | Registre et déclencheur de build. |
kubernetes_ready | Indique si le cluster/la charge de travail est prêt. |
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_mode | État VPC-SC. |
audit_logging_enabled / artifact_registry_cmek_enabled | Journalisation d'audit et état CMEK. |
6. Pièges de configuration et valeurs par défaut judicieuses
Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).
| Paramètre | Valeur judicieuse | Risque | Conséquence en cas d'erreur |
|---|---|---|---|
database_type | POSTGRES / POSTGRES_15 | Critique | LiteLLM nécessite PostgreSQL ; changer le moteur casse l'ORM Prisma et empêche le démarrage. |
enable_cloudsql_volume | true | Critique | Le sidecar Auth Proxy est requis pour la connectivité à la base de données ; le désactiver entraîne l'échec de Prisma au démarrage. |
LITELLM_SALT_KEY | auto-générée, jamais renouvelée | Critique | Le renouvellement de la clé de sel invalide toutes les clés virtuelles précédemment émises ; tous les consommateurs d'API perdent l'accès immédiatement. |
db_name / db_user | défini une fois | Critique | Immuable après le premier déploiement ; le renommage recrée la base de données/l'utilisateur et détruit toutes les clés virtuelles et les données de dépenses. |
enable_backup_import | false sauf restauration | Critique | L'activation sans backup_uri valide fait échouer le job d'importation. |
quota_memory_requests / _limits | unités binaires | Critique | Les entiers bruts sont des octets et bloquent toute planification. |
ingress_settings / service_type | restreindre pour la production | Critique | Un LoadBalancer public expose le point de terminaison de la clé maître ; utilisez ClusterIP avec une Gateway authentifiée pour les déploiements internes. |
iap_oauth_client_id / iap_oauth_client_secret | à fournir lorsque IAP est activé | Critique | Des valeurs manquantes empêchent l'initialisation de la passerelle IAP et rendent le service inaccessible. |
LITELLM_MASTER_KEY | auto-générée | Élevé | À traiter comme une information d'identification ; son renouvellement rompt toutes les intégrations existantes détenant la clé jusqu'à leur mise à jour. |
enable_redis | true pour multi-réplica | Élevé | Sans Redis, les compteurs de limite de débit sont par pod et non partagés ; les quotas ne sont pas appliqués sur les réplicas. |
redis_host | à définir lorsque Redis est activé | Élevé | Un hôte vide avec enable_redis = true provoque des erreurs de connexion à chaque requête. |
min_instance_count | 1 | Élevé | Les démarrages à froid ajoutent 30 à 60 s de latence et mettent en file d'attente tous les services dépendants. |
timeout_seconds | 600 | Élevé | L'inférence de grands modèles linguistiques peut prendre des minutes ; un délai d'attente trop court provoque des erreurs 504 sur les modèles lents. |
application_version | figer pour la production | Moyen | LiteLLM publie fréquemment ; les versions non figées peuvent modifier le schéma Prisma ou casser les formats de clés virtuelles. |
enable_vertical_pod_autoscaling | false sauf si VPA est utilisé | Moyen | L'activation de VPA désactive HPA ; choisissez l'un ou l'autre. |
NUM_WORKERS | 1 (augmenter pour le débit) | Moyen | Un seul worker sérialise toutes les requêtes ; augmentez à 2-4 et mettez à l'échelle cpu_limit proportionnellement pour les passerelles à fort trafic. |
backup_schedule | 0 2 * * * | Élevé | Sans sauvegardes, une suppression accidentelle détruit toutes les clés virtuelles et l'historique d'utilisation sans possibilité de récupération. |
Pour le comportement du socle référencé partout — IAM et Workload Identity, autoscaling, ingress et certificats, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC, sauvegardes et mise en miroir des images — voir App_GKE. La configuration d'application spécifique à LiteLLM partagée avec la variante Cloud Run est décrite dans LiteLLM_Common.
Guides associés
- Lab pratique : LiteLLM sur GKE Autopilot — déployez-le étape par étape, avec les écrans de la console et les commandes à chaque étape.
- LiteLLM sur Google Cloud Run — la même application sur Cloud Run, lorsque vous avez besoin de l'autre cible de déploiement.
- LiteLLM Common — Configuration d'application partagée — la configuration partagée par les deux cibles de déploiement.
Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.