Aller au contenu principal

LiteLLM sur Google Cloud Run

LiteLLM sur Google Cloud Run

LiteLLM est un proxy LLM open source et une passerelle IA qui fournit une API unifiée compatible OpenAI pour plus de 100 fournisseurs, y compris OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock et Ollama. Les organisations l'utilisent pour centraliser le suivi des dépenses IA, gérer les clés API virtuelles, appliquer des limites de débit et obtenir une visibilité complète sur l'utilisation des modèles. Ce module déploie LiteLLM sur Cloud Run v2 sur la base de la fondation App_CloudRun, qui provisionne et gère l'infrastructure Google Cloud partagée.

Ce guide se concentre sur les services cloud utilisés par LiteLLM et sur la manière de les explorer et de les exploiter depuis la console Google Cloud et la ligne de commande. Pour les mécanismes communs à chaque application Cloud Run — identité de service, ingress et équilibrage de charge, mise à l'échelle et concurrence, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC Service Controls, sauvegardes et cycle de vie du déploiement — reportez-vous au guide de la fondation App_CloudRun plutôt que de les répéter ici.


Ce que coûte LiteLLM sur RAD, et comment cela se compare​

Le module Cloud Run de LiteLLM sur RAD coûte environ 77 US$ par mois dans votre propre projet, sans facturation par requête. RAD facture 75 crédits une fois par déploiement dans votre propre projet (67,5 crédits, soit 10 % de moins, dans un projet géré par RAD). Les builds sont inclus dans le prix. LiteLLM se déploie également sur GKE Autopilot pour environ 129 US$ par mois — consultez le guide GKE si vous en avez besoin pour qu'il y fonctionne à la place. Si vous n'en avez besoin qu'occasionnellement, un projet géré par RAD peut être supprimé et restauré dans les 30 jours sans frais supplémentaires, de sorte que ce chiffre mensuel ne représente que quelques dollars — voir Mettez-le en pause gratuitement, ci-dessous.

Ce que vous payez sur RAD​

Dans un projet Google Cloud que vous possédezDans un projet géré par RAD pour vous
Frais de module, une fois par déploiement75 crédits (7,50 US$ au prix de la recharge)67,5 crédits (10 % de moins)
BuildsInclus dans le prix : pas de frais de build pour la création, 5 mises à jour par mois (mois calendaire UTC) gratuites puis 2 crédits chacune, et rien pour la suppression ou pour un build échoué, dans la limite de 10 builds échoués par jour (UTC). Les sessions de lab et les projets clients sont l'exception : ils sont toujours facturés à la minute pour le temps de buildIdentique
Coût d'exécution Google CloudFacturé par Google à votre propre compte de facturation, environ 77 US$ par mois pour la configuration par défaut (tableau ci-dessous)Mesuré à l'heure en crédits ; RAD publie 64 crédits par jour, soit environ 1 920 par mois (environ 192 US$ au prix de la recharge)
Qui possède quoiVous possédez le projet et sa facturation ; RAD le déploie et le met à jourRAD possède le projet, avec des garde-fous, des quotas et des alertes budgétaires ; vous avez accès à la console, et un solde d'achat minimum est conservé en réserve

Votre premier déploiement réussi sur RAD est exempt de frais de module, quel que soit le montant : une fois par compte, pour un module que vous déployez et payez vous-même (dans une solution, les frais d'une application : la première à réussir ; jamais une session de lab ou un projet client).

10 crédits coûtent 1 US$ pour une recharge ponctuelle, et moins pour un plan mensuel. Dans un projet géré par RAD, la base de données, le serveur de fichiers et le réseau sont partagés par toutes les applications du projet, de sorte qu'une deuxième application n'ajoute pas une deuxième base de données.

Coût d'exécution par défaut dans votre propre projet (us-central1, prix catalogue Google) :

Ressource (par défaut du module)Par mois
Cloud Run, 1x vCPU / 2 Gio (à chaud)20 US$
Cloud SQL pour PostgreSQL, 1 vCPU / 3,75 Go, zonal, 10 Go SSD51 US$
Cloud NAT et réseau5 US$
Cloud Storage (modules complémentaires, sauvegardes)1 US$
Totalenviron 77 US$

Comment cela se compare​

  • Portkey, une passerelle LLM hébergée offrant un ensemble de fonctionnalités similaires d'API unifiée/suivi des coûts, coûte 49 US$ par mois sur son plan Production, couvrant 100 000 requêtes enregistrées par mois, avec une utilisation au-delà facturée par tranches de 9 US$ par 100 000 requêtes.
  • Le module LiteLLM de RAD coûte environ 77 US$ par mois dans votre propre projet — plus que Portkey à faible volume, mais il n'y a pas de facturation par requête, et chaque invite, réponse et clé API de fournisseur reste dans l'infrastructure que vous contrôlez plutôt que de passer par la passerelle d'un tiers.
  • Comparaison auto-gérée : son service Cloud Run de 1 vCPU / 2 Gio est proche d'un Hetzner CPX22 (2 vCPU/4 Go, ~24 US$/mois) ou d'un droplet DigitalOcean 2 vCPU/4 Go (24 US$/mois) — mais vous exécutez alors PostgreSQL, les correctifs de sécurité et la disponibilité de la passerelle vous-même ; Cloud SQL géré par RAD, Secret Manager et la surveillance couvrent cela.

Mettez-le en pause gratuitement : supprimez un projet géré par RAD, restaurez-le quand vous en avez besoin​

Si LiteLLM s'exécute dans un projet géré par RAD pour vous, vous avez une deuxième option qui va bien au-delà de la mise à l'échelle à zéro : supprimez l'ensemble du projet et restaurez-le dans les 30 jours pour presque rien. Cela convient bien mieux à LiteLLM dont vous n'avez besoin qu'occasionnellement — pour l'évaluer, un environnement de démonstration, une charge de travail saisonnière ou intermittente — que de le faire fonctionner en continu.

Une restauration n'est pas garantie — conservez vos propres sauvegardes. Les conditions de Google Cloud ne garantissent pas qu'un projet restauré, ou les ressources qu'il contient, seront utilisables après sa restauration. Par conséquent, la restauration ne peut pas être considérée comme un moyen de récupérer un projet supprimé. Avant de supprimer, assurez-vous d'avoir effectué des sauvegardes appropriées des données et de la configuration de l'application et de les avoir stockées en dehors du projet. Si une restauration échoue, ou si le projet restauré ne fonctionne pas, la solution de repli consiste à redéployer l'application (voir la section suivante) et à restaurer sa configuration et ses données à partir de ces sauvegardes.

  • Comment ça marche. La suppression d'un projet géré par RAD délie d'abord sa facturation, puis demande à Google de supprimer le projet. Google ne supprime pas le projet immédiatement : il le conserve, récupérable, pendant 30 jours. La facturation étant déjà déliée, rien n'est facturé pendant cette attente. Contrairement à la suppression d'un module, cela ne détruit pas la base de données, aucune VM ou la ressource de calcul une par une — l'ensemble du projet, et tout ce qu'il contient, s'arrête simplement.
  • La restauration est une vérification, pas une reconstruction. Dans les 30 jours, le propriétaire du projet peut le restaurer. RAD demande à Google d'annuler la suppression du projet et de rattacher son compte de facturation, puis vous demande d'exécuter Mettre à jour sur chaque déploiement pour confirmer que tout est revenu. Comme rien n'a été détruit individuellement, cette mise à jour trouve les mêmes ressources déjà présentes — c'est une vérification, pas une reconstruction, et une mise à jour ne facture jamais les frais de module à nouveau. Les mises à jour sont incluses dans le prix (5 par mois pour chaque déploiement), donc une restauration ne coûte normalement aucun crédit.
  • Ainsi, un mois d'utilisation occasionnelle peut coûter quelques dollars, et non les 192 US$ par mois pour le maintenir en fonctionnement. Déployez LiteLLM, utilisez-le pendant un certain temps, supprimez le projet. Restaurez-le la prochaine fois que vous en avez besoin, confirmez avec Mettre à jour, et supprimez-le à nouveau lorsque vous avez terminé. Vous ne payez les frais de module qu'une seule fois et pour le temps réellement utilisé.
  • Ce que cela nécessite. Vous devez être propriétaire du projet (pas un projet dont RAD gère uniquement la facturation), et vous le restaurez vous-même dans les 30 jours — après cela, Google le supprime définitivement. La restauration est admise comme la création d'un nouveau projet : votre solde de crédits achetés doit toujours dépasser le seuil du niveau (100 crédits pour le niveau sandbox que la plupart des utilisations d'évaluation conviennent). Google indique que la plupart des services fonctionnent pleinement à nouveau dans les 36 heures suivant une restauration.
  • Un véritable manque : les sauvegardes nocturnes ne survivent pas. Les sauvegardes et autres fichiers générés sont écrits dans un bucket à l'intérieur du projet, et ce bucket n'est pas protégé par la suppression logicielle de Cloud Storage, il est donc très probablement parti dès que vous supprimez le projet — même si le projet lui-même est récupérable pendant 30 jours. Si vous avez personnalisé LiteLLM et que vous souhaitez conserver ce travail, copiez une sauvegarde (vers Google Drive ou un bucket en dehors du projet) avant de supprimer. Pour une installation par défaut sans rien d'irremplaçable, cela n'a pas d'importance.

Payez uniquement pendant que vous l'utilisez, l'autre méthode : supprimer et redéployer​

L'option ci-dessus ne s'applique qu'à un projet géré par RAD ; dans votre propre projet, ou une fois la fenêtre de 30 jours passée, la façon d'arrêter de payer est de supprimer le déploiement et de le redéployer lorsque vous en avez besoin.

  • Ce que coûte un redéploiement. Les frais de module à nouveau (les builds sont inclus) — 75 crédits (7,50 US$) au total. La suppression permet d'économiser de l'argent seulement si LiteLLM reste inutilisé assez longtemps pour compenser ce coût de redéploiement par rapport à son propre coût d'exécution — environ 4 jours ou plus, à la fois dans votre propre projet (environ 2,56 US$ par jour) et dans un projet géré par RAD (64 crédits par jour).
  • La majeure partie du coût d'exécution est généralement partagée. Pour LiteLLM, il s'agit de la base de données. Ils ne s'arrêtent que si rien d'autre dans le projet ne les utilise, donc la suppression de cette application pendant que quelque chose d'autre partage le projet n'économise que la partie calcul de cette application.
  • Conservez d'abord vos données. Les sauvegardes nocturnes vont dans un bucket à l'intérieur du déploiement et sont supprimées avec lui, alors copiez la dernière sauvegarde avant de supprimer si vous voulez la conserver.

Sessions de lab et environnements gérés​

  • Sessions de lab, pour la formation. Un formateur anime une session pour une classe. Chaque participant obtient l'application dans son propre projet Google Cloud pendant 15 minutes à 24 heures, dans la limite d'une allocation définie par le formateur. Le formateur peut aussi créer un seul environnement partagé pour toute la classe, et chacun utilise alors la même application et ses données. Soit le formateur finance toutes les places, soit chaque participant paie la sienne. Tout est supprimé à la fin de la session et les crédits inutilisés retournent au formateur.
  • Environnements gérés, pour les cabinets de conseil. Un partenaire exécute l'application pour un client à partir d'un portefeuille cloisonné qu'il finance, et règle directement avec le client. Si le portefeuille est faible, la facturation est suspendue et les données sont conservées, de sorte que personne ne reçoit de frais inattendus. À la fin, le partenaire transfère le projet et les déploiements deviennent la propriété du client.

Les crédits peuvent être achetés dans plus de 20 devises, y compris XAF, XOF, NGN, GHS, KES et ZAR, par carte, virement bancaire ou argent mobile.

Sources (8 octobre 2026) : Prix catalogue Google Cloud de l'API Cloud Billing Catalog ; frais RAD et estimation des crédits quotidiens de radmodules.dev/pricing ; Supprimer et restaurer des projets pour les mécanismes de pause/restauration et ce qu'il dit sur les objets Cloud Storage sans suppression logicielle ; Portkey. Les prix changent ; vérifiez chaque source avant de vous fier à un chiffre.

1. Vue d'ensemble​

LiteLLM s'exécute en tant que conteneur proxy basé sur Python sur Cloud Run v2. Le déploiement connecte un ensemble ciblé de services Google Cloud :

CapacitéService Google CloudNotes
CalculCloud Run v2Service proxy Python, 1 vCPU / 2 Gio par défaut, facturation basée sur les requêtes
Base de donnéesCloud SQL pour PostgreSQL 15Obligatoire — l'ORM Prisma de LiteLLM utilise PostgreSQL pour les clés virtuelles et le suivi des dépenses
Stockage d'objetsCloud StorageFacultatif — aucun bucket créé par défaut
CacheRedisFacultatif — réduit la latence et le coût pour les requêtes LLM identiques répétées
SecretsSecret ManagerClé principale et clé de salage auto-générées ; clés API du fournisseur LLM injectées à l'exécution
IngressURL Cloud Run / Équilibrage de charge CloudURL run.app par défaut, équilibreur de charge HTTPS externe facultatif + domaine personnalisé

Valeurs par défaut judicieuses à connaître d'emblée :

  • PostgreSQL 15 est obligatoire. L'ORM Prisma de LiteLLM nécessite PostgreSQL pour la gestion des clés virtuelles et le suivi des dépenses ; changer le moteur empêche le démarrage.
  • Une image de conteneur personnalisée est construite par Cloud Build. L'image intègre un entrypoint.sh qui assemble DATABASE_URL à partir des variables d'environnement DB_* injectées par la fondation à l'exécution.
  • LITELLM_MASTER_KEY et LITELLM_SALT_KEY sont auto-générées et stockées dans Secret Manager. La clé de salage ne doit jamais être renouvelée après l'émission de clés virtuelles — toutes les clés virtuelles existantes deviendraient définitivement invalides.
  • STORE_MODEL_IN_DB = "true" est défini automatiquement, permettant la gestion des modèles à l'exécution et l'interface utilisateur d'administration sans redémarrage des conteneurs.
  • Redis est désactivé par défaut. Activez-le pour les déploiements multi-instances afin de partager les compteurs de limite de débit et les caches de réponse.
  • La sonde de démarrage cible /health/readiness, qui valide la connectivité de la base de données et confirme que les migrations Prisma sont terminées avant que le service ne soit marqué comme prêt.

2. Services Google Cloud et comment les explorer​

Toutes les commandes supposent que PROJECT et REGION sont définis. Les noms de services et de ressources sont indiqués dans les Sorties du déploiement.

A. Cloud Run — le service LiteLLM​

LiteLLM s'exécute en tant que service Cloud Run v2 qui s'adapte automatiquement en fonction de la charge de requêtes entre le nombre minimal et maximal d'instances. Chaque déploiement crée une révision immuable ; le trafic peut être réparti entre les révisions pour des déploiements sûrs.

  • Console : Cloud Run → sélectionnez le service pour les révisions, le trafic, les journaux et les métriques.
  • CLI :
    gcloud run services list --project "$PROJECT" --region "$REGION"
    gcloud run services describe <service-name> --project "$PROJECT" --region "$REGION"
    gcloud run revisions list --service <service-name> --project "$PROJECT" --region "$REGION"

Voir App_CloudRun pour la mise à l'échelle, la concurrence, l'environnement d'exécution et la répartition du trafic.

B. Cloud SQL pour PostgreSQL 15​

LiteLLM stocke toutes les clés virtuelles, les journaux d'utilisation, les enregistrements de coûts et les règles de routage des modèles dans une instance Cloud SQL gérée pour PostgreSQL 15. Le service se connecte en privé via le Cloud SQL Auth Proxy sur un socket Unix (pas d'IP publique). Lors du premier déploiement, un job d'initialisation crée la base de données et l'utilisateur de l'application.

  • Console : SQL → sélectionnez l'instance pour les connexions, les sauvegardes, les indicateurs, les métriques.
  • CLI :
    gcloud sql instances list --project "$PROJECT"
    gcloud sql instances describe <instance-name> --project "$PROJECT"
    gcloud sql connect <instance-name> --user=<db-user> --database=litellm_db --project "$PROJECT"

Le nom de l'instance, la base de données, l'utilisateur et le secret du mot de passe se trouvent dans les Sorties. Voir App_CloudRun pour le modèle de connexion, les sauvegardes et la rotation des mots de passe.

C. Cloud Storage​

Aucun bucket de stockage n'est créé par défaut. Les buckets peuvent être déclarés via storage_buckets et montés via GCS Fuse en utilisant gcs_volumes — par exemple, pour livrer un config.yaml au conteneur sans reconstruire l'image.

  • Console : Cloud Storage → Buckets.
  • CLI :
    gcloud storage buckets list --project "$PROJECT"
    gcloud storage ls gs://<bucket-name>/

Voir App_CloudRun pour les options GCS Fuse et CMEK.

D. Cache Redis​

Redis prend en charge la mise en cache des réponses facultative de LiteLLM et les compteurs de limite de débit partagés. Lorsque enable_redis = true, les variables d'environnement REDIS_HOST, REDIS_PORT et (facultativement) REDIS_PASSWORD sont injectées automatiquement dans le service.

  • Console : Memorystore → Redis (si vous utilisez une instance gérée).
  • CLI :
    redis-cli -h <redis-host> ping
    redis-cli -h <redis-host> info keyspace

E. Secret Manager​

LITELLM_MASTER_KEY (la clé API d'administration principale, préfixée sk-) et LITELLM_SALT_KEY (utilisée pour hacher les clés virtuelles) sont générées automatiquement et stockées dans Secret Manager. Les clés API du fournisseur LLM sont injectées en référençant des secrets préexistants via secret_environment_variables.

  • Console : Sécurité → Secret Manager.
  • CLI :
    gcloud secrets list --project "$PROJECT"
    # Retrieve the master key:
    gcloud secrets versions access latest --secret=<master-key-secret> --project "$PROJECT"

Voir App_CloudRun pour les détails d'injection et de rotation.

F. Réseau et ingress​

Le service est accessible par son URL run.app par défaut. Un équilibreur de charge HTTPS externe avec un domaine personnalisé, Cloud CDN et Cloud Armor peuvent être superposés ; les paramètres d'ingress et le contrôle d'egress VPC contrôlent la connectivité.

  • Console : Cloud Run (URL du service) ; Services réseau → Équilibrage de charge.
  • CLI :
    gcloud run services describe <service-name> --region "$REGION" --format='value(status.url)'
    gcloud compute addresses list --project "$PROJECT"

Voir App_CloudRun.

G. Cloud Logging et Monitoring​

Les journaux de conteneurs sont envoyés à Cloud Logging ; les métriques Cloud Run et Cloud SQL sont envoyées à Cloud Monitoring, avec des vérifications de disponibilité et des politiques d'alerte facultatives.

  • Console : Logging → Explorateur de journaux ; Monitoring → Tableaux de bord / Alertes.
  • CLI :
    gcloud run services logs read <service-name> --project "$PROJECT" --region "$REGION" --limit 50

3. Comportement de l'application LiteLLM​

  • Configuration de la base de données au premier déploiement. Un job d'initialisation crée la base de données et l'utilisateur LiteLLM avant le démarrage du service. Il est idempotent et se connecte à Cloud SQL via le socket Unix du proxy d'authentification.

  • Migrations Prisma au démarrage. LiteLLM exécute ses migrations ORM Prisma à chaque démarrage d'instance, de sorte que la mise à niveau de la version applique automatiquement les modifications de schéma. La sonde de démarrage attend que /health/readiness renvoie 200, confirmant que les migrations sont terminées avant de router le trafic vers le service.

  • Interface utilisateur d'administration. L'interface utilisateur d'administration de LiteLLM est disponible à l'adresse /ui sur l'URL du service. Authentifiez-vous avec la LITELLM_MASTER_KEY (récupérez-la depuis Secret Manager). Depuis l'interface utilisateur, vous pouvez ajouter des modèles, créer des clés virtuelles, définir des budgets et afficher des tableaux de bord d'utilisation — le tout sans redéployer le service.

  • Ajout de clés de fournisseur LLM. Les clés API de fournisseur ne sont pas gérées par ce module. Fournissez-les au moment du déploiement via secret_environment_variables (mappant chaque variable d'environnement à un secret Secret Manager préexistant), ou ajoutez-les après le déploiement via l'interface utilisateur d'administration ou le point de terminaison API /model/new en utilisant la clé principale.

  • Gestion des clés virtuelles. Utilisez l'API /key/generate avec la clé principale pour émettre des clés virtuelles par équipe ou par utilisateur avec des limites de débit et des budgets de dépenses. Ces clés sont stockées dans PostgreSQL et salées avec LITELLM_SALT_KEY.

    # Retrieve the master key then create a virtual key:
    MASTER_KEY=$(gcloud secrets versions access latest --secret=<master-key-secret> --project "$PROJECT")
    curl -X POST "https://<service-url>/key/generate" \
    -H "Authorization: Bearer $MASTER_KEY" \
    -H "Content-Type: application/json" \
    -d '{"key_alias": "team-a", "max_budget": 10.0}'
  • IAP et appels API programmatiques. IAP (enable_iap = true) nécessite un flux OAuth de navigateur et bloque les appels API LLM directs. N'utilisez IAP que si vous restreignez l'accès à l'interface utilisateur d'administration ; pour une utilisation de passerelle API, préférez ingress_settings = "internal" avec VPN ou authentification mutuelle.

  • Points de terminaison de santé. /health/readiness valide la connectivité de la base de données et l'achèvement de la migration Prisma ; /health/liveliness confirme que le processus proxy est en cours d'exécution. Ceux-ci sont utilisés respectivement comme sondes de démarrage et de vivacité.


4. Variables de configuration​

Les variables sont regroupées exactement comme elles apparaissent sur la plateforme de déploiement. Seuls les paramètres spécifiques ou notables pour LiteLLM sont listés ; toutes les autres entrées sont héritées de App_CloudRun avec son comportement standard.

Groupe 1 — Projet et identité​

VariableValeur par défautDescription
project_id(obligatoire)Projet Google Cloud cible.
regionus-central1Région pour le service et les ressources régionales.

Groupe 2 — Environnement de déploiement​

VariableValeur par défautDescription
tenant_iddemoSuffixe court qui rend les noms de ressources uniques par environnement.
support_users[]E-mails auxquels sont accordés l'accès au projet et les alertes de surveillance.
resource_labels{}Étiquettes appliquées à toutes les ressources.

Groupe 3 — Identité de l'application​

VariableValeur par défautDescription
application_namelitellmNom de base des ressources. Ne pas modifier après le premier déploiement.
display_nameLiteLLM AI GatewayNom convivial affiché dans la console.
description(défini)Description du service.
application_versionmain-stableTag de version de l'image LiteLLM ; épingler à une version spécifique pour la stabilité en production.

Groupe 4 — Exécution et mise à l'échelle​

VariableValeur par défautDescription
deploy_applicationtrueDéfinir false pour provisionner uniquement l'infrastructure.
cpu_limit1000mCPU par instance.
memory_limit2GiMémoire par instance ; ne pas réduire en dessous de 2 Gio — LiteLLM plante en OOM au démarrage en dessous de cette valeur.
cpu_always_allocatedfalseFacturation basée sur les requêtes par défaut — LiteLLM est un proxy sans état sans travail de fond en cours de processus.
min_instance_count1Doit rester ≥ 1. Les jobs planifiés de LiteLLM (y compris la réinitialisation du budget) ne s'exécutent que tant qu'une instance est active ; à 0, ils s'arrêtent lorsque Cloud Run met le service à l'échelle.
max_instance_count3Nombre maximal d'instances.
container_port4000Port natif de LiteLLM.
execution_environmentgen2Génération d'exécution Cloud Run ; la gen2 est requise pour NFS et Direct VPC Egress.
timeout_seconds600Durée maximale de la requête ; augmenter pour les appels d'inférence LLM de longue durée (max 3600).
enable_cloudsql_volumetrueProxy d'authentification Cloud SQL pour les connexions de socket Unix.
traffic_split[]Répartir le trafic entre les révisions pour des déploiements par étapes.

Groupe 5 — Contrôle d'accès et d'ingress​

VariableValeur par défautDescription
ingress_settingsallQuels réseaux peuvent atteindre le service ; définir sur internal pour une utilisation de passerelle API uniquement VPC.
vpc_egress_settingPRIVATE_RANGES_ONLYComment le trafic sortant est routé via le connecteur VPC.
enable_iapfalseExiger la connexion Google via Identity-Aware Proxy (bloque les appels API directs).
iap_authorized_users / iap_authorized_groups[]Qui peut accéder via IAP.

Groupe 6 — Variables d'environnement et secrets​

VariableValeur par défautDescription
environment_variables{ LITELLM_LOG="INFO", NUM_WORKERS="1" }Paramètres non secrets supplémentaires. Les variables LiteLLM principales sont définies automatiquement.
secret_environment_variables{}Mappage de la variable d'environnement → nom du secret Secret Manager. Utiliser pour injecter les clés API du fournisseur LLM.
secret_propagation_delay / secret_rotation_period(défini)Attente de réplication / cadence de rotation.

Groupe 7 — Sauvegarde et restauration​

VariableValeur par défautDescription
backup_schedule0 2 * * *Cron de sauvegarde automatisée (UTC).
backup_retention_days7Rétention ; augmenter pour la production.
enable_backup_import / backup_source / backup_uri / backup_formatoptions de restaurationRestaurer à partir d'une sauvegarde lors du déploiement.

Groupe 8 — CI/CD et autorisation binaire​

Intégration standard App_CloudRun Cloud Build / Cloud Deploy — voir App_CloudRun. Entrées clés : enable_cicd_trigger, github_repository_url, github_token, enable_cloud_deploy, enable_binary_authorization.

Groupe 9 — SQL personnalisé​

enable_custom_sql_scripts, custom_sql_scripts_bucket, custom_sql_scripts_path, custom_sql_scripts_use_root — exécuter du SQL à partir d'un bucket GCS après le provisionnement. Voir App_CloudRun.

Groupe 10 — Domaine, CDN, Cloud Armor et rétention d'images​

VariableValeur par défautDescription
enable_cloud_armorfalseProvisionner l'équilibreur de charge HTTPS global + Cloud Armor WAF.
admin_ip_ranges[]Plages CIDR exemptées des règles WAF.
application_domains[]Noms d'hôtes personnalisés pour l'équilibreur de charge externe.
enable_cdnfalseActiver Cloud CDN sur le backend de l'équilibreur de charge.
max_images_to_retain / delete_untagged_images / image_retention_days(défini)Politique de nettoyage d'Artifact Registry.

Groupe 11 — Stockage et système de fichiers​

VariableValeur par défautDescription
create_cloud_storagetrueProvisionner les buckets déclarés dans storage_buckets.
storage_buckets[]Aucun bucket créé par défaut.
enable_nfsfalseNFS n'est pas requis pour LiteLLM ; activer uniquement pour la livraison de fichiers de configuration partagés.
nfs_mount_path/mnt/nfsChemin de montage à l'intérieur du conteneur.
gcs_volumes[]Montages de volume GCS Fuse pour la livraison de fichiers de configuration.
manage_storage_kms_iam / enable_artifact_registry_cmekfalseOptions CMEK.

Groupe 12 — Backend de base de données​

VariableValeur par défautDescription
database_typePOSTGRES_15Fixe — ne pas modifier ; LiteLLM nécessite PostgreSQL 15.
db_namelitellm_dbNom de la base de données. Immuable après le premier déploiement.
db_userlitellm_userUtilisateur de l'application. Immuable après le premier déploiement.
database_password_length32Longueur du mot de passe généré (16–64).
enable_auto_password_rotation / rotation_propagation_delay_secdésactivéRotation du mot de passe de la base de données.
db_host_env_var_name / db_name_env_var_name / db_user_env_var_name / db_port_env_var_name / service_url_env_var_name(défini)Noms de variables d'environnement supplémentaires sous lesquels les détails de connexion sont injectés.

Groupe 13 — Jobs et tâches planifiées​

VariableValeur par défautDescription
initialization_jobs[]Laisser vide pour utiliser le job de configuration de base de données intégré de LiteLLM_Common.
cron_jobs[]Jobs Cloud Run récurrents pour les tâches de maintenance ou de nettoyage.

Groupe 14 — Observabilité et santé​

VariableValeur par défautDescription
startup_probe/health/readinessSonde HTTP ; valide la connectivité de la base de données et les migrations Prisma avant de marquer le service comme prêt.
liveness_probe/health/livelinessSonde HTTP ; confirme que le processus proxy est en cours d'exécution.
uptime_check_configdésactivéVérification de disponibilité Cloud Monitoring contre /health/liveliness ; activer explicitement pour l'activer.
alert_policies[]Politiques d'alerte métrique.

Groupe 21 — Cache Redis​

VariableValeur par défautDescription
enable_redisfalseActiver Redis pour la mise en cache des réponses et les compteurs de limite de débit partagés.
redis_host""Point de terminaison Redis ; requis lorsque enable_redis = true.
redis_port6379Port Redis.
redis_auth""Mot de passe d'authentification Redis facultatif (sensible).

Groupe 22 — VPC Service Controls et journalisation d'audit​

VariableValeur par défautDescription
enable_vpc_scfalseAppliquer un périmètre VPC-SC (nécessite organization_id).
vpc_cidr_ranges / vpc_sc_dry_run(défini)CIDR de niveau d'accès / mode simulation.
enable_audit_loggingfalseJournaux d'audit Cloud détaillés.

5. Sorties​

Retourné lors d'un déploiement réussi — le moyen le plus rapide de localiser et d'explorer les ressources en cours d'exécution.

SortieDescription
service_nameNom du service Cloud Run.
service_urlURL run.app par défaut du service.
service_locationRégion dans laquelle le service s'exécute.
stage_servicesURL de service spécifiques à l'étape (Cloud Deploy).
load_balancer_ip / load_balancer_urlIP / URL de l'équilibreur de charge HTTPS externe (lorsqu'il est activé).
database_instance_nameNom de l'instance Cloud SQL.
database_name / database_userNom / utilisateur de la base de données de l'application.
database_password_secretSecret Manager contenant le mot de passe de la base de données.
database_host / database_portPoint de terminaison / port de la base de données.
storage_bucketsBuckets Cloud Storage créés.
network_name / network_exists / regionsRéseau VPC, présence, régions.
container_image / container_registryImage déployée et dépôt Artifact Registry.
monitoring_enabled / monitoring_notification_channels / uptime_check_namesÉtat de la surveillance, canaux, vérifications de disponibilité.
initialization_jobsNoms des jobs de configuration.
deployment_id / tenant_id / resource_prefixIdentifiants de nommage.
project_id / project_numberIdentifiants de projet.
cicd_enabled / github_repository_url / github_repository_owner / github_repository_name / cicd_configurationÉtat et détails CI/CD.
artifact_registry_repository / cloudbuild_trigger_name / cloudbuild_trigger_idRegistre et déclencheur de build.
vpc_sc_enabled / vpc_sc_perimeter_name / vpc_sc_dry_run_modeÉtat VPC-SC.
audit_logging_enabled / artifact_registry_cmek_enabledJournalisation d'audit et état CMEK.

6. Pièges de configuration et valeurs par défaut judicieuses​

Risque : Critique (perte de données / panne / sécurité) — Élevé (service dégradé) — Moyen (coût ou dégradation partielle) — Faible (mineur).

ParamètreValeur judicieuseRisqueConséquence en cas d'erreur
database_typePOSTGRES_15CritiqueLiteLLM nécessite PostgreSQL ; changer le moteur casse l'ORM Prisma et empêche le démarrage.
enable_cloudsql_volumetrueCritiqueLe sidecar Auth Proxy est requis pour la connectivité de la base de données ; le désactiver entraîne l'échec de Prisma au démarrage.
LITELLM_SALT_KEYauto-généré, jamais renouveléCritiqueLa rotation de la clé de salage invalide toutes les clés virtuelles précédemment émises ; tous les consommateurs d'API perdent l'accès immédiatement.
db_name / db_userdéfini une foisCritiqueImmuable après le premier déploiement ; le renommage recrée la base de données/l'utilisateur et détruit toutes les clés virtuelles et les données de dépenses.
enable_backup_importfalse sauf restaurationCritiqueL'activation sans un backup_uri valide fait échouer le job d'importation.
ingress_settingsrestreindre pour la productionCritique"all" expose publiquement le point de terminaison de la clé principale ; utiliser "internal" pour les déploiements de passerelle API uniquement VPC.
LITELLM_MASTER_KEYauto-généréÉlevéTraiter comme une information d'identification ; le renouveler casse toutes les intégrations existantes détenant la clé jusqu'à ce qu'elles soient mises à jour.
enable_redistrue pour multi-instanceÉlevéSans Redis, les compteurs de limite de débit sont par instance et non partagés ; les quotas ne sont pas appliqués sur les réplicas.
redis_hostdéfini lorsque Redis est activéÉlevéUn hôte vide avec enable_redis = true provoque des erreurs de connexion à chaque requête.
min_instance_count1ÉlevéÀ 0, les réinitialisations de budget et les autres jobs planifiés de LiteLLM s'arrêtent lorsque l'instance est récupérée ; les démarrages à froid ajoutent également 20 à 40 s de latence pour les services dépendants.
timeout_seconds600ÉlevéL'inférence de grands modèles linguistiques peut prendre des minutes ; un délai d'attente trop court provoque des erreurs 504 sur les modèles lents.
enable_iapfalse pour les points de terminaison APIÉlevéIAP bloque tous les appels API programmatiques directs ; n'utilisez IAP que si vous accédez exclusivement à l'interface utilisateur d'administration.
execution_environmentgen2ÉlevéLes montages NFS et Direct VPC Egress sont uniquement de génération 2 ; la rétrogradation casse le réseau.
application_versionépingler pour la productionMoyenLiteLLM publie fréquemment ; les versions non épinglées peuvent modifier le schéma Prisma ou casser les formats de clés virtuelles.
NUM_WORKERS1 (augmenter pour le débit)MoyenUn seul worker sérialise toutes les requêtes ; augmenter à 2–4 et mettre à l'échelle cpu_limit proportionnellement pour les passerelles à fort trafic.
backup_retention_days7 (augmenter pour la production)MoyenTrop court pour la rétention de conformité.
enable_auto_password_rotationfalse sauf si prêtMoyenL'activation sans rotation_propagation_delay_sec adéquat peut provoquer une condition de concurrence où le service redémarre avant que le nouveau mot de passe ne se propage.

Pour le comportement de la fondation référencé tout au long — identité de service, mise à l'échelle et concurrence, ingress et équilibrage de charge, CI/CD, Cloud Armor, IAP, Binary Authorization, VPC-SC, sauvegardes et mise en miroir d'images — voir App_CloudRun. La configuration d'application spécifique à LiteLLM partagée avec la variante GKE est décrite dans LiteLLM_Common.

Need RAD to do something it does not do yet? Request it on the roadmap, or vote on what is already there.