Mise à jour mensuelle du modèle
Procédure de veille, d'évaluation et de proposition d'un nouveau modèle pour les services A2 et A3.
Principe
Alpene suit les annonces, sorties de modèles et évolutions des fournisseurs. La revue est régulière, mais elle ne provoque pas un changement chaque mois.
Un nouveau modèle est évalué uniquement lorsqu'il semble pouvoir apporter un bénéfice réel :
- meilleure qualité globale ;
- capacité nouvelle utile au service ;
- latence réduite ;
- consommation mieux maîtrisée ;
- contexte plus important ;
- meilleure compatibilité avec les outils ;
- hébergement ou conditions de traitement plus adaptés.
Le modèle en production reste inchangé tant qu'aucun candidat ne justifie une proposition au client.
Processus distinct par service
Chaque service possède son propre processus d'évaluation. Un modèle pertinent pour un chat A3 n'est pas automatiquement adapté à une automatisation A2.
Pour A3, l'évaluation porte principalement sur les usages conversationnels généraux, la qualité des réponses, la compréhension des consignes et les capacités attendues par les utilisateurs.
Pour A2, l'évaluation est réalisée séparément pour chaque service ou chantier concerné. Le modèle proposé doit rester compatible avec les entrées, sorties, formats et intégrations du processus.
Les modèles d'embedding, d'OCR et les autres modèles spécialisés sont évalués séparément. Leur remplacement n'est jamais inclus implicitement dans une mise à jour du modèle de génération.
Évaluation
Alpene s'appuie principalement sur :
- benchmarks publics et comparaisons globales ;
- documentation et informations du fournisseur ;
- retours disponibles sur des usages comparables ;
- tests internes représentatifs du service ;
- vérification des conditions de traitement et de localisation des données.
L'évaluation reste volontairement pragmatique. Elle ne dépend pas d'un outil ou d'un framework de benchmark imposé.
Un candidat doit :
- ne pas régresser sur un cas critique identifié ;
- apporter un bénéfice suffisamment clair pour justifier le changement ;
- respecter les contraintes de données du client ;
- rester compatible avec la passerelle d'inférence et le service concerné ;
- permettre un retour au modèle précédent.
Arthur et Baptiste valident ensemble la pertinence technique d'une évolution pour les chantiers A.
Proposition au client
Lorsque le changement paraît pertinent, Alpene présente au client :
- le modèle actuellement utilisé ;
- le modèle proposé ;
- les bénéfices attendus ;
- les éventuelles différences de comportement ;
- les contraintes ou limites identifiées ;
- la date de bascule proposée ;
- la possibilité de revenir temporairement au modèle précédent.
Le client donne un retour explicite : oui ou non.
En cas de refus, le modèle actuel est conservé dans la limite des règles de maintien décrites ci-dessous.
Bascule
Après accord du client :
- la configuration actuelle est sauvegardée ;
- le nouveau modèle est activé pour le service concerné ;
- les parcours principaux sont vérifiés ;
- la supervision et la consommation sont contrôlées ;
- le client est informé de la fin de la bascule ;
- le modèle précédent reste disponible pour rollback.
La date est choisie au cas par cas avec le client. Aucune fenêtre de maintenance mensuelle fixe n'est imposée.
Rollback
Le modèle précédent est conservé pendant 30 jours après la bascule.
Un rollback est déclenché si :
- une régression importante est constatée ;
- un cas critique ne fonctionne plus correctement ;
- la qualité réelle ne correspond pas à l'évaluation ;
- la latence ou la disponibilité devient incompatible avec le service ;
- le client rencontre un blocage significatif.
Le rollback consiste à rétablir le modèle et la configuration précédents, puis à vérifier les parcours principaux du service.
Maintien sur un ancien modèle
Un client peut demander à rester temporairement sur son modèle actuel.
Ce maintien est possible pendant six mois au maximum, sous réserve que :
- le modèle reste disponible chez le fournisseur ;
- ses conditions de sécurité et de traitement restent acceptables ;
- son maintien ne bloque pas l'exploitation du service ;
- aucun incident ou retrait fournisseur n'impose une migration plus rapide.
À l'issue des six mois, Alpene peut imposer une migration vers un modèle maintenu. Le client est informé de la date, du modèle cible et des conséquences du changement.
Bascule d'urgence
Une bascule peut être réalisée hors du processus normal en cas de :
- retrait ou arrêt annoncé du modèle ;
- incident majeur chez le fournisseur ;
- faille ou risque de sécurité ;
- changement incompatible des conditions de traitement ;
- indisponibilité durable du service.
Alpene choisit alors l'alternative la plus proche et informe le client dès que possible. Les vérifications et la possibilité de rollback restent appliquées lorsque la situation le permet.
Traçabilité
Chaque changement conserve une trace simple :
- service et client concernés ;
- ancien et nouveau modèles ;
- raison du changement ;
- date de proposition ;
- réponse du client ;
- date de bascule ;
- résultat des vérifications ;
- éventuel rollback.
Décisions validées
- La veille est régulière, mais une bascule n'est proposée que lorsqu'elle paraît pertinente.
- A2 et A3, ainsi que chaque service concerné, sont évalués séparément.
- L'évaluation repose principalement sur les benchmarks globaux et des tests internes pragmatiques.
- Aucun outil de benchmark spécifique n'est imposé.
- Arthur et Baptiste valident la proposition avant de la présenter au client.
- Le client répond explicitement par oui ou non.
- Le modèle précédent reste disponible pendant 30 jours pour rollback.
- Le client peut conserver un ancien modèle pendant six mois au maximum.
- Une bascule d'urgence est possible en cas de risque, retrait ou indisponibilité majeure.