OPTIMISATION BAYÉSIENNE.

# Score de churn : optimisation bayésienne des réglages en R
library(xgboost)
library(ParBayesianOptimization)

clients <- read.csv("clients_churn.csv")
X <- model.matrix(~ anciennete + appels_support + montant + contrat + incidents_3m, data = clients)[, -1]
dclients <- xgb.DMatrix(X, label = clients$churn)

# Fonction coûteuse à optimiser : l'AUC en validation croisée pour un jeu de réglages
objectif <- function(eta, max_depth, subsample) {
  params <- list(objective = "binary:logistic", eval_metric = "auc",
                 eta = eta, max_depth = max_depth, subsample = subsample)
  cv <- xgb.cv(params = params, data = dclients, nrounds = 400, nfold = 5,
               early_stopping_rounds = 20, verbose = FALSE)
  list(Score = max(cv$evaluation_log$test_auc_mean))
}

# Processus gaussien sur les essais passés + critère « gain espéré » pour choisir le suivant
set.seed(42)
res <- bayesOpt(FUN = objectif, bounds = list(eta = c(0.01, 0.3), max_depth = c(2L, 6L), subsample = c(0.5, 1)),
                initPoints = 6, iters.n = 24, acq = "ei", verbose = 0)
print(getBestPars(res))
essais <- as.data.frame(res$scoreSummary)
print(head(essais[order(-essais$Score), c("Iteration", "eta", "max_depth", "subsample", "Score")], 5))

# Score de churn : optimisation bayésienne des réglages en Python (Optuna)
import optuna
import pandas as pd
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import StratifiedKFold, cross_val_score

clients = pd.read_csv("clients_churn.csv")
X = pd.get_dummies(clients[["anciennete", "appels_support", "montant", "contrat", "incidents_3m"]], dtype=float)
y = clients["churn"]
blocs = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

# Fonction coûteuse à optimiser : l'AUC en validation croisée pour un jeu de réglages
def objectif(essai):
    reglages = {"learning_rate": essai.suggest_float("learning_rate", 0.01, 0.3, log=True),
                "max_depth": essai.suggest_int("max_depth", 2, 6),
                "n_estimators": essai.suggest_int("n_estimators", 50, 400),
                "subsample": essai.suggest_float("subsample", 0.5, 1.0)}
    modele = GradientBoostingClassifier(random_state=42, **reglages)
    return cross_val_score(modele, X, y, cv=blocs, scoring="roc_auc").mean()

# Chaque nouvel essai est choisi d'après les résultats des précédents (échantillonneur TPE)
optuna.logging.set_verbosity(optuna.logging.WARNING)
etude = optuna.create_study(direction="maximize", sampler=optuna.samplers.TPESampler(seed=42))
etude.optimize(objectif, n_trials=30)

print("Meilleurs réglages :", etude.best_params)
print("AUC en validation croisée :", round(etude.best_value, 3))
print(etude.trials_dataframe()[["number", "value"]].sort_values("value", ascending=False).head(5).round(3))