Par Daniel Ouellet
Introduction
Plusieurs années passées (en 2003 ou 2004 je pense) j’avais fait une analyse corrélationnelle entre les étoiles et les autres statistiques collectionnées par la LICUM. Les conclusions de cette analyse étaient essentiellement que, statistiquement, les joueurs qui reçoivent les étoiles ne sont pas nécessairement ceux qui ont les meilleures moyennes ou le meilleur apport mais plutôt ceux qui jouent le plus d’impros (que celles-ci soient gagnées ou non). Lors de cette première analyse, j’avais choisi le nombre d’étoiles comme étant une représentation quantitative de l’appréciation que l’on avait pour un joueur, mais cette stat est à défaut. N’oublions pas que seulement trois joueurs par matchs reçoivent des étoiles. Ainsi, plusieurs joueurs méritant la reconnaissance peuvent passer inaperçus dans les stats. D’ailleurs, on verra plus loin dans cet article qu’une grande proportion de joueurs (environ 40%) ne reçoivent aucune étoile pendant toute une saison. Notre réelle appréciation d’un joueur existe dans l’abstrait. Quand même, les statistiques sont collectionnées et rapportées alors il peut être intéressant de voir ce qu’elles racontent. Ce sera l’objectif de cet article.
Pour une explication de ce qu’est l’apport, vous pouvez consulter l’explication de son créateur, Daniel Albert : Origines de l’apport. J’en parle aussi longuement dans mon analyse originale.
L’analyse corrélationnelle entre les étoiles et les autres statistiques collectionnées par la LICUM de 1995 à 2003:
Méthodologie
Quand ImproNB m’a proposé d’écrire un texte sur les stats, je me suis senti immédiatement motivé. Ceux qui me connaissent savent que j’adore travailler avec Excel et analyser les choses quantitativement. J’ai donc communiqué avec des représentants des différentes ligues du NB et on m’a gracieusement donné accès aux stats de la LIC, la LICUM et la LIR. J’ai compilé le tout dans un gros fichier Excel et fait quelques ajustements pour que les saisons soient comparables :
- J’ai multiplié le nombre de matchs de la LIR par 10/12 puisque cette ligue joue des matchs de 10 impros au lieu du 12 impros des autres ligues.
- J’ai éliminé les joueurs qui avaient joué moins de 3 matchs (pour que le nombre d’étoiles ait un sens).
- J’ai éliminé les joueurs qui avaient joué moins de 10 impros (pour que la moyenne ait un sens).
À la fin de tout ça, il me reste les performances de 387 joueurs sur les 8 dernières années. Pour être clair, une personne qui a joué 4 saisons compte comme 4 joueurs différents. Je fais ici des analyses de saison et non des analyses de carrière. J’ai ensuite produit des graphiques de distribution et des tableaux de centiles afin de montrer où se situent la plupart des joueurs sur les différentes mesures. Finalement, j’ai refait l’analyse corrélationnelle entre les stats et les étoiles pour vérifier que celle-ci ne sont encore pas bien corrélées.
Résultats
Étoiles
À la fin d’une saison de 6 matchs (à 12 impros chaque), voici combien d’étoiles reçoivent les joueurs :
| Centile | |
| 50e | 2,0 |
| 66e | 4,5 |
| 75e | 6,0 |
| 90e | 10,5 |
| 99e | 15,2 |
On voit alors que la moitié des joueurs ont moins de 2 étoiles après une pleine saison. D’ailleurs, 37,5% des joueurs ont fini leur année sans aucune étoile. Ne vous sentez pas mal si c’est votre cas; vous êtes dans la majorité! Les trois quarts des joueurs vont avoir moins de 6 étoiles par saison et ce n’est que le top 10% des joueurs qui peuvent récolter plus de 10 étoiles. C’est un impressionnant 1,75 étoiles par match!
Apport effectif
| Centile | |
| 50 | 1,50 |
| 66 | 1,93 |
| 75 | 2,33 |
| 90 | 3,21 |
| 99 | 5,10 |
L’apport effectif est la quantité d’apport gagné par match. Encore une fois, on voit que la majorité des joueurs se retrouvent ensemble dans les valeurs basses. Trois quarts d’entre eux ont moins de 2,4. Ce ne sont que les joueurs exceptionnels, le top 10%, qui réussissent à sauter drastiquement dans des valeurs surpassant le 3,0.
Impros jouées par match
Le nombre d’impros jouées par match est assez variable d’un joueur à l’autre. En moyenne, les joueurs jouent de 4,5 à 8,25 impros par match. Il n’y a pas beaucoup de différences d’une ligue à l’autre :
Dans ce graphique, chaque ligne horizontale représente un quartile. Les points extrêmes de la LIC sont probablement dû à des erreurs de prises de stats car le point le plus haut représente une moyenne de 12,66 impros jouées par match ce qui voudrait dire que le joueur en question aurait joué toutes les impros de la saison ET des supplémentaires. Il semble plus probable que le statisticien a oublié de lui monter son nombre de matchs à un moment donné.
Moyenne
La moyenne d’impro gagnées, quant à elle, est beaucoup plus normalement distribuée :
| Centile | |
| 50e | 52% |
| 66e | 57% |
| 75e | 61% |
| 90e | 69% |
| 99e | 81% |
Comme on s’y attendrait en théorie, la plupart des joueurs gagnent la moitié des impros qu’ils jouent et ce n’est que le quart des joueurs qui réussissent à gagner le 2/3 de leurs impros.
Punitions
Comme avec les étoiles, on voit que les punitions sont souvent distribuées aux mêmes :
| Centile | |
| 50e | 1,50 |
| 66e | 2,00 |
| 75e | 3,00 |
| 90e | 4,50 |
| 99e | 10,50 |
La plupart des joueurs (40%) finissent leur saison sans aucune punition personnelle. Remarquons cependant qu’à l’autre extrême, environ 1% des joueurs récolteront au-delà de 10 punitions par eux-même! Ils sont dans une toute autre catégorie.
Corrélations
Finalement, regardons comment les étoiles peuvent être prédites par les autres stats. Dans les graphiques qui suivent, le titre suit le format d’une fonction mathématique. Ainsi, le premier graphique illustre le nombre d’étoiles gagnées par match (sur l’axe vertical) en fonction de l’apport effectif (sur l’axe horizontal). La valeur de R2 est entre 0 et 1 et représente la force de la corrélation. Si la stat sur l’axe horizontal pouvait parfaitement prédire les étoiles, R2 serait 1. S’il n’y a aucun lien entre la stat et les étoiles, R2 serait 0.
On remarque alors que c’est encore le cas que les étoiles ne peuvent pas être bien prédites par les autres statistiques d’impro. La seule stat qui semble être liée au nombre d’étoiles est le nombre d’impros jouées. Même lorsque ces impros sont perdues, le nombre d’étoiles augmente (quoique cette relation est très faible) :
Conclusion
Le joueur d’impro néo-brunswickois moyen jouera 4 à 8 impros par match, en gagnera environ la moitié et ne se fera pas attribuer de punitions, ni d’étoiles… et c’est ok. Rien de ça ne réussit vraiment à mesurer la valeur d’un joueur. Les statistiques individuelles ignorent un aspect essentiel du jeu : le travail d’équipe. Quand on note les stats en impro, on n’indique pas si le joueur était moteur, troisième joueur ou accessoire. On n’attribue pas le blâme d’une punition d’équipe à un seul joueur qui l’a peut-être causée. On ne prend pas en note si la victoire d’une impro était dûe à un punch génial ou si la perte était causée par l’erreur d’un joueur. On n’inscrit pas non plus si le vote était unanime, majoritaire ou serré. Le jeu est complexe et implique une multitude de variables qui ne sont pas prises en compte dans les stats d’un joueur. Un joueur pourrait vraiment mal jouer et quand même avoir de bonnes stats. Il pourrait, par exemple, entrer faire une joke plate comme troisième joueur et quand même se faire attribuer une impro gagnée parce que son coéquipier a tellement bien joué le reste de l’impro. Le développement d’un joueur se fait via l’itération et la discussion. Trouvez alors le courage de perdre plus d’impros et d’en parler avec vos coéquipiers et vos mentors. Avec le temps, cette confiance amènera naturellement à de meilleures stats mais, surtout, à un meilleur jeu.
Vous voulez écrire un article? Communiquez avec nous à improvisationnb@gmail.com!
Improvisation NB 
Excellent texte Daniel. Les statistiques et l’improvisation sont deux sujets qui m’intéressent beaucoup, c’était bien vulgarisé.
Comme entraineur, j’ai d’ailleurs développé d’autres systèmes de calcul de statistiques de mes joueurs, comme, en effet, le système actuel (l’apport, les étoiles, etc.) n’est pas nécessairement (des fois oui, des fois non) du talent réel d’un joueur. (On pourra en reparler si ça en intéresse certains)
Un joueur plus faible dans une équipe forte sera avantagé (parfois le 5e joueur d’une équipe forte à un meilleur apport que le meilleur joueur d’une équipe faible).
Même chose pour les étoiles, parce qu’il y a beaucoup d’impondérables qui pèsent sur ce choix qui demeure quand même subjectif : qui décerne les étoiles (si dans une ligue c’est souvent le même officiel, ça peut certainement avantager ou désavantager certains joueurs).
Tes stats nous font bien sur réfléchir à la notion suivante : jusqu’à quel point est-ce important de jouer beaucoup?
J’ai toujours été un apôtre de l’importance de ne pas entrer pour rien, de laisser respirer les impros…mais je pense qu’il existe différents types de joueurs et qu’il est important d’avoir des joueurs qui jouent beaucoup…
Habituellement, sur un banc de 6, je verrais ça comme : un joueur qui en joue entre 6-8, 1-2 joueurs entre 4-6, 1-2 joueurs entre 2 et 4 et un joueur qui est un joueur d’utilité qui pourrait jouer 1-2 impros)…
Mais : le joueur qui en joue 7 va certainement plus paraitre aux yeux du public en général que celui qui en joue 1… est-il plus utile? (selon les stats oui), mérite-t-il + une étoile? J’imagine que ça dépend de ce qu’on veut souligner… l’étoile souligne quoi? Une performance particulière (alors, chaque joueur qui joue 1 impro se qualifie pour le titre) ou le fait d’avoir été le meilleur joueur (celui qui a gagné des impros, fait avancer les histoires, créer des personnages, est intervenu lorsqu’on en avait besoin, etc.) dans cette situation, le joueur de 6-8 impro est en effet avantagé en terme d’étoiles (qu’il gagne où qu’il perdre)…
Bref, c’est une discussion intéressante.
Et : je le dis toujours à mes joueurs…les étoiles, ça ne veut pas dire grand chose…
Tu peux jouer le meilleur match de ta vie et ne pas en gagner et jouer un match horrible et en gagner…
Souvent, au secondaire, dans les tournois, y’a même des erreurs dans le feu de l’action (oups, on voulait donner l’étoile à joueur X, mais on l’a donné à l’autre)…donc il faut prendre ça avec un grain de sel.
C’est comme une cerise sur un sundae… Si elle est là, et bien c’est le fun, pis sinon, et bien ça ne change rien du tout à la performance du joueur.
Je ne considérerais pas des erreurs dans le choix des étoiles par les juges (donner le mauvais nom ou lecture du mauvais nom par le MC par exemple) comme une variable majeure vu c’est une situation qui survient rarement dans le contexte d’un tournoi secondaire. On parle d’une fois peut-être aux 5 ans, potentiellement même moins fréquemment. Ça représenterait surtout une anomalie statistique, surtout qu’une telle erreur est typiquement corrigée dans les statistiques par la suite, en informant les équipes du changement.
La remise des étoiles est intéressante parce que c’est un moyen d’insérer dans le calcul des notions moins quantifiables, l’analyse plus créative et humaine, en la transférant en étoile et donc en chiffre. La grille d’évaluation des juges a une section dédiée aux étoiles possibles dans laquelle les juges inscrivent des noms et numéros de joueurs tout au long du match. Certains noms s’ajoutent vers la fin, d’autres sont retirés vers la fin en fonction de l’évolution du match et des performances de joueurs en question. Par exemple, il est possible qu’une personne ait fait une excellent impro au début, puis par la suite ait été complètement destructo pendant le reste du match, donc ce nom sera probablement retiré. Les juges se consultent seulement suite au match, amenant avec eux typiquement leur top 2-3 choix, négociant le choix finale entre eux. Comme ils ont prit des notes, cet échange se fait efficacement et est appuyé d’arguments liés à une bonne performance, une amélioration marquée ou la prise de risques artistiques des joueurs soulignés. Il est certain que ça reste subjectif, quoique la structure encourage le plus d’objectivité possible, et donc je trouve ça intéressant de pouvoir donner un caractère plus mathématique à cette réflexion en quelque sorte à travers les étoiles.
Je suis pas mal en accord avec tout ce que tu dis Justin. Nous soulignons tous les deux des mêmes exemples de cas où les stats représentent mal la contribution d’un joueur. La plupart de ces exemples disparaissent quand on s’assure d’abord que le joueurs a joué assez de matchs et d’impros (bonne chance à avoir une moyenne >80% à 10 impros jouées sans être un « bon joueur ») mais il peut encore rester des exceptions. Par exemple, j’ai déjà eu le plus étoilé d’une saison de la LICUM en ayant une moyenne de 40% parce qu’on n’avait juste pas une équipe forte assez pour gagner et je ne suis pas un joueur assez fort pour porter le spectacle sur mes épaules…mais je gagnais 2e étoile chaque match.
Ça pourrait être intéressant de développer de nouvelles mesures. Le baseball est un jeu où on a trouvé des solutions statistiques intéressantes aux limites des règlements. Il y a peut-être des indices dans ma conclusion aussi. Encore là, personnellement, c’est quelque chose que je ferais plutôt pour le plaisir que pour l’évaluation réelle d’un joueur. Comme j’ai mentionné dans l’article: c’est plus important d’essayer et de discuter que de mesurer. Les stats sont un outil qui peut juste donner un portrait de ce qui s’est passé à long terme. En particulier, elles sont bonnes pour identifier les joueurs qui sont excellents puisque leurs stats ont tendances à être exponentiellement meilleures que les autres.
Et, comme les étoiles sont une donnée subjective non-statistique, c’est difficile de la lier à une donnée comme l’apport ou encore même le nombre d’improvisation jouées…il y a trop d’impondérables…
C’est certain que des statistiques sur 100 impros ont une valeur plus réelle que des statistiques sur 10 impros, ce serait encore mieux si on pouvait analyser chaque joueur en compilant des statistiques dans plus d’une ligue et dans plus d’une équipe (plus on ajoute des données, plus on s’éloigne du coup de chance, du hasard, etc.)
Mais Gretzky demeurera Gretzky, qu’il gagne la première étoile du match ou pas, on sait qu’il est bon…
Et la ça ouvre toute une discussion à savoir ce qu’est qu’un excellent joueur, parce que ça aussi c’est subjectif (et en partie objectif aussi, je crois que y’a des moyens de calculer certains trucs)…et on n’oublie pas aussi que c’est un sport d’équipe, donc les coéquipiers font une différences dans les stats (comme ton exemple d’équipe plus faible…tu aurais eu des meilleures stats dans une équipe plus forte, mais pas la 2e étoile chaque fois…)
C’est intéressant, ça me donne envie d’expliquer ma très longue technique d’analyse des statistiques de mes joueurs… je vois un peu cela comme des statistiques avancées… ça a fait sa place dans le sport professionnelle…mais encore là, parfois ça fait du sens et d’autres moins…
ET : les chiffres demeurent des chiffres… y’aura toujours des joueurs pour jouer au dessus ou en déca de leur moyen dans certaines situations données…et comme entraineur, on prend parfait des décisions avec le coeur plutôt qu’avec la tête…pour le meilleur parfois, et pour le pire d’autres fois…
Ça revient encore à ce que je disais plus haut : c’est un jeu avec tellement d’impondérables…
Si je comparais les étoiles aux autres stats c’était justement pour arriver à la même conclusion que toi: rien de ça mesure la même chose.
Faut vraiment voir les stats comme un outil parmi le coffre. On ne peut pas se limiter qu’à elles pour déterminer la valeur d’un joueur mais elles peuvent aussi nous montrer des choses que nos biais nous cachent. Exemple: je peux facilement imaginer qu’on sous-estime un joueur parce qu’il n’est pas la vedette de l’équipe ou qu’il ne reçoit pas les étoiles mais qu’à la fin de la saison on réalise, en regardant ses stats, qu’il était réellement très solide et contribuait peut-être plus aux victoires qu’on pensait.
Ma citation préférée sur les stats: « Les stats sont comme un bikini. Ce qu’elles révèlent est intéressant, mais ce qu’elles cachent est essentiel. » -Aaron Levenstein
Je serais intéressé de voir ce que tu as développé comme « stats avancées ». Tu nous fais un article pour ouvrir la discussion?
Juste pour toi Daniel, je vais préparer un article 🙂
[…] fil de commentaires sous l’article du 10 août dernier, écrit par Daniel Ouellet, et intitulé Que nous disent les stats?, Daniel et moi avons entamé une discussion sur les statistiques en improvisation. Je mentionnais […]