De nouveaux algorithmes peuvent prédire les actions dans le jeu des joueurs de volley-ball avec plus de 80 % de précision. Maintenant, le Cornell Laboratory for Intelligent Systems and Controls, qui a développé les algorithmes, collabore avec l'équipe de hockey Big Red pour étendre les applications du projet de recherche.
Représentant l'Université Cornell, l'équipe masculine de hockey sur glace Big Red est un programme de hockey sur glace universitaire de la division I de la National Collegiate Athletic Association. Cornell Big Red participe à la conférence de hockey de la CEAC et joue ses matchs à domicile à Lynah Rink à Ithaca, New York.
Les algorithmes sont uniques en ce sens qu'ils adoptent une approche holistique de l'anticipation de l'action, combinant des données visuelles - par exemple, où se trouve un athlète sur le terrain - avec des informations plus implicites, comme le rôle spécifique d'un athlète dans l'équipe.
"La vision par ordinateur peut interpréter des informations visuelles telles que la couleur du maillot et la position ou la posture du corps d'un joueur", a déclaré Silvia Ferrari, qui a dirigé la recherche. Elle est titulaire de la chaire John Brancaccio de génie mécanique et aérospatial. "Nous utilisons toujours ces informations en temps réel, mais intégrons des variables cachées telles que la stratégie d'équipe et les rôles des joueurs, des choses que nous, en tant qu'humains, sommes capables de déduire parce que nous sommes des experts dans ce contexte particulier."
Ferrari et les doctorants Junyi Dong et Qingze Huo ont formé les algorithmes pour déduire des variables cachées en regardant des matchs – de la même manière que les humains acquièrent leurs connaissances sportives. Les algorithmes utilisés machine learning pour extraire des données de vidéos de matchs de volley-ball, puis utiliser ces données pour aider à faire des prédictions lors de la présentation d'un nouvel ensemble de jeux.
Les résultats ont été publiés dans la revue Transactions ACM sur les systèmes intelligents et la technologie le 22 septembre, et montrent que les algorithmes peuvent déduire les rôles des joueurs – par exemple, distinguer un passeur défensif d'un bloqueur – avec une précision moyenne de près de 85 %, et peuvent prédire plusieurs actions sur une séquence pouvant aller jusqu'à 44 images avec un précision moyenne de plus de 80 %. Les actions comprenaient piquer, placer, bloquer, courir, creuser, s'accroupir, se tenir debout, tomber et sauter.
L'apprentissage automatique est une technique consistant à utiliser des ordinateurs pour détecter des modèles dans des ensembles de données volumineux, puis à faire des prédictions en fonction de ce que l'ordinateur apprend de ces modèles. Cela fait de l'apprentissage automatique un type spécifique et étroit d'intelligence artificielle.
Ferrari envisage des équipes utilisant les algorithmes pour mieux se préparer à la compétition en les entraînant avec des séquences de jeu existantes d'un adversaire et en utilisant leurs capacités prédictives pour pratiquer des jeux et des scénarios de jeu spécifiques.
Ferrari a déposé un brevet et travaille actuellement avec l'équipe de hockey masculine Big Red pour développer davantage le logiciel. À l'aide d'images de jeu fournies par l'équipe, Ferrari et ses étudiants diplômés, dirigés par Frank Kim, conçoivent des algorithmes qui identifient de manière autonome les joueurs, les actions et les scénarios de jeu. L'un des objectifs du projet est d'aider à annoter le jeu film, qui est une tâche fastidieuse lorsqu'elle est effectuée manuellement par les membres du personnel de l'équipe.
"Notre programme met l'accent sur l'analyse vidéo et la technologie des données", a déclaré Ben Russell, directeur des opérations de hockey pour l'équipe masculine de Cornell. « Nous cherchons constamment des moyens d'évoluer en tant qu'entraîneurs afin de mieux servir nos joueurs. J'ai été très impressionné par les recherches que le professeur Ferrari et ses étudiants ont menées jusqu'à présent. Je crois que ce projet a le potentiel d'influencer considérablement la façon dont les équipes étudient et se préparent pour la compétition.
Au-delà du sport, la capacité à anticiper les actions humaines recèle un grand potentiel pour l'avenir de l'interaction homme-machine, selon Ferrari. Elle a déclaré qu'un logiciel amélioré peut aider les véhicules autonomes à prendre de meilleures décisions, à rapprocher les robots et les humains dans les entrepôts et peut même rendre les jeux vidéo plus agréables en améliorant l'intelligence artificielle de l'ordinateur.
"Les humains ne sont pas aussi imprévisibles que les algorithmes d'apprentissage automatique le prétendent en ce moment", a déclaré Ferrari, qui est également doyen associé pour la recherche en ingénierie inter-campus, "parce que si vous prenez réellement en compte tout le contenu, tout des indices contextuels, et vous observez un groupe de personnes, vous pouvez faire beaucoup mieux pour prédire ce qu'ils vont faire.
Référence : « A Holistic Approach for Role Inference and Action Anticipation in Human Teams » par Junyi Dong, Qingze Huo et Silvia Ferrari, 22 septembre 2022, Transactions ACM sur les systèmes intelligents et la technologie.
DOI: 10.1145 / 3531230
La recherche a été soutenue par l'Office of Naval Research Code 311 et Code 351, et les efforts de commercialisation sont soutenus par le Cornell Office of Technology Licensing.
