L’apprentissage d’ensemble combine les prédictions des modèles d’apprentissage automatique pour la classification et la régression.

Nous poursuivons en utilisant des méthodes d’ensemble pour atteindre amélioration des performances prédictives, et c’est cette amélioration par rapport à l’un des modèles contributifs qui définit si un ensemble est bon ou non.

Une propriété présente dans un bon ensemble est la diversité des prédictions faites par les modèles contributifs. La diversité est un concept glissant car il n’a pas été défini avec précision; néanmoins, il fournit une heuristique pratique utile pour concevoir de bons modèles d’ensemble.

Dans cet article, vous découvrirez diversité d’ensemble dans l’apprentissage automatique.

Après avoir lu cet article, vous saurez:

• Un bon ensemble est celui qui a de meilleures performances que n’importe quel modèle contributeur.
• La diversité d’ensemble est une propriété d’un bon ensemble où les modèles contributifs font des erreurs différentes pour la même entrée.
• La recherche de modèles indépendants et de prédictions non corrélées fournit un guide pour réfléchir et introduire la diversité dans les modèles d’ensemble.

Lancez votre projet avec mon nouveau livre Ensemble Learning Algorithms With Python, y compris tutoriels étape par étape et le Code source Python fichiers pour tous les exemples.

Commençons.

Présentation du didacticiel

Ce didacticiel est divisé en trois parties; elles sont:

1. Ce qui fait un bon ensemble
2. Qu’est-ce que la diversité d’ensemble
3. Méthodes pour accroître la diversité

Ce qui fait un bon ensemble

Un ensemble est un modèle d’apprentissage automatique qui combine les prédictions de plusieurs autres modèles.

Cela a souvent pour effet de réduire les erreurs de prédiction et d’améliorer la généralisation du modèle. Mais ce n’est pas toujours le cas.

Parfois, l’ensemble ne joue pas mieux qu’un membre contribuant bien performant à l’ensemble. Pire encore, parfois un ensemble sera moins performant que n’importe quel membre contributeur.

Cela soulève la question de savoir ce qui fait un bon ensemble.

Un bon ensemble est un ensemble qui joue mieux que n’importe quel membre contributeur. Autrement dit, il s’agit d’un modèle qui a une erreur de prédiction plus faible pour la régression ou une précision plus élevée pour la classification.

• Bon ensemble: Un modèle qui fonctionne mieux que n’importe quel modèle contributif unique.

Cela peut être évalué de manière empirique à l’aide d’un train et d’un ensemble de test ou d’une technique de rééchantillonnage comme la validation croisée par k-fold. De même, les résultats peuvent être estimés pour chaque modèle contributif et les résultats comparés directement pour voir si la définition d’un “bon ensemble” est rencontré.

Quelles propriétés d’un bon ensemble le différencient des autres ensembles qui fonctionnent aussi bien ou moins que n’importe quel membre contributeur?

C’est une question largement étudiée avec de nombreuses idées. La cohérence est qu’un bon ensemble a la diversité.

Qu’est-ce que la diversité d’ensemble

La diversité d’ensemble fait référence aux différences dans les décisions ou les prédictions faites par les membres de l’ensemble.

La diversité d’ensemble, c’est-à-dire la différence entre les apprenants individuels, est une question fondamentale dans les méthodes d’ensemble.

– Page 99, Méthodes d’ensemble, 2012.

Deux membres de l’ensemble qui font des prédictions identiques sont considérés comme non divers.

Les ensembles qui font des prédictions complètement différentes dans tous les cas sont extrêmement diversifiés, bien que cela soit très improbable.

Faire des erreurs différentes sur un échantillon donné est d’une importance capitale dans les systèmes basés sur des ensembles. Après tout, si tous les membres de l’ensemble fournissent la même sortie, il n’y a rien à gagner de leur combinaison.

– Page 5, Ensemble Machine Learning, 2012.

Par conséquent, un certain niveau de diversité dans les prédictions est souhaité ou même requis pour construire un bon ensemble. Ceci est souvent simplifié dans la discussion par le désir de divers membres de l’ensemble, par exemple les modèles eux-mêmes, qui à leur tour produiront des prédictions diverses, bien que la diversité des prédictions soit vraiment ce que nous recherchons.

Idéalement, la diversité signifierait que les prédictions faites par chaque membre de l’ensemble sont indépendantes et non corrélées.

… Les sorties du classificateur doivent être indépendantes ou de préférence négativement corrélées.

– Page 5, Ensemble Machine Learning, 2012.

L’indépendance est un terme de la théorie des probabilités et fait référence au cas où un événement n’influence pas la probabilité d’occurrence d’un autre événement. Les événements peuvent s’influencer de différentes manières. Un ensemble peut en influencer un autre s’il tente de corriger les prédictions qu’il a faites.

Ainsi, selon le type d’ensemble, les modèles peuvent être naturellement dépendants ou indépendants.

• Indépendance: Indique si l’occurrence d’un événement affecte la probabilité d’événements ultérieurs.

La corrélation est un terme issu des statistiques et fait référence à deux variables évoluant ensemble. Il est courant de calculer un score de corrélation normalisé entre -1,0 et 1,0 où un score de 0,0 indique aucune corrélation, par exemple non corrélée. Un score de 1,0 ou -1,0 un indique une corrélation positive et négative parfaite respectivement et indique deux modèles qui prédisent toujours le même résultat (ou inverse).

… Si les apprenants sont indépendants, c’est-à-dire [correlation] = 0, l’ensemble atteindra un facteur T de réduction d’erreur que les apprenants individuels; si les apprenants sont totalement corrélés, c’est-à-dire [correlation] = 1, aucun gain ne peut être obtenu de la combinaison.

– Page 99, Méthodes d’ensemble, 2012.

Dans la pratique, les ensembles présentent souvent une corrélation positive faible ou modeste dans leurs prédictions.

• Corrélation: Le degré auquel les variables changent ensemble.

En tant que tels, les modèles d’ensemble sont construits à partir de modèles constituants qui peuvent ou non avoir une certaine dépendance et une certaine corrélation entre les décisions ou les prédictions faites. Construire de bons ensembles est une tâche difficile.

Par exemple, la combinaison d’un ensemble de modèles les plus performants aboutira probablement à un ensemble médiocre car les prédictions faites par les modèles seront fortement corrélées. De manière non intuitive, vous feriez peut-être mieux de combiner les prédictions de quelques modèles individuels les plus performants avec les prédictions de quelques modèles plus faibles.

Ainsi, il est souhaitable que les apprenants individuels soient précis et diversifiés. Combiner uniquement des apprenants précis est souvent pire que de combiner certains apprenants précis avec d’autres relativement faibles, car la complémentarité est plus importante que la précision pure.

– Page 100, Méthodes d’ensemble, 2012.

Malheureusement, il n’y a pas de mesure généralement acceptée de la diversité d’ensemble et les idées d’indépendance et de corrélation ne sont que des guides ou des substituts pour réfléchir aux propriétés de bons ensembles.

Malheureusement, bien que la diversité soit cruciale, nous n’avons toujours pas une compréhension claire de la diversité; par exemple, il n’existe actuellement aucune définition formelle bien acceptée de la diversité.

– Page 100, Méthodes d’ensemble, 2012.

Néanmoins, comme guides, ils sont utiles car nous pouvons concevoir des techniques qui tentent de réduire la corrélation entre les modèles.

Vous voulez démarrer avec Ensemble Learning?

Suivez maintenant mon cours intensif gratuit de 7 jours sur les e-mails (avec un exemple de code).

Cliquez pour vous inscrire et obtenez également une version PDF Ebook gratuite du cours.

Téléchargez votre mini-cours GRATUIT

Méthodes pour accroître la diversité

L’objectif de développement de bons ensembles est envisagé dans l’optique d’augmenter la diversité des membres de l’ensemble.

Les modèles d’un ensemble peuvent être plus dépendants s’ils partagent le même algorithme utilisé pour entraîner le modèle et / ou le même jeu de données utilisé pour entraîner le modèle. Les modèles d’un ensemble peuvent avoir une corrélation plus élevée entre leurs prédictions pour les mêmes raisons générales.

Par conséquent, des approches qui rendent les modèles et / ou les données d’apprentissage plus différents sont souhaitables.

La diversité peut être obtenue par le biais de différentes présentations des données d’entrée, comme dans l’ensachage, des variations dans la conception de l’apprenant, ou en ajoutant une pénalité aux résultats pour encourager la diversité.

– Page 93, Classification des motifs à l’aide de méthodes d’ensemble, 2010.

Il peut être utile d’avoir un cadre de réflexion sur les techniques de gestion de la diversité des ensembles, et il y en a beaucoup à choisir.

Par exemple, Zhi-Hua Zhou dans le chapitre 5 de son livre de 2012 intitulé «Méthodes d’ensemble: fondements et algorithmes» propose un cadre de quatre approches pour générer la diversité. En résumé, ce sont:

• Manipulation des échantillons de données: par exemple, échantillonnez le jeu de données d’entraînement différemment pour chaque modèle.
• Manipulation des fonctions d’entrée: par exemple, former chaque modèle sur différents groupes d’entités d’entrée.
• Manipulation des paramètres d’apprentissage: par exemple, des modèles de train avec des valeurs d’hyperparamètres différentes.
• Manipulation de la représentation de sortie: par exemple, des modèles de train avec des valeurs cibles modifiées différemment.

Les approches les plus courantes sont peut-être les modifications des données d’apprentissage, c’est-à-dire des échantillons de données et des caractéristiques d’entrée, souvent combinées dans une seule approche.

Pour un autre exemple de taxonomie pour générer un ensemble diversifié, Lior Rokach dans son livre de 2010 intitulé «Pattern Classification Using Ensemble Methods» suggère une taxonomie similaire, résumée comme suit:

• Manipuler l’inducteur, par exemple en manipulant la manière dont les modèles sont formés.
  • Variez les hyperparamètres.
  • Point de départ variable.
  • Varier l’algorithme d’optimisation.
• Manipulation de l’échantillon de formation, par exemple manipuler les données utilisées pour la formation.
• Modification de la représentation d’attribut cible, par exemple en manipulant la variable cible.
  • Varier l’encodage.
  • Codes de correction d’erreurs.
  • Changement d’étiquette.
• Partitionner l’espace de recherche, par exemple en manipulant le nombre d’entités d’entrée.
  • Sous-espace aléatoire.
  • Sélection de fonctionnalité.
• Hybridation, par exemple différents types de modèles ou un mélange des méthodes ci-dessus.

L’approche d’hybridation est commune à la fois dans les méthodes d’ensemble populaires qui combinent plusieurs approches pour générer de la diversité dans un seul algorithme, ainsi que dans la simple variation des algorithmes (types de modèles) qui composent l’ensemble.

Le regroupement de modèles concurrents dans des ensembles améliore presque toujours la généralisation – et l’utilisation de différents algorithmes comme opérateur de perturbation est un moyen efficace d’obtenir la diversité requise de composants.

– Page 89, Méthodes d’ensemble dans l’exploration de données, 2010.

Cela met en évidence que bien que nous puissions étudier la quantification de la diversité d’un ensemble, la plupart des efforts portent plutôt sur le développement de techniques génératrices de diversité.

Nous pouvons exploiter ces connaissances pour développer nos propres méthodes d’ensemble, en essayant d’abord des méthodes d’apprentissage d’ensemble standard et bien comprises, puis en les adaptant à notre ensemble de données spécifique en gardant à l’esprit l’indépendance du modèle et la corrélation des prédictions dans le but d’en tirer le meilleur parti.

Lectures complémentaires

Cette section fournit plus de ressources sur le sujet si vous souhaitez approfondir.

Livres

Des articles

Résumé

Dans cet article, vous avez découvert la diversité d’ensemble dans l’apprentissage automatique.

Plus précisément, vous avez appris:

• Un bon ensemble est celui qui a de meilleures performances que n’importe quel modèle contributeur.
• La diversité d’ensemble est une propriété d’un bon ensemble où les modèles contributifs font des erreurs différentes pour la même entrée.
• La recherche de modèles indépendants et de prédictions non corrélées fournit un guide pour réfléchir et introduire la diversité dans les modèles d’ensemble.

Avez-vous des questions?
Posez vos questions dans les commentaires ci-dessous et je ferai de mon mieux pour y répondre.