Les emplois événementiels sont un élément essentiel pour évoluer vers un système entièrement automatisé pipeline d’apprentissage automatique, et maintenant Algorithmia a ajouté le courtier de messages open-source populaire Apache Kafka à nos offres actuelles d’Algorithmia Event Flow, qui incluent déjà la prise en charge de Bus de service d’événement Azure et Amazon AWS SQS. Avec l’ajout des workflows d’algorithmes basés sur les événements Kafka, il est désormais plus facile que jamais de créer des workflows d’apprentissage automatique flexibles et automatisés et de maximiser leur impact commercial.

Les workflows d’apprentissage automatique matures ne consistent pas à exécuter manuellement des modèles, puis à fournir des informations sur les données dans une présentation aux parties prenantes. Au contraire, les données matures et les pipelines d’apprentissage automatique sont pilotés par les événements – différentes étapes du processus, y compris l’inférence de modèle, sont déclenchées lorsque les données circulent dans le système. Une fois qu’un modèle a noté ou classé de nouvelles données, les parties prenantes telles que les équipes de contrôle qualité ou les data scientists eux-mêmes ont besoin de métriques d’inférence stockées pour l’analyse, le recyclage et les audits, et pour que d’autres modèles en aval les utilisent. Les pipelines complexes axés sur les événements peuvent grandement bénéficier d’une interface utilisateur (UI) simplifiée et simplifiée dans laquelle les architectes peuvent configurer la logique des événements. Le flux de travail rationalisé activé par l’interface utilisateur d’Algorithmia Event Flow vous aide à gérer votre pipeline d’apprentissage automatique de manière automatisée, vous permettant de recycler et de redéployer rapidement les modèles pour maximiser leurs performances et leur disponibilité.

Les workflows basés sur les événements nécessitent également une sécurité plus élevée que les autres pipelines, car vous connectez souvent plusieurs systèmes tiers entre vos pipelines de formation et de déploiement. Le fait de disposer d’un accès basé sur les rôles pour connecter votre infrastructure de déploiement à des courtiers de messages hébergés en externe permet des audits plus rapides, un débogage plus facile et une sécurité améliorée.

Les courtiers de messages tels qu’Apache Kafka excellent dans les flux de travail basés sur les événements, et en utilisant l’interface utilisateur intuitive d’Algorithmia, vous pouvez désormais ajouter facilement des événements de publication et d’abonnement à vos flux de travail d’algorithme. Ajoutez cela au fait que seules certaines personnes disposant de l’autorité appropriée peuvent se connecter à votre cluster Kafka hébergé en externe, et vous pouvez être sûr que votre organisation évolue rapidement et en toute sécurité vers des systèmes d’apprentissage automatique automatisés et flexibles qui correspondent à tous vos cas d’utilisation professionnels. et maximiser leur impact.

Maximisez les performances du modèle

Non seulement nous avons rendu les workflows d’apprentissage automatique basés sur les événements plus faciles à mettre en œuvre et plus sécurisés, mais nous avons également amélioré l’observabilité en permettant une surveillance facile de vos intégrations Kafka. Les membres de l’organisation peuvent examiner les journaux de traitement des événements tandis que les administrateurs de cluster peuvent afficher et résoudre les problèmes de connexion dans le panneau d’administration. Ces capacités de surveillance et d’observabilité vous aident à maximiser les performances de vos modèles en production en vous aidant à détecter rapidement les problèmes de dégradation des performances.

Ce type de flux de travail vous permet également de développer des applications riches en données qui reposent sur les nouvelles données traitées au fur et à mesure qu’elles deviennent disponibles, et qui lancent des tâches de recyclage de modèle basées sur des événements de surveillance et d’alerte. Vous pouvez rapidement repérer tout changement dans les performances de vos modèles, les recycler rapidement et les redéployer en production avec un temps d’arrêt minimal.

Ces fonctionnalités étendent les capacités de Perspectives d’algorithmie, notre solution d’intégration flexible pour la surveillance des performances des modèles. Vous pouvez utiliser Algorithmia Insights pour exporter les métriques opérationnelles et liées à l’inférence des algorithmes utilitaires ou des modèles d’apprentissage automatique vers le sujet Kafka de votre choix, et exécuter ces métriques via un outil de surveillance ou d’alerte tel que Datadog ou alors InfluxDB afin de surveiller la dérive du modèle ou détecter des anomalies dans les performances de vos algorithmes en production. Restez à l’affût des articles sur l’utilisation des workflows d’algorithmes basés sur les événements de Kafka avec Perspectives d’algorithmie.

Comment activer les flux d’événements d’algorithmie à l’aide de Kafka pour vos pipelines d’inférence basés sur les événements

Il est facile de commencer à créer des pipelines d’apprentissage automatique Kafka sur Algorithmia.

Une fois que votre administrateur de cluster a connecté votre cluster Algorithmia à un courtier Kafka détenu et géré par votre entreprise, votre administrateur de cluster peut alors choisir parmi une liste d’organisations disponibles sur votre cluster et autoriser tout algorithme appartenant à l’organisation qu’il choisit de s’abonner ou publier sur un sujet Kafka sur ce courtier. Plusieurs algorithmes appartenant à une organisation peuvent écrire ou lire des données à partir du même sujet Kafka, mais nous garantissons un pipeline stable en ne permettant pas au même algorithme de s’abonner et de publier sur le même sujet.

Pour vous permettre en tant qu’ingénieur de données, scientifique de données ou développeur d’applications de créer de manière transparente des flux d’événements avec Kafka, nous avons simplifié la révision des rubriques disponibles sur les courtiers associés et pour afficher les fonctionnalités de publication et d’abonnement que votre administrateur de cluster a activées. pour un algorithme donné. Ensuite, tout ce que vous avez à faire est de spécifier la version de votre algorithme et si vous souhaitez que l’algorithme s’abonne ou publie sur un sujet spécifique.

Par exemple, si votre administrateur de cluster permet à votre algorithme de traitement de données de s’abonner à une rubrique Kafka appelée «NewDataTopic», il vous suffit de spécifier la version de l’algorithme et d’activer cet événement d’algorithme. Ensuite, chaque fois qu’un nouveau message est publié dans «NewDataTopic», cet événement lancera une exécution d’algorithme, en utilisant ce nouveau message comme charge utile de l’algorithme. Si votre algorithme est également autorisé à publier la sortie d’une exécution réussie dans une autre rubrique «ProcessedDataTopic», vous pouvez de la même manière ajouter la version de votre algorithme et activer cet événement.

Premiers pas avec les workflows d’algorithmes basés sur les événements Kafka

Les workflows d’algorithmes basés sur les événements de Kafka sont désormais disponibles pour tous Algorithmia Enterprise les clients. En tant qu’entreprise opérations d’apprentissage automatique (MLOps), Algorithmia gère toutes les étapes du cycle de vie du machine learning de production au sein des processus opérationnels existants afin que vous puissiez mettre les modèles en production rapidement, en toute sécurité et à moindre coût.

Vous n’êtes pas client d’Algorithmia Enterprise? Explorez notre plateforme et regardez une démo aujourd’hui pour découvrir pourquoi il offre le temps le plus rapide de rentabiliser le machine learning en entreprise.