Cette architecture, baptisée Streamhouse, permet de collecter, traiter, gouverner et mettre à disposition les données à jour de l’entreprise. Elle offre ainsi un socle commun aux décisions et aux actions.
Streamhouse est une nouvelle architecture de données qui permet aux agents d’IA et aux applications d’accéder, à toute vitesse, à une vision gouvernée de l’activité de l’entreprise et d’agir en conséquence.
La Data Streaming Platform de Confluent s’enrichit de nouvelles capacités de requête pour fournir une plateforme complète et unifiée permettant de créer une Streamhouse.
Lightning Tables permet d’interroger directement dans Confluent les données diffusées en continu, avec une faible latence. La solution réduit le besoin de copier ces données dans une base distincte pour les mettre à la disposition des applications.
Confluent, une société du groupe IBM, annonce aujourd’hui de nouvelles fonctionnalités pour créer une nouvelle architecture de données, appelée Streamhouse, qui maintient à jour le contexte métier nécessaire aux agents d’IA, aux applications et aux outils d’analyse pour prendre des décisions et agir. Avec la disponibilité de Lightning Tables sur AWS, la Data Streaming Platform de Confluent réunit désormais cinq piliers : Stream, Connect, Process, Govern et, désormais, Query. Confluent occupe une place centrale dans la stratégie data d’IBM et associe le streaming de données en temps réel aux capacités d’intégration, de gouvernance et d’IA d’IBM dans les environnements hybrides.
Pourquoi les entreprises ont besoin d’une plateforme de Streamhouse
Les data lakes, les data warehouses et les lakehouses ont principalement été conçus pour le reporting et les traitements par lots. À mesure que les agents d’IA prennent en charge davantage de tâches dans l’entreprise, ils doivent prendre des décisions à partir d’informations réparties entre des systèmes qui ne sont pas actualisés au même moment. Lorsque ces systèmes présentent des visions différentes de l’état actuel de l’entreprise, les agents peuvent agir à partir d’informations obsolètes ou contradictoires, et répercuter ces erreurs dans d’autres processus.
Streamhouse répond à ce problème d’architecture en collectant, traitant, gouvernant et mettant à disposition en continu le contexte métier actuel pour les agents, les applications et les outils d’analyse. Prenons l’exemple d’une compagnie aérienne qui doit gérer l’annulation d’un vol :
Aujourd'hui, différents systèmes détiennent des visions contradictoires d'une même opération. Les opérations aériennes suivent la position de l'appareil, la planification suit son heure de départ, et les réservations suivent les sièges disponibles. Lorsque ces systèmes se mettent à jour à des moments différents, un agent autonome de réacheminement peut construire un itinéraire qui paraît valide dans chaque système mais qui ne fonctionne pas dans la pratique : un siège est disponible, mais l'appareil ne peut pas arriver à temps pour la correspondance du passager. Les équipes du service client et les systèmes de notification peuvent alors agir à partir de ces mêmes visions contradictoires, et propager une information erronée.
Avec une Streamhouse, chaque changement met à jour une vision partagée des opérations de la compagnie. Lorsque la position d'un appareil change, qu'un départ est retardé ou qu'un siège est réservé, le système source envoie cette mise à jour dans un flux continu d'événements. Une plateforme de Streamhouse combine ces mises à jour pour constituer le contexte business actuel et le met à disposition des agents de réacheminement, des équipes du service client et des applications au fil de leur travail. Au lieu de recomposer des informations mises à jour séparément, ils peuvent vérifier ensemble la position de l'appareil, l'heure de départ et la disponibilité des sièges avant de proposer un nouvel itinéraire à un passager.
Les entreprises constatent déjà des résultats. Accenture s’appuie sur une architecture Streamhouse reposant sur Confluent pour connecter les données de ses activités à l’échelle mondiale.
« Présente dans plus de 120 pays, notre entreprise était auparavant limitée par des architectures héritées reposant sur des traitements par lots et des connexions point à point. La duplication des extractions de données alourdissait la charge opérationnelle et les données d’analyse accusaient du retard. Le passage à une architecture Streamhouse reposant sur Confluent dissocie les producteurs de données de leurs consommateurs et transforme des flux d’événements à fort volume en produits de données en temps réel, gouvernés et réutilisables, qui circulent de manière fluide entre les systèmes opérationnels et analytiques. Confluent automatise l’infrastructure et fournit une connectivité fluide à l’échelle de l’entreprise. Nos développeurs travaillent dans un environnement standardisé, sans les difficultés liées à la création d’intégrations sur mesure ou à la gestion manuelle des flux de données. Ce socle de données en continu a ramené notre délai d’obtention d’informations exploitables de plusieurs mois à quelques jours et considérablement réduit nos délais de reporting. Nos équipes peuvent ainsi se concentrer sur la mise en œuvre d’une IA à forte valeur ajoutée pour nos 800 000 collaborateurs. » explique Thomas Mahaffey, SAI Chief Data Strategist, Accenture
Ce qui distingue une plateforme de Streamhouse
Streamhouse repose sur trois principes d’architecture : des données à jour, une architecture adaptée aux opérations critiques et une approche décentralisée. Elle maintient le contexte métier à jour en continu, est conçue pour répondre aux niveaux de service des environnements de production et prend en compte les données là où elles se trouvent, sans nécessiter leur consolidation préalable. Elle fonctionne aux côtés des data warehouses et des lakehouses existants, auxquels elle ajoute une couche opérationnelle en temps réel pour les décisions et les actions.
« En tant que plateforme de commerce native de l’IA, qui propose aux acheteurs une expérience personnalisée et procure aux marchands un avantage opérationnel et financier, Extend a besoin d’une grande capacité d’adaptation : intégrer rapidement de nouveaux marchands, ajuster les prix en temps réel et détecter instantanément les fraudes. Nous avons d’abord rencontré des difficultés avec les files de messages traditionnelles et les data lakes statiques, qui ne permettaient pas de rejouer les événements et ne proposaient ni persistance ni application stricte des schémas à grande échelle. La mise en œuvre d’une architecture Streamhouse entièrement serverless, reposant sur Confluent Cloud, fait de Kafka notre source de vérité opérationnelle. Les microservices en aval peuvent ainsi consommer et interroger les données en temps réel de manière asynchrone, sans rompre les contrats. Cette architecture de streaming intrinsèquement découplée nous apporte la souplesse et la réactivité nécessaires pour développer nos opérations, nous adapter aux signaux du marché en temps réel et alimenter des workflows d’IA agentique. » rapporte Jonathan Kropp, Director of AI and Architecture, Extend
La Data Streaming Platform de Confluent propose désormais une architecture de Streamhouse complète
La Data Streaming Platform (DSP) de Confluent fournit un socle complet et unifié pour créer une architecture de Streamhouse. Au cœur de la plateforme, Apache Kafka® collecte et diffuse les événements métier. À lui seul, Kafka laisse aux équipes le soin d’assembler les autres éléments nécessaires pour transformer ces événements en contexte métier actuel. La DSP réunit ces capacités au sein d’une seule plateforme et ajoute désormais Query comme cinquième pilier, aux côtés de Stream, Connect, Process et Govern. Les principales capacités de chaque pilier et leurs dernières nouveautés sont les suivantes :
Stream, fondé sur Apache Kafka et le moteur Kora, fournit un socle durable et évolutif pour collecter et diffuser les événements métier entre les systèmes, avec une latence inférieure à la milliseconde lors de tests internes de Confluent. La latence réelle varie selon la configuration et la charge de travail.
Connect, avec plus de 150 connecteurs gérés et personnalisés, importe les données des systèmes d’entreprise dans Kafka et les transmet aux systèmes en aval. La gestion hybride des connecteurs étend les possibilités offertes aux équipes pour gérer ces connexions.
Process utilise Apache Flink pour combiner et enrichir les données et en tirer du contexte métier au plus près de leur source, à mesure qu’elles évoluent. De nouvelles capacités de traitement par lots permettent d’initialiser des traitements en streaming à partir de données existantes.
Govern aide les équipes à découvrir, classifier et sécuriser les données grâce à des capacités de lignage, de catalogue, de qualité, de chiffrement, de gestion des schémas et de contrôle des accès.
Query met le contexte métier actuel à la disposition des outils d’analyse, des agents et des applications.
Query permet aux outils d’analyse, aux agents et aux applications d’exploiter les données en streaming à l’aide de l’interface adaptée à chaque usage :
Tableflow met les données en streaming à la disposition des lakehouses et des data warehouses dans des formats de tables ouvertes, prêtes à être analysées.
Real-Time Context Engine met le contexte métier actuel à la disposition des agents d’IA via le Model Context Protocol (MCP).
Lightning Tables permet aux applications d’accéder à l’état actuel de l’entreprise en SQL ou via une API, avec une faible latence, pour réagir à l’évolution de la situation.
Lightning Tables : accéder rapidement à l’état actuel de l’entreprise
Disponible sur AWS, Lightning Tables sur Confluent Cloud est une couche de service en lecture seule qui stocke durablement les données Apache Kafka® et les matérialise sous forme de tables, actualisées au fil des changements. Elle rend l’état actuel de l’entreprise accessible au moyen de requêtes à faible latence. Elle offre notamment :
Fraîcheur des données et performances des requêtes : lors de tests internes de Confluent, les nouvelles données étaient disponibles environ 100 millisecondes après leur création. La latence des requêtes était de 10 à 100 millisecondes, avec un débit supérieur à 1 000 requêtes par seconde.
Réduction des coûts et de la complexité : une couche de service entièrement gérée fonctionne en continu, sans pipelines ETL, bases de données ni caches distincts.
Plusieurs interfaces de requête : accès par SQL ou via une API directe.
Gouvernance unifiée : les schémas, le lignage et les politiques d’accès s’appliquent de la collecte des données jusqu’à leur mise à disposition.
Évolution des schémas : la gestion des changements de schéma contribue à éviter les ruptures dans les applications en aval.
Feature store : les caractéristiques sont calculées dans Flink et stockées pour des cas d’usage de machine learning, notamment la personnalisation en temps réel.
« La prochaine ère de l’IA d’entreprise appartiendra aux agents qui savent ce qui se passe dans l’entreprise au moment même où ils agissent », déclare Shaun Clowes, General Manager, Confluent and Data, IBM. « C’est ce qu’une architecture de Streamhouse peut apporter. Avec Lightning Tables, notre Data Streaming Platform donne à chaque agent et à chaque application une vision de l’entreprise en temps réel et gouvernée. Les entreprises peuvent ainsi réagir plus tôt aux signaux de fraude, servir leurs clients au bon moment et piloter leurs opérations en fonction de la situation actuelle, plutôt que de celle d’hier. »
Pourquoi les entreprises ont besoin d’une plateforme de Streamhouse
Les data lakes, les data warehouses et les lakehouses ont principalement été conçus pour le reporting et les traitements par lots. À mesure que les agents d’IA prennent en charge davantage de tâches dans l’entreprise, ils doivent prendre des décisions à partir d’informations réparties entre des systèmes qui ne sont pas actualisés au même moment. Lorsque ces systèmes présentent des visions différentes de l’état actuel de l’entreprise, les agents peuvent agir à partir d’informations obsolètes ou contradictoires, et répercuter ces erreurs dans d’autres processus.
Streamhouse répond à ce problème d’architecture en collectant, traitant, gouvernant et mettant à disposition en continu le contexte métier actuel pour les agents, les applications et les outils d’analyse. Prenons l’exemple d’une compagnie aérienne qui doit gérer l’annulation d’un vol :
Aujourd'hui, différents systèmes détiennent des visions contradictoires d'une même opération. Les opérations aériennes suivent la position de l'appareil, la planification suit son heure de départ, et les réservations suivent les sièges disponibles. Lorsque ces systèmes se mettent à jour à des moments différents, un agent autonome de réacheminement peut construire un itinéraire qui paraît valide dans chaque système mais qui ne fonctionne pas dans la pratique : un siège est disponible, mais l'appareil ne peut pas arriver à temps pour la correspondance du passager. Les équipes du service client et les systèmes de notification peuvent alors agir à partir de ces mêmes visions contradictoires, et propager une information erronée.
Avec une Streamhouse, chaque changement met à jour une vision partagée des opérations de la compagnie. Lorsque la position d'un appareil change, qu'un départ est retardé ou qu'un siège est réservé, le système source envoie cette mise à jour dans un flux continu d'événements. Une plateforme de Streamhouse combine ces mises à jour pour constituer le contexte business actuel et le met à disposition des agents de réacheminement, des équipes du service client et des applications au fil de leur travail. Au lieu de recomposer des informations mises à jour séparément, ils peuvent vérifier ensemble la position de l'appareil, l'heure de départ et la disponibilité des sièges avant de proposer un nouvel itinéraire à un passager.
Les entreprises constatent déjà des résultats. Accenture s’appuie sur une architecture Streamhouse reposant sur Confluent pour connecter les données de ses activités à l’échelle mondiale.
« Présente dans plus de 120 pays, notre entreprise était auparavant limitée par des architectures héritées reposant sur des traitements par lots et des connexions point à point. La duplication des extractions de données alourdissait la charge opérationnelle et les données d’analyse accusaient du retard. Le passage à une architecture Streamhouse reposant sur Confluent dissocie les producteurs de données de leurs consommateurs et transforme des flux d’événements à fort volume en produits de données en temps réel, gouvernés et réutilisables, qui circulent de manière fluide entre les systèmes opérationnels et analytiques. Confluent automatise l’infrastructure et fournit une connectivité fluide à l’échelle de l’entreprise. Nos développeurs travaillent dans un environnement standardisé, sans les difficultés liées à la création d’intégrations sur mesure ou à la gestion manuelle des flux de données. Ce socle de données en continu a ramené notre délai d’obtention d’informations exploitables de plusieurs mois à quelques jours et considérablement réduit nos délais de reporting. Nos équipes peuvent ainsi se concentrer sur la mise en œuvre d’une IA à forte valeur ajoutée pour nos 800 000 collaborateurs. » explique Thomas Mahaffey, SAI Chief Data Strategist, Accenture
Ce qui distingue une plateforme de Streamhouse
Streamhouse repose sur trois principes d’architecture : des données à jour, une architecture adaptée aux opérations critiques et une approche décentralisée. Elle maintient le contexte métier à jour en continu, est conçue pour répondre aux niveaux de service des environnements de production et prend en compte les données là où elles se trouvent, sans nécessiter leur consolidation préalable. Elle fonctionne aux côtés des data warehouses et des lakehouses existants, auxquels elle ajoute une couche opérationnelle en temps réel pour les décisions et les actions.
« En tant que plateforme de commerce native de l’IA, qui propose aux acheteurs une expérience personnalisée et procure aux marchands un avantage opérationnel et financier, Extend a besoin d’une grande capacité d’adaptation : intégrer rapidement de nouveaux marchands, ajuster les prix en temps réel et détecter instantanément les fraudes. Nous avons d’abord rencontré des difficultés avec les files de messages traditionnelles et les data lakes statiques, qui ne permettaient pas de rejouer les événements et ne proposaient ni persistance ni application stricte des schémas à grande échelle. La mise en œuvre d’une architecture Streamhouse entièrement serverless, reposant sur Confluent Cloud, fait de Kafka notre source de vérité opérationnelle. Les microservices en aval peuvent ainsi consommer et interroger les données en temps réel de manière asynchrone, sans rompre les contrats. Cette architecture de streaming intrinsèquement découplée nous apporte la souplesse et la réactivité nécessaires pour développer nos opérations, nous adapter aux signaux du marché en temps réel et alimenter des workflows d’IA agentique. » rapporte Jonathan Kropp, Director of AI and Architecture, Extend
La Data Streaming Platform de Confluent propose désormais une architecture de Streamhouse complète
La Data Streaming Platform (DSP) de Confluent fournit un socle complet et unifié pour créer une architecture de Streamhouse. Au cœur de la plateforme, Apache Kafka® collecte et diffuse les événements métier. À lui seul, Kafka laisse aux équipes le soin d’assembler les autres éléments nécessaires pour transformer ces événements en contexte métier actuel. La DSP réunit ces capacités au sein d’une seule plateforme et ajoute désormais Query comme cinquième pilier, aux côtés de Stream, Connect, Process et Govern. Les principales capacités de chaque pilier et leurs dernières nouveautés sont les suivantes :
Stream, fondé sur Apache Kafka et le moteur Kora, fournit un socle durable et évolutif pour collecter et diffuser les événements métier entre les systèmes, avec une latence inférieure à la milliseconde lors de tests internes de Confluent. La latence réelle varie selon la configuration et la charge de travail.
Connect, avec plus de 150 connecteurs gérés et personnalisés, importe les données des systèmes d’entreprise dans Kafka et les transmet aux systèmes en aval. La gestion hybride des connecteurs étend les possibilités offertes aux équipes pour gérer ces connexions.
Process utilise Apache Flink pour combiner et enrichir les données et en tirer du contexte métier au plus près de leur source, à mesure qu’elles évoluent. De nouvelles capacités de traitement par lots permettent d’initialiser des traitements en streaming à partir de données existantes.
Govern aide les équipes à découvrir, classifier et sécuriser les données grâce à des capacités de lignage, de catalogue, de qualité, de chiffrement, de gestion des schémas et de contrôle des accès.
Query met le contexte métier actuel à la disposition des outils d’analyse, des agents et des applications.
Query permet aux outils d’analyse, aux agents et aux applications d’exploiter les données en streaming à l’aide de l’interface adaptée à chaque usage :
Tableflow met les données en streaming à la disposition des lakehouses et des data warehouses dans des formats de tables ouvertes, prêtes à être analysées.
Real-Time Context Engine met le contexte métier actuel à la disposition des agents d’IA via le Model Context Protocol (MCP).
Lightning Tables permet aux applications d’accéder à l’état actuel de l’entreprise en SQL ou via une API, avec une faible latence, pour réagir à l’évolution de la situation.
Lightning Tables : accéder rapidement à l’état actuel de l’entreprise
Disponible sur AWS, Lightning Tables sur Confluent Cloud est une couche de service en lecture seule qui stocke durablement les données Apache Kafka® et les matérialise sous forme de tables, actualisées au fil des changements. Elle rend l’état actuel de l’entreprise accessible au moyen de requêtes à faible latence. Elle offre notamment :
Fraîcheur des données et performances des requêtes : lors de tests internes de Confluent, les nouvelles données étaient disponibles environ 100 millisecondes après leur création. La latence des requêtes était de 10 à 100 millisecondes, avec un débit supérieur à 1 000 requêtes par seconde.
Réduction des coûts et de la complexité : une couche de service entièrement gérée fonctionne en continu, sans pipelines ETL, bases de données ni caches distincts.
Plusieurs interfaces de requête : accès par SQL ou via une API directe.
Gouvernance unifiée : les schémas, le lignage et les politiques d’accès s’appliquent de la collecte des données jusqu’à leur mise à disposition.
Évolution des schémas : la gestion des changements de schéma contribue à éviter les ruptures dans les applications en aval.
Feature store : les caractéristiques sont calculées dans Flink et stockées pour des cas d’usage de machine learning, notamment la personnalisation en temps réel.
« La prochaine ère de l’IA d’entreprise appartiendra aux agents qui savent ce qui se passe dans l’entreprise au moment même où ils agissent », déclare Shaun Clowes, General Manager, Confluent and Data, IBM. « C’est ce qu’une architecture de Streamhouse peut apporter. Avec Lightning Tables, notre Data Streaming Platform donne à chaque agent et à chaque application une vision de l’entreprise en temps réel et gouvernée. Les entreprises peuvent ainsi réagir plus tôt aux signaux de fraude, servir leurs clients au bon moment et piloter leurs opérations en fonction de la situation actuelle, plutôt que de celle d’hier. »