Comment évaluer une startup IA au-delà de sa démonstration technologique ?

Une startup présente à des investisseurs un assistant d’intelligence artificielle capable de répondre instantanément aux questions des élèves. La démonstration est fluide : l’interface est élégante, les explications semblent convaincantes et le modèle utilisé figure parmi les plus performants du marché.

Mais que se passe-t-il lorsque l’assistant rencontre un exercice ambigu, un programme scolaire actualisé ou une méthode de résolution inhabituelle ? Qui vérifie les corrigés ? Qui prend en charge les erreurs ? Et qu’est-ce qui distingue durablement cette entreprise d’un concurrent utilisant le même modèle ?

Ces questions invitent à examiner un actif souvent moins visible que l’interface ou l’algorithme : le patrimoine de connaissances métier et la capacité de l’équipe à le produire, le gouverner et l’exploiter. Pour un investisseur, cet examen complète les analyses classiques du marché, des revenus, de la technologie et de l’exécution.

Avant de discuter du modèle de langage, il faut identifier la fonction précise du produit. L’application aide-t-elle à retrouver des informations, à expliquer une notion, à vérifier un résultat ou à accompagner une décision ? Quels utilisateurs la sollicitent, dans quelles situations et avec quelles conséquences en cas d’erreur ?

Une startup éducative peut chercher à améliorer la compréhension des élèves ; une startup agricole peut proposer un conseil contextualisé ; une startup juridique peut faciliter la recherche dans des textes de référence. Ces promesses ne se mesurent pas de la même manière.

L’investisseur doit pouvoir distinguer une fonctionnalité séduisante d’un besoin suffisamment important pour justifier un usage récurrent et, le cas échéant, un paiement. La valeur du patrimoine de connaissances ne peut être appréciée indépendamment du problème qu’il sert à résoudre.

Une application sectorielle peut dépendre de programmes scolaires, de documents réglementaires, de procédures, de manuels techniques, de bases de données ou de l’expertise de professionnels. Il convient d’en identifier la provenance, les versions et les conditions d’utilisation.

Une question simple peut révéler une faiblesse majeure : la startup peut-elle expliquer précisément quelles sources alimentent ses réponses et pourquoi elle les considère comme pertinentes ? Une liste de PDF téléchargés ne constitue pas, à elle seule, une réponse satisfaisante.

Il faut également vérifier les droits. Une ressource librement consultable sur Internet n’est pas nécessairement autorisée pour une extraction, une indexation ou une exploitation commerciale. Un patrimoine dont les droits sont incertains peut représenter un risque pour la continuité du produit.

Le nombre de documents ingérés ou de passages indexés peut impressionner, sans garantir l’utilité du produit. Ce qui compte est la couverture des besoins, la qualité des ressources, leur structure et la capacité de l’application à mobiliser les bonnes connaissances.

Selon le cas, la startup peut disposer d’un corpus qualifié, de fiches métier, de relations entre concepts, de règles vérifiables ou d’outils spécialisés. Une architecture RAG peut être pertinente pour retrouver des sources ; un mécanisme déterministe peut être préférable pour vérifier certains calculs ou appliquer des contraintes explicites.

L’investisseur ne doit ni exiger systématiquement une ontologie complexe ni considérer qu’un simple RAG suffit à tous les usages. La question est de savoir si les choix techniques sont justifiés par des résultats observables et des coûts maîtrisés.

Une démonstration choisie par l’équipe ne constitue pas un protocole d’évaluation. Pour apprécier la fiabilité, il faut des scénarios représentatifs, des résultats attendus, des critères d’acceptation et une documentation des échecs.

Dans un assistant pédagogique, les tests peuvent porter sur les erreurs fréquentes, les exercices incomplets, les méthodes alternatives et l’adaptation des explications. Dans un assistant administratif, ils doivent tenir compte des versions applicables et des conditions particulières des procédures.

Il est utile de distinguer la qualité des sources, celle de la recherche, l’exactitude des réponses et l’utilité pour l’utilisateur. Un corpus validé ne garantit pas une réponse correcte ; une réponse correcte ne garantit pas un effet positif sur l’apprentissage ou la décision.

Les indicateurs présentés doivent être accompagnés de leurs définitions, des jeux de tests et des limites méthodologiques. Un taux de réussite élevé sur quelques exemples faciles ne permet pas de conclure à une fiabilité générale.

Les compétences techniques sont indispensables, mais elles ne couvrent pas toujours l’ensemble des fonctions d’un produit d’IA métier. Il peut être nécessaire de qualifier des sources, formaliser des connaissances, structurer des données, définir des comportements sectoriels, organiser des validations et analyser les défaillances.

Le référentiel « Les compétences invisibles de l’intelligence artificielle » propose huit familles fonctionnelles pour rendre ces activités visibles. Il ne s’agit pas de huit postes obligatoires. Une startup peut réunir plusieurs compétences chez les mêmes personnes ou mobiliser des partenaires spécialisés.

Pour l’investisseur, le point décisif est la couverture des responsabilités. Qui valide le contenu métier ? Qui contrôle les modifications ? Qui traite les incidents ? Qui décide qu’une nouvelle version peut être mise en service ? Une équipe peut être réduite et néanmoins organisée avec rigueur.

Les modèles changent, les documents sont révisés et les règles métier évoluent. Une application peut devenir moins fiable si son patrimoine de connaissances n’est pas entretenu.

La startup doit être capable de corriger ou retirer une ressource, gérer ses versions, identifier les applications affectées et relancer des tests de non-régression. Elle doit également prévoir les coûts humains et techniques de ces opérations.

Le coût d’un prototype ne représente donc pas le coût complet du service. Les dépenses récurrentes peuvent inclure l’accès aux modèles, la recherche documentaire, l’hébergement, les licences, les validations métier, le support et la maintenance des connaissances.

Une croissance du nombre d’utilisateurs n’améliore pas automatiquement les marges. Il faut comprendre comment les coûts varient avec l’usage et avec l’élargissement du périmètre de connaissances.

Lorsque plusieurs startups utilisent des modèles comparables, la seule connexion à une API ne constitue généralement pas une différenciation durable. Celle-ci peut provenir de l’expérience utilisateur, de l’intégration dans les processus, de la distribution, des partenariats, de la qualité des ressources métier ou de la capacité à les maintenir.

Un patrimoine de connaissances peut devenir un actif distinctif lorsqu’il est difficile à reproduire, légalement exploitable, utile aux utilisateurs et continuellement amélioré. Mais il peut aussi être coûteux, peu exclusif ou rapidement imitable.

L’investisseur doit donc examiner les preuves plutôt que présumer l’existence d’une barrière à l’entrée. La startup détient-elle des droits spécifiques ? Dispose-t-elle d’accords avec des experts ou des détenteurs de sources ? Ses évaluations montrent-elles une amélioration mesurable par rapport à des solutions généralistes ?

Les risques varient fortement selon le domaine. Une erreur dans un outil de rédaction interne n’a pas les mêmes conséquences qu’une recommandation médicale, un conseil financier ou une réponse administrative utilisée pour engager une démarche.

Les données personnelles, les informations confidentielles et les ressources protégées doivent faire l’objet de contrôles adaptés. Un assistant destiné à des mineurs appelle une vigilance particulière sur la protection des données et les interactions proposées.

Il faut également vérifier les mécanismes de clarification, de signalement des incertitudes, d’escalade vers un professionnel et de correction des incidents. Une startup qui connaît et documente les limites de son système présente une information plus utile qu’une promesse d’infaillibilité.

Une évaluation structurée peut s’appuyer sur six questions : les usages sont-ils définis précisément ? Les sources et les droits sont-ils documentés ? Les connaissances sont-elles suffisamment qualifiées et structurées ? Les résultats sont-ils évalués sur des scénarios représentatifs ? Les responsabilités et les compétences sont-elles couvertes ? Les coûts et la maintenance sont-ils soutenables ?

Ces questions ne remplacent ni l’analyse financière, ni l’étude du marché, ni la vérification juridique et technique. Elles ajoutent une dimension souvent insuffisamment visible : la capacité à produire et à exploiter durablement des connaissances fiables.

Les réponses doivent être étayées par des preuves : registres de sources, contrats, exemples de ressources, protocoles de test, rapports d’anomalies, procédures de versionnement et hypothèses de coûts. Les déclarations non vérifiées doivent rester identifiées comme telles.

Imaginons trois entreprises qui présentent un assistant de mathématiques. La première repose essentiellement sur un modèle généraliste et une interface conviviale. La deuxième utilise un corpus pédagogique qualifié. La troisième combine des ressources structurées, des outils de vérification et un protocole d’évaluation approfondi.

Il serait incorrect de conclure automatiquement que la troisième est la meilleure opportunité d’investissement. Son architecture peut être trop coûteuse ou inutilement complexe pour le besoin visé. La première peut répondre efficacement à un usage limité ; la deuxième peut offrir un compromis pertinent.

L’analyse doit comparer les résultats réellement obtenus, les coûts, les risques, l’expérience utilisateur, le marché et la capacité d’exécution. La sophistication technique n’est pas une fin en soi.

Le développement d’applications sectorielles peut aussi faire émerger des entreprises spécialisées dans la préparation de corpus, la formalisation de connaissances métier, la gouvernance et l’évaluation des systèmes d’IA.

Ces activités peuvent être fournies sous forme de prestations, de plateformes ou de services communs à plusieurs entreprises. Leur potentiel économique dépend toutefois d’une demande solvable, de modèles de revenus crédibles et de coûts de maintenance maîtrisés.

Pour les investisseurs, cette perspective élargit le champ d’observation : la valeur liée à l’IA peut être créée non seulement par les applications visibles, mais également par les capacités qui rendent leurs connaissances fiables et réutilisables.

Une démonstration technologique peut révéler une idée prometteuse. Elle ne suffit pas à établir la solidité d’un produit, sa fiabilité ou sa viabilité économique.

Dans les applications d’IA sectorielles, l’investisseur gagne à examiner les connaissances mobilisées, leur provenance, leur qualité, les compétences de l’équipe, les mécanismes d’évaluation et les coûts de maintenance.

La question ne se limite donc pas à « Quel modèle utilisez-vous ? ». Elle devient : « Qu’avez-vous construit autour de ce modèle pour rendre votre service utile, vérifiable et durable ? »