Des robots détectent des anomalies, ajustent des paramètres, arrêtent des lignes. Des décisions qui avaient toujours été humaines. Jusqu'où va l'autonomie ? Qui est responsable quand une décision du système entraîne un incident ?
Les robots industriels autonomes prennent des décisions en temps réel — arrêter une ligne de production, modifier un paramètre critique, rediriger un flux logistique. Ces décisions ont des conséquences financières, opérationnelles et parfois réglementaires directes.
Dans la plupart des déploiements, cette frontière n'a jamais été définie au niveau exécutif. Elle s'est formée par défaut lors du paramétrage technique. La direction ne sait pas précisément ce qu'elle a délégué à ses systèmes.
La question est : avez-vous décidé à qui, et à quelles conditions ? L'EU AI Act classifie certains systèmes autonomes en milieu industriel critique comme des systèmes IA à haut risque, soumis aux obligations de supervision humaine, de documentation technique et de pistes d'audit selon le calendrier applicable.
La frontière décisionnelle — ce que le système décide seul vs ce qui requiert une validation humaine. Cette définition doit être explicite, documentée et révisable.
La chaîne de responsabilité — en cas d'incident lié à une décision autonome, qui est responsable, à quel niveau, avec quelles preuves disponibles.
La supervision opérationnelle — les mécanismes concrets permettant à des humains de monitorer, contester et corriger les décisions autonomes en temps réel.
Nous n'intervenons pas pour auditer les systèmes ou valider le code. Nous intervenons pour définir explicitement ce que votre organisation a décidé de déléguer à ses machines — et dans quelles conditions elle maintient le contrôle.
Nous intervenons pour définir les frontières de l'autonomie, les protocoles de supervision humaine et la chaîne de responsabilité. Avant l'incident, pas après.
parlons-en