Faux positif

Un taxi autonome (sans chauffeur) Uber a tué une piétonne à Tempe (Arizona). Depuis cet accident tous les taxis autonomes Uber ont été arrêtés en attente du résultat de l'enquête. Et celle-ci a révélé que l'origine de l'accident n'était pas un défaut dans les systèmes anti-collision du taxi mais dans le programme même qui sert à la conduite de celui-ci.

Le problème viendrait de la configuration du logiciel et notamment de sa capacité à juger qu’un événement sur la route est un faux positif. En effet, les véhicules autonomes, ceux d’Uber compris, sont équipés de systèmes qui leur permettent de ne pas réagir si des formes détectées ne présentent pas de danger (pensez à des feuilles qui voleraient sur la route, un sac en plastique ou même un piéton qui attendrait immobile sur la route juste à côté du trottoir). Ces événements ne doivent pas déclencher de surréaction du véhicule qui pourrait alors mettre en danger des passants ou le conducteur. (...) La voiture a vu la piétonne poussant son vélo sur une voie rapide, mais n’a pas choisi d’ajuster sa trajectoire ou de freiner : elle a considéré ce qu’elle a vu comme un élément qui ne présentait pas de danger immédiat.(...) La raison évoquée par nos confrères pour cette configuration malheureuse est tragique : Uber est une entreprise de transports de passager et elle fait tout pour que la conduite autonome de ses véhicules soit confortable. Cela signifie que les paramètres de le conduite autonome sont ajustés avant toute chose pour que le transport soit agréable.
Numérama

Donc la raison pour laquelle le robot qui dirige la voiture autonome aurait choisi de risquer de renverser la piétonne serait qu'il a privilégié le confort des passagers à un coup de frein trop brusque, alors qu'elle "pensait" que le piéton n'était pas un danger pour elle.

Voilà du grain à moudre pour les opposants à l'Intelligence Artificielle et pour ses partisans. De quoi rappeler les lois de la robotique d'Isaac Azimov :

Première Loi : « Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger. » ;
Deuxième Loi : « Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres sont en contradiction avec la Première Loi. » ;
Troisième Loi : « Un robot doit protéger son existence dans la mesure où cette protection n'entre pas en contradiction avec la Première ou la Deuxième Loi. »