Chiar dacă reușim să creăm doar sisteme AI pe care le putem controla individual, am putea să ne pierdem treptat capacitatea de a lua decizii importante de fiecare dată când un astfel de sistem este integrat în instituții sau în viața de zi cu zi. Aceste procese ar ajunge să primească mai multe contribuții din partea sistemelor AI decât de la oameni, iar dacă nu ne putem coordona suficient de repede sau dacă ne lipsesc cunoștințe esențiale despre funcționarea acestora, am putea ajunge să nu mai avem niciun control asupra viitorului nostru.
Ar fi o civilizație în care fiecare sistem optimizează pentru obiective diferite, în care nu există o direcție clară către care se îndreaptă lucrurile și nicio modalitate de a schimba acest curs. Cunoștințele tehnice necesare pentru a modifica aceste sisteme ar putea lipsi încă de la început sau s-ar putea pierde în timp, pe măsură ce devenim din ce în ce mai dependenți de tehnologie, iar tehnologia devine tot mai complexă.
Sistemele își pot atinge scopurile, dar este posibil ca acele scopuri să nu însumeze pe deplin valorile pe care trebuiau să le reflecte. Într-o anumită măsură, această problemă se manifestă deja astăzi, însă sistemele AI ar putea să o amplified considerabil.