Yüksek riskli otonom sistemlerde insan denetçisi kararı durdurabilmeli mi?

L1

Durdurma yetkisi, öngörülemeyen zararı büyümeden önleyebilir.

Otonom bir sistem beklenmedik koşullarda hatalı ya da tehlikeli kararlar verebilir. Yetkili bir denetçinin süreci durdurabilmesi, özellikle sağlık ve ulaşım gibi yüksek riskli alanlarda zararı sınırlamak için kritik bir güvence sağlar.¹

L2

Müdahale yetkisi, insan denetimini gerçek bir sorumluluğa dönüştürür.

Sistemi yalnızca izleyebilen bir denetçi, ciddi bir sorun fark etse bile bunu önleyemeyebilir. Durdurma yetkisi, denetimin kâğıt üzerinde kalmasını önleyerek kurumların karar süreçleri üzerindeki insan gözetimini anlamlı kılar.²

A1

Zorunlu insan müdahalesi, güvenilir kararları gereksiz yere geciktirebilir.

Yüksek riskli sistemler zaman baskısı altında çalışabilir ve bazı durumlarda insan denetçisi her kararı değerlendirecek bilgiye ya da zamana sahip olmayabilir. Durdurma yetkisinin sık veya ihtiyatsız kullanılması hizmetleri aksatabilir ve önlenebilir zararlar doğurabilir.

Kaynak gösterilmedi

A2

Durdurma yetkisi, sorumluluğun kimde olduğunu belirsizleştirebilir.

Sistem tasarımcıları, işletmeciler ve denetçiler arasında yetki paylaşımı açıkça tanımlanmazsa, olumsuz bir sonuçtan sonra taraflar birbirini sorumlu tutabilir. Bu durumda yetki vermek, hesap verebilirliği güçlendirmek yerine sorumluluğu dağıtabilir.

Kaynak gösterilmedi