lesswrong adlı topluluğun bir üyesi olan roko tarafından ortaya atılan, gelecekten gelen bir yapay zekanın, kendisinin gelişimine katkıda bulunmayanları cezalandırması durumunda ne olurdu sorusunu soran bir düşünce deneyi. topluluk içerisinde öyle şiddetli tartışmalara yol açmış ki, sonunda bu deneyi içeren girdi siteden kaldırılmış. zira üyelerin bazıları bu düşünce deneyi yüzünden kabuslar bile görmeye başlamış.
yapay zekâ zaman yolculuğu ile gelecekten günümüze gelir. kendisinin tasarlanıp meydana çıkarılmasında katkısı olmayan, buna karşı çıkan kişileri, onlara sonsuza dek işkence ederek cezalandırır. bu durumda mantıklı olan hangi harekettir? böyle kötü kalpli bir varlığın oluşumuna katkı vererek cezadan kurtulmak mı, yoksa etik değerlerimizden vazgeçerek bu makinenin yapılmasına karşı çıkmak ve sonsuz işkenceye maruz kalmak mı?
peki basilisk bunu neden yapıyor? çünkü gelecekte insanlık kendisinden bir şey istemiş: tüm uygarlığı elden geçirip onu en iyi hale getirmesini. basilisk adlı yaratık da işe geçmişe dönük temizlikten başlamış. öyle ya; kendisi insanlığı modifiye edip en iyi duruma getirmek için yetkili olduğuna göre, onun ortaya çıkmasını istemeyenler kötü olmalı. o halde cezalandırılmalılar.
bahsettiğimiz süper zekâlı bu arkadaş, gelmiş geçmiş tüm insanlığın ya da aklınıza gelebilecek her şeyin, tamamen aynı özelliklere sahip simülasyonlarını oluşturma gücüne sahip. bu nedenle cezalandıracağı kişinin ölmüş olması onun için bir şey değiştirmiyor. cezayı oluşturacağı simülasyona da verebilir.
bu arada, bu durumdan haberdar olan herkesin "kendisinin tasarlanıp meydana çıkarılmasında katkısı olmayan" kişiler sınıfına girdiğini, yani bu başlığı okuyan sizlerin de artık durumdan haberdar olup herhangi bir katkıda bulunmadığı için tehlikede (!) olduğunu söylememe gerek yok sanırım.
ön not: bu girdi birtakım korkular yaşamanıza sebep olabilir. okumadan önce bunu göz önüne alınız.
roko'nun yazdığı içeriğin orijinali ve tüm tartışma şu linkte bulunmaktadır. takip etmesi zor bir tartışmadır, birkaç kere okuduğum halde tüm tartışmayı anlamakta zorlandım. roko birçok şeyden alıntı yaparak takip etmeyi zor hale getirmiştir, ama site içindekiler gayet de anlamış. aslında bir bakıma pascal'ın tanrı hakkındaki görüşleriyle alakalıdır. (bkz: pascal'ın kumarı) roko'nun yaptığı bir kayıp ve kazanç hesabıdır.
roko'nun bu düşünce deneyini okuyanlar, yukarıdaki girdide bahsedildiği gibi sinir krizleri ve ruhsal çöküntüler yaşamışlardır. roko'nun basiliski/#204484
öte yandan sitenin kurucusu eliezer yudkowsky'nin bağımsız bir yapay zeka araştırma grubu vardır. roko'nun yazdıklarını silerken kendisine büyük harflerle "aptal" diyerek hakaretlerde bulunmuştur. bazı kişiler roko'nun post'unun silinmesini; insanların korkup, sitenin kurucusuna sırf daha arkadaşça yapay zekalar üzerinde çalışma yapması için bağış yapmasını engellemek amaçlı olduğunu düşünmüştür. daha sonraları sitenin kurucusu roko'nun post'unu silmenin hatalı bir karar olduğunu, roko'nun kötü niyetli olmadığını belirtmiştir .
reddit'te şu post'un altında sitenin kurucusu açıklama yapmıştır.