Hakkinda yanlis anlasilmalar olan dil modeli. Yapay zekanin kendisiymis gibi lanse ediliyor ama alti ustu transformer mimarisini kullanan bir dil modelidir. Benzer bir modeli google, bert adiyla gelistirmisti. Ardindan t5 adiyla bir model gelistirmislerdi ki o donem dogal dil isleme dunyasina bomba gibi dusmustu. Keza ayni sekilde facebook ve microsoft'un da modelleri var.
Gpt-3 muhtemelen performans olarak bunlardan biraz daha iyidir ama artik gelismislik kriteri buyuk oranda kullanilan parameter sayisiyla orantili. Daha cok veriyle, daha karmasik bir modelle, daha uzun egitilen bir model daha basarili olacaktir. Tek farki, elon musk gibi medyatik birinin sahibi oldugu openai sirketi tarafindan gelistirilmis olmasi, ve dolayisiyla daha medyatik olmasi.
Dogal dil isleme adina her gorevi yapar(yukarida saydigim diger modeller de yapar). Ama konusmayi anlayamaz, goruntuyu anlayamaz. onlar icin de ayri modeller vardir. Bir gun hepsi ayni modelde birlesirse gercek anlamda yapay zeka diyebiliriz belki.
Ote yandan yapay zeka insanlarin olusturudugu verilerle beslenir. Daha once egitilen yapay zeka botlari, insanlarin Sosyal medya postlariyla egitilince fasist, irkci, cinsiyetci, homofobik filan oldular. Buradaki sorun insanlar icin evrensel bir dogrunun olmamasi. Bir insan homofobik olma ozgurlugune sahiptir. Bir yapay zekaya (su anki modellerle) ise gercekte homofobik olma ozgurlugunun oldugunu ama kendisinin olmamasi gerektigini anlatamazsin. Cunku matematiksel islemlerden ibarettir kendisi. Yapay zekayi neyle besleyeceksin ki dogru sekilde egitildiginden emin olasin? Her insanin dogrusu farklidir.
yukaridaki paragrafi cozume kavusturacak tek sey belki deep reinforcement learning olabilir. reinforcement learning, teorik olarak insani en iyi taklit eden ogrenme modelidir. Belki bu sayede bir yorumlama yetenegi gelistirir. Ama bu sefer de odul icin yapmayacagi cirkeflik kalmayabilir. Tahminime gore, insana en yakin olan ayni zamanda en tehlikeli olan modeller buradan cikacaktir.
Edit: bert'e oldukca fazla sayida parametresi var (175 milyar tane). Bir kez egitmenin maliyeti 4.6 milyon dolar. Soyle linkler var okumak isterseniz.