Campbell Brown, kariyerinin büyük bölümünü doğru bilgiyi takip etmeye adamış, önceleri tanınmış bir TV gazetecisi, ardından Meta'nın ilk ve tek özel haber şefi olarak görev yapmış bir isim. Yapay zekanın bilgi tüketimini yeniden şekillendirmesi karşısında, tarihin tekerrür etme riski taşıdığını görüyor ve bu kez başkalarının düzeltmesini beklemiyor.
Brown'ın şirketi Forum AI, özellikle jeopolitika, ruh sağlığı, finans ve işe alım gibi "net evet ya da hayır cevaplarının olmadığı, belirsiz, nüanslı ve karmaşık" olarak tanımladığı "yüksek riskli konular" üzerinde temel modellerin performansını değerlendiriyor. Bu yaklaşımın temelinde, dünyanın önde gelen uzmanlarını bulmak, onların referans standartları oluşturmasını sağlamak ve ardından yapay zeka yargıçlarını ölçekte modelleri değerlendirmek üzere eğitmek yatıyor.
Forum AI'nin jeopolitika çalışmaları için Brown, Niall Ferguson, Fareed Zakaria, eski Dışişları Bakanı Tony Blinken, eski Temsilciler Meclisi Başkanı Kevin McCarthy ve Obama yönetiminde siber güvenliği yöneten Anne Neuberger gibi isimleri bir araya getirdi. Amaç, yapay zeka yargıçlarının bu insan uzmanlarla yaklaşık %90 oranında fikir birliğine varmasını sağlamak; ki Brown, Forum AI'nin bu eşiğe ulaştığını belirtiyor.
Forum AI'nin 17 ay önce New York'ta kurulmasının kökenini Brown, belirli bir ana bağlıyor. "Meta'da ChatGPT ilk kez kamuoyuna çıktığında oradaydım" diyen Brown, "Kısa bir süre sonra bunun tüm bilgi akışının sağlanacağı kanal olacağını fark ettim. Ve bu pek de iyi değil." ifadelerini kullandı. Kendi çocukları üzerindeki etkileri, bu anı neredeyse varoluşsal hale getirmiş. "Bu sorunu çözmeyi başarırsak, çocuklarım gerçekten aptal olacaklar," diye düşündüğünü aktardı.
Kendisini en çok hayal kırıklığına uğratan şeyin, doğruluğun kimsenin önceliği gibi görünmemesiydi. Temel model şirketlerinin "kodlama ve matematiğe aşırı derecede odaklandığını", haber ve bilginin ise daha zor olduğunu söyledi. Ancak zor olmasının, isteğe bağlı olduğu anlamına gelmediğini savundu.
Forum AI, önde gelen modelleri değerlendirmeye başladığında, bulgular pek de teşvik edici değildi. Brown, Gemini'nin "Çin ile ilgisi olmayan hikayeler için Çin Komünist Partisi web sitelerinden alıntı yaptığını" belirtti ve neredeyse tüm modellerde sol eğilimli bir siyasi yanlılık olduğunu kaydetti. Ayrıca, bağlam eksikliği, perspektif eksikliği, argümanların kabul edilmeden çarpıtılması gibi daha incelikli hataların da bolca bulunduğunu söyledi. "Daha gidilecek çok yol var," dedi. "Ancak sonuçları büyük ölçüde iyileştirecek bazı çok kolay düzeltmelerin de olduğuna inanıyorum."
Brown, Facebook'ta yıllarca bir platformun yanlış şeyi optimize ettiğinde neler olduğunu izledi. "Denediğimiz birçok şeyi başaramadık," dedi Fernholz'a. Oluşturduğu doğruluk kontrol programı artık mevcut değil. Sosyal medyanın bu konuya göz yummış olsa bile, ders şudur ki, etkileşimi optimize etmek toplum için kötü oldu ve birçok kişiyi daha az bilgilendirdi.
Umut, yapay zekanın bu döngüyü kırabilmesi. "Şu anda her iki yöne de gidebilir," dedi; şirketler kullanıcılara istediklerini verebilir veya "insanlara gerçek, dürüst ve doğru olanı verebilirler." Gerçekçi olmayan bir iyimserlik olarak görülebilecek bu "yapay zekanın doğruluğu optimize etmesi" fikrini kabul etti. Ancak işletmelerin beklenmedik bir müttefik olabileceğini düşünüyor. Kredi kararları, borç verme, sigorta ve işe alım için yapay zekayı kullanan işletmeler, sorumlulukla ilgilenirler ve "doğru yapmayı optimize etmek isteyeceklerdir."
Bu işletme talebi, Forum AI'nin işini üzerine kurduğu şeydir; ancak uyumluluk ilgisini tutarlı gelire dönüştürmek hala bir zorluktur, özellikle mevcut pazarın büyük bir kısmının Brown'ın yetersiz gördüğü onay kutusu denetimleri ve standartlaştırılmış referanslarla hala tatmin olması göz önüne alındığında.
Uyumluluk ortamının "bir şaka" olduğunu söyledi. New York Şehri, yapay zeka denetimlerini gerektiren ilk işe alım yanlılığı yasasını çıkardığında, eyalet denetçisi ihlallerin yarısından fazlasının tespit edilmediğini buldu. Gerçek değerlendirmenin, sadece bilinen senaryoları değil, aynı zamanda "insanların düşünmediği sorunlara yol açabilecek" uç durumları da ele almak için alan uzmanlığı gerektirdiğini söyledi. Ve bu iş zaman alır. "Akıllı genelciler yeterli olmayacak."
Geçtiğimiz sonbaharda Lerer Hippeau liderliğinde 3 milyon dolar toplayan Brown, yapay zeka endüstrisinin kendi imajı ile çoğu kullanıcı için gerçeklik arasındaki kopukluğu anlatmak için eşsiz bir konumda. "Büyük teknoloji şirketlerinin liderlerinden şunları duyuyorsunuz: 'Bu teknoloji dünyayı değiştirecek', 'işinizi elinizden alacak', 'kanseri tedavi edecek'." dedi. "Ancak temel soruları sormak için bir sohbet robotu kullanan normal bir insana gelince, hala çok fazla saçmalık ve yanlış cevap alıyorlar."
Yapay zekaya olan güven olağanüstü derecede düşük seviyelerde ve bu şüpheciliğin birçok durumda haklı olduğunu düşünüyor. "Silikon Vadisi'nde sohbet bir şey etrafında dönerken, tüketiciler arasında tamamen farklı bir sohbet yaşanıyor."
