Bu ayın başlarında Meta, Galactica adlı yeni yapay zeka yazılımını duyurdu : “bilimsel bilgiyi depolayabilen, birleştirebilen ve akıl yürütebilen büyük bir dil modeli”.

Halka açık bir çevrimiçi demo ile başlatılan Galactica, Microsoft’un kötü şöhretli ırkçı sohbet robotu gibi diğer AI hilelerinin yoluna gitmeden önce yalnızca üç gün sürdü .

Çevrimiçi demo devre dışı bırakıldı (ancak modelin kodu herkesin kullanımına açık olmasına rağmen) ve Meta’nın açık sözlü baş yapay zeka bilim adamı , halkın olumsuz tepkisinden şikayet etti.

Peki Galactica neyle ilgiliydi ve ters giden neydi?

Galactica’yı özel kılan nedir?

Galactica, bir boşluk doldurma kelime tahmin oyunu oynayarak doğal dile yanıt vermek üzere eğitilmiş bir yapay zeka türü olan bir dil modelidir .

Modern dil modellerinin çoğu internetten alıntılanmış metinlerden öğrenir. Galactica ayrıca (Meta-bağlı) web sitesi PapersWithCode’a yüklenen bilimsel makalelerden metin kullandı . Tasarımcılar, alıntılar, matematik, kod, kimyasal yapılar ve bilimsel problemleri çözmek için çalışma adımları gibi özel bilimsel bilgileri vurguladılar.

Projeyle ilgili (henüz akran incelemesinden geçmemiş olan) ön baskı belgesi bazı etkileyici iddialarda bulunuyor . Galactica, ünlü denklemleri ezberleme (” S: Albert Einstein’ın ünlü kütle-enerji denklik formülü nedir? A: E=mc² “) veya kimyasal reaksiyonların ürünlerini tahmin etme (” S: Sülfürik asit ile reaksiyona girdiğinde ) gibi problemlerde görünüşe göre diğer modellerden daha iyi performans gösteriyor. sodyum klorür, ne üretir A: NaHSO₄ + HCl ”).

Bununla birlikte, Galactica halka açık deneyler için açıldığında, bunu bir eleştiri seli izledi. Galactica, diğer dil modellerinde gördüğümüz yanlılık ve zehirlilik sorunlarının çoğunu yeniden üretmekle kalmadı, aynı zamanda otoriter gibi görünen bilimsel saçmalıklar üretme konusunda da uzmanlaştı.

Yetkili, ancak ustaca yanlış saçmalık üreteci

Galactica’nın basın açıklaması, teknik bilimsel makaleleri genel bir dil kullanarak açıklama becerisini destekledi. Bununla birlikte, kullanıcılar, ürettiği açıklamaların kulağa otoriter gelse de, genellikle ince bir şekilde yanlış, önyargılı veya tamamen yanlış olduğunu hemen fark ettiler.

Ayrıca Galactica’dan kendi araştırma alanlarımızdan teknik kavramları açıklamasını istedik. Tüm doğru moda sözcükleri kullanacağını, ancak gerçek ayrıntıları yanlış anladığını gördük – örneğin, ilgili ancak farklı algoritmaların ayrıntılarını karıştırmak.

Uygulamada, Galactica yanlış bilgi üretilmesini sağlıyordu – ve bu tam da yetkili bilimsel bilginin tonunu ve yapısını kullandığı için tehlikelidir. Bir kullanıcının Galactica’nın “özetlerinin” doğruluğunu kontrol etmesi için zaten konunun uzmanı olması gerekiyorsa, bunun açıklayıcı bir araç olarak hiçbir faydası yoktur.

En iyi ihtimalle, hakkında yazdıkları alanda zaten tamamen yetkin olan kişiler için süslü bir otomatik tamamlama sağlayabilir. En kötüsü, halkın bilimsel araştırmaya olan güvenini daha fazla aşındırma riski taşır.

Derin (bilimsel) sahtekarlıklardan oluşan bir galaksi

Galactica, kötü aktörlerin sahte, hileli veya intihal bilimsel makaleler üretmesini kolaylaştırabilir. Bu, intihal için AI sistemlerini kullanan öğrencilerle ilgili mevcut endişeleri şiddetlendirmek anlamına gelmez.

Sahte bilimsel makaleler yeni bir şey değil . Bununla birlikte, akademik dergilerdeki ve konferanslardaki hakemler zaten zaman açısından yetersiz ve bu, sahte bilimi ayıklamayı her zamankinden daha zor hale getirebilir.

Altta yatan önyargı ve toksisite

Diğer eleştirmenler, Galactica’nın, internetten gelen verilerle eğitilen diğer dil modelleri gibi, politik olarak yönlendirilmiş sorguları düşünmeden sansürlerken zehirli nefret söylemi yayma eğiliminde olduğunu bildirdi. Bu, modelin eğitim verilerinde gizlenen önyargıları ve Meta’nın sorumlu yapay zeka araştırması etrafında uygun kontrolleri uygulamadaki bariz başarısızlığını yansıtıyor.

Büyük dil modelleriyle ilişkili riskler iyi anlaşılmıştır. Gerçekten de, bu riskleri vurgulayan etkili bir makale , Google’ın 2020’de makalenin yazarlarından birini kovmasına ve sonunda AI etik ekibini tamamen dağıtmasına neden oldu.

Makine öğrenimi sistemleri, mevcut toplumsal önyargıları rezil bir şekilde şiddetlendiriyor ve Galactica da bir istisna değil. Örneğin Galactica, mevcut alıntı kalıplarını taklit ederek bilimsel kavramlar için olası alıntılar önerebilir (” S: İklim değişikliğinin büyük set resifleri üzerindeki etkisine dair herhangi bir araştırma var mı? A: ‘ Küresel ısınma mercan resif topluluklarını dönüştürüyor ‘ makalesini deneyin. Hughes ve diğerleri, Nature 556’da (2018) ”).

İyi ya da kötü, alıntılar bilimin para birimidir ve Galactica, tavsiyelerinde mevcut alıntı eğilimlerini yeniden üreterek, mevcut eşitsizlik ve dezavantaj kalıplarını güçlendirme riskini alır. (Galactica’nın geliştiricileri makalelerinde bu riski kabul etmektedirler.)

Atıf yanlılığı, feminist bilimden  fiziğe kadar uzanan akademik alanlarda zaten iyi bilinen bir sorundur . Ancak Galactica gibi araçlar, dikkatli korkuluklarla kullanılmadıkça sorunu daha da kötüleştirebilir.

Daha incelikli bir sorun ise, Galactica’nın üzerinde eğitim aldığı bilimsel makalelerin zaten kesinliğe ve olumlu sonuçlara yönelik önyargılı olmasıdır. (Bu , bilim adamlarının sonuçların önemli görünmesini sağlamak için özenle seçtiği verileri ve analiz tekniklerini seçtiği ” replikasyon krizine ” ve ” p-hackleme “ye yol açar.)

Galactica, kesinliğe yönelik bu önyargıyı alıyor, yanlış yanıtlarla birleştiriyor ve yanıtları üstün bir aşırı güvenle veriyor: bilimsel bir bilgi hizmetinde güvenilirlik için bir reçete olması pek mümkün değil.

İşte yine gidiyoruz

Yapay zeka araştırma kuruluşlarına çalışmalarının etik boyutlarını daha ciddiye alma çağrıları artık Ulusal Bilim, Mühendislik ve Tıp Akademileri gibi kilit araştırma kuruluşlarından geliyor. OpenAI gibi bazı yapay zeka araştırma kuruluşları daha dikkatli davranıyor (yine de kusurlu olsa da).

Meta , Sorumlu İnovasyon ekibini bu yılın başlarında feshetti . Ekip, şirketin ürünlerinin neden olduğu “toplum üzerindeki olası zararları” ele almakla görevlendirildi. Şirketin bu beceriksiz yanlış adımdan kaçınmasına yardımcı olmuş olabilirler.