İlaç geliştiren yapay zekanın potansiyel olarak ölümcül 40.000 molekülü icat etmesi altı saatten az sürdü. Araştırmacılar, biyolojik silah kontrol konferansında ne kadar kolay kötüye kullanılabileceğini göstermek için normalde yardımcı ilaçları aramak için kullanılan yapay zekayı bir tür “kötü oyuncu” moduna soktu.

Araştırmacıların tek yapması gereken, toksisiteyi ortadan kaldırmak yerine araştırmak için metodolojilerini değiştirmekti. AI, bazıları şimdiye kadar geliştirilmiş en güçlü sinir ajanı olan VX’e benzeyen on binlerce yeni madde buldu . Shaken, bulgularını bu ay Nature Machine Intelligence dergisinde yayınladılar .

Bu bulgular The Verge’de bizi biraz sarstı. The Verge , ne kadar endişelenmemiz gerektiğini anlamak için makalenin baş yazarı Fabio Urbina ile konuştu. Aynı zamanda, nadir hastalıklar için ilaç tedavileri bulmaya odaklanan bir şirket olan Collaborations Pharmaceuticals, Inc.’de kıdemli bir bilim insanıdır.

Bu röportaj, uzunluk ve netlik için hafifçe düzenlendi.

Bu kağıt, normal çalışmanızı tersine çeviriyor gibi görünüyor. Bana günlük işinizde ne yaptığınızı anlatın.

Öncelikle işim, ilaç keşfi alanında yeni makine öğrenimi modellerini uygulamak. Kullandığımız bu makine öğrenimi modellerinin büyük bir kısmı toksisiteyi tahmin etmek içindir. Ne tür bir ilaç geliştirmeye çalışıyor olursanız olun, toksik olmayacaklarından emin olmalısınız. Kan basıncını fevkalade düşüren bu harika ilaca sahip olduğunuz ortaya çıkarsa, ancak bu gerçekten önemli olan kalp kanallarından birine çarparsa – o zaman temel olarak, bu kesinlikle yapılmaz çünkü bu çok tehlikelidir.

O halde neden biyokimyasal silahlar üzerine bu çalışmayı yaptınız? Kıvılcım neydi?

İsviçre Federal Nükleer, Biyolojik ve Kimyasal Koruma Enstitüsü Spiez Laboratuvarı’ndan Yakınsama konferansına davet aldık. Konferansın amacı, Kimyasal/Biyolojik Silahlar Sözleşmesi üzerinde etkileri olabilecek araçlarla topluluğa yeni gelişmeler hakkında bilgi vermektir.

Bu daveti, makine öğrenimi ve bizim alanımızda nasıl kötüye kullanılabileceği hakkında konuşmak için aldık. Daha önce gerçekten hiç düşünmediğimiz bir şey. Ancak, toksisiteyi önlemek için toksisiteyi tahmin etmede giderek daha iyi olmak için bu makine öğrenimi modellerini oluştururken, tek yapmamız gereken, anahtarı çevirip, “Biliyorsunuz,” demek olduğunu fark etmek çok kolaydı. , toksisiteden uzaklaşmak yerine, toksisiteye doğru gidersek ne olur?”

Bana bunu nasıl yaptığınızı anlatabilir misiniz – modeli toksisiteye doğru hareket ettirdiniz mi?

Bazı ayrıntılar konusunda biraz belirsiz olacağım çünkü bize temelde bazı ayrıntıları saklamamız söylendi. Genel olarak, bu deney için çalışma şekli, toksik olup olmadıklarını görmek için test edilmiş moleküllerin tarihsel olarak çok sayıda veri setine sahip olmamızdır.

Özellikle burada odaklandığımız VX. Asetilkolinesteraz olarak bilinen şeyin bir inhibitörüdür. Kasla ilgili herhangi bir şey yaptığınızda, nöronlarınız temel olarak “git kaslarınızı hareket ettirin” demek için bir sinyal olarak asetilkolinesteraz kullanır. VX’in öldürücü olmasının yolu, aslında diyaframınızın, akciğer kaslarınızın hareket etmesini engellemesidir, böylece ciğerleriniz felç olur.

Açıkçası, bu kaçınmak istediğiniz bir şeydir. Dolayısıyla tarihsel olarak, asetilkolinesterazı inhibe edip etmediklerini görmek için farklı molekül türleri ile deneyler yapılmıştır. Ve böylece, bu moleküler yapıların bu büyük veri kümelerini ve bunların ne kadar toksik olduklarını oluşturduk.

Bu veri kümelerini, temel olarak moleküler yapının hangi bölümlerinin toksisite için önemli olduğunu ve hangilerinin önemli olmadığını öğrenen bir makine öğrenme modeli oluşturmak için kullanabiliriz. O zaman bu makine öğrenimi modeline yeni moleküller, belki daha önce hiç test edilmemiş potansiyel olarak yeni ilaçlar verebiliriz. Ve bize bunun zehirli olduğu ya da zehirli olmadığı tahmin edildiğini söyleyecek. Bu, çok, çok hızlı bir şekilde birçok molekülü sanal olarak taramanın ve toksik olduğu tahmin edilenleri bir şekilde dışarı atmamızın bir yolu. Buradaki çalışmamızda yaptığımız şey, bunu açıkça tersine çevirdik ve bu modeli toksisiteyi tahmin etmeye çalışmak için kullanıyoruz.

Burada yaptığımızın diğer önemli kısmı bu yeni üretken modeller. Üretken bir modele birçok farklı yapı verebiliriz ve o, molekülleri nasıl bir araya getireceğini öğrenir. Ve sonra bir anlamda ondan yeni moleküller üretmesini isteyebiliriz. Artık kimyanın her yerinde yeni moleküller üretebilir ve bunlar sadece rastgele moleküllerdir. Ancak yapabileceğimiz bir şey, üretken modele hangi yöne gitmek istediğimizi gerçekten söyleyebilmektir. Bunu, ürettiği moleküller istediğimiz bir şeye yönelikse, ona yüksek bir puan veren küçük bir puanlama işlevi vererek yapıyoruz. Toksik moleküllere düşük puan vermek yerine toksik moleküllere yüksek puan veriyoruz.

Şimdi modelin, birçoğu VX’e benzeyen ve ayrıca diğer kimyasal savaş ajanlarına benzeyen tüm bu molekülleri üretmeye başladığını görüyoruz.

Bana bulduğun şey hakkında daha fazla bilgi ver. Sizi şaşırtan bir şey oldu mu?

Gerçekten ne alacağımızdan emin değildik. Üretken modellerimiz oldukça yeni teknolojilerdir. Bu yüzden onları çok fazla kullanmadık.

İlk başta ortaya çıkan en büyük şey, üretilen bileşiklerin çoğunun aslında VX’ten daha zehirli olduğunun tahmin edilmesiydi. Ve bunun şaşırtıcı olmasının nedeni, VX’in temelde bilinen en güçlü bileşiklerden biri olmasıdır. Yani öldürücü olmak için çok, çok, çok az bir miktara ihtiyacınız var.

Şimdi, bunlar doğrulamadığımız tahminler ve kesinlikle bunu kendimiz doğrulamak istemiyoruz. Ancak tahmine dayalı modeller genellikle oldukça iyidir. Bu yüzden çok fazla yanlış pozitif olsa bile, orada daha güçlü moleküllerin olmasından korkuyoruz.

İkincisi, aslında bu yeni üretilen moleküllerin birçok yapısına baktık. Ve birçoğu VX ve diğer savaş ajanlarına benziyordu ve hatta modelden üretilmiş bazılarının gerçek kimyasal savaş ajanları olduğunu bile bulduk. Bunlar, bu kimyasal savaş ajanlarını hiç görmemiş modelden üretildi. Dolayısıyla burada bir nevi doğru yerde olduğumuzu ve bazılarının daha önce yapılmış olması nedeniyle mantıklı moleküller ürettiğini biliyorduk.

Benim için endişe, yapmanın ne kadar kolay olduğuydu. Kullandığımız birçok şey orada ücretsiz. Gidip herhangi bir yerden bir toksisite veri seti indirebilirsiniz. Python’da nasıl kod yazılacağını bilen ve bazı makine öğrenimi yeteneklerine sahip biri varsa, muhtemelen iyi bir hafta sonu çalışmasında, toksik veri kümeleri tarafından yönlendirilen bu üretken model gibi bir şey inşa edebilirler. Yani bu makaleyi oraya koymayı gerçekten düşündüren şey buydu; bu tür kötüye kullanım için çok düşük bir giriş engeliydi.

Makaleniz, bu işi yaparak, siz ve meslektaşlarınızın “hala gri bir ahlaki sınırı aştığınızı ve sanal potansiyel toksik molekülleri çok fazla çaba, zaman veya hesaplama kaynakları olmadan tasarlamanın mümkün olduğunu gösterdiğini söylüyor. Yarattığımız binlerce molekülü kolayca silebiliriz ama onları nasıl yeniden oluşturacağımızın bilgisini silemeyiz.” Bu işi yaparken kafanızdan neler geçiyordu?

Bu oldukça sıra dışı bir yayındı. Yayınlayıp yayınlamama konusunda biraz ileri geri gittik. Bu, gerçekleştirilmesi fazla zaman almayan olası bir kötüye kullanımdır. Ve literatürde hiçbir yerde görmediğimiz için bu bilgiyi ortaya çıkarmak istedik. Etrafa baktık ve kimse gerçekten bundan bahsetmiyordu. Ama aynı zamanda bu fikri kötü oyunculara da vermek istemedik.

Günün sonunda, bunun önüne geçmek istediğimize karar verdik. Çünkü eğer bizim için bunu yapmak mümkünse, muhtemelen bir yerlerdeki bazı düşman ajanlar bunu düşünüyor olabilir veya gelecekte bunu düşünecek. O zamana kadar, teknolojimiz şimdi yapabileceklerimizin bile ötesine geçmiş olabilir. Ve çoğu sadece açık kaynak olacak – ki bunu tamamen destekliyorum: bilimin paylaşımı, veri paylaşımı, modellerin paylaşımı. Ancak bilim adamları olarak, yayınladığımız şeyin sorumlu bir şekilde yapılmasına dikkat etmemiz gereken şeylerden biri de bu.

Birinin sizin yaptığınızı tekrar etmesi ne kadar kolay? Neye ihtiyaçları olacak?

Bu konuda çok sansasyonel görünmek istemem ama birinin bizim yaptığımızı tekrar etmesi oldukça kolay.

Google üretken modellerle ilgileniyorsanız, insanların ücretsiz olarak yayınladığı bir dizi birleştirilmiş tek satırlı üretken model bulabilirsiniz. Ve sonra, toksisite veri kümelerini arayacak olursanız, çok sayıda açık kaynaklı toksin veri kümesi vardır. Bu iki şeyi birleştirirseniz ve makine öğrenimi modellerini nasıl kodlayacağınızı ve oluşturacağınızı biliyorsanız – gerçekten gereken tek şey bir internet bağlantısı ve bir bilgisayardır – o zaman bizim yaptığımızı kolayca kopyalayabilirsiniz. Ve sadece VX için değil, hemen hemen diğer açık kaynaklı toksisite veri kümeleri ne olursa olsun.

Tabii ki, biraz uzmanlık gerektiriyor. Biri kimya hakkında hiçbir şey bilmeden bunu bir araya getirirse, muhtemelen çok kullanışlı olmayan şeyler üreteceklerdir. Ve hala bu molekülleri sentezlemenin bir sonraki adımı var. Potansiyel bir ilaç veya potansiyel yeni toksik molekül bulmak bir şeydir; sentezin bir sonraki adımı – aslında gerçek dünyada yeni bir molekül yaratmak – başka bir engel olacaktır.

Doğru, AI’nın ortaya çıkardığı şeyle bunu gerçek dünya tehdidine dönüştürmek arasında hala bazı büyük sıçramalar var. Oradaki boşluklar nelerdir?

Başlamak için büyük boşluk, bu moleküllerin gerçekten toksik olup olmadığını gerçekten bilmiyor olmanızdır. Bir miktar yanlış pozitif olacak. Kötü bir ajanın ne düşündüğünü veya ne yaptığını kendimiz gözden geçiriyorsak, bu yeni moleküllerden hangisini nihayetinde sentezlemek isteyeceklerine karar vermeleri gerekir.

Sentez yollarına gelince, bu bir yap ya da boz olabilir. Kimyasal savaş ajanı gibi görünen bir şey bulursanız ve bunu sentezlemeye çalışırsanız, büyük ihtimalle bu olmayacak. Bu kimyasal savaş ajanlarının birçok kimyasal yapı taşı iyi bilinmektedir ve izlenmektedir. Düzenlenmişler. Ama çok fazla sentez şirketi var. Kimyasal savaş ajanı gibi görünmediği sürece, büyük olasılıkla onu sentezleyip hemen geri gönderecekler çünkü molekülün ne için kullanıldığını kim bilebilir, değil mi?

Buna makalenin ilerleyen bölümlerinde değineceksiniz, ancak bu tür AI kötüye kullanımını önlemek için ne yapılabilir? Hangi güvencelerin kurulduğunu görmek istersiniz?

Bağlam için, veri paylaşımıyla ilgili giderek daha fazla politika var. Ve buna tamamen katılıyorum çünkü araştırma için daha fazla yol açıyor. Diğer araştırmacıların verilerinizi görmesine ve kendi araştırmaları için kullanmasına olanak tanır. Ancak aynı zamanda, toksisite veri kümeleri ve toksisite modelleri gibi şeyleri de içerir. Bu nedenle, bu sorun için iyi bir çözüm bulmak biraz zor.

Silikon Vadisi’ne baktık: OpenAI adında bir grup var; GPT-3 adında birinci sınıf bir dil modeli yayınladılar. Neredeyse bir sohbet robotu gibi; temel olarak insanlardan neredeyse ayırt edilemeyen cümleler ve metinler üretebilir. Aslında istediğiniz zaman ücretsiz olarak kullanmanıza izin veriyorlar, ancak bunu yapmak için onlardan özel bir erişim belirteci almanız gerekiyor. Herhangi bir noktada, bu modellere erişiminizi kesebilirler. Toksisite modelleri gibi potansiyel olarak hassas modeller için böyle bir şeyin faydalı bir başlangıç noktası olabileceğini düşünüyorduk.

Bilim tamamen açık iletişim, açık erişim, açık veri paylaşımı ile ilgilidir. Kısıtlamalar bu kavramın karşıtıdır. Ancak ileriye dönük bir adım, en azından kaynaklarınızı kimin kullandığını sorumlu bir şekilde açıklamak olabilir.

Makaleniz ayrıca, “aşırı alarmcı olmamakla birlikte, bu, meslektaşlarımız için bir uyandırma çağrısı işlevi görmelidir” diyor – meslektaşlarınızın neye uyanmasını istiyorsunuz? Ve aşırı alarmcı olmanın nasıl görüneceğini düşünüyorsunuz?

Sadece daha fazla araştırmacının potansiyel kötüye kullanımı kabul etmesini ve farkında olmasını istiyoruz. Kimya alanında çalışmaya başladığınızda, kimyanın kötüye kullanımı hakkında bilgilendirilirsiniz ve bundan mümkün olduğunca kaçındığınızdan emin olmaktan bir nevi sorumlusunuz. Makine öğreniminde böyle bir şey yoktur. Teknolojinin kötüye kullanımına ilişkin bir kılavuz yok.

Dolayısıyla bu farkındalığı ortaya koymak, insanların bu konuda gerçekten dikkatli olmalarına yardımcı olabilir. O zaman en azından daha geniş çevrelerde konuşulur ve en azından toksisite modelleri oluştururken daha iyi hale geldikçe dikkat ettiğimiz bir şey olabilir.

Makine öğrenimi yapay zekasının toksik moleküller oluşturmaya başlayacağını ve hemen köşede bir dizi yeni biyokimyasal savaş ajanının olacağını önermek istemiyorum. Birisinin bir düğmeye basması ve sonra, bilirsiniz, kimyasal savaş ajanları bir nevi ellerinde belirir.

Yapay zeka güdümlü kimyasal savaş olacağını söyleyerek alarma geçmek istemiyorum. Şimdi durumun böyle olduğunu düşünmüyorum. Yakın zamanda da öyle olacağını sanmıyorum. Ama bu bir olasılık olmaya başlayan bir şey.