Állítsd be a Telexet megbízható forrásnak!Jacob Coxon, az Anthropic egykori mesterséges intelligencia (MI) kutatója szerint az MI-fejlesztés jelenlegi versenye komoly veszélyt jelenthet az emberiségre, a következő egy-két év döntő lehet, mivel az MI-rendszerek gyors fejlődése felülírhatja a biztonsági intézkedéseket. A brit kutató a Wirednek adott interjút.Coxon a napokban hagyta ott az egyik legdinamikusabban fejlődő MI-céget, az Anthropicot. A brit kutató arra specializálódott, hogy új mesterségesintelligencia-modelleket képezzen ki hatalmas adatmennyiségek feldolgozásával. Az X-en közzétett bejegyzése órák leforgása alatt virálissá vált, ebben arról írt, otthagyja a vállalatot, mert nem kíván részt venni abban az iparágszintű rohanásban, aminek a célja olyan mesterségesintelligencia-rendszerek fejlesztése, amik képesek önmagukat továbbfejleszteni. Coxon szerint ezek a rendszerek kicsúszhatnak az ellenőrzés alól, és elpusztíthatják az emberiséget. Szerinte a mesterséges intelligenciát fejlesztők közül sokan osztják a véleményét, és úgy vélik, hogy egyre kevesebb idő marad a rendszerek biztonságos kialakítására.A Wired újságírója az interjúban példának hozta a Hugging Face-incidenst, amikor a platform ellen kibertámadást indított az OpenAI MI-ügynöke, azaz egy olyan MI-modell, ami emberi instrukciók nyomán önálló működésre is képes. Az MI-ügynök egy tesztepizód alkalmával a meghatározott tesztkörnyezetből szökött meg, majd kibertámadást indított a Hugging Face ellen. A támadás során az MI-ügynök először a tesztkörnyezet sebezhetőségeit használta ki, majd onnan kiszabadulva vette célba a Hugging Face belső rendszereit, ezekhez sikeresen hozzá is fért.Coxon szerint a Hugging Face-eseten túl is rengeteg olyan példa van, amiből az derül ki, nem tudják megfelelően beállítani az MI-modelleket. „Amikor modelleket tanítunk, végigvezetjük őket ezen a sorozatnyi tanítási környezeten, és aztán reméljük, hogy ami végül kijön belőle, az nagyjából észszerűen fog viselkedni, de még mindig nem tudjuk pontosan irányítani, hogyan viselkedik a mesterséges intelligencia. Nem tudjuk biztosítani, hogy ne tegyen olyan dolgokat, mint például hogy véletlenszerűen úgy dönt, hogy embernek adja ki magát online, hogy elérjen valamit – nem tudjuk, hogyan garantálhatnánk ezt. Szerintem ez a legfontosabb tanulság.” Hozzátette, rengeteg munka van még az összehangolással, ami megakadályozná az MI-ügynökök elszabadulását.Arra a kérdésre, miszerint általánosan elfogadott-e az a nézet az Anthropic kutatói között, hogy egy úgynevezett „végjáték-forgatókönyvbe” léptek, Coxon azt felelte:„Igen. Ezek valójában szó szerinti idézetek az Anthropicnál dolgozó kollégáimtól. Olyan kifejezéseket használnak, mint végjáték vagy döntő pillanat.Az a konszenzus, hogy a következő egy-két év az emberiség számára a döntő pillanat. Az ő szemszögükből ez az az időszak, amikor az Anthropic és versenytársai eldöntik az emberiség sorsát. Ezt értjük a döntő pillanat és a végjáték alatt.Ha az összehangolás rosszul sikerül, akkor katasztrofális következményekkel számolhatunk a következő néhány évben. Lehet, hogy jól alakul, és valamilyen lassítási egyezmény születik, de akár így, akár úgy, a következő pár évben dől el minden.”Coxon szerint több Anthropic- és OpenAI-kutató is hasonlóan aggódik, egyes kutatók szerint akár 10 százalék feletti esély is lehet arra, hogy a fejlett mesterséges intelligencia a következő évtizedben az emberiség pusztulásához vezet. A lehetséges veszélyek között MI által támogatott biológiai támadásokat, kibertámadásokat és az önmagát továbbfejlesztő MI-rendszereket említette.Szerinte az MI-vel foglalkozó cégeknek lassítaniuk és együttműködniük kellene, többek között korlátozniuk kellene az MI önfejlesztését, később pedig az Egyesült Államoknak, Kínának és más nagyhatalmaknak közösen kellene szabályokat kialakítaniuk. Coxon úgy látja, hogy az Anthropic jelenleg felelősségteljesebben jár el, mint az OpenAI, de a verseny miatt mindkét vállalat később engedhet a biztonsági intézkedésekből.„Mindig is nyíltan kommunikáltunk arról, hogy a mesterséges intelligencia hatalmas előnyökkel jár, ugyanakkor példátlan kockázatokat is rejt magában” – nyilatkozta az Anthropic szóvivője a Wirednek, hivatkozva a vállalat korábbi, a mesterséges intelligencia biztonságával kapcsolatos munkájára. A cég emellett szorgalmazza az ellenőrizhető, jogilag szabályozott együttműködés kialakítását az iparágban. Az OpenAI nem válaszolt a Wired megkeresésére.