A társalgási célú AI növekvő használata komoly veszélyt jelent a társadalomra nézve, mivel azt vállalati, állami vagy szélhámos emberek célzott és pontos manipulációra használhatják a felhasználókkal szemben.
A kutatók gyakran beszélnek az AI " szabályozási problémájáról", ahol egy olyan szuperintelligens AI alakulhat ki, amely kívül esik az emberi irányításon és fenyegetést jelent az emberiségre. Egy nemrégiben 700 AI-szakértő körében végzett felmérés azonban azt találta, hogy az emberi szintű gépi intelligencia (HLMI) legalább 30 évnyi távolságra van még. De van egy másik, az AI által jelentett fenyegetés is, amely már most a nyakunkon van, ez pedig a "manipulációs probléma". A mesterséges intelligencia által vezérelt emberi manipuláció alkalmazásának leghatékonyabb módja a társalgási mesterséges intelligencia. A nagy nyelvi modellek (LLM-ek) gyors kifejlődésével lehetővé vált, hogy az AI és a célzott felhasználók között természetes beszélgetések alakuljanak ki, amelyek meggyőzéshez, kényszerítéshez és manipulációhoz vezetnek. Míg az AI-technológiákat már most is használják a közösségi médiában zajló befolyásolási kampányokban, a következő generációs mesterséges intelligencia-módszerek sokkal veszélyesebbek és pontosabbak lennének. Ezek az új mesterséges intelligencia-módszerek olyan valós idejű AI-rendszereket használnak majd, amelyeket arra terveztek, hogy személyre szabott beszélgetésekbe vonják be a felhasználókat és befolyásolási célokat kövessenek. Ezek a rendszerek különböző formákban fognak megjelenni, például társalgási hirdetések, interaktív marketing, digitális emberek vagy AI chatbotok formájában. E rendszerek mögött álló alapvető technológia az LLM-ek, amelyek valós időben képesek emberhez hasonló párbeszédet produkálni, miközben a kontextust és a tudást is nyomon követik. Ez a technológia a valós idejű hanggenerálással kombinálva lehetővé teszi az egyének nagy pontossággal és hatékonysággal történő manipulálását, ami komoly fenyegetést jelent a társadalomra.