La société technologique australienne Apate déploie à travers le monde une vaste armée de personnages-robots alimentés par l'IA qui jouent le rôle de victimes crédules afin de gaspiller des millions d'heures de temps aux escrocs chaque mois.
De façon hilarante, l'une des métriques mensuelles de performance de l'entreprise est le nombre de fois où des escrocs frustrés insultent les « victimes » idiotes qui font semblant d'être stupides et les mènent en bateau.
« Je pense que nous sommes la seule entreprise au monde à conserver dans ses KPI le nombre de mots en “F” que les escrocs leur lancent », déclare Dali Kaafar, fondateur d'Apate, avec un petit rire à Magazine.
L'entreprise possède un écurie de près de 200 000 personnages d'IA capables de tenir des conversations téléphoniques convaincantes et de discuter sur les réseaux sociaux et les plateformes de messagerie.
« Je peux vous dire que nous traitons, comme nous les appelons, des centaines de milliers d'appels par jour, et à peu près autant de conversations sur les autres canaux », explique-t-il.
Chaque heure de temps d'escroc gaspillée est une heure de plus où il n'escroque pas un membre du public. Durant les six semaines jusqu'à fin 2025, les robots d'Apate ont participé à 600 000 appels frauduleux pour un seul opérateur télécom appelé TPG en Australie.
« En substance, nous avons gaspillé plus de cinq cents jours de temps d'escrocs », explique-t-il. « Cela équivaut approximativement à environ treize millions de dollars économisés. »
L'autre objectif des robots est d'obtenir des renseignements exploitables pour les banques et les opérateurs télécoms afin de lutter contre les réseaux d'escroquerie en Australie, en Asie, en Afrique, au Royaume-Uni et en Europe.
Les robots Apate traitent avec les escrocs via le chat. Source : Apate
Piéger les escrocs à grande échelle avec des victimes d'IA
Kaafar dit avoir eu l'idée lorsqu'il a reçu un appel frauduleux lors d'un pique-nique avec sa famille à Sydney en novembre 2021.
Au grand agacement de sa femme mais à la joie de ses enfants, il a tenu l'escroc en haleine pendant 44 minutes en prétendant être une victime naïve tombant dans le piège.
« Ce qui a suivi était vraiment, littéralement, un vrai spectacle comique pour mes enfants », dit-il, ajoutant que pendant l'appel, il avait également appris beaucoup d'informations potentiellement utiles sur le fonctionnement de l'arnaque et les tactiques utilisées.
« En raccrochant, je me souviens avoir pensé très clairement : si je peux faire ça juste pour m'amuser, imaginez ce que la technologie peut faire à grande échelle. »
Travaillant comme professeur à l'Université Macquarie à l'époque, il a soumis l'idée à certains de ses doctorants travaillant sur l'IA et la sécurité.
« J'ai dit : “Les gars, il doit y avoir un bien meilleur moyen de faire ça. Construisons quelque chose qui automatise vraiment tout ce processus d'engagement des escrocs à grande échelle, mais aussi, et peut-être surtout, qui extraie toutes sortes de renseignements de ces conversations.” Et c'est littéralement comme ça que ça a commencé. »
Article lié : Un robot alimenté par l'IA remplace un candidat absent lors d'un débat en Virginie
En quelques mois, ils ont obtenu un financement du Bureau du Renseignement National pour étudier l'idée, et le projet a été détaché de l'université pour devenir Apate en 2023. L'entreprise travaille désormais avec la plupart des grandes banques en Australie, ainsi que de nombreuses banques au Royaume-Uni, en Afrique du Sud et en Asie du Sud-Est.
Apate est loin d'être la seule entreprise à piéger les fraudeurs avec des robots IA — bien qu'ils le fassent à plus grande échelle que la plupart. L'opérateur télécom britannique O2 a lancé l'année dernière une campagne « IA Mamie », qui frustre les escrocs en prenant des heures de leur temps à parler de ses 28 chats. C'était autant une campagne publicitaire pour alerter le public sur les dangers des appels frauduleux qu'autre chose.
La très divertissante IA Mamie d'O2. Source : O2
Créer les victimes d'IA parfaites
Apate a démarré avec 120 personnalités différentes selon le genre, l'âge et le type de personnalité, et possède désormais 197 000 personnalités avec des tics vocaux identifiables, des accents, et elles reproduisent les mêmes bruits que les gens font lorsqu'ils réfléchissent à ce qu'ils vont dire.
« Nous avons passé beaucoup de temps à peaufiner et construire ces robots IA qui sonnent exactement comme vous et moi et nos voisins », dit-il.
Les modèles d'IA ont été entraînés sur « des centaines et des centaines » d'heures de conversations enregistrées entre des humains piégeant des escrocs et les escrocs eux-mêmes, afin qu'ils puissent employer des contre-stratégies.
« Ils savent qu'ils parlent à des méchants, si vous voulez, et ils naviguent vraiment dans les conversations de façon à ce que cela semble très, très réaliste pour n'importe quel escroc, même si un escroc est sceptique. »
Les robots sont envoyés sur WhatsApp et Telegram pour servir de pièges (honeypots) pour les escrocs. Si le vieux cliché selon lequel on ne peut pas escroquer un honnête homme n'est pas vrai, il est toujours possible d'exploiter le désir d'argent de l'escroc.
« Ce sont des cybercriminels, vraiment. Je pense que nous oublions très souvent que ce sont des cybercriminels qui essaient de voler les économies d'une vie. Et donc cet élément de cupidité est parfois ce que nos robots exploitent aussi. »
Les robots collectent des renseignements précieux à chaque appel frauduleux
Dans l'industrie de la crypto, Apate travaille pour « l'un des leaders de l'analyse blockchain », qui peut ou non être Chainalysis. Ils ne sont pas intéressés par le fait de gaspiller le temps des escrocs — ils veulent des renseignements sur les portefeuilles et méthodes utilisés par les escrocs afin de pouvoir suivre les flux de fonds.
« Ces robots, en s'engageant dans différentes conversations, extraient des centaines et des milliers de nouvelles adresses de portefeuilles crypto », dit-il. « Ce sont des données et des renseignements qui arrivent littéralement avant que les dégâts ne se produisent. »
L'escroquerie est une grosse affaire, et les centres d'appel sont « quasiment des organisations corporatives », explique Kaafar.
« Ces données sont très, très importantes parce que, littéralement, c'est le nouveau compte ou le nouveau portefeuille sur lequel vous devez vraiment porter une attention extrême. Parce que c'est là que ces... complexes d'escrocs collectent leur argent ou leurs fonds. »
« Pensez-y littéralement comme étant toujours en avance sur les tactiques de l'escroc. Et plus vous savez avant que l'argent ne soit transféré, mieux c'est. »
En juillet, les robots d'Apate ont découvert un marché de courtiers sollicitant des comptes bancaires vérifiés en Inde, offrant des commissions allant jusqu'à 5% payées en USDT sur les produits des arnaques transitant par ces comptes.
Le personnel humain d'Apate à Sydney. Source : Apate
Course aux armements d'IA entre les bons et les méchants
Les escrocs utilisent de plus en plus des robots IA eux-mêmes, et il ne faudra pas longtemps avant que les escrocs IA ne soient aussi omniprésents que les spams par email. Escroquer les gens est une activité de 1,24 billion de dollars, donc l'industrie peut se permettre la puissance de calcul nécessaire pour augmenter les opérations.
Les recherches d'Apate suggèrent qu'environ 20% à 30% des conversations textuelles frauduleuses utilisent déjà l'IA, mais Kaafar ne s'inquiète pas trop du résultat des robots anti-arnaque affrontant les robots arnaqueurs.
Il dit que leurs chercheurs pensent que les robots IA en défense ont un avantage, selon la théorie des jeux, parce qu'ils essaient d'extraire des renseignements, tandis que les robots escrocs essaient d'amener l'autre IA à effectuer une action.
« Vous pouvez aussi démontrer mathématiquement que cela est à l'avantage d'un défenseur parce qu'il devient plus facile d'extraire des renseignements du modèle d'IA de l'attaquant », explique-t-il.
« Nous pouvons imaginer un monde où les escrocs deviennent beaucoup plus sophistiqués et déploient une telle technologie. Mais cela signifie aussi que s'ils le font, ils sont en fait voués à perdre la partie, ce qui est une excellente nouvelle dans la lutte contre les arnaques. »
Magazine : Un agent gaspille 14 heures du temps d'escrocs, des LLM « empoisonnés » par l'Iran — AI Eye
