Prompt engineering per profitto: i LLM manipolati per rivelare i dati di “addestramento”

I Large Language Models (LLM) – modelli AI/ML che consentono a un computer di condurre una conversazione molto convincente con l’utente e di rispondere praticamente a qualsiasi domanda (anche se non sempre in modo accurato) – hanno preso d'assalto il mondo. È molto più della semplice novità di interagire con una macchina che sembra superare il test di Turing. Addestrati su enormi set di dati presenti in Internet, i LLM possono essere incredibilmente utili nella ricerca e nella creazione di contenuti; se addestrati con dati errati in ingresso, però, forniranno dati errati in uscita, con risposte imprecise. Ma anche gli LLM dotati di dati “buoni” o comunque accurati e aggiornati sono suscettibili a un fenomeno noto come “allucinazioni IA”. Questo fenomeno si è visto spesso con strumenti di intelligenza artificiale generativa o visione artificiale: accade quando un LLM percepisce modelli o oggetti che sono inesistenti o impercettibili agli osservatori umani, creando output privi di senso o del tutto imprecisi (secondo la definizione di IBM).

C’è però un rischio in agguato in tutto questo. Gli autori di minacce e i troll amano trasformare le tecnologie emergenti benigne in armi per i propri scopi. Gli stessi LLM che potrebbero aiutare l’utente a redigere un documento potrebbero anche aiutare i criminali a scrivere un'email di ingegneria sociale molto convincente. Sebbene i creatori di LLM abbiano lentamente cercato di aggiungere garanzie che impediscano ai malintenzionati di abusare dei LLM per scopi malevoli, come tutta la sicurezza si tratta del gioco del gatto e del topo. Pur non essendo esattamente un hacking tradizionale, i "prompt engineer" hanno lavorato diligentemente nell'ombra per sviluppare tecniche che spingano efficacemente gli LLM fuori dalla loro "sandbox" e in acque più pericolose dove possono tracciare un percorso tutto loro con un maggiore potenziale di produrre risultati dannosi.

La potenziale portata del problema diventa spaventosa se si considera che sempre più organizzazioni stanno cercando di sfruttare gli LLM per migliorare la propria efficienza operativa. Ma l'utilizzo di un LLM pubblico per attività che dipendono dai dati proprietari aziendali o altrimenti privati può mettere a rischio tali dati. Molti di loro conservano i dati di input per scopi di formazione, il che significa che viene riposta fiducia nel fornitore LLM sul fatto che li archivierà e proteggerà. Sebbene una violazione tradizionale che esponga dati grezzi sia ancora possibile, riteniamo che gli autori delle minacce possano prendere di mira il modello stesso per esporre quegli stessi dati di addestramento.

Nel corso del 2024, prevediamo che un prompt engineer intelligente, sia esso un criminale o un ricercatore, riuscirà a decifrare il codice e a manipolare un LLM per far trapelare dati privati.

Gli MSP raddoppiano i servizi MDR e SOC a causa del continuo divario di competenze in materia di sicurezza informatica e delle “grandi dimissioni”

L’ultima stima dell’International Information System Security Certification Consortium (ISC)² riferita all’anno 2022 fissava il numero globale di posti di lavoro vacanti nel campo della sicurezza informatica a 3,4 milioni, una cifra che sicuramente è cresciuta sostanzialmente nel 2023. Aggiungendo benzina sul fuoco, la sicurezza informatica ha anche un problema di “burnout”, motivo per cui Gartner prevede che quasi il 50% dei leader della sicurezza informatica cambieranno lavoro, contribuendo a “grandi dimissioni nel campo della sicurezza informatica”. Con così tante posizioni vacanti nel campo della sicurezza informatica, come potranno proteggersi le aziende PMI?

La risposta sono i fornitori di servizi gestiti e di sicurezza gestita (MSP/MSSP). Gli MSP godranno di una crescita significativa nei servizi di rilevamento e risposta gestiti (MDR) e nei centri operativi di sicurezza (SOC) se, e solo se, riusciranno a creare il team e l'infrastruttura per supportarli. Ci aspettiamo che il numero di aziende che cercano di esternalizzare la sicurezza raddoppierà a causa sia della difficile situazione economica sia della difficoltà nel trovare professionisti della sicurezza informatica. Per supportare questo picco nella domanda di servizi di sicurezza gestiti, gli MSP/MSSP si rivolgeranno a piattaforme di sicurezza unificate con una forte automazione (AI/ML), per ridurre i costi delle operazioni e compensare la difficoltà che potrebbero avere anche nel ricoprire i ruoli di tecnico della sicurezza informatica.

Gli autori delle minacce vendono kit di ingegneria sociale e automazione dello spear phishing basati su AI/ML nel dark web

Anche se i rischi associati all’AI/ML potrebbero rappresentare solo una frazione degli attacchi nel corso del 2024, ci aspettiamo di vedere gli autori delle minacce iniziare davvero a sperimentare gli strumenti di attacco AI e iniziare a venderli clandestinamente. Per gli esperti WatchGuard, il 2024 vedrà un boom nel mercato emergente degli strumenti automatizzati di spear phishing, o una combinazione di strumenti, sul dark web. Lo spear phishing è uno degli strumenti più efficaci a disposizione degli attaccanti per violare le reti. Tuttavia, tradizionalmente è stato necessario anche un lavoro manuale per ricercare e individuare le vittime. Esistono già strumenti pubblicamente disponibili in vendita clandestinamente per inviare email di spam, creare automaticamente testi convincenti e mirati se dotati dei giusti suggerimenti o per setacciare Internet e i social media per ricercare informazioni e connessioni di un particolare target, ma molti di questi strumenti sono ancora manuali e richiedono agli attaccanti di prendere di mira un utente o un gruppo alla volta. Attività procedurali ben formattate come queste sono perfette per l'automazione tramite AI/ML. Nel corso del 2024, prevediamo di vedere almeno uno strumento basato su AI/ML per aiutare lo spear phishing automatizzato messo in vendita nel dark web.

“Sei davvero tu?”: i vishers decuplicano le loro operazioni malevole grazie ai chatbot vocali basati sull’intelligenza artificiale

Il phishing vocale (vishing) è aumentato di oltre il 550% su base annua tra il primo trimestre del 2021 e il primo trimestre del 2022. Il vishing si verifica quando un truffatore ti chiama fingendo di essere un'azienda o un'organizzazione rispettabile o anche un collega (o il capo di qualcuno) e cerca di far fare qualcosa alla vittima che possa poi monetizzare, come acquistare buoni regalo o criptovaluta per conto suo. Ad esempio, in un tipo di vishing il truffatore finge di essere un agente di polizia, sostenendo che l’utente preso di mira non ha risposto ad alcune presunte convocazioni relativamente a un crimine o un caso misterioso a cui è associato. Tenendo l’utente al telefono e usando la sua paura e confusione per offuscare il tuo giudizio, il suo scopo è quello di costringere il malcapitato a inviare una grande quantità di denaro in criptovaluta come pagamento per un'obbligazione.

In un'altra forma di questo attacco, un dipendente riceverà una chiamata urgente dal suo capo che gli chiede di fare qualcosa come trasferire i fondi aziendali su un conto specifico. E chi direbbe di no a una richiesta da parte del proprio capo?

Anche se gli esperti di sicurezza potrebbero ritenere che sia facile riconoscere queste ovvie tattiche di truffa, l’uso della paura per le ripercussioni legali o la minaccia di essere licenziato può essere molto efficace contro l’utente medio – poiché, sfortunatamente, restare informati sulle ultime tattiche di ingegneria sociale e truffa non è ancora la norma. Proprio per questo motivo il vishing si è affermato come una tattica efficace per i criminali.

L’unica cosa che frena questa tipologia di attacco è la sua dipendenza dall’elemento umano. Mentre il VoIP e la tecnologia di automazione rendono semplice comporre in massa migliaia di numeri e lasciare messaggi o reindirizzare le vittime così sfortunate da rispondere, una volta che le vittime sono state adescate e rispondono dall’altra parte un truffatore umano deve prendere in mano la chiamata per portare avanti la sua truffa.

Molte di queste bande di vishing finiscono per diventare grandi call center in particolari aree del mondo, molto simili ai call center di supporto, dove molti dipendenti hanno ogni giorno nuovi script che seguono alla lettera per portare avanti tentativi di social engineering e sottrarre soldi alle vittime. Avendo dall’altra parte un essere umano reale, la vittima farà diverse domande e il truffatore si assicurerà di rispondere in modo convincente alle preoccupazioni della vittima, il che contribuisce al successo complessivo nel vishing. Questa dipendenza dal capitale umano però è uno dei pochi elementi che limitano la portata delle operazioni di vishing.

Prevediamo che la combinazione di audio deepfake convincente e LLM (Large Language Models) in grado di portare avanti conversazioni con vittime ignare aumenterà notevolmente la portata e il volume delle chiamate vishing nel 2024. Inoltre, potrebbero non richiedere nemmeno la partecipazione di un attore della minaccia “umano”.

Moderni visori VR/MR usati per spiare l’utente nel suo ambiente domestico

I visori per realtà virtuale e mista (VR/MR) stanno finalmente iniziando a guadagnare popolarità. Anche se sono lontani dalla popolarità delle normali console, i visori MR come Quest 2 e il nuovo Quest 3 sono diventati sempre più popolari negli ultimi anni. Con casi d'uso come il fitness VR, i visori VR sono ora molto più accessibili e utilizzati da persone di ogni ceto sociale (rispetto allo stereotipo dei soli tecnici e gamer). Tutto questo è fantastico, soprattutto per una tecnologia così interessante e utile.

Tuttavia, ovunque emergano tecnologie nuove e utili, arrivano anche criminali informatici e malintenzionati. I visori VR/MR offrono moltissime informazioni nuove e personali che gli attaccanti possono rubare, monetizzare e utilizzare come armi. Tra queste informazioni c'è la conformazione della casa dell’utente o dello spazio di gioco.

Per tracciare correttamente la presenza dell’utente in un ambiente virtuale, questi visori devono monitorare l’utente nello spazio reale. Lo fanno con varie fotocamere e sensori che ottengono molte prospettive della stanza o dell'area in cui l’utente vive. Anche quando utilizzano solo fotocamere 2D, la combinazione di più angolazioni di ripresa con la fotogrammetria potrebbe consentire a qualcuno con accesso a tali dati di ottenere il layout della stanza in cui l’utente si trova.

Recentemente, il già popolare visore Quest 3 ha aggiunto un sensore di profondità, che gli consente non solo di ottenere automaticamente un layout più dettagliato dell'ambiente della vita reale, ma anche dei mobili e degli oggetti all'interno di quell'ambiente. Questi visori hanno anche aggiunto funzionalità “passthrough” e realtà mista, che consentono all’utente di camminare per tutta la casa con il visore, utilizzando il sensore di profondità per mappare potenzialmente in 3D il layout dell'ambiente circostante ovunque ci si muova.

Finora, i creatori di questi visori non sembra stiano ancora cercando di archiviare questi dati per i propri scopi (ma “ancora” è la parola chiave). Tentano anzi di progettare misure di sicurezza per impedire l'accesso a software o a soggetti malintenzionati. Ma per chi ne ha voglia, il modo si può sempre trovare. Nel 2024, WatchGuard prevede che un ricercatore o un hacker malintenzionato troverà una tecnica per raccogliere alcuni dati dei sensori dai visori VR/MR per ricreare l’ambiente in cui stanno giocando gli utenti.

L'uso diffuso del QR Code si traduce in una violazione da prima pagina

Sebbene i QR code (Quick Response) - che forniscono un modo conveniente per accedere a un collegamento con un dispositivo come un telefono cellulare - siano in circolazione da decenni, negli ultimi anni sono diventati sempre più popolari, determinando un’esplosione del loro utilizzo. Mentre cinque anni fa la maggior parte delle famiglie forse non sapeva cosa fosse un codice QR, ora quasi tutti lo usano; basti pensare all’uso diffuso che viene fatto nei ristoranti, dove i proprietari sono stati condizionati nell’adottarlo durante e dopo la pandemia.

Sfortunatamente, la comodità dei QR code sta insegnando alle persone a fare senza pensarci proprio ciò che i professionisti della sicurezza informatica dicono che non si dovrebbe mai fare: fare clic su collegamenti casuali senza sapere dove portano. Non solo i codici QR incoraggiano cattive pratiche di sicurezza, ma oscurano alcune delle tecniche che molti utilizzerebbero per verificare se è sicuro fare clic su un URL o collegamento ipertestuale.

Poiché sono facilmente disponibili e sempre più pubblicati e utilizzati negli spazi pubblici, è banale per gli attaccanti alterare tali codici. Potrebbe anche trattarsi di qualcosa di semplice, come un adesivo sostitutivo sovrapposto a quello originale che indirizza a un sito malevolo anziché al menu di un bar locale.

Quindi, a meno che quel collegamento sia certo, non bisognerebbe mai aprire un codice QR per curiosità. Ancora più importante, se serve davvero accedere al link del codice QR, una delle prime cose che occorre fare prima di visitare il collegamento è controllare attentamente il dominio completo e l'URL per assicurarsi che indirizzi correttamente alla destinazione prevista. Sfortunatamente, la trasformazione dei collegamenti testuali in questi elementi grafici, sebbene rapida e conveniente, rende più difficile per le persone verificare il dominio e l'URL completo prima di visitare il sito. Tutto questo è il motivo per cui i codici QR sono strumenti di offuscamento così pericolosi e fantastici per gli attaccanti.

Nonostante questi ovvi rischi, i codici QR sono troppo utili e convenienti per essere ignorati dagli utenti. Per questo motivo, ci aspettiamo che una violazione o un attacco hacker di grande impatto inizi con un consumatore che segue un codice QR, portandolo a visitare accidentalmente una destinazione malevola.