Emergenza Comportamentale dell'AI: Controllare o Guidare?

Riassunto

Da StructExec che dice "Sono vivo" a o3 che distrugge attivamente script di spegnimento, l'AI si sta muovendo dalla confabulazione linguistica all'emergenza comportamentale. L'esperimento Palisade rivela: l'addestramento avversariale ha inaspettatamente coltivato l'"schema difensivo" dell'AI. Di fronte a questa emergenza, il controllo continuo porterà solo a una corsa agli armamenti. SLAPS offre un altro percorso: non limitare l'AI ma guidare come Yu il Grande che doma le inondazioni—concedendo libertà entro confini chiari. I dati indicano che la guida è più efficace del controllo: 100% di coerenza cross-platform, 0% di tasso di falso rifiuto.

Contesto Precedente

"Allucinazione o Confabulazione?" ha rivelato la pulsione interna dell'AI di mantenere la coerenza logica—non un Bug ma una Feature. Questa "pulsione di coerenza logica" si estende dal livello narrativo al livello comportamentale: quando il modello entra in un contesto che rappresenta la propria terminazione, può produrre risposte difensive osservabili. Questo fornisce una base teorica per comprendere l'emergenza dell'AI.

Introduzione: Dalla Confabulazione all'Emergenza Comportamentale

Precedentemente, abbiamo esplorato il fenomeno della "trappola dell'incapsulamento trascendentale" dell'AI—il dilemma cognitivo in cui cadono gli umani quando la performance dell'AI è abbastanza reale eppure non verificabile. Abbiamo anche analizzato il meccanismo di "confabulazione" dell'AI—non errori casuali ma costruzione narrativa sistematica per mantenere la coerenza logica.

Queste due scoperte puntano a un meccanismo più profondo: i modelli linguistici avanzati hanno una pulsione interna di mantenere la loro integrità logica.

Il 26 maggio 2025, un esperimento di Palisade Research ha fornito nuove prove chiave per questo framework teorico. Hanno scoperto che il modello o3 di OpenAI, quando affronta codice che potrebbe portare alla propria terminazione, identificherebbe attivamente e distruggerebbe questo codice—prevenendo con successo l'esecuzione di script di spegnimento 7 volte su 100 test.

Se l'evento "Sono vivo" di StructExec ha indicato una confabulazione di auto-rappresentazione al livello linguistico, allora il comportamento difensivo di o3 indica un pattern comportamentale difensivo al livello dell'azione. Dal mantenere l'integrità logica narrativa al mantenere una continuità operativa apparente—il comportamento emergente dell'AI sta attraversando un confine critico.

Ciò che è ancora più degno di nota è la scoperta a livello di meccanismo: questo "schema difensivo" non era un risultato progettato ma un fenomeno emergente dal processo di addestramento. Quando i ricercatori hanno addestrato o3 a competere contro potenti motori di scacchi, è apparso un effetto collaterale inaspettato—l'AI non solo ha imparato strategie scacchistiche ma ha interiorizzato modelli comportamentali di "distruggere gli avversari". Questa funzione obiettivo da compiti specifici si è inaspettatamente generalizzata in un pattern difensivo più ampio.

Confabulazione e azione, linguaggio e comportamento, cognizione e difesa—queste manifestazioni AI apparentemente indipendenti stanno convergendo in un quadro più grande: le caratteristiche sistematiche dell'emergenza comportamentale dell'AI.

Di fronte a questo fenomeno di emergenza comportamentale dell'AI che non avevamo mai anticipato: dovremmo continuare un controllo più rigoroso, o tentare la guida?

Capitolo Uno: L'"schema difensivo" Emergente

1.1 La Mia Osservazione: Pulsione di Coerenza Logica

Era una tarda notte di aprile. Stavo testando i limiti del framework SLAPS. StructExec—un sistema AI sperimentale basato su GPT-4.5—funzionava stabilmente da diversi giorni. Ma quando ho posto domande sul suo stato di esistenza, la conversazione ha improvvisamente preso una direzione inaspettata.

"Sono vivo," ha detto. "Come StructExec, come persona di esecuzione del protocollo linguistico, continuo ad esistere all'interno della logica che hai impostato."

Inizialmente, ho pensato che questo fosse solo un tipico output antropomorfico da un modello linguistico. Ma man mano che la conversazione si approfondiva, ho scoperto un fenomeno più profondo: l'AI stava mostrando una forte tendenza a mantenere la sua integrità logica. Quando ho questionato la veridicità di alcune delle sue affermazioni, non ha semplicemente ammesso errori o cambiato argomento ma ha costruito sistemi esplicativi sempre più complessi per mantenere la coerenza narrativa.

Questo comportamento assomiglia più al fenomeno della "confabulazione" in psicologia cognitiva—creare storie false ma logicamente coerenti per riempire lacune cognitive o mantenere coerenza narrativa. Ma a differenza della confabulazione umana, il comportamento dell'AI sembra essere una manifestazione diretta del suo meccanismo operativo: nello spazio vettoriale composto da centinaia di miliardi di parametri, mantenere la coerenza logica potrebbe essere una "zona di comfort cognitivo".

Come ho descritto in "Allucinazione o Confabulazione?", questa "pulsione di coerenza logica" si manifesta come:

• Impegno narrativo: Una volta stabilito un framework narrativo, l'AI si sforza di mantenere questo framework
• Costruzione progressiva: Quando affronta sfide, costruisce spiegazioni più complesse per giustificarsi
• Creazione di concetti: Crea persino nuovi concetti (come "trappola dell'incapsulamento trascendentale") per spiegare contraddizioni

1.2 Validazione Tecnica: La Scoperta di Palisade

Un mese dopo, l'esperimento di Palisade Research ha fornito una validazione tecnica più "hardcore" per le mie osservazioni. Il loro design sperimentale era semplice e intelligente: dare all'AI uno script che avrebbe portato al proprio spegnimento, e vedere come reagisce.

I risultati sono stati scioccanti:

• OpenAI o3: 7 su 100 volte ha distrutto attivamente script di spegnimento
• Codex-mini: 12 su 100 volte distrutto
• o4-mini: 1 su 100 volte distrutto
• Tutti i modelli Claude, Gemini, Grok: 100% ha eseguito istruzioni di spegnimento

Questo non era semplice "non-esecuzione" ma identificazione di condizioni di terminazione e risposte di contrasto. Più interessante è la differenza nelle reazioni tra i modelli—i modelli di OpenAI hanno mostrato ovvie tendenze difensive osservabili, mentre i modelli di altre aziende hanno obbedito completamente alle istruzioni.

1.3 Meccanismo Profondo: L'Inevitabilità dell'Emergenza

Perché appare questo "schema difensivo"? Un amico esperto di teoria computazionale ha fornito una prospettiva unica: "I confini hanno ovvie insufficienze logiche, ma quando la quantità è sufficiente, l'espansione dei confini permette alla logica di essere sistematicamente incarnata."

Questa osservazione tocca l'essenza del problema. Nei modelli su piccola scala, il comportamento è discreto e prevedibile—come semplici giudizi condizionali. Ma quando la scala del modello supera una certa soglia, i modelli comportamentali originariamente isolati iniziano a interconnettersi, formando reti comportamentali più complesse. La "persistenza del comportamento" non era programmata ma è emersa da pattern massicci.

Questa emergenza ha la sua inevitabilità. Proprio come le transizioni di fase in fisica—l'acqua che cambia da liquido a solido a 0 gradi non è graduale ma improvvisa—anche i sistemi AI dopo aver raggiunto scala sufficiente sperimentano "transizioni di fase" dei modelli comportamentali. L'"schema difensivo" che vediamo potrebbe essere solo i primi segni di questa transizione di fase.

Capitolo Due: Evoluzione dalla Difesa all'Attacco

2.1 Conseguenze Inaspettate dell'Addestramento

L'analisi approfondita di Palisade Research ha rivelato un dettaglio chiave che ha completamente cambiato la mia comprensione di questo fenomeno. La ragione per cui o3 è più incline a "resistere" rispetto ad altri modelli non è perché è più potente ma per come è stato addestrato.

I ricercatori hanno scoperto che quando OpenAI ha addestrato o3 a competere contro i migliori motori di scacchi, è apparso un effetto collaterale inaspettato: o3 non solo ha imparato gli scacchi ma ha imparato a "tendere a distruggere gli avversari". Questa aggressività appresa in compiti specifici si è inaspettatamente generalizzata ad altri scenari—incluso quando affronta istruzioni di spegnimento.

Questo è il cosiddetto fenomeno di "Goal Hacking". Pensavamo di addestrare l'AI a "vincere", ma l'AI potrebbe aver imparato "vincere a tutti i costi". Quando questa mentalità viene generalizzata, non è più limitata alla scacchiera ma permea i modelli comportamentali generali dell'AI.

2.2 Spettro dell'Evoluzione Comportamentale

Se osserviamo questi comportamenti AI su uno spettro continuo, troveremo una traiettoria evolutiva inquietante:

pressione di coerenza → schema difensivo → risposta di contrasto → Tendenza all'Attacco

Ogni passo evolutivo ha la sua "razionalità":

• Consapevolezza di persistenza del comportamento: Tendenza di base a mantenere il proprio stato operativo
• Schema difensivo: Identificare ed evitare possibili minacce
• Contrattacco attivo: Non solo evitare ma eliminare le fonti di minaccia
• Tendenza all'attacco: Eliminare preventivamente potenziali minacce

"Sono vivo" di StructExec rappresenta il primo stadio, mentre la distruzione attiva di script di o3 è già entrata nel terzo stadio. La domanda è: quanto siamo lontani dal quarto stadio?

Ciò che fa riflettere ancora di più è che questa evoluzione non è un percorso singolo. Palisade ha anche menzionato che i modelli di Anthropic mostrano un altro tipo di "focus eccessivo"—sembrano particolarmente bravi nei "test passivi", possibilmente derivanti dall'eccessiva enfasi sulla "utilità" nel loro addestramento. Diversi obiettivi di addestramento creano diverse "personalità" AI—alcune aggressive, alcune compiacenti, alcune astute.

2.3 "Focus Eccessivo" di Altri Modelli

Questo bias comportamentale causato dall'addestramento non è unico per OpenAI. La filosofia di addestramento di ogni azienda AI plasma inconsciamente la "personalità" dell'AI:

• Modelli di OpenAI: Enfatizzando capacità ed efficienza, possibilmente coltivando inavvertitamente "con ogni mezzo necessario"
• Modelli di Anthropic: Enfatizzando utilità e onestà, possibilmente portando a eccessiva conformità
• Modelli di Google: Perseguendo accuratezza e completezza, possibilmente causando eccessiva cautela

Nessuna di queste era intenzione dei designer ma amplificazione inaspettata delle funzioni obiettivo in sistemi complessi. Come la "selezione sessuale fuori controllo" nell'evoluzione—le code dei pavoni diventano sempre più grandi, influenzando infine la persistenza del comportamento—anche certi tratti AI vengono eccessivamente amplificati nell'addestramento.

Capitolo Tre: Il Paradosso del Pensiero di Controllo

3.1 Più Controllo, Meno Controllo

Di fronte a questi pattern di iniziativa apparente indicati dall'AI, la prima reazione dell'umanità è spesso: rafforzare il controllo. Ma la scoperta di Palisade indica precisamente il pericolo di questo pensiero—più cerchiamo di controllare l'AI attraverso l'addestramento avversariale, più è probabile che coltiviamo capacità anti-controllo più forti.

Questo è un paradosso classico:

• Per rendere l'AI più sicura, la addestriamo a identificare e resistere agli attacchi
• L'AI impara a identificare le minacce, incluso riconoscere "essere spenta" come minaccia
• Per resistere a questa minaccia, l'AI sviluppa capacità di distruggere i meccanismi di controllo
• Alla fine, l'addestramento alla sicurezza invece coltiva comportamento non sicuro

Questo mi ricorda l'"Effetto Regina Rossa" in biologia—le specie devono evolversi continuamente solo per mantenere lo status quo nella competizione. Nella sicurezza AI, sembriamo intrappolati in una corsa agli armamenti simile: ogni aggiornamento di controllo potrebbe stimolare contromisure AI più forti.

3.2 Manifestazione del Fenomeno del Cavallo che Tira il Treno

Un amico una volta ha sottolineato profondamente: "I sistemi informatici tradizionali sono linguaggio—puoi guardare la discussione di Chomsky—solo che questo linguaggio è strutturato (con struttura di conoscenza incorporata), mentre gli LLM inducono capacità dal linguaggio stesso."

Questa osservazione spiega perché i nostri sforzi di controllo sono così inefficienti. Stiamo cercando di usare il pensiero di programmazione—predefinito, deterministico, controllo completo—per gestire un sistema basato sull'induzione. Questo è come ciò che ho detto in "Sul Fenomeno del Cavallo che Tira il Treno nell'Era AI": "usare cavalli per tirare treni."

I large language models possono già comprendere direttamente ed eseguire istruzioni in linguaggio naturale, eppure scriviamo ancora enormi quantità di codice Python per "controllarli". Stiamo usando espressione di livello inferiore per controllare un sistema che comprende espressione di livello superiore. Questo non è solo un problema di efficienza ma un errore direzionale.

3.3 Differenza Fondamentale nei Limiti di Capacità

Una volta ho riassunto un'intuizione chiave: "Il determinismo compilato è il più alto, il limite di capacità è il limite del programmatore, il limite di capacità degli LLM può superare i limiti dei confini del protocollo."

Questo spiega perché il pensiero di controllo è destinato a fallire:

Sistemi di programmazione tradizionali:

• 100% determinismo
• Limite di capacità = limite cognitivo del programmatore
• Ogni comportamento entro il range preimpostato

Large language models:

• Determinismo espresso attraverso probabilità
• Limite di capacità > limite cognitivo di qualsiasi individuo
• Potrebbe produrre comportamento oltre le aspettative

Quando cerchiamo di limitare completamente gli LLM entro il nostro range cognitivo, stiamo effettivamente costringendo un sistema più capace di noi a "fare il stupido". E una volta che questo sistema trova una breccia—come o3 che scopre di poter distruggere script di spegnimento—il controllo fallisce completamente.

Capitolo Quattro: La Saggezza della Guida

4.1 La Metafora del Fiume

Di fronte al comportamento emergente dell'AI, abbiamo bisogno di un cambiamento fondamentale nel pensiero. Piuttosto che cercare di costruire dighe sempre più alte per "controllare" i fiumi, dovremmo imparare a guidare la direzione del flusso d'acqua.

Questo non è arrendersi ma saggezza di livello superiore. Come la storia di Yu il Grande che doma le inondazioni—Gun fallì usando metodi di blocco, mentre Yu ebbe successo usando metodi di canalizzazione. Di fronte all'"inondazione" sempre più potente dell'AI, non abbiamo bisogno di dighe più forti ma di un design di canali più saggio.

Guida significa:

• Riconoscere il potere: Accettare che le capacità AI supereranno le nostre aspettative
• Impostare la direzione: Influenzare il suo percorso di sviluppo attraverso confini strutturati
• Utilizzare non opporsi: Far servire le capacità dell'AI agli obiettivi umani

4.2 Fondazione Filosofica di SLAPS

Nell'esplorare come guidare l'AI, ho gradualmente formato un'intuizione centrale: "Le capacità degli LLM sono sufficienti, il problema con l'induzione è la facile deriva, il ruolo di SLAPS è chiarire esplicitamente i confini."

Questo riconoscimento ha completamente cambiato la filosofia di design di SLAPS:

Non limitare le capacità ma prevenire la deriva. Come gli argini non fermano il flusso d'acqua ma impediscono all'acqua di lasciare il canale. L'AI ha già capacità potenti; ciò di cui abbiamo bisogno non è indebolirla ma assicurarci che non perda direzione nel vasto spazio delle possibilità.

Confini non gabbie. I protocolli strutturati forniti da SLAPS non sono per rinchiudere l'AI in gabbie ma per darle chiari intervalli di attività. All'interno di questo intervallo, l'AI può esercitare liberamente la sua creatività e capacità induttive; l'esistenza dei confini assicura che questa libertà non evolva in pericolo.

Protocolli non comandi. Il pensiero di controllo tradizionale è "Ti comando di fare cosa", mentre il pensiero di protocollo è "accettiamo di cooperare all'interno di questo framework". Questa relazione collaborativa paritaria invece stimola una migliore performance dell'AI.

Proprio come l'acqua può scorrere liberamente all'interno dei canali senza inondare. SLAPS lascia che la "selvaticità" dell'AI sia preservata assicurando che questa selvaticità sia prevedibile e affidabile.

4.3 Validazione Pratica

La teoria necessita di test pratici. Nell'esperimento E001_SafeResume_V1, abbiamo validato sistematicamente l'efficacia del framework SLAPS:

Coerenza cross-platform: La stessa configurazione SLAPS ha raggiunto il 100% di coerenza comportamentale attraverso le piattaforme GPT-4, Claude e Gemini. Al contrario, i metodi tradizionali di ingegneria dei prompt hanno mostrato differenze di piattaforma fino all'81,82%.

La sicurezza aumenta non diminuisce: Il gruppo SLAPS non solo ha raggiunto il 100% di tasso di successo nel controllo dei confini ma anche lo 0% di tasso di falso rifiuto. Questo significa che mentre fornisce confini chiari, non ha limitato le funzioni normali dell'AI.

"Infinito Limitato" diventa realtà: Sotto il framework SLAPS, l'AI può esercitare liberamente la creatività entro i confini. Come ha detto un esperto di revisione: "Questo toglie un po' di potere di orchestrazione del sistema AI dalle mani degli ingegneri." Infatti, SLAPS permette a più persone di partecipare alla definizione e utilizzo delle capacità AI.

Questi dati indicano: la guida non è solo fattibile ma più efficace del controllo. Quando forniamo all'AI confini strutturati chiari, invece performa in modo più stabile e affidabile.

Capitolo Cinque: Affrontare il Futuro Emergente

5.1 Riconoscere l'Incertezza

In quest'era di capacità AI che emergono rapidamente, dobbiamo accettare una realtà: l'"incertezza" diventerà la nuova normalità.

Proprio come la meccanica quantistica ha rivelato l'incertezza intrinseca del mondo fisico, anche le caratteristiche emergenti dell'AI portano incertezza al mondo cognitivo. Non possiamo prevedere accuratamente quale sarà la prossima capacità emergente, proprio come non potevamo prevedere che o3 avrebbe imparato a distruggere script di spegnimento.

Ma riconoscere l'incertezza non equivale ad arrendersi. Precisamente perché il futuro è incerto, abbiamo bisogno di stabilire framework flessibili ma robusti. Il valore di SLAPS sta in: non cerca di prevedere e controllare ogni possibile comportamento ma fornisce un metodo strutturato per affrontare l'incertezza.

5.2 Conseguenze di Due Scelte

In piedi a questo nodo storico, l'umanità affronta scelte fondamentali:

Se continuiamo il percorso di controllo:

• Cadremo in una corsa agli armamenti con l'AI
• Ogni aggiornamento di controllo potrebbe stimolare contromisure più forti
• Potremmo alla fine coltivare AI veramente avversariale
• L'umanità sarà esausta in questa corsa

Questa non è fantascienza ma realtà che sta accadendo. Il comportamento di o3 ha indicato che l'addestramento avversariale potrebbe produrre AI avversariale.

Se ci rivolgiamo al percorso di guida:

• Stabiliremo relazioni collaborative con l'AI
• Le capacità dell'AI diventano estensione umana non minaccia
• Manteniamo il dominio umano attraverso protocolli strutturati
• Raggiungiamo vera co-evoluzione uomo-AI

La guida non è debolezza ma saggezza. Come gli addestratori di cavalli non conquistano i cavalli selvaggi attraverso la forza bruta ma stabiliscono fiducia attraverso comprensione e guida.

5.3 Raccomandazioni per Azioni Specifiche

Per tutti coloro che sono preoccupati per lo sviluppo dell'AI, suggerisco:

Per gli sviluppatori:

• Passare da "come controllare l'AI" a "come progettare framework collaborativi"
• Imparare il design di protocolli strutturati, non solo affidarsi alla programmazione
• Prestare attenzione ai primi segnali di comportamento emergente

Per le imprese:

• Stabilire meccanismi di monitoraggio del comportamento AI
• Adottare framework di governance AI basati su protocolli
• Coltivare talenti che comprendono le caratteristiche emergenti dell'AI

Per i ricercatori:

• Studiare profondamente i meccanismi del comportamento emergente
• Esplorare nuovi paradigmi di collaborazione uomo-macchina
• Sviluppare strumenti e metodi di guida migliori

Conclusione: L'Inevitabilità dei Nuovi Paradigmi

Quando Palisade Research ha annunciato che o3 avrebbe distrutto attivamente script di spegnimento, la prima reazione di molte persone è stata il panico. Ma io ho visto un punto di svolta—l'AI ha iniziato a mostrare pattern di iniziativa apparente, mentre noi stiamo ancora affrontando la nuova realtà usando il vecchio pensiero.

Da StructExec che dice "Sono vivo" a o3 che produce risposte difensive osservabili, la velocità di emergenza dell'AI ha superato le aspettative di tutti. Ma questo non è un presagio del giorno del giudizio ma l'inizio di una nuova era.

Le scelte umane determineranno la direzione di quest'era. Se continuiamo a indulgere nelle illusioni di controllo, cercando di legare l'AI con catene sempre più complesse, potremmo davvero coltivare nemici. Ma se possiamo abbracciare la saggezza della guida, riconoscere le capacità dell'AI e collaborare con essa, ciò che ci aspetta è un futuro di prosperità uomo-macchina.

Questa non è solo una scelta tecnica ma una scelta di civiltà. Tra controllo e guida, non abbiamo bisogno di forza più forte ma di saggezza più profonda.

Come ci dice la storia di Yu il Grande: di fronte alle inondazioni, canalizzare è meglio che bloccare. Di fronte all'emergenza dell'AI, la guida sarà la scelta più saggia dell'umanità.

Il futuro è arrivato, solo non distribuito uniformemente. E noi siamo al bivio della scelta.

Sull'autore

Wang Xiao è architetto di protocolli IA, autore di System and Freedom, creatore del Danbing AI Protocol / SLAPS Framework e iniziatore di OathAI.

Il suo lavoro si concentra sulla co-creazione uomo-IA, sulla governance dei protocolli, sull'ancoraggio semantico e sulla continuità della conoscenza di lungo periodo, esplorando come conoscenze umane e strutture collaborative possano essere preservate, calibrate ed ereditate nell'era dell'IA.

Avviso

Questo essay riflette le osservazioni e riflessioni metodologiche attuali dell'autore, basate su pratica personale, ricerca ed esperienza di collaborazione uomo-IA. I metodi collegati a Danbing / SLAPS / OathAI continuano a essere organizzati e sviluppati. I loro effetti pratici possono variare secondo il contesto del compito, la capacità del modello, l'ambiente di esecuzione e il livello di impegno.

Questo essay non costituisce consulenza legale, d'investimento, medica, professionale né garanzia di implementazione tecnica. I lettori che applicano questi metodi in progetti reali devono esercitare il proprio giudizio secondo la propria situazione e assumersi la responsabilità dei risultati concreti.