Anagrafe della ricerca

Il progetto LABBGEN è un'iniziativa nell'ambito della manifattura avanzata volta allo sviluppo di un'architettura innovativa per la generazione automatica di test black-box basati su LLM. Il progetto si inserisce in un contesto di crescente complessità dei sistemi software utilizzati nei processi produttivi, dove la mancanza di documentazione dettagliata costituisce un ostacolo alla creazione di suite di test affidabili. LABBGEN mira a superare questa sfida applicando LLM per analizzare e comprendere i sistemi software esistenti e generare piani di testing automatici, garantendo qualità e affidabilità nei processi di manifattura. In quanto a soggetti coinvolti, il progetto avrà come capofila ASK S.r.l., azienda che opera come Business IT Consultant, specializzata nella consulenza per le pratiche di QA e testing, nell'implementazione e manutenzione di sistemi ERP e Project Management. Dotata di esperienza pluriennale e di team di esperti certificati, aiuta i business a migliorare l'efficienza dei processi aziendali, la qualità degli artefatti e ad integrarli in modo efficace. Ask S.r.l. ha avuto un fatturato nel 2023 di 785K€ e nel corso del 2024 è arrivata ad occupare 38 dipendenti (oltre a collaboratori esterni). I principali servizi che offre sono servizi di consulenza IT, con particolare focus su Project Management, Testing, sistemi ERP (SAP). Organismo di ricerca partner del progetto è il Politecnico di Torino, e nello specifico il gruppo di ricerca Softeng afferente presso il Dipartimento di Automatica e Informatica (DAUIN). Il gruppo Softeng ha riconosciute competenze su progettazione e test di software e sistemi, intelligenza artificiale, sistemi di AI generativa e Large Language Models. Il settore di riferimento del progetto è quello della manifattura avanzata, e specificamente il mercato dei software di gestione e supervisione della produzione. L'obiettivo principale del progetto è lo sviluppo di una piattaforma che migliori la qualità dei software di controllo della produzione attraverso una generazione automatizzata e continua di test black-box, utilizzando tecnologie di intelligenza artificiale. Tra i principali parametri tecnici, il progetto mira a raggiungere un incremento degli errori software identificati durante il processo di testing e una diminuzione significativa dei tempi per la generazione di documentazione e test cases, portando a un miglioramento complessivo dell'efficienza produttiva e della qualità dei processi produttivi. L’obiettivo di LABBGEN è riprodurre i risultati di sistemi LLM-based di stato dell’arte, con risultati di incremento della qualità dei prodotti successivi conseguente a una riduzione degli errori nel software pari ad almeno il 20%. A livello industriale, l’implementazione della piattaforma LABBGEN offre un vantaggio competitivo in termini di qualità del software e di riduzione degli sprechi, favorendo processi produttivi più economicamente vantaggiosi e sostenibili. I Large Language Models (LLM), come GPT-4 di OpenAI, sono modelli di intelligenza artificiale di ultima generazione addestrati su vasti dataset testuali e progettati per comprendere e generare linguaggio naturale. Questi modelli utilizzano architetture di deep learning, come i transformer, per analizzare il contesto linguistico e generare risposte coerenti. L'innovazione di questo progetto risiede nell'applicazione degli LLM al campo del software engineering, sfruttando la loro capacità di interpretare non solo linguaggi naturali ma anche linguaggi di programmazione, documentazione e interfacce grafiche. In particolare, la piattaforma progettata sarà in grado di osservare l'interazione tra i moduli software e, attraverso l'utilizzo di agenti basati su LLM, generare automaticamente test case che simulano il comportamento reale degli utenti e l'intero flusso produttivo. Il progetto utilizza una struttura cognitiva multi-agente per la generazione dei test case. Questi agenti, ciascuno specializzato in un particolare compito, come la pianificazione, l'osservazione e la riflessione sui risultati ottenuti, collaborano tra loro per creare piani di test dettagliati e adattivi. Ad esempio, l'agente "Planner" scompone gli obiettivi generali del testing in micro-task specifici che vengono poi processati da altri moduli, come l'“Actor” e l’“Observer”, che si occupano della generazione effettiva delle storie utente e della verifica dei risultati. Questi processi sono ciclici e auto-correttivi, garantendo che i test generati siano sempre ottimizzati per il sistema in esame. L'architettura prevede anche l'integrazione di tecniche di computer vision per analizzare le interfacce grafiche delle applicazioni software, garantendo che i test possano essere eseguiti anche su sistemi che non forniscono accesso diretto ai dati o al codice. Attraverso l’uso di LLM che già integrano la capacità di interpretare immagini, sarà possibile utilizzare screenshot e altre forme di output visivo come input per la generazione dei test, rendendo la soluzione particolarmente versatile. La piattaforma LABBGEN, frutto di questo progetto, promette di apportare significativi miglioramenti al settore della manifattura avanzata, posizionandosi come una soluzione di frontiera per le aziende che desiderano migliorare la qualità e l'efficienza dei propri processi produttivi tramite l'automazione del testing software. Casi specifici possono essere rappresentati da macchine controllate da software, che nel caso di malfunzionamenti della logica applicativa genererebbero produzioni subottimali, quanto software di sviluppo e progettazione nel settore dell’industria automotive. In un mercato in cui la digitalizzazione e la sostenibilità sono elementi chiave per il successo, LABBGEN fornirà un vantaggio competitivo tangibile, consentendo alle aziende di ottimizzare il proprio ciclo produttivo con un approccio più agile ed efficiente. LABBGEN risponde alla crescente necessità di software più sicuri e affidabili in un settore in rapida espansione come quello della manifattura avanzata. L’architettura proposta non solo garantisce maggiore qualità nella produzione, ma riduce anche i costi e i tempi di verifica e validazione, aumentando la competitività delle aziende manifatturiere sul mercato globale. Le tecnologie LLM applicate nel contesto di LABBGEN rappresentano una frontiera innovativa nell’automazione del testing.

• Riccardo Coppola (Responsabile Scientifico)
• Luca Ardito (Componente gruppo di Ricerca)
• Maurizio Morisio (Componente gruppo di Ricerca)
• Marco Torchiano (Componente gruppo di Ricerca)

• ASK S.R.L. - Coordinatore
• POLITECNICO DI TORINO - AMMINISTRAZIONE CENTRALE