Watchman: Intelligenza Artificiale, robotica e Machine Vision a servizio del manifatturiero

L’iniziativa, co-finanziata da Regione Lombardia nell’ambito della call “Hub Ricerca e Innovazione”, ha previsto un investimento complessivo di oltre 6,6 milioni di Euro, con un contributo regionale pari a quasi 3 milioni. Al progetto hanno partecipato otto partner: il capofila e coordinatore Consorzio Intellimech, l’Università degli Studi di Bergamo, Vision, Sorint.tek, Fincons, Smart Robots, Brembo, S.A.L.F. Laboratorio Farmacologico. L’hub di competenze: un consorzio di imprese in cui le conoscenze convivono sinergicamente per fornire soluzioni innovative a beneficio della competitività delle imprese, in particolare PMI. Se n’è parlato nel corso dell’evento “Il progetto Watchman. L’hub lombardo per l’applicazione dell’intelligenza artificiale nel manifatturiero”, organizzato da AFIL in collaborazione con Consorzio Intellimech

“Watchman” è un progetto che pone le basi per una maggiore diffusione delle tecnologie di Intelligenza Artificiale nella Machine Vision per le aziende manifatturiere lombarde. L’iniziativa, co-finanziata da Regione Lombardia nell’ambito della call “Hub Ricerca e Innovazione”, ha previsto un investimento complessivo di oltre 6,6 milioni di Euro, con un co-finanziamento di Regione Lombardia, pari a quasi 3 milioni di Euro, nell’ambito della Call “Hub Ricerca e Innovazione”.

In particolare, il progetto, facilitato da AFIL – Associazione Fabbrica Intelligente Lombardia,  il cluster regionale per il manifatturiero avanzato nell’ambito delle attività della Strategic Community “Digital Transformation”, ha permesso di realizzare un apposito Hub di competenze, e cioè un consorzio di imprese in cui abilità, capacità e conoscenze eterogenee convivono sinergicamente per fornire soluzioni innovative a beneficio della competitività delle imprese, in particolare PMI.

Da un punto di vista applicativo, l’obiettivo principale di Watchman (Workload Reduction mAchine vision based TeChnology Hub for MANufacturing) è quello di identificare in modo automatico i difetti in ambito industriale, coinvolgendo tecnologie come l’Intelligenza Artificiale, robotica e Machine Vision.

Al progetto, iniziato a febbraio 2020 e conclusi nel settembre 2022, hanno preso parte otto partner: il coordinatore Consorzio Intellimech, un ente privato di aziende, nato a Bergamo nel 2007, finalizzato alla ricerca interdisciplinare nell’ambito della meccatronica per applicazioni in diversi settori industriali; l’Università degli Studi di Bergamo, e aziende esperte nello sviluppo di tecnologie software, come Vision S.r.l., Sorint.tek S.r.l. e  Fincons S.p.A., e hardware come Smart Robots S.r.l. a cui si aggiungono due importanti realtà industriali che utilizzano queste tecnologie, cioè Brembo S.p.A. – leader mondiale nella progettazione, sviluppo e produzione di sistemi frenanti e componentistica per auto, moto e veicoli industriali – e S.A.L.F. Laboratorio Farmacologico S.p.A., che dal 1921 produce nel proprio stabilimento di Cenate Sotto (Bergamo) soluzioni sterili iniettabili per ipoderma fleboclisi, nutrizione parentale, irrigazione, dialisi e molte altre tipologie coprendo un ampio raggio di categorie terapeutiche.

Nello specifico, all’interno di Watchman sono stati realizzati quattro moduli con un logica modulare e flessibile in grado di essere utilizzati sia in modalità stand-alone che integrata.

Il primo, “Machine Vision”, è finalizzato all’individuazione di hardware e software di visione per interpretare e decodificare le immagini, ottenendo informazioni come l’identificazione degli oggetti e della loro posizione nello spazio; il secondo, “Intelligence”, è diretto alla realizzazione di algoritmi di riconoscimento basati su reti neurali convoluzionali; il terzo, “Data Management”, ha l’obiettivo di consentire una gestione accurata e flessibile del dato per garantire l’applicabilità della tecnologia in ambiti produttivi diversi; infine, il quarto modulo “Collaborative Robotics-Ergonomics”, mira all’introduzione di cobot (robot collaborativi) per la movimentazione e il posizionamento dei sistemi di visione, al fine di migliorare l’ergonomia dell’operatore.

L’integrazione dei diversi moduli è stata validata e testata in due settori manifatturieri di estrema rilevanza per la competitività regionale: l’automotive e il pharma.

A tale riguardo, sono stati realizzati due dimostratori: uno in Brembo S.p.A., per identificare difetti di verniciatura o meccanici al termine del processo produttivo delle pinze freno e l’altro presso S.A.L.F. Laboratorio Farmacologico S.p.A. per riconoscere difetti di stampa e parti specifiche in sacche di soluzione fisiologica, il tutto con una struttura flessibile al fine di consentire la replicabilità in settori e ambiti diversi.

L’articolo prende spunto dalla conferenza finale dell’iniziativa, dal titolo “Il progetto Watchman. L’hub lombardo per l’applicazione dell’Intelligenza Artificiale nel manifatturiero”, organizzato da AFIL, in collaborazione con Consorzio Intellimech, che si è tenuto alla Fiera di Milano (nel contesto di BIMU) il 13 ottobre 2022.

 

LA CALL “HUB RICERCA E INNOVAZIONE” DI REGIONE LOMBARDIA

Da dove deriva il contributo regionale al progetto Watchman?

«Una volta che i Soci di una Strategic Community individuano particolari sfide e priorità per la manifattura lombarda, e decidono di impegnarsi su questi fronti, si cerca di capire quali siano le opportunità da cogliere per portare avanti le attività. È accaduto anche con “Watchman”: è stata individuata la Call “Hub Ricerca e Innovazione” che è stata promossa nel 2019 da Regione Lombardia e che si riferiva ai fondi POR FESR 2014-2020. Due i filoni di indirizzo: la ricerca industriale e lo sviluppo sperimentale, entrambi coerenti con l’idea di “Watchman”» – afferma Elena Mossali, Project Manager di AFIL.

«I topic della Call erano l’Advanced Manufacturing, la Sustainability, la Smart Mobility, e l’Earth and Life Science. Ovviamente Watchman poteva riferirsi al primo. 33 progetti sono stati finanziati, con più di 200 beneficiari e con una forte componente industriale, perché l’idea era quella di ottenere un impatto effettivo sul territorio» – continua Mossali.

L’HUB DI COMPETENZE REALIZZATO DAL PROGETTO WATCHMAN

1) Il Consorzio Intellimech, il soggetto coordinatore di Watchman

Si accennava al Consorzio Intellimech. Tra gli ambiti tecnologici di cui si occupa, l’ICT, l’Intelligenza Artificiale, la manutenzione predittiva, la robotica e l’integrazione di sistemi. Il Consorzio Intellimech è presieduto dal fondatore della Cosberg S.p.A. di Terno d’Isola (Bergamo) Gianluigi Viscardi, che è anche è Presidente del Cluster Fabbrica Intelligente, tavolo al quale partecipano tutti i portatori di interesse del manifatturiero italiano: aziende, associazioni, università, centri di ricerca e Regioni.

2) Watchman come Hub di competenze: le esperienze del Consorzio Intellimech

«L’Hub Watchman sarà un punto di riferimento per il contesto regionale. Le PMI potranno aumentare la loro competitività» – afferma Angelo Iapichino, Project Manager del Consorzio Intellimech.

Come si diceva, Il modello scelto per Watchman è quello dell’Hub di competenze. «Si tratta di Hub cui si dà vita considerando le seguenti motivazioni: anzitutto, lo sviluppo tecnologico cambia velocemente e continuamente; e ciò ha un impatto molto forte nel contesto industriale italiano, caratterizzato da PMI che faticano ad accedere alle tecnologie, mancano di consapevolezza e hanno difficoltà a trovare personale con le competenze adeguate e a mantenere formato quello già interno all’azienda» – continua Iapichino.

Occorre ricordare che lo stesso Consorzio Intellimech «è un Hub di competenze che collabora con diversi atenei, (come il Politecnico di Milano, l’Università degli Studi di Brescia e l’Università degli Studi di Bergamo) e aziende per realizzare progetti pilota e dimostratori che poi diventano soluzioni dirette al mercato» – afferma Iapichino.

Inoltre, il Consorzio Intellimech partecipa dal 2020 a due progetti che mirano alla realizzazione di Hub di competenze: AI Regio e JOiiNT LAB, laboratorio congiunto tra l’Istituto Italiano di Tecnologia e il Consorzio Intellimech, promosso da Confindustria Bergamo, Kilometro Rosso S.p.A. e l’Università degli Studi di Bergamo.

Il primo, “Regional and Innovation Hubs alliance for AI-driven digital transformation of European Manufacturing SMEs”, vuole creare una piattaforma che abiliti l’accesso alle risorse per lo sviluppo di soluzioni basate sulla Intelligenza Artificiale per il manifatturiero efficiente e sostenibile, con particolare attenzione alle PMI. Di durata triennale, il progetto coinvolge 36 partner. Il budget è di 9,2 milioni di Euro, con un contributo da parte della Commissione Europea pari a 8 milioni di Euro.

JOiiNT LAB nasce invece dall’esigenza di approfondire nel Consorzio Intellimech le tematiche di robotica collaborativa. Gli obiettivi principali sono tre: trasferimento tecnologico a favore della manifattura, formazione specializzata sui cobot e incentivare l’innovazione in Lombardia. La durata del progetto è quadriennale. I partner sono 15 e il budget è di 5 milioni di Euro.

IL MODULO “MACHINE VISION”

Il modulo “Machine Vision” è stato coordinato da Vision S.r.l., che si è occupata del sistema di acquisizione delle immagini per il progetto Watchman, sia per le applicazioni di Brembo S.p.A. che per quelle di S.A.L.F Laboratorio Farmacologico S.p.A.

Vision S.r.l. di Vimercate (Monza e Brianza) è un integratore di sistemi di visione artificiale. Si occupa di misura non a contatto e di controllo di qualità. Si rivolge a diversi settori quali: macchine da stampa; sistemi di visione per guida robot e di misura per particolari meccanici con precisioni dell’ordine di 0.01mm e controllo qualità delle lastre di vetro. L’azienda vanta oltre 4mila installazioni.

Le sfide, relative ai casi Brembo S.p.A. e S.A.L.F. Laboratorio Farmacologico, sono già state menzionate. Ma quali tecniche di visione sono state utilizzate in questo modulo?

«Tecnologie molto innovative: in Brembo S.p.A. una a righe parallele, con acquisizioni successive, che ha consentito di enfatizzare i difetti e quindi di riconoscerli. Nel progetto S.A.L.F. la tecnica di black light e dark field ha consentito di eliminare tutto il rumore di background delle sacche, ed enfatizzare quindi le scritte a getto di inchiostro sulla parte superiore» – afferma il Chief Technical Manager di Vision Srl Silvano Scaccabarozzi.

IL MODULO “INTELLIGENCE”

1) Il ruolo dell’Intelligenza Artificiale nei sistemi di visione

Alla realizzazione del modulo ha contribuito l’Università degli Studi di Bergamo mediante il laboratorio CAL (Control and Automation Laboratory), che annovera 4 professori, un visiting professor e 6 studenti PhD.  Svolge didattica (control systems), ricerca (fault diagnosis, identification e altro) e progetti industriali per manufacturing, aerospace, automotive e altro.

Per capire come è stato realizzato il modulo, il riferimento più importante è quello relativo ai compiti della visione artificiale.

«Fondamentalmente, i compiti sono quattro: anzitutto la classification, che risponde alla domanda “cosa c’è nell’immagine” e per la quale si usano degli algoritmi particolari, detti CNN; la seconda è la detection, che serve per capire “dov’è una certa cosa nell’immagine” e per la quale si utilizzano altri algoritmi, come Yolo e Faster R-CNN; la terza è la segmentazione, che significa “in quali pixels” ci si trova, come algoritmo tipico, ci si avvale di U-Net; infine, l’annotazione, che risponde alla domanda “come descriveresti l’immagine”, ed è quindi una questione di image-to-text. L’ultima frontiera è il suo contrario, il text-to-image. Si pensi alla possibilità di generare un’immagine a fronte di una stringa di testo» – afferma Mirko Mazzoleni, docente all’Università degli Studi di Bergamo.

In tutti questi passaggi è coinvolta l’Intelligenza Artificiale – che consiste in un insieme di software in grado di simulare le capacità cognitive del pensiero umano. All’interno del grande insieme dell’Intelligenza Artificiale opera il Machine Learning (ML), e cioè l’apprendimento automatico: il sistema impara dall’esperienza. È in grado di svolgere ragionamenti induttivi, elaborando regole generali definite associando l’input all’output corretto.

Nel perimetro del ML opera il Deep Learning, che si basa su diversi livelli di rappresentazione, corrispondenti a gerarchie di caratteristiche di concetti, dove quelli di alto livello sono definiti sulla base di quelli di basso rango. In pratica, l’output del livello precedente viene utilizzato come input per quello successivo. L’intelligenza che emerge in procedimenti di questo tipo è il frutto di un movimento “diffuso” e non centralizzato in una singola unità.

Una delle architetture tipiche del Deep Learning è quella che utilizza le reti neurali. Queste sono funzioni matematiche che imitano il meccanismo del cervello umano. I neuroni artificiali replicano il funzionamento di quelli biologici, piccole componenti del cervello che ci consentono di ragionare. Come nel caso del cervello umano, il modello artificiale è costituito da interconnessioni di informazioni. Ora, in un normale contesto informatico, le informazioni vengono immagazzinate in una memoria centrale ed elaborate in un luogo definito: con la rete neurale, invece, si cerca simulare il comportamento delle cellule con connessioni analoghe alle sinapsi di un neurone biologico tramite una funzione di attivazione, che stabilisce quando inviare un segnale. In pratica, le informazioni sono distribuite in tutti i nodi della rete.

Si incrociano con il perimetro dell’Intelligenza Artificiale anche quello della Data Science, insieme di principi metodologici (basati sul metodo scientifico) e di tecniche multidisciplinari volto a interpretare ed estrarre conoscenza dai dati attraverso la relativa fase di analisi da parte di un esperto, il data scientist, e del controllo e identificazione dei sistemi – che riguarda esperimenti di design, metodi a sottospazi, serie temporali e analisi in frequenza.

Tornando al ML, gli algoritmi vanno nutriti. Occorre una fase di addestramento, che in genere è supervisionato.

Immagini che si riferiscono a una chiave inglese, ad esempio: grazie alla visione di tante illustrazioni relative all’attrezzo, e ai metadata che ne descrivono gli attributi, il sistema apprende che cosa sia quell’utensile particolare, quali siano le sue caratteristiche peculiari, a cosa serva, e in che modo vada utilizzato. Esiste poi un apprendimento non supervisionato.  In questo caso, le informazioni inserite all’interno della macchina non sono codificate, sono input che il sistema classificherà e organizzerà sulla base di caratteristiche comuni per cercare di effettuare ragionamenti e previsioni sugli input successivi.

ì«Nell’ambito supervisionato è necessario utilizzare i dati in un certo modo. Alcuni di essi sono i dati di training, e servono a definire l’algoritmo; per esempio, uno di visione, che sia in grado di capire se dall’esame dell’immagine di una tazzina se questa sia integra o se presenti delle lesioni o dei difetti. A quel punto, allineiamo l’algoritmo, stimiamo il modello con questi dati e poi lo valutiamo, utilizzando un dataset di validazione. È un po’ come quando uno studente sta facendo un corso; il professore gli dà esercizi per studiare, ma all’esame gliene dà altri, diversi, per capire se ha imparato a risolvere i problemi.  Si può valutare la performance dell’algoritmo di analisi delle immagini in base al numero di classificazioni corrette» – afferma Mazzoleni.

2) Gli obiettivi del modulo “Intelligence” e i metodi applicati

Le attività relative al modulo “Intelligence” sono state coordinate da Sorint.tek. Essa è la business unit che si occupa di Intelligenza Artificiale e Machine Learning del gruppo Sorint.lab.

Quanto al caso di S.A.L.F. Laboratorio Farmacologico Srl, «si è strutturato un metodo in tre fasi: quella dell’identificazione, grazie alle reti neurali, quella della lettura con OCR (riconoscimento ottico dei caratteri) e quella del confronto tra stampa attesa e quella verificata. I risultati sono stati questi: su un campione di 49 sacche, 46 sono state classificate correttamente» – continua Gianluca Gerard CTO di Sorint.tek.

Quanto al caso di Brembo S.p.A. «si è dato vita ad un sistema di Machine Learning supervisionato, sensibile ai piccoli difetti e robusto agli artefatti, con identificazioni multiple e su superfici scure, addestrabile con una quantità limitata di esempi, esecuzione veloce, e basato su immagini RGB (particolare modello di colori). In sintesi, si è appreso che i modelli supervisionati funzionano bene, e che quelli non supervisionati possono essere utilizzati a integrazione dei primi» – commenta Gerard.

IL MODULO DI “DATA MANAGEMENT”

Il modulo di Data Management è stato coordinato da Fincons Group S.p.A.

Guidato dal fondatore e CEO Michele Moretti, Fincons Group S.p.A. opera a livello globale nella consulenza di business e nella system integration a supporto della trasformazione tecnologica e digitale delle aziende, e conta 15 sedi e 5 operative hub in 6 diverse nazioni, in Europa e oltreoceano, con Headquarters in Svizzera.

Quanto al modulo, si è trattato di raccogliere i dati dai sistemi di acquisizione, trasferirli ai sottosistemi di elaborazione, comunicare e archiviare i risultati.

«Il modulo supporta diverse modalità di gestione del dato, che può essere lavorato e archiviato online, e quindi in Cloud, oppure at the edge, e cioè vicino ai sistemi di acquisizione» – afferma il Project Manager di Fincons Group S.p.A. Marcello Paolo Scipioni.

Il modulo è stato sperimentato nei casi d’uso previsti dal progetto. Sono stati utilizzati dati relativi a prodotti di due tipologie diverse e ciò ha permesso di testare end-to-end la soluzione. Quanto alle tecnologie e ai protocolli utilizzati per costruire il modulo, queste permettono un’installazione sia on-premise che in Cloud.

L’uso di tecnologie semantiche (metodi e software per l’elaborazione computazionale del significato di dati sia strutturati che semi-strutturati) permette la generalizzazione dei risultati per l’applicazione in ambiti produttivi diversi da quelli considerati da Watchman.

IL MODULO “COLLABORATIVE ROBOTS AND ERGONOMICS”

Il modulo è stato coordinato da Smart Robots S.r.l., una PMI innovativa, nata all’interno del gruppo e-Novia a fine 2016, e spin-off del Politecnico di Milano. Ha sede, appunto, a Milano, ed è nota per aver individuato una soluzione sistemica e scalabile per assistere gli operatori nelle postazioni di lavoro manuale in ambito manifatturiero: un sistema di visione che sfrutta l’Intelligenza Artificiale per comprendere le azioni dell’operatore e per supportarlo, aumentando la qualità e l’efficienza del processo.

«Quanto al modulo, sfruttando la tecnologia di Smart Robots, è stato implementato un software in grado, da un lato, di supportare l’operatore segnalando in tempo reale eventuali errori nel processo manifatturiero ed abilitando una reale ed efficiente interazione con il cobot; dall’altro, di valutare l’ergonomia dell’operatore durante l’esecuzione di un qualsiasi processo di lavoro» – afferma l’Application and Product Engineer di Smart Robots S.r.l. Filippo Cividini. all’interno del video finale del progetto del progetto Watchman, che è visionabile sul canale You Tube del progetto Watchman.

Il modulo è stato strutturato per essere indipendente da una specifica applicazione. La configurazione può essere effettuata direttamente dall’utente finale, in maniera agile.

«Nell’ambito del progetto Watchman, i quattro moduli sono stati integrati e messi al servizio della realizzazione dei dimostratori finali» – afferma Fabio Previdi, Preside della Scuola di Ingegneria dell’Università degli Studi di Bergamo.

IL DIMOSTRATORE AUTOMOTIVE

Come si diceva, Brembo S.p.A. ha partecipato allo sviluppo del dimostratore finalizzato a rilevare i difetti di verniciatura o meccanici al termine del processo di verniciatura o ossidazione delle pinze freno per garantire la qualità dei prodotti.

Brembo S.p.A., guidata dal presidente emerito Alberto Bombassei, da quello esecutivo Matteo Tiraboschi e dal CEO Daniele Schillaci, 2,7 miliardi di Euro di fatturato, opera in 15 Paesi di 3 continenti, con 29 siti produttivi e sedi commerciali, contando sulla collaborazione di oltre 12mila persone.

«Due gli obiettivi. Anzitutto, quello di rendere oggettivo il controllo, dato che attualmente è “soggettivo”, visto che è svolto da un tecnico – e ciò è stato perseguito attraverso potenti sistemi di visione supportati da algoritmi di Intelligenza Artificiale. L’altro era quello di ridurre e migliorare il carico di lavoro dell’operatore, perseguito attraverso la robotica collaborativa» – afferma il Responsabile Progettazione Processi di Brembo S.p.A. Niccolò Marella, all’interno del video finale del progetto del progetto Watchman, che è visionabile sul canale You Tube del progetto Watchman.

IL DIMOSTRATORE PHARMA

S.A.L.F. Laboratorio Farmacologico S.p.A ha collaborato allo sviluppo del dimostratore inerente al settore pharma. In particolare, S.A.L.F. Laboratorio Farmacologico S.p.A. produce soluzioni sterili iniettabili per ipodermo fleboclisi, nutrizione parenterale, irrigazione, dialisi, soluzioni anticoagulanti, soluzioni per la conservazione degli organi, anestetici, analgesici, marcatori e molti altri farmaci a coprire un ampio raggio di categorie terapeutiche.

Nello specifico è stato realizzato un banchetto ottico per la lettura di dati variabili timbrati ad inchiostro su contenitore con superficie trasparente e contenente un liquido.

«È cruciale identificare anomalie o errori nella stampa, prima che i pezzi arrivino in fase di confezionamento, dove si è costretti a scartarli. La vera sfida era appunto quella di leggere i dati su una superficie trasparente; si è raggiunto un buon risultato tramite la collaborazione con partner che hanno fornito telecamere apposite e algoritmi ad hoc» – afferma Paride Luponi, Direttore di Produzione di S.A.L.F. Laboratorio Farmacologico S.p.A.

«I componenti del banco dimostratore sono la telecamera monocromatica, quella a colori, gli illuminatori di luce diffusa-radente (lo sfondo rimane sfocato e consente una migliore lettura del codice stampato) e quelli a luce diffusa dall’alto» – afferma Scaccabarozzi di Vision S.r.l.

Anche qui, le applicazioni derivanti dal progetto possono essere estese a settori diversi, come il tessile, il cosmetico e l’alimentare sempre per la lettura di dati, stampi o simboli posti su contenitori trasparenti.

CONCLUSIONE

In conclusione, l’Hub Watchman sarà un punto di riferimento per il contesto regionale dove soprattutto le PMI potranno usufruire delle competenze sviluppate per aumentare la loro competitività – afferma a chiusura Angelo Iapichino, Project Manager del Consorzio Intellimech.