Discussione su questo Post

Avatar di User
Avatar di Mauro Labate

Misurare l’impatto richiede una forte comprensione delle meccaniche dei processi che si vogliono ottimizzare o automatizzare. Bisogna scegliere il livello di granularità giusta per tracciare KPI che coprono le classiche metriche di qualità, quantità e velocità in modo da escludere che l’aumento di una metrica sia raggiunto a forte discapito delle altre, ma anche assicurarsi che queste metriche non siano influenzate da fattori esterni al processo che si vuole misurare.

Per quel che riguarda il mio campo, mi trovo molto d’accordo con il post, la verità sta nel mezzo. Per le aziende che sviluppano prodotti software, misurare a basso livello l’output come le righe di codice, il numero di test, la code coverage, o addirittura i token consumati non offre alcuna indicazione sull’effettivo impatto. Allo stesso modo le metriche strategiche troppo elevate, come topline revenue, EBIT, net retention rate, ARR growth, sono influenzate da troppi fattori e l’impatto di AI non può essere isolato a quel livello di granularità; se hai un quarter negativo per condizioni di contorno, rischi di prendere la conclusione sbagliata.

Per lo sviluppo software ho trovato che un modo efficace per misurare l’impatto sulla produttività sia quello di focalizzarci sull’ottimizzazione delle metriche classiche di produttività di un team di engineering: velocity, cycle time e qualità. Se si vogliono utilizzare le metriche agile, c’è da porre qualche punto di attenzione sulla misura degli story points, che il team si trova ad adattare verso il basso con l’apporto dei tool AI di supporto allo sviluppo. Il numero di storie completate in totale è la loro permanenza nel backlog, assieme all’accuratezza della predizione dello sprint (quanto è accurata la WBS vs sprint commit) aiutano a completare il quadro e validare conclusioni parziali evidenziate dal solo numero di story points completati per unità di tempo. Per la qualità combino numero di bug rilevati dal team QA interno e bug aperti dall’esterno, con 2000 clienti ho abbastanza dati anche storici per eliminare bias dati dal lancio di nuove major release o regressioni dovute a librerie di terze parti.

Credo che misurando un impatto positivo su queste metriche si possa concludere e quantificare l’apporto dato da AI in modo abbastanza preciso.

Il problema per i team di software engineering è che spesso non c’è un pre-AI e post-AI da paragonare, non c’è l’iniziativa AI con giorno inizio e fine. L’adozione degli LLM è avvenuta gradualmente negli ultimi 3-4 anni, e su questo orizzonte spesso il team è cambiato, architetture nuove sono state introdotte, e perciò pur misurando i KPI sensato, si fa fatica a isolare l’impatto di AI perché mancano i riferimenti temporali su cui fondare la comparativa.

Avatar di Marco Tuttolomondo

Analisi molto corretta del perché i progetti AI falliscono, ma soprattutto è importante il riferimento ai processi.

Tuttavia c'è un punto che a mio avviso manca: il ridisegno dei processi è si condizione necessaria, così come lo è avere un layer di dati che metta insieme tutte i dati e li traduca in un contesto, ma non è sufficiente. La mera semantica dei dati non è abbastanza per avere un'efficace funzionamento dell'AI agentica; serve anche che l'AI disponga delle informazioni su quali sono le dinamiche interne dei e tra i processi (causa ed effetto), così come le regole di business e le logiche decisionali applicati nei vari step di processo.

Si tratta di patrimoni informativi molto spesso ignorati, pensando che basti solo mettere insieme tutti i dati, etichettarli (come fanno i lakehouse) senza declinarli e analizzarli in ottica di processo.

Ancora 3 commenti...

Nessun post

Assolutamente, procediamo.