“L'assenza di memoria è costitutiva, intrinseca e non certo un bug da correggere in una versione futura.” credo invece che stiano lavorando per superare questo limite.
Però la scommessa sui prossimi modelli (penso ai sistemi ad agenti o alle architetture ibride che integrano memoria a lungo termine vettoriale o logica simbolica) punta proprio a superare questo limite strutturale del Transformer puro. Se l'obiettivo industriale è l'affidabilità, la direzione sembra obbligata: passare dalla pura statistica alla gestione strutturata della conoscenza persistente. Altrimenti l'AI rimarrà un eterno, formidabile generatore di risposte al presente.
La domanda finale (ne vale la pena?) ha una risposta sempre più incerta. Il costo dei token sta aumentando, non diminuendo come proiettato, tanti strumenti con licenza a "seat" ora stanno passando a "consumo". GitHub Copilot dal 1 Giugno implementa questo switch e la stima iniziale per un team come il mio é un cost increase del 100%, sento altri CTO e per i loro team rappresenta un uplift del 200-300-400% di increase. A un certo punto si arriva a livelli dove "ne vale la pena" solo se lo si fa per amore come nel caso di Henry.
Sempre lucido ed esemplificativo. In modo non continuativo ma dopo essermi arrabbiato più volte in chat anche io mi faccio fare dei doc dopo una sessione importante. Il problema è che ho una tonnellata di file e non ho il tempo di rileggerli.
“L'assenza di memoria è costitutiva, intrinseca e non certo un bug da correggere in una versione futura.” credo invece che stiano lavorando per superare questo limite.
Nel modello transformer? Che si reifichi lo stato certamente. Lo faccio anche io. Ma é un’altra cosa.
Però la scommessa sui prossimi modelli (penso ai sistemi ad agenti o alle architetture ibride che integrano memoria a lungo termine vettoriale o logica simbolica) punta proprio a superare questo limite strutturale del Transformer puro. Se l'obiettivo industriale è l'affidabilità, la direzione sembra obbligata: passare dalla pura statistica alla gestione strutturata della conoscenza persistente. Altrimenti l'AI rimarrà un eterno, formidabile generatore di risposte al presente.
Non deve convincermi. Ma io guardo la struttura dei modelli di oggi e quel che si fa facendo. Per questo (come altri) sono critico.
La domanda finale (ne vale la pena?) ha una risposta sempre più incerta. Il costo dei token sta aumentando, non diminuendo come proiettato, tanti strumenti con licenza a "seat" ora stanno passando a "consumo". GitHub Copilot dal 1 Giugno implementa questo switch e la stima iniziale per un team come il mio é un cost increase del 100%, sento altri CTO e per i loro team rappresenta un uplift del 200-300-400% di increase. A un certo punto si arriva a livelli dove "ne vale la pena" solo se lo si fa per amore come nel caso di Henry.
Sempre lucido ed esemplificativo. In modo non continuativo ma dopo essermi arrabbiato più volte in chat anche io mi faccio fare dei doc dopo una sessione importante. Il problema è che ho una tonnellata di file e non ho il tempo di rileggerli.