Mistral AI ha presentato Leanstral 1.5, un nuovo modello open source pensato per la dimostrazione matematica formale con il linguaggio Lean 4. Il focus è chiaro: alzare il livello nelle prove automatiche e farlo con costi d’uso molto più bassi rispetto ad alcune alternative già note nel settore.
Il modello adotta una struttura da 119 miliardi di parametri, con 6 miliardi di parametri attivi, ed è distribuito con licenza Apache-2.0. Oltre ai risultati nei benchmark, il dato che colpisce di più è l’efficienza economica: su PutnamBench il costo medio di risoluzione indicato è di 4 dollari.
Leanstral 1.5 punta sulle prove formali in Lean 4
Leanstral 1.5 è stato sviluppato per lavorare con Lean 4, uno dei linguaggi di riferimento per la formalizzazione matematica e la verifica di dimostrazioni. La scelta di un modello specializzato, invece di un sistema generalista, rende la proposta particolarmente interessante per chi lavora su ricerca, verifica del codice e strumenti automatici di proof engineering.
Mistral AI lo propone come modello open source con licenza Apache-2.0, un dettaglio importante perché può facilitare integrazione, sperimentazione e adozione anche in contesti professionali e accademici. La configurazione dichiarata è da 119 miliardi di parametri complessivi, con 6 miliardi di parametri attivi.
- Progettato specificamente per il linguaggio di dimostrazione formale Lean 4.
- Architettura con 119 miliardi di parametri e 6 miliardi di parametri attivi.
- Distribuzione open source con licenza Apache-2.0.
I benchmark mostrano risultati molto forti su miniF2F PutnamBench e FATE
Sul fronte delle prestazioni, Leanstral 1.5 ha raggiunto il 100% di completamento sia nel validation set sia nel test set del benchmark miniF2F. Nel dataset PutnamBench, composto da 672 problemi Lean 4 di matematica competitiva, il modello ne risolve 587.
Anche i test della serie FATE, dedicati all’algebra astratta, mostrano risultati di alto livello: 87% su FATE-H, descritto come livello master, e 34% su FATE-X, livello dottorato. In entrambi i casi il risultato viene indicato come il migliore tra quelli confrontati.
- miniF2F: 100% di completamento su validation set e test set.
- PutnamBench: 587 problemi risolti su 672 in formato Lean 4.
- FATE-H: 87% di successo.
- FATE-X: 34% di successo, con risultato indicato come migliore prestazione.
Il vantaggio economico è uno degli elementi più interessanti del lancio
Il confronto sui costi è uno degli aspetti più concreti della novità. Su PutnamBench, il costo medio di risoluzione indicato per Leanstral 1.5 è di 4 dollari, ciòè circa 4 euro, mentre Seed-Prover 1.5 supera i 300 dollari, circa 280 euro. Aleph Prover si colloca invece tra 54 e 68 dollari, ciòè circa 50-63 euro.
In pratica, Mistral AI prova a posizionare Leanstral 1.5 non solo come modello capace, ma come opzione molto più sostenibile da usare su workload ripetuti. Per chi valuta strumenti di formal verification, questo rapporto tra qualità e costo può pesare almeno quanto il punteggio nei benchmark.
- Costo medio su PutnamBench per Leanstral 1.5: 4 dollari circa 4 euro.
- Seed-Prover 1.5: oltre 300 dollari, circa 280 euro.
- Aleph Prover: da 54 a 68 dollari, circa 50-63 euro.
Nei test pratici il modello ha anche individuato difetti reali nel codice
Oltre ai benchmark accademici, Leanstral 1.5 è stato provato anche in un contesto più vicino all’uso reale. Su 57 codebase testate, il modello ha segnalato 47 proprietà non conformi e 11 di queste hanno portato a difetti effettivi.
Tra i problemi identificati, 5 non risultavano ancora segnalati su GitHub. È un dettaglio utile perché mostra come un modello nato per le prove formali possa avere ricadute concrete anche nella verifica del software e nell’analisi di bug non ancora emersi nei flussi standard.
- Test effettuati su 57 codebase.
- Segnalate 47 proprietà non conformi.
- Individuati 11 difetti reali.
- Tra questi, 5 problemi non erano ancora stati riportati su GitHub.
