Modelli linguistici nelle mani di chi li usa.

Il sogno è quello di ridare la tecnologia alle persone. Questo progetto è un passo in quella direzione: vuole dimostrare che i modelli linguistici possono girare su hardware proprio, con energia pulita, invece che nei data center delle big tech, così il cloud resta un'opzione, mai una dipendenza.

Oggi delit.cc mette alla prova quell'idea: un solo Mac Studio, in una casa con pannelli solari, che fa girare il miglior modello aperto che può reggere e lo offre ad amici e famiglia, puntando a servizi all'altezza di quelli cloud o migliori. Il Mac Studio è stato scelto per la sua efficienza: fa girare modelli molto grandi consumando molta meno energia di un server con GPU.

In futuro vorrei sfruttare anche vecchi telefoni e PC, riusati e aggiunti al server. Nel lungo periodo, il mio sogno è imparare a trasformare il vecchio hardware di chiunque in servizi suoi, ospitati in casa, senza bisogno di saper programmare né di competenze tecniche, e restandone il proprietario.

• PrivatiChat e richieste sono elaborate su questa macchina; la cifratura dei dati salvati è in arrivo (roadmap). L'obiettivo è un sistema completamente privato per ogni utente.
• Nessun lock-inAPI in qualsiasi formato e modelli aperti: i tuoi strumenti funzionano qui e ovunque.
• GratisNiente abbonamenti, niente costi a token. Solo un servizio gratuito per la mia famiglia e i miei amici.
• Decidono gli utentiGli amici segnalano problemi e votano le funzioni che vorrebbero: le richieste più votate guidano cosa costruisco dopo.
• Casa solareGira in una casa con pannelli solari; presto arriverà un calcolo periodico dell'impatto ecologico.