Čim se Fable 5 ugasio, svi su odjednom progovorili o lokalnim modelima. Pomalo je smiješno, jer lokalni modeli nisu nikakva novost, postoje od početka. Ali ugašeni Fable je svima pokazao nešto neprijatno: ako tvoj posao zavisi od jednog iznajmljenog modela, dovoljna je jedna tuđa odluka da ti sve stane.
Da odmah odgovorim na pitanje iz naslova: da, lokalni modeli su dovoljno dobri za većinu ljudi. Pod „većinom” mislim na operativne zadatke, Excel, obradu dokumenata, sažimanje. Nisu dovoljno pametni da urade baš sve što je Fable mogao, i nemojmo se zavaravati da jesu. Ali kao sloj na koji se uvijek možeš osloniti, neprocjenjivi su.
Struja koju iznajmljuješ i generator koji posjeduješ
Volim ovu sliku. Cloud modeli, ChatGPT, Claude i Gemini, jaki su, ali ih iznajmljuješ, kao što plaćaš struju iz mreže. Nemamo svoju elektranu, zakupljujemo vod. A kad nestane struje, treba ti generator. Lokalni model je upravo taj generator: sloj koji nikad ne pada, koji radi i offline, bez interneta. Ne baca se mreža zato što imaš generator, nego se generator drži za slučaj kad mreža zakaže.
Tri stvarne prednosti su privatnost, nulti granični trošak i to što ti niko ne može isključiti model. Podaci nikad ne napuste tvoju mašinu, što je presudno za medicinu ili finansije. Kad jednom uložiš u hardver, svaka dodatna analiza praktično je besplatna. I niko sa druge strane ne može da povuče prekidač.
Odakle da počneš
Redoslijed je jednostavan. Prvo instaliraš Ollama ili LM Studio, a LM Studio je prijatniji za početnike. Onda biraš model prema svom RAM-u: modeli sa četiri milijarde parametara rade skoro svuda, čak i na telefonu, ali su slabi, dvanaest milijardi je zlatna sredina za šesnaest gigabajta, a za sedamdeset i više treba ti ozbiljna mašina. Što se izbora tiče, Qwen je najbolji svestrani igrač, DeepSeek za istraživanje i kod, Gemma za čisto pisanje, a LLaMA za ekosistem i učenje. I zapamti jedno pravilo: kod lokalnih modela kontekst je skupa valuta, pa drži sesije kratkim i svježim.
Bez iluzija
Da budemo načisto, cloud i dalje vodi. Pametniji je i ima veći kontekst. Ali većini biznisa ne treba „najbolje na svijetu”, nego „dovoljno dobro i uvijek dostupno”. Zato odgovor nije cloud ili lokalno, nego cloud plus lokalno: vrhunski model kao dirigent, lokalni modeli kao izvođači. Pojavljuje se čak i nova ideja, otpornost kao usluga, rezerva za trenutak kad cloud padne. A kad struja nestane, bilo šta je bolje od mraka. Počni da gradiš svoj sloj.
