Tota noin, pyyntönä oli siis:
Ei kuohittu henkilökohtainen A.I. joka pyörii vanhemmassa (noin 1000€ maksavassa) pelikoneessa, pari vuotta vanhalla näytönohjaimella.
Tämä toimii, kokeiltu.
Mistral Nemo LLM, Llaman päällä joka on asennettu WSL (Windows subsystem for Linux, Ubuntu 24.04) ympäristöön. Tähän tarvitaan siis Windows 11 Pro versio. Loput on ladattavissa suoraan Internetistä ilmaiseksi yhdelle koneelle ajattavaksi. Pikkurahalla siitä saa ihan kunnon version joka toimii useammassa koneessa tai palvelimella. Chat ruutuna kannattaa käyttää näitä kehittyneempiä Note sovelluksia joissa on LLM pull ominaisuus valmiina.
Mistralin LeChat taitanee olla lievemmin kuohittu kuin jenkkiversionsa, mutta Mistral Nemo viime syksyn 2024 versio on ainakin ihan seksuaalisesti toimiva.
Opetusdatana itse käytin ihan FetLifea ja paria ilmaista novellissivustoa. A.I. kannattaa opetuksen jälkeen käynnistää uudelleen joka päivä niin hmei hallusinoi ainakaan mitenkään huomattavasti. A.I.n kanssa ei kannata höpöttää sit muuta tai se kaikki muu valuu sen tuotoksiin.
Tämän pystynee noilla ohjeilla toteuttamaan ihan perustason käyttäjä joka osaa lukea ohjeet. Riviäkään koodia tuo ei tarvitse.
Mutta jos on ihan pakko, eikä haluttu Note sovellus osaa "Pull" toimintoa suoraan niin Py-ympäristö asentaen ja "Pull Mistral Nemo" riittänee.