Blogi 32: Tokenien säästäminen
Tokenien säästämien alkaa nostaa päätään paristakin syystä. Ihmisillä alkaa olla ostettuna tilauksia, ja tokenien varomaton polttaminen tuntuu käytössä olevissa tunneissa. Toinen syy on se, että on kuviteltavissa että tehokkaimpien mallien hinnat ovat ennemmin nousussa kuin laskussa, joten kannattaa opetella hyville tavoille.
Mihin niitä tokeineita sitten palaa? Nostan tässä kaksi mielessä pidettäväksi.
LLM-keskustelu menee sellaisenaan alusta asti takaisin LLM:lle kun aina kun käytät keskusteluvuoron.
Vähän samalla tavalla kuin sähköpostiin vastatetessa vanha keskustelu jää kopioksi mailin loppuun ja viestin pituus kasvaa joka kierroksella. Tämä on ongelmallista siksi että eksponentiaalisesti kasvava viestin pituus vie tokeneita ja syö konteksti-ikkunaasi ja valistuneet lukijat muistavat entuudestaan että konteksti-ikkunan täyttyminen lisää sekoilua. —> Ole tietoinen että keskustelut kannattaa välillä katkoa ja siirtää johtopäätökset ja tulokset uuteen keskusteluun ja jatkaa sielllä. Rikkaat lähtömateriaalit kuten pdf:t ja kuvat sisältävät runsaasti dataa josta ei ole LLM:lle hyötyä.
Jos käytät lähdemateraaleina pdf:iä, niin mahdollisuuksien mukaan konvertoi ne ensin kompaktimpaan muotoon kuten vaikka .md-tyyppisiksi jossain - vaikka toisessa keskustelussa - ennenkuin syötät keskusteluun jossa sisältöä tutkitaan ja tehdään päättelyä. Pdf:t sisältävät fonttitietoa, asettelua yms ja niiden pudottaminen pois pienentää informaation kymmenesosaan tai alle. Md-tiedostot sisältävät vain sen verran ohjaustietoa (väliotsikot, luettelot ja pari muuta juttua) että siitä saadaan ihmissilmää miellyttävää, mutta .md:t vievät tilaa olennaisesti vain tekstitiedoston verran. —> Googleta “pdf to .md conversion”
Kun kaksi ylempää ajatusta summaa, niin lopputulos on oikeastaan se että tee tiedonhaku LLM:ää varten erikseen, talleta tulokset vaikkapa juuri .md-tiedostoiksi, ja syötä nämä .md-tiedostot siihen keskusteluun jossa pyydät LLM:ää tekemään johtopäätöksiä ja olet jo selvästi keskitasoa taitavampi.
