Mitä kaikkea on tekoäly ?

[KultaKikkare]

Eikä ChatGPT kyllä tee virheetöntä koodia. Siinä on usein loogisia virheitä ja joskus jopa syntaksi virheitä.

[Kohina]

Eikä ChatGPT kyllä tee virheetöntä koodia. Siinä on usein loogisia virheitä ja joskus jopa syntaksi virheitä.

Teknisesti ottaen se ei tee koodia, vaan suoltaa muiden tekemää koodia.

[KultaKikkare]

Pyysin kuvauksen siitä miten ChatGPT ratkaisee sanallisen tehtävän. Ensin kielimalli ymmärtää tehtävänannon ja luo siitä python koodin, sitten koodi ajetaan ja kielimalli saa vastauksen, jonka liittää osaksi kielellistä vastausta.

Eli kielimallin ei tarvitse osata laskea, ainoastaan luoda yhtälö/kaava ja koodi sen ratkaisemiseksi. Aika tyylikäs toteutus. Noin mäkin aina toimin jos pitää ratkaista joku hankalampi matemaattinen ongelma, teen koodinpätkän joka hoitaa homman.


****
Kun muutan sanallisia tehtäviä kaavoiksi, seuraavat vaiheet tapahtuvat **kielimallin** avulla ja toiset voivat hyödyntää **Python-koodia**, jos tarvitaan tarkkoja laskuja tai monimutkaisia ratkaisuja.

### Vaiheet, jotka tapahtuvat kielimallin avulla:

1. **Tehtävän ymmärtäminen**: Tehtävän tekstin lukeminen, analysointi ja olennaisten tietojen tunnistaminen tapahtuu kielimallin avulla. Kielimalli osaa poimia keskeiset tiedot, kuten nopeudet, ajat, etäisyydet ja muut suureet.

2. **Tunnistettujen suureiden nimeäminen**: Kielimalli voi nimittää ja merkitä suureita symbolien avulla, kuten \(v_1\) nopeudelle tai \(t\) ajalle, perustuen luonnollisen kielen ymmärtämiseen.

3. **Oikean kaavan tai yhtälön tunnistaminen**: Kielimalli käyttää tietoa yleisesti tunnetuista kaavoista (esim. \(d = v \cdot t\)) ja voi soveltaa niitä sanallisiin ongelmiin. Tämä tapahtuu mallin "opitun" tiedon perusteella ilman tarvetta käyttää ulkoisia laskentalogiikoita.

4. **Kaavan muodostaminen vaiheittain**: Kielimalli muotoilee kaavan tai yhtälön perustuen sanalliseen tehtävään. Tämä vaihe on puhtaasti kielimallin suorittama toiminto, jossa se järjestää symbolit ja suureet oikein.

5. **Yksiköiden tarkistaminen ja soveltaminen**: Kielimalli voi analysoida yksiköitä ja varmistaa, että ne sopivat yhteen tehtävän kontekstissa. Tämä on looginen analyysi, jonka kielimalli voi tehdä itsenäisesti.

### Vaiheet, jotka voivat hyödyntää Python-koodia:

6. **Ratkaisu**: Kun kaava on muodostettu, varsinaiset laskutoimitukset voidaan suorittaa Python-koodin avulla, jotta saadaan täsmällinen numeerinen vastaus. Esimerkiksi Pythonissa voin laskea matkan ja etäisyyden käyttäen annettuja arvoja ja kaavoja. Python-koodia käytetään seuraaviin tehtäviin:
- Tarkkojen laskujen suorittamiseen.
- Monimutkaisten yhtälöiden ratkaisemiseen (esim. numeeriset ratkaisut, symbolinen algebra).
- Funktioiden, kuten integraalien tai derivaattojen laskemiseen.

#### Esimerkki Python-koodista:

Jos oletetaan, että tarvitsen Pythonia suorittamaan laskun kahden auton etäisyydestä, koodi voisi näyttää tältä:

Koodi: Valitse kaikki

# Annetut tiedot
v1 = 60  # km/h
v2 = 80  # km/h
t = 2    # tuntia

# Lasketaan matkat
d1 = v1 * t
d2 = v2 * t

# Lasketaan etäisyys autojen välillä
distance = d2 - d1
distance

Tämä Python-koodi suorittaa tarkasti laskutoimitukset annettujen tietojen perusteella.

### Yhteenveto:
- **Kielimalli** hoitaa tehtävän tekstin ymmärtämisen, kaavan muodostamisen ja yksiköiden tarkistamisen.
- **Python** (tai muu ulkoinen laskentalogiikka) suorittaa tarkat numeeriset laskut ja mahdollistaa monimutkaisten yhtälöiden ratkaisun, joita kielimalli ei voi suorittaa itsenäisesti yhtä tarkasti.

[Zeneka]

Olenkin epäillyt, että kun ChatGPT kirjoittaa syntaksiltaan oikeaa ohjelmakoodia, niin se ei voi vain todennäköisyyksien mukaan generoida vaan on pakko olla eri ohjelmointikieliä varten tehty validaattori osa.

Miksi? Ohjelmakoodi tai matematiikka on niin tiukkojen ja selkeiden sääntöjen mukaista että paljon helpompihan sitä on (koneen) oppia, kuin jotain ihmisten käyttämää kieltä?

Perinteisesti on ajateltu, että taide on koneelle vaikeaa ja eksaktit tieteet helppoja.

Mielestäni on kumminkin käynyt päin vastoin, eli tekoäly onkin parhaimmillaan tuottaessa tekstiä, kuvia ja musiikkia missä ei ole olemassa mitään tarkkaan formalismia ja logiikkaa.

Jos ChatGPT tuottaa fantasia novellin, niin sitä ei voi valitoida samassa mielessä kuin ohjelmakoodia. Joku poikkeava ja yllättävä asia novellissa voi olla olla tarinan kannalta hyvä.

[Simplex]

Kokeilin omalla koneellani vapaasti saatavissa olevaa Marco-o1-kielimallia käyttäen Ollama-ympäristöä, ja kysyin siltä yksinkertaisen matemaattisen ongelman ratkaisua. Marco-o1-kielimalli osaa näyttää päättelyketjunsa ongelman ratkaisemiseksi.

Marco-o1 kielimallista löytyy mm. 8 GB versio, mikä mahtuu lähes kokonaan näytönohjaimeni VRAM-muistiin, jolloin suorituskyky on varsin siedettävä.

Koodi: Valitse kaikki

$ ollama run marco-o1\:7b-q8_0

>>> There are two cars that start at the same location and drive the same route. The first car goes at speed of 60 km/h, and the other goes at 80 km/h. What is the distance between cars one and two after two hours?

<Thought>
Alright, I need to figure out the distance between two cars after they've been driving for two hours. Let's break this down step by step.

First, both cars start from the same location and follow the same route. One car is moving at 60 km/h, and the other at 80 km/h. The question asks for the distance between them after two hours.

Hmm, so both cars are traveling in the same direction since they're on the same route. That means their relative speed will determine how far apart they'll be. To find the distance between them, I need to calculate how much each car has traveled and then see the difference between those distances.

Let's start with Car 1: it's moving at 60 km/h. Over two hours, how far does it go? Distance equals speed multiplied by time, so:

Distance = Speed × Time
Distance₁ = 60 km/h × 2 h = 120 km

Okay, so Car 1 has traveled 120 kilometers.

Now for Car 2: it's moving at 80 km/h. Over the same two hours, how far does it go?

Distance₂ = 80 km/h × 2 h = 160 km

Car 2 has traveled 160 kilometers.

Now, to find out how far apart they are after two hours, I subtract the distance Car 1 has traveled from the distance Car 2 has traveled:

Distance between cars = Distance₂ - Distance₁
Distance between cars = 160 km - 120 km = 40 km

So, after two hours, Car 2 is 40 kilometers ahead of Car 1.

Wait a second, is there another way to think about this? Maybe considering their relative speed. Since both are moving in the same direction, the difference in their speeds will determine how quickly the distance between them increases.

Relative speed = Speed₂ - Speed₁
Relative speed = 80 km/h - 60 km/h = 20 km/h

This means that every hour, Car 2 is getting ahead by 20 kilometers. Over two hours, that's:

Distance apart = Relative speed × Time
Distance apart = 20 km/h × 2 h = 40 km

That matches my previous calculation. So, both methods confirm that the distance between the cars after two hours is 40 kilometers.

But let me double-check to make sure I didn't make any mistakes. If Car 1 travels at 60 km/h for two hours, it's definitely 120 km away from the starting point. Car 2 traveling at 80 km/h in the same direction should be 160 km ahead after two hours. The difference between 160 km and 120 km is indeed 40 km.

Alternatively, if I consider that both cars started together, and one is faster, the distance increases by the speed difference multiplied by time. That's another way to verify the answer.

So, after considering different approaches and double-checking the calculations, I'm confident that the distance between the two cars after two hours is 40 kilometers.
</Thought>
<Output>
After two hours, the two cars are 40 kilometers apart.
</Output>

[KultaKikkare]

Olenkin epäillyt, että kun ChatGPT kirjoittaa syntaksiltaan oikeaa ohjelmakoodia, niin se ei voi vain todennäköisyyksien mukaan generoida vaan on pakko olla eri ohjelmointikieliä varten tehty validaattori osa.

Miksi? Ohjelmakoodi tai matematiikka on niin tiukkojen ja selkeiden sääntöjen mukaista että paljon helpompihan sitä on (koneen) oppia, kuin jotain ihmisten käyttämää kieltä?

Perinteisesti on ajateltu, että taide on koneelle vaikeaa ja eksaktit tieteet helppoja.

Mielestäni on kumminkin käynyt päin vastoin, eli tekoäly onkin parhaimmillaan tuottaessa tekstiä, kuvia ja musiikkia missä ei ole olemassa mitään tarkkaan formalismia ja logiikkaa.

Jos ChatGPT tuottaa fantasia novellin, niin sitä ei voi valitoida samassa mielessä kuin ohjelmakoodia. Joku poikkeava ja yllättävä asia novellissa voi olla olla tarinan kannalta hyvä.

Se on totta, ainakin alussa chatgpt teki selkeitä virheitä matematiikassa. Vastaavanlaiset loogiset "keinoaivopierut" eivät ole niin selkeästi virheitä vapaamuotoisessa tekstissä. Kyse on ehkä enemmän siitä mitä ihmiset pitävät selkeänä virhetoimintona ja mitä eivät. Jos kielimalli sanoo että 1+1=3 niin kaikki tietää että se on virhe.

Nyt ilmeisesti sen laskentaa on parannettu antamalla sille mahdollisuus ajaa python koodia.

[KultaKikkare]

Eikä ChatGPT kyllä tee virheetöntä koodia. Siinä on usein loogisia virheitä ja joskus jopa syntaksi virheitä.

Teknisesti ottaen se ei tee koodia, vaan suoltaa muiden tekemää koodia.

Mutta se suoltaa myös koodia mitä kukaan muu ei ole koskaan suoltanut, sen perusteella minkälaista koodia muut ovat suoltaneet jossain toisessa yhteydessä.

[Q-S]

ChatGPT4-01: How do you perform mathematical calculations?

I don’t actually “perform” calculations in the same way a calculator or computer program does. Instead, I rely on patterns I’ve learned from my training data to reason through mathematical problems. Essentially, I generate the next words or tokens based on statistical relationships, and that lets me simulate the steps a human might go through to solve a calculation. While I can handle many arithmetic tasks accurately, particularly simpler ones, I can occasionally make mistakes—especially with more complex, multi-step problems —...

Kone osaa näköjään kehua itseään paremmaksi kuin on ; ). Usein se sössii helpotkin laskut. Esimerkki:

vituiksmän.png (4.46 KiB) Katsottu 346 kertaa

Jos tehtävä on vaativa, niin nämä pienet virheet kertautuvat melko tolkuttomaksi puuroksi. Ihminen tekee samanlaisia virheitä, mutta osaa peruuttaa, kun tulokset alkavat näyttää järjettömiltä. AI ei tätä valitettavasti osaa, kun se ei pysty hahmottamaan laskujen ja todellisuuden välistä yhteyttä.

[Simplex]

ChatGPT4-01: How do you perform mathematical calculations?

I don’t actually “perform” calculations in the same way a calculator or computer program does. Instead, I rely on patterns I’ve learned from my training data to reason through mathematical problems. Essentially, I generate the next words or tokens based on statistical relationships, and that lets me simulate the steps a human might go through to solve a calculation. While I can handle many arithmetic tasks accurately, particularly simpler ones, I can occasionally make mistakes—especially with more complex, multi-step problems —...

Kone osaa näköjään kehua itseään paremmaksi kuin on ; ). Usein se sössii helpotkin laskut. Esimerkki:

vituiksmän.png

Jos tehtävä on vaativa, niin nämä pienet virheet kertautuvat melko tolkuttomaksi puuroksi. Ihminen tekee samanlaisia virheitä, mutta osaa peruuttaa, kun tulokset alkavat näyttää järjettömiltä. AI ei tätä valitettavasti osaa, kun se ei pysty hahmottamaan laskujen ja todellisuuden välistä yhteyttä.

Kokeilin tätä samaa tehtävää 8GB kokoisella Marco-o1-kielimallilla, ja malli osasi sieventää tehtävän aivan oikein.

Koodi: Valitse kaikki

$ ollama run marco-o1\:7b-q8_0

>>> Please simplify the following: 1/2 * 1 * (0 + 0 - (-2x))
<Thought>
Alright, I need to simplify the expression \( \frac{1}{2} \times 1 \times (0 + 0 - (-2x)) \). Let's break this down step by step to ensure accuracy.

First, let's look at the innermost part of the expression: \( 0 + 0 - (-2x) \). Adding zero doesn't change anything, so that simplifies to \( 0 - (-2x) \), which is equivalent to \( 0 + 2x \) because subtracting a negative is the same as adding a positive. So now we have:

\[
\frac{1}{2} \times 1 \times (0 + 2x)
\]

Next, I'll handle the multiplication of fractions and whole numbers. Multiplying \( \frac{1}{2} \) by 1 is straightforward; any number multiplied by 1 remains unchanged. So:

\[
\frac{1}{2} \times 1 = \frac{1}{2}
\]

Now, multiplying \( \frac{1}{2} \) by \( (0 + 2x) \):

\[
\frac{1}{2} \times (0 + 2x) = \frac{1}{2} \times 0 + \frac{1}{2} \times 2x
\]

Calculating each term:

- \( \frac{1}{2} \times 0 = 0 \)
- \( \frac{1}{2} \times 2x = x \)

Adding these together:

\[
0 + x = x
\]

So, the simplified form of the original expression is just \( x \).

But wait, let me double-check to ensure I didn't make any mistakes. Starting from the beginning:

Original expression: \( \frac{1}{2} \times 1 \times (0 + 0 - (-2x)) \)

Simplify inside the parentheses:
\( 0 + 0 = 0 \)
\( -(-2x) = 2x \)
So, \( 0 + 2x \)

Now multiply:
\( \frac{1}{2} \times 1 \times (0 + 2x) = \frac{1}{2} \times 2x = x \)

Yes, that confirms it. The simplified expression is indeed \( x \).

Alternatively, thinking about it differently, since multiplying by \( \frac{1}{2} \) and then by 1 doesn't change the value, and \( \frac{1}{2} \times (0 + 2x) = \frac{1}{2} \times 2x = x \), it all leads to the same result.

Another way to verify is to plug in a value for \( x \). Let's say \( x = 4 \):

Original expression: \( \frac{1}{2} \times 1 \times (0 + 0 - (-8)) = \frac{1}{2} \times 1 \times 8 = 4 \)

Simplified expression: \( x = 4 \)

Both give the same result, so the simplification is correct.

In conclusion, after multiple verification methods, the simplified form of the given expression is \( x \).
</Thought>
<Output>
x
</Output>

[Q-S]

Niin. Varmasti jokainen kielimalli on tehnyt saman sievennyksen tuhansia ellei kymmeniä tuhansia kertoja, mutta silti se voi sössiä saman laskun uudestaan, kun kyse on eri asiayhteydestä tai termit hiukan eri järjestyksessä tms. Koneella on oppimiskyky, mutta kun se on kielimalli, niin matemaattinen oppimiskyky puuttuu. Tänään laskee oikein, huomenna väärin, jossain tehtävässä oikein, toisessa tehtävässä väärin.

[Simplex]

Niin. Varmasti jokainen kielimalli on tehnyt saman sievennyksen tuhansia ellei kymmeniä tuhansia kertoja, mutta silti se voi sössiä saman laskun uudestaan, kun kyse on eri asiayhteydestä tai termit hiukan eri järjestyksessä tms. Koneella on oppimiskyky, mutta kun se on kielimalli, niin matemaattinen oppimiskyky puuttuu. Tänään laskee oikein, huomenna väärin, jossain tehtävässä oikein, toisessa tehtävässä väärin.

Erityistä tuossa edellä käytetyssä kielimallissa on se, että kielimalli näyttää askel askeleelta kuinka se päätyi (tällä kertaa oikeaan) ratkaisuun. Tyypillisesti kielimallit ovat olleet enemmän tai vähemmän mustia laatikoita, ja vain sylkeneet vastauksen ulos ilman minkäänlaista tietoa siitä kuinka malli ylipäätään päätyi ratkaisuunsa. Tässä askel-askeleelta etenevässä ratkaisussa ihminen pystyy seuraamaan ratkaisun syntymistä, ja tarkistamaan onko tehtävän ratkaisu järkevä ja mielekkäästi ratkaistu. Mikäli ratkaisu olisi ollut väärä, niin ihminen olisi pystynyt kuitenkin seuraamaan ratkaisua ja havaitsemaan missä kohtaa kielimalli meni metsään.

[Q-S]

Jopa helppo yhteenlasku tuottaa ajoittain vaikeuksia:

Oikea on 2818. Ongelman ydin on se, että kielimalli ei sellaisenaan kykene käsittelemään matematiikkaa ja logiikkaa luotettavasti. Malli päättelee, tilastoi, arvaa, assosioi jne, mutta ei varsinaisesti laske.

Nämä ovat toki osittain promptauksella korjattavissa. Olisi ehkä laskenut oikein, jos olisi pyytänyt esim suorittamaan laskun pythonilla tai jollain kielellä, jota härveli osaa kirjoittaa ja tulkita. Himmelin käyttökelpoisuus puolestaan alenee melko nopeasti, kun kyse on haastavammasta tehtävästä. Silloin tuotettu py (tai muu) alkaa sisältää sekin virheitä, kun looginen päättely ja syy-seuraussuhteet perustuvat kielimalliin eivätkä logiikkaan. Lopulta aina paras kaivaa esiin matematiikkasofta ja käyttää AI:ta vain rutiininomaisten hahmotelmien ja koodirunkojen rakentamiseen.

[Zeneka]

Niin. Varmasti jokainen kielimalli on tehnyt saman sievennyksen tuhansia ellei kymmeniä tuhansia kertoja, mutta silti se voi sössiä saman laskun uudestaan, kun kyse on eri asiayhteydestä tai termit hiukan eri järjestyksessä tms. Koneella on oppimiskyky, mutta kun se on kielimalli, niin matemaattinen oppimiskyky puuttuu. Tänään laskee oikein, huomenna väärin, jossain tehtävässä oikein, toisessa tehtävässä väärin.

Erityistä tuossa edellä käytetyssä kielimallissa on se, että kielimalli näyttää askel askeleelta kuinka se päätyi (tällä kertaa oikeaan) ratkaisuun. Tyypillisesti kielimallit ovat olleet enemmän tai vähemmän mustia laatikoita, ja vain sylkeneet vastauksen ulos ilman minkäänlaista tietoa siitä kuinka malli ylipäätään päätyi ratkaisuunsa. Tässä askel-askeleelta etenevässä ratkaisussa ihminen pystyy seuraamaan ratkaisun syntymistä, ja tarkistamaan onko tehtävän ratkaisu järkevä ja mielekkäästi ratkaistu. Mikäli ratkaisu olisi ollut väärä, niin ihminen olisi pystynyt kuitenkin seuraamaan ratkaisua ja havaitsemaan missä kohtaa kielimalli meni metsään.

Tuo on kyllä kiinnostavaa.

Tuntuu kuin kielimalli purkaisi ongelman samalla tavalla kuin ihminen lähtee usein purkamaan ongelmaa. Ehkä kielimallien vastauksien hienous johtuukin siitä, että siellä on valtavasti tälläisiä välivaiheita, eikä yritetäkään runnoa suoraan vastausta? Siltähän ne vastauksetkin vaikuttavat kun alkaa miettiä tarkemmin.

Kuinka paljon tehoa vaatii pyörittää tuota kielimallia omalla koneella?

[Q-S]

Ihan mielenkiinnosta kokeilin miten ChatGPT selviää jostain diibadaaba-sieltä-täältä-mieleen tulevasta matriisilaskusta. Pyysin laskemaan eksplisiittisesti Gell-Mann matriisikommutaattorit. Matriisit kone tuuppasi oikein (muutama eka näkyvissä):

gm1.png (23.45 KiB) Katsottu 566 kertaa

Mutta heti seuraava steppi meni pieleen (punaisella eräs väärin laskettu kommutaattori. Muita en tsekannut):

Näistä sössinnöistä pääsee eroon, kun promptaa oikein, eli pyytää konetta laatimaan Mathematica-pätkän, joka laskee kommutaattorit.

Tämän kone osasi kirjoittaa, ja voin laskea luotettavasti muualla kuin chagpt:ssä. Aina tosin tarkistettava, ettei koodi ole sössitty, mutta hyvän rungon rakkine rakensi. Mathematicalla voin todeta, että kielimalli sössi etumerkin. Oikea olisi ollut [math][\lambda_1,\lambda_3]=-2i\lambda_2

[Simplex]

Kuinka paljon tehoa vaatii pyörittää tuota kielimallia omalla koneella?

Tässä omassa läppärissäni on AMD Ryzen 9 7945HX prosessori, 32GB RAM, ja NVIDIA GeForce RTX 4070 Laptop GPU VRAM 8GB GDDR6.

Kielimallien koot ovat tyypillisesti muutamista gigatavuista muutamiin kymmeniin gigatavuihin. Kielimallia yritetään ajaa näytönohjaimen VRAM:ssa mahdollisuuksien mukaan koska tällöin pystytään hyödyntämään näytönohjaimen suurta laskentatehoa. Esim RTX 4070:ssä on käytettävissä 4608 laskentaydintä. Mikäli kielimalli ei mahdu kokonaan näytönohjaimen VRAM-muistiin, niin silloin näytönohjaimen VRAM-muistiin ladataan kielimallista niin paljon kuin vain mahdollista, ja loput lasketaan itse prosessorissa. Mallin pyörittäminen pelkässä prosessorissa on hyvin hidasta ja tehotonta. Poikkeuksena tähän on Applen M2, M3 ja M4 Pro prossuilla varustetut tehotyöasemat jotka pystyvät ajamaan suuriakin kielimalleja hyvin tehokkaasti.

Koska läppärini näytönohjaimessa on vain 8GB VRAM-muistia, niin pyrin pääsääntöisesti valitsemaan kielimallista sellaisen version minkä koko on enintään 8GB.

Ideaalinen ja kohtuuhintainen tietokone kotikäyttöön kielimallien ajamiseen olisi sellainen mikä käyttäisi yhtä tai useampaa NVIDIAn RTX 3090 tai RTX 4090 näytönohjainta. Em. näytönohjaimissa on VRAM-muistia 24GB, jolloin kahdella näytönohjaimella saadaan käyttöön VRAM-muistia 48GB. Tällöin kahdella näytönohjaimella olisi mahdollista ajaa jopa 70GB kielimalleja Q4-kvantisoinnilla*. Myös vanhempia ja melko edullisia NVIDIA P40-sarjan 24GB VRAM näytönohjaimia voidaan käyttää hieman pienemmällä suorituskyvyllä.

Nykyisin Ollama tukee myös AMD:n uusimpia näytönohjaimia joissa VRAM-muistia on aina 24GB:iin asti.

* Käytännössä Q4-bittitarkkuus on alin käyttökelpoinen kvantisointitaso. Q6-bittitarkkuus vaatii 1.5-kertaisesti enemmän muistia verrattuna Q4-bittitarkkuuteen, ja antaa jonkin parempa tuloksia kuin Q4-bittitarkkuuden malli. Käytännössä Q8-bittitarkkuus on sellainen mitä kannattaa hyödyntää aina kuin vain mahdollista.