Mitä kaikkea on tekoäly ?

Simplex
Reactions:
Viestit: 112
Liittynyt: 12 Joulu 2022, 09:49

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Simplex »

Kokeilin vielä huvikseni kuinka pienehkö 8GB kielimalli selviää haastavammasta trigonometrisenyhtälön ratkaisemisesta.

Annoin kielimallille tehtäväksi ratkaista yhtälön x = sin(x) - cos(x).

Koodi: Valitse kaikki

$ ollama run marco-o1\:7b-q8_0
>>> /set parameter num_ctx 8192
Set parameter 'num_ctx' to '8192'
>>> /set parameter temperature 0.1
Set parameter 'temperature' to '0.1'
>>> Please solve x in the following equation: x = sin(x) - cos(x).

Kielimalli ei onnistunut ratkaisemaan yhtälöä symbolisesti. Tämän jälkeen kielimalli yritti ratkaista yhtälöä numeerisesti käyttäen Newton-Raphson metodia, mutta se ei onnistunut löytämään negatiivista juurta. Lopuksi pyysin kielimallia generoimaan Python-koodin yhtälön ratkasemiseksi. Generoitu koodi oli lähes oikein, mutta kielimalli oli laskenut funktion derivaatan hieman väärin (merkkivirhe), ja juuren yritelmän alkuarvo 0.0 ei tuottanut ratkaisua joka olisi konvergoitunut oikeaan arvoon -1.2587281774927077.

Kokeilin vielä toisella 7GB kielimallilla, mikä antoikin oikean numeerisen ratkaisun:

Koodi: Valitse kaikki

$ ollama run mathstral\:7b-v0.1-q8_0
>>> /set parameter temperature 0.1
Set parameter 'temperature' to '0.1'
>>> /set parameter num_ctx 8192
Set parameter 'num_ctx' to '8192'
>>> Please create a Python program to solve x in the following equation using Newton-Raphson method: x = sin(x) - cos(x).
Sure, here is a simple Python program that uses the Newton-Raphson method to solve for x in the equation x = sin(x) - cos(x):

```python
import math

def f(x):
return math.sin(x) - math.cos(x) - x

def df(x):
return math.cos(x) + math.sin(x) - 1

def newton_raphson(f, df, initial_guess, tolerance=0.0001, max_iterations=1000):
x = initial_guess
for i in range(max_iterations):
if abs(f(x)) < tolerance:
return x
x -= f(x) / df(x)
raise ValueError("The method did not converge.")

initial_guess = 0.5 # You can change this to any initial guess you want
solution = newton_raphson(f, df, initial_guess)
print("Solution: ", solution)
```

This program defines a function `f(x)` for the equation x = sin(x) - cos(x), and another function `df(x)` for its derivative.
The Newton-Raphson method is then implemented in the `newton_raphson` function, which takes these two functions as arguments
along with an initial guess and optional parameters for tolerance and maximum iterations.

The program then calls this function with an initial guess of 0.5 (you can change this to any value you want), and prints out
the solution.
Avatar
AVH
Reactions:
Viestit: 749
Liittynyt: 16 Marras 2024, 11:38

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja AVH »

Kyllä se on parempi tupakkiaskin kanteen laskea, mutta moneen muuhun hommaan tuo on soiva peli.
Zeneka
Reactions:
Viestit: 604
Liittynyt: 01 Elo 2023, 07:57

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Zeneka »

Simplex kirjoitti: 17 Joulu 2024, 21:03
Tässä omassa läppärissäni on AMD Ryzen 9 7945HX prosessori, 32GB RAM, ja NVIDIA GeForce RTX 4070 Laptop GPU VRAM 8GB GDDR6.

Kielimallien koot ovat tyypillisesti muutamista gigatavuista muutamiin kymmeniin gigatavuihin. Kielimallia yritetään ajaa näytönohjaimen VRAM:ssa mahdollisuuksien mukaan koska tällöin pystytään hyödyntämään näytönohjaimen suurta laskentatehoa. Esim RTX 4070:ssä on käytettävissä 4608 laskentaydintä. Mikäli kielimalli ei mahdu kokonaan näytönohjaimen VRAM-muistiin, niin silloin näytönohjaimen VRAM-muistiin ladataan kielimallista niin paljon kuin vain mahdollista, ja loput lasketaan itse prosessorissa. Mallin pyörittäminen pelkässä prosessorissa on hyvin hidasta ja tehotonta. Poikkeuksena tähän on Applen M2, M3 ja M4 Pro prossuilla varustetut tehotyöasemat jotka pystyvät ajamaan suuriakin kielimalleja hyvin tehokkaasti.

Koska läppärini näytönohjaimessa on vain 8GB VRAM-muistia, niin pyrin pääsääntöisesti valitsemaan kielimallista sellaisen version minkä koko on enintään 8GB.

Ideaalinen ja kohtuuhintainen tietokone kotikäyttöön kielimallien ajamiseen olisi sellainen mikä käyttäisi yhtä tai useampaa NVIDIAn RTX 3090 tai RTX 4090 näytönohjainta. Em. näytönohjaimissa on VRAM-muistia 24GB, jolloin kahdella näytönohjaimella saadaan käyttöön VRAM-muistia 48GB. Tällöin kahdella näytönohjaimella olisi mahdollista ajaa jopa 70GB kielimalleja Q4-kvantisoinnilla*. Myös vanhempia ja melko edullisia NVIDIA P40-sarjan 24GB VRAM näytönohjaimia voidaan käyttää hieman pienemmällä suorituskyvyllä.

Nykyisin Ollama tukee myös AMD:n uusimpia näytönohjaimia joissa VRAM-muistia on aina 24GB:iin asti.

* Käytännössä Q4-bittitarkkuus on alin käyttökelpoinen kvantisointitaso. Q6-bittitarkkuus vaatii 1.5-kertaisesti enemmän muistia verrattuna Q4-bittitarkkuuteen, ja antaa jonkin parempa tuloksia kuin Q4-bittitarkkuuden malli. Käytännössä Q8-bittitarkkuus on sellainen mitä kannattaa hyödyntää aina kuin vain mahdollista.
Hyvä sitten että hommasin M4 Pron, niin voin testailla itse.

Varmaan johtuu siitä että GPU on M4 piirissä integroituna, että sopii pyörittämään tekoälyä.

Mikä tuon oman settisi benchmark tehokkuus on verrattuna M4 Pro 24GB settiin? Noin karkeasti?
Simplex
Reactions:
Viestit: 112
Liittynyt: 12 Joulu 2022, 09:49

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Simplex »

Zeneka kirjoitti: 18 Joulu 2024, 14:12
Simplex kirjoitti: 17 Joulu 2024, 21:03
Tässä omassa läppärissäni on AMD Ryzen 9 7945HX prosessori, 32GB RAM, ja NVIDIA GeForce RTX 4070 Laptop GPU VRAM 8GB GDDR6.

Kielimallien koot ovat tyypillisesti muutamista gigatavuista muutamiin kymmeniin gigatavuihin. Kielimallia yritetään ajaa näytönohjaimen VRAM:ssa mahdollisuuksien mukaan koska tällöin pystytään hyödyntämään näytönohjaimen suurta laskentatehoa. Esim RTX 4070:ssä on käytettävissä 4608 laskentaydintä. Mikäli kielimalli ei mahdu kokonaan näytönohjaimen VRAM-muistiin, niin silloin näytönohjaimen VRAM-muistiin ladataan kielimallista niin paljon kuin vain mahdollista, ja loput lasketaan itse prosessorissa. Mallin pyörittäminen pelkässä prosessorissa on hyvin hidasta ja tehotonta. Poikkeuksena tähän on Applen M2, M3 ja M4 Pro prossuilla varustetut tehotyöasemat jotka pystyvät ajamaan suuriakin kielimalleja hyvin tehokkaasti.

Koska läppärini näytönohjaimessa on vain 8GB VRAM-muistia, niin pyrin pääsääntöisesti valitsemaan kielimallista sellaisen version minkä koko on enintään 8GB.

Ideaalinen ja kohtuuhintainen tietokone kotikäyttöön kielimallien ajamiseen olisi sellainen mikä käyttäisi yhtä tai useampaa NVIDIAn RTX 3090 tai RTX 4090 näytönohjainta. Em. näytönohjaimissa on VRAM-muistia 24GB, jolloin kahdella näytönohjaimella saadaan käyttöön VRAM-muistia 48GB. Tällöin kahdella näytönohjaimella olisi mahdollista ajaa jopa 70GB kielimalleja Q4-kvantisoinnilla*. Myös vanhempia ja melko edullisia NVIDIA P40-sarjan 24GB VRAM näytönohjaimia voidaan käyttää hieman pienemmällä suorituskyvyllä.

Nykyisin Ollama tukee myös AMD:n uusimpia näytönohjaimia joissa VRAM-muistia on aina 24GB:iin asti.

* Käytännössä Q4-bittitarkkuus on alin käyttökelpoinen kvantisointitaso. Q6-bittitarkkuus vaatii 1.5-kertaisesti enemmän muistia verrattuna Q4-bittitarkkuuteen, ja antaa jonkin parempa tuloksia kuin Q4-bittitarkkuuden malli. Käytännössä Q8-bittitarkkuus on sellainen mitä kannattaa hyödyntää aina kuin vain mahdollista.
Hyvä sitten että hommasin M4 Pron, niin voin testailla itse.

Varmaan johtuu siitä että GPU on M4 piirissä integroituna, että sopii pyörittämään tekoälyä.

Mikä tuon oman settisi benchmark tehokkuus on verrattuna M4 Pro 24GB settiin? Noin karkeasti?
Unohdin mainita alkuperäisessä viestissäni Applen M3 Max ja M4 Max prosessorit, sekä Applen Ultra prosessorit, jotka ovat nopeampia kuin vastaavat M3 Pro ja M4 Pro sarjojen prosessorit.

M4 Pro:n RAM-muistin määrä 24GB ei riitä ajamaan kovinkaan suuria kielimalleja koska käyttöjärjestelmä ja muut ajossa olevat sovellukset vievät siitä osansa. Jos koneeseen saa lisää RAM:ia, niin lisämuistin hankinta saattaa olla järkevää. M4 Pro ei kuitenkaan ole mikään tehoprosessori, joten kovinkaan suuria malleja sillä tuskin viitsii ajella. Tuohon 24GB:iin pitäisi mahtua pyörimään joku 16GB Q8-malli tai 32GB Q4-malli, joten kokeilemalla selviää millaisiin suorituskykyihin pääset koneellasi ja millainen vaikutus mallin koolla on nopeuteen, ja olisiko lisämuistista sitten loppujen lopuksi hyötyä jos nopeus muuttuu sietämättömän hitaaksi.

En osaa sanoa mikä on minun kokoonpanon suorituskyky verrattuna sinun M4 Pro:n suorituskykyyn. Mutta jos arvaan että noin suunnilleen ollaan samalla hehtaarilla silloin kun mallin koko on alle 8GB ja malli mahtuu pääosin näytönohjaimeni 8GB VRAM-muistiin. Isommilla malleilla M4 Pro pitäisi olla aika paljon nopeampi, sillä läppärini CPU:n laskentateho on noin 1/3 mitä näytöonhjaimen laskentateho.
Avatar
Tuulispää
Reactions:
Viestit: 21306
Liittynyt: 30 Marras 2022, 09:24

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Tuulispää »

Tekoäly voi ottaa vallan 10-20% todennäköisyydella.

viewtopic.php?f=10&t=6433
Avatar
xXx
Reactions:
Viestit: 1372
Liittynyt: 11 Joulu 2022, 16:51

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja xXx »

Sehän tietysti riippuu siitä, että minkälaisesta tekoälystä on kyse. Tämä nykyinen AGIn "jahtaus" näytönohjaimilla "optimoitaviin" matriiseihin perustuvalla bullshitAIlla ei kyllä kaapata mitään valtaa, mutta paskaa toki lapataan moniin järjestelmiin urakalla. 10 vuoden päästä vielä siivoillaan tätä sontaa mikä aiheutetaan juuri nyt.

Johan se on Musk nyt vuosikymmenen verran jyskyttänyt AIta Teslan rattiin, mutta ei ole vieläkään, eikä tule.
Zeneka
Reactions:
Viestit: 604
Liittynyt: 01 Elo 2023, 07:57

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Zeneka »

Simplex kirjoitti: 18 Joulu 2024, 15:46
Unohdin mainita alkuperäisessä viestissäni Applen M3 Max ja M4 Max prosessorit, sekä Applen Ultra prosessorit, jotka ovat nopeampia kuin vastaavat M3 Pro ja M4 Pro sarjojen prosessorit.

M4 Pro:n RAM-muistin määrä 24GB ei riitä ajamaan kovinkaan suuria kielimalleja koska käyttöjärjestelmä ja muut ajossa olevat sovellukset vievät siitä osansa. Jos koneeseen saa lisää RAM:ia, niin lisämuistin hankinta saattaa olla järkevää. M4 Pro ei kuitenkaan ole mikään tehoprosessori, joten kovinkaan suuria malleja sillä tuskin viitsii ajella. Tuohon 24GB:iin pitäisi mahtua pyörimään joku 16GB Q8-malli tai 32GB Q4-malli, joten kokeilemalla selviää millaisiin suorituskykyihin pääset koneellasi ja millainen vaikutus mallin koolla on nopeuteen, ja olisiko lisämuistista sitten loppujen lopuksi hyötyä jos nopeus muuttuu sietämättömän hitaaksi.

En osaa sanoa mikä on minun kokoonpanon suorituskyky verrattuna sinun M4 Pro:n suorituskykyyn. Mutta jos arvaan että noin suunnilleen ollaan samalla hehtaarilla silloin kun mallin koko on alle 8GB ja malli mahtuu pääosin näytönohjaimeni 8GB VRAM-muistiin. Isommilla malleilla M4 Pro pitäisi olla aika paljon nopeampi, sillä läppärini CPU:n laskentateho on noin 1/3 mitä näytöonhjaimen laskentateho.
Onko tarkempaa tietoa miten DeepSeek voi toimia niin hyvin, kun kuulemma se toimii 8 bittisellä tarkkuudella vektoreissa vs vaikka ChatGPT toimii 32 bittisellä tarkkuudella?

Miten on mahdollista etteivät suuret tekoälyä tutkivat firmat ole voineet olla tajuamatta tätä?

Vai onko 8 bittisellä tarkkuudella toimivalla mallilla silti joku oleellinen heikkous?

Ja onko DeepSeekin julkaisemat mallin kehityskustannukset todellisia vai kiinalaisittain kaunisteltuja?
Avatar
xXx
Reactions:
Viestit: 1372
Liittynyt: 11 Joulu 2022, 16:51

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja xXx »

Aiemminkin kommentoinut, että tekoäly on maksimissaan yhtä hyvä kuin tekijänsä. Julkisuudessa asian tiimoilta esiintyvät henkilöt ovat melko pösilöjä, ja ilmeisesti palkatut "tekoälyspesialistit" on samaa tasoa. Siellä on tekoälyn ns vanishning gradient ongelma myös henkilöstössä. Altman Muskin ohella ei ole kärryillä. Ilmeisesti keskitytään vain kuvien luontiin siitä näyttelijätyttösestä "omaan käyttöön". Tekoälyammattilaisia on joka paikassa, sen kun meet kysymään random koodarilta, niin hoituu tottakai. "Hoituu".
Sam Altman said startups with only $10 million were 'totally hopeless' competing with OpenAI, DeepSeek's disruption says otherwise
HuuHaata
Reactions:
Viestit: 4967
Liittynyt: 12 Joulu 2022, 09:51

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja HuuHaata »

Tekoälyn osalta huomattiin, että miljardien kielimallit ovat turhia, ja useimpien ihmisten mielestä ihmeellinen suoritus saadaan aikaan jo kolmellakympillä. Kertoo jotain ihmisistä.
Pattinero
Reactions:
Viestit: 8511
Liittynyt: 30 Marras 2022, 06:14

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Pattinero »

Tekoäly on ennen kaikkea tuhon tie, ei mitään muuta.
We can't solve problems by using the same kind of thinking we used when we created them.
Albert Einstein
Avatar
xXx
Reactions:
Viestit: 1372
Liittynyt: 11 Joulu 2022, 16:51

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja xXx »

Tuulispää kirjoitti: 17 Joulu 2024, 08:58
ID10T kirjoitti: 17 Joulu 2024, 08:33
Tuulispää kirjoitti: 16 Joulu 2024, 17:21
KultaKikkare kirjoitti: 16 Joulu 2024, 16:48 "Artificial intelligence is the simulation of human intelligence processes by machines, especially computer systems."


"Artificial intelligence is a field of science concerned with building computers and machines that can reason, learn, and act in such a way that would normally require human intelligence or that involves data whose scale exceeds what humans can analyze."


"Artificial intelligence (AI) is a set of technologies that enable computers to perform a variety of advanced functions, including the ability to see, understand and translate spoken and written language, analyze data, make recommendations, and more."

Tuulispää kirjoitti: 16 Joulu 2024, 13:12 Onko Samsung Galaxyn Bixby sellainen ?
Bixbyssä käytetään tekoälyä ainakin tekstin ja puheen ymmärtämisessä, ja siinä kun oppii käyttäjän tottumuksia ja muovautuu juuri kyseiselle käyttäjälle sopivammaksi.
Hinton sanoo että AI voi kaapata vallan. :x
Joku on katsonut Terminator -elokuvia liikaa :lol: :lol: :lol:

Itse olen kuitenkin sitä mieltä, että mitään älykkäitä kodinkoneita ei meidän huusholliin hankita. Mitä iloa siitä on, että voin lukea jääkaapin ovesta uutiset, jos vastaavasti uhkana on se, että joku sammuttaa jääkaapin etänä? Tai joku käynnistää älyuunin etänä ja jättää sen päälle koko päiväksi?
AIn keksijä sanoo.
AI:n keksijä on tyhmä, tai ainakaan fiksu ei ole, kun keksii kaikenmaailman tarinoita. AI:t on tyhmiä kuin kumisaappaat, eikä ne siitä fiksummiksi muutu. 200 miljardin näytönohjaimilla ja 50 miljardin sähkölaskulla ollaan lähes nollilla. Eikä se Tesla aja vieläkään itse. Robotakseja ei tullutkaan. Jne.

https://techcrunch.com/2025/03/24/a-new ... ai-models/
“Reasoning” AI models like OpenAI’s o1-pro and DeepSeek’s R1 score between 1% and 1.3% on ARC-AGI-2, according to the Arc Prize leaderboard. Powerful non-reasoning models, including GPT-4.5, Claude 3.7 Sonnet, and Gemini 2.0 Flash, score around 1%.

The ARC-AGI tests consist of puzzle-like problems where an AI has to identify visual patterns from a collection of different-colored squares and generate the correct “answer” grid. The problems were designed to force an AI to adapt to new problems it hasn’t seen before.

The Arc Prize Foundation had over 400 people take ARC-AGI-2 to establish a human baseline. On average, “panels” of these people got 60% of the test’s questions right — much better than any of the models’ scores.
Pattinero
Reactions:
Viestit: 8511
Liittynyt: 30 Marras 2022, 06:14

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Pattinero »

Viime aikoina on tullut kyseltyä tekoääliöltä kaikenlaista. Ja joka perkeleen vastaus on täytynyt varmuuden vuoksi tarkistaa muilla konstein. Ei ole terve keksintö se.
We can't solve problems by using the same kind of thinking we used when we created them.
Albert Einstein
Avatar
Tuulispää
Reactions:
Viestit: 21306
Liittynyt: 30 Marras 2022, 09:24

Re: Mitä kaikkea on tekoäly ?

Viesti Kirjoittaja Tuulispää »

Pattinero kirjoitti: 26 Maalis 2025, 08:17 Viime aikoina on tullut kyseltyä tekoääliöltä kaikenlaista. Ja joka perkeleen vastaus on täytynyt varmuuden vuoksi tarkistaa muilla konstein. Ei ole terve keksintö se.
Se on totta.
Suosittele ketjua Vastaa Viestiin