Milline tööriist on parem? ChatGPT-4 või Google Gemini
Tehisintellekti maailmas on kaks suurkuju esile tõusnud: ChatGPT-4 ning uusim ChatGPT-4o OpenAI’lt ja Gemini Ultra ning Gemini 1.5 Google’lt. Mõlemad pakuvad tipptasemel AI-mudeleid, kuid milline neist on parim? Vaatame lähemalt.
ChatGPT-4 ja GPT-4o
OpenAI ChatGPT-4 on tuntud oma tekstimõistmisvõime ja loomuliku keele genereerimise poolest. GPT-4o (“o” tähistab “omni”) on uus mudel, mis suudab töödelda teksti, heli, pilte ja videot reaalajas. GPT-4o on saavutanud 88.7% täpsuse (MMLU) Ulatusliku Mitmeülesandelise Keelelise Mõistmise testis 0-shot CoT (Joonis 1.) ja 87.2% täpsuse 5-shot no-CoT MMLU testis. See on kiirem ja 50% odavam kui GPT-4 Turbo ning pakub paremaid tulemusi mitmekeelses tekstimõistmises ja audio-mõistmises.
Joonis 1. Tekstimõistmise tulemused
Allikas: Openai.com
GPT-4o lõi kõnetõlke valdkonnas uue tipptaseme ja ületab sellega Whisper-v3 MLS-i benchmarki (Joonis 2). See tähendab, et GPT-4o suudab mõista heli ja videot, sealhulgas tuvastada emotsioone sinu hääles, ning võimaldab pidada reageerivaid vestlusi, kus kasutajad saavad tema kõnet katkestada ja muuta. Siinhulgas Google Gemini näitab pea samaväärset tulemust testis.
Joonis 2. Helitõlke jõudlus (kõrgem on parem)
Allikas: Openai.com
Google Gemini
Google Gemini on Google DeepMind’i uusim ja võimekaim AI mudel. Gemini Ultra mudel ületab praeguse tipptaseme 30-st 32-st akadeemilisest võrdlustasemest ja on saavutanud 90% täpsuse MMLU testis. Google uus lähenemine testile võimaldab Geminil kasutada oma arutlusvõimet, et enne keerulistele küsimustele vastamist hoolikamalt mõelda vastuse üle, see omakorda andis täpsemaid tulemusi. Gemini suudab mõista ja töödelda mitut tüüpi teavet, sealhulgas teksti, koodi, heli, pilte ja videot, ehk suudab teha mitmeviisilist (multimodal) andmetöötlust.
Võrdlus ja benchmarkid
- MMLU täpsus: GPT-4 (89.3%) vs GPT-4o (88.7%-87.2%) vs Gemini Ultra (90%).
- Multimodaalsus: GPT-4 on peamiselt tekstimudel, GPT-4o ja Gemini suudavad töödelda erinevaid andmevorme (tekst, pildid, heli).
- Programmeerimisvõimekus: GPT-4 on tugev programmeerimises. Sealhulgas Gemini pakub spetsiaalset koodigeneratsiooni süsteemi AlphaCode 2, mis on näidanud suurepäraseid tulemusi.
- GPT-4o on saavutanud madalama veamäära võrreldes GPT-4 ja Gemini 1.5-ga, tõestades oma võimekust keerukate ja mitmemõõtmeliste ülesannete täitmisel kiiremini ja täpsemalt. Gemini 1.5 paistis silma mõnes spetsiaalses ülesandes, kuid üldiselt jääb GPT-4o-le alla täpsuses ja efektiivsuse.
- Jõudlus ja efektiivsus: GPT-4o on 2x kiirem ja 50% odavam kui GPT-4 Turbo ning pakub 5x kõrgemaid sõnumilimiite API-s. See mudel on eriti efektiivne mitmekeelse teksti töötlemisel ja audio-mõistmises, võrreldes GPT-4-ga.
Järeldus
GPT-4o pakub suurepäraseid tulemusi benchmark testidel, olles kiire ja kuluefektiivne lahendus. Samas, Gemini 1.5 on tugev konkurent, saavutades MGSM, ja DROP testis ka kõrge tulemuse. Valik sõltub konkreetsest kasutusvaldkonnast ja vajadustest. Näiteks Ultra oli parem MMLU testis. Seega kokkuvõttes on kindlasti GPT-4o kindel valik, kuid soovitame katsetada erinevaid mudeleid ning valida seeläbi endale sobivaim.
Allikad:
