Žmogui du sakiniai gali atrodyti reiškiantys tą patį, nors juose nepavartotas nė vienas vienodas reikšminis žodis. Pavyzdžiui, užklausos „kaip sumažinti namo šildymo išlaidas?“ ir „kokie sprendimai padeda taupyti šilumos energiją?“ suformuluotos skirtingai, tačiau jų prasmė labai artima.
Tradicinė paieška ilgą laiką buvo stipriai siejama su tikslių raktažodžių atitikimu. Didieji kalbos modeliai ir šiuolaikinės semantinės paieškos sistemos gali vertinti platesnę teksto prasmę. Vienas svarbiausių tai leidžiančių mechanizmų yra vektorinės reprezentacijos, dažnai vadinamos anglišku terminu vector embeddings.
Tekstas paverčiamas skaičių rinkiniu
Kompiuteris neskaito teksto taip, kaip žmogus. Kad kalbos informaciją būtų galima matematiškai apdoroti, žodžiai, sakiniai ar didesnės teksto dalys paverčiami skaičių sekomis – vektoriais. Toks vektorius gali turėti šimtus ar net tūkstančius matmenų. Kiekvienas skaičius atskirai žmogui paprastai nieko aiškaus nepasako, tačiau visa jų kombinacija perteikia modelio išmoktus kalbos požymius.
Supaprastintai galima įsivaizduoti didžiulę daugiamatę erdvę. Panašią reikšmę turintys tekstai joje atsiduria arčiau vienas kito, o prasme nesusiję – toliau. Sistema gali nustatyti ryšį tarp „būsto šiltinimo“ ir „mažesnių šildymo sąnaudų“, net jeigu konkrečiame puslapyje nėra tiksliai pakartota vartotojo užklausa.
„Tai yra viena priežasčių, kodėl AI SEO nebegalima grįsti vien tiksliu raktažodžių kartojimu. Sistema vertina ne tik pavienius žodžius, bet ir jų kuriamą kontekstą bei ryšį su kitomis temos sąvokomis“, – aiškina UAB „DIGITAL STAR“ vadovas Linas Laskevičius.
Kaip apskaičiuojamas semantinis panašumas?
Kai užklausa ir dokumentai paverčiami vektoriais, galima matematiškai įvertinti jų artumą. Vienas dažniausiai naudojamų metodų – kosinusinis panašumas. Jis vertina ne vektorių ilgį, o jų krypties panašumą. Jeigu dviejų vektorių kryptys artimos, sistema daro išvadą, kad tekstai greičiausiai yra semantiškai susiję. Tokiu principu gali veikti dokumentų paieška, turinio rekomendavimas, tekstų grupavimas ar informacijos atranka prieš generuojant atsakymą.
2019 metais pristatytame „Sentence-BERT“ tyrime parodyta, kaip sakinių reprezentacijos gali būti palyginamos naudojant kosinusinį panašumą. Tai leidžia gerokai efektyviau rasti artimos reikšmės sakinius dideliame informacijos rinkinyje. Vis dėlto konkretūs metodai skiriasi, todėl nereikėtų manyti, kad visos LLM sistemos tekstą apdoroja pagal vieną identišką formulę.
Ar tai reiškia, kad LLM supranta kaip žmogus?
Žodis „supranta“ šiuo atveju vartojamas sąlygiškai. Kalbos modelis neturi žmogiškos patirties, sąmonės ar asmeninio santykio su teksto prasme. Jis mokosi statistinių kalbos dėsningumų, sąvokų ryšių ir kontekstų, kuriuose žodžiai vartojami.
Be to, vektorinės reprezentacijos yra tik viena platesnio proceso dalis. Transformeriais pagrįsti modeliai naudoja dėmesio mechanizmus, padedančius vertinti skirtingų teksto elementų tarpusavio ryšius konkrečiame kontekste. Dėl to tas pats žodis skirtinguose sakiniuose gali būti interpretuojamas nevienodai.
Svarbu atskirti ir patį kalbos modelį nuo išorinės semantinės paieškos. Kai kuriuose sprendimuose dokumentų vektoriai saugomi atskiroje duomenų bazėje. Gavus klausimą, sistema suranda semantiškai artimiausias teksto dalis ir pateikia jas modeliui kaip papildomą kontekstą. Tai dažnai vadinama informacija papildyta generacija, arba RAG. Tačiau ne kiekvienas LLM atsakymas būtinai kuriamas atlikus tokią išorinę vektorinę paiešką.
Ką tai keičia turinio kūrėjams?
Semantinė paieška nereiškia, kad raktažodžiai tapo nereikalingi. Tikslūs terminai padeda aiškiai įvardyti temą, paslaugas ir objektus, tačiau vien jų kartojimas nepadės, jeigu puslapyje trūks platesnio prasminio konteksto. Jeigu įmonė teikia pastatų šiltinimo paslaugas, turinyje natūraliai turėtų atsirasti susijusios sąvokos: šilumos nuostoliai, energinis efektyvumas, konstrukcijų sandarumas, izoliacinės medžiagos, darbų technologija ir eksploatavimo sąnaudos. Tai nėra sinonimų sąrašas, kurį reikia mechaniškai įterpti. Turinys turi parodyti realius ryšius tarp problemos, jos priežasčių ir sprendimų.
„Geras tekstas kuria temos žemėlapį. Perskaičius puslapį turi būti aišku ne tik tai, kokią paslaugą įmonė parduoda, bet ir kokias problemas ji geba spręsti, kokiais atvejais jos sprendimas tinkamas ir nuo ko priklauso rezultatas“, – teigia L. Laskevičius.
Aiški struktūra padeda išlaikyti kontekstą
Semantiniam supratimui svarbu, kad vienoje teksto dalyje būtų nuosekliai plėtojama viena mintis. Neaiškios antraštės, staigūs temos šuoliai ir tarpusavyje nesusijusių raktažodžių rinkiniai apsunkina ne tik skaitymą, bet ir informacijos atranką. Naudingos konkrečios antraštės, tiesioginiai atsakymai, logiškos pastraipos ir nuosekliai vartojamos sąvokos. Taip atskiros teksto dalys gali išlaikyti prasmę net tuomet, kai sistema jas analizuoja ar pacituoja be viso straipsnio konteksto.
Tai nereiškia, kad tekstą būtina dirbtinai susmulkinti į vieno sakinio fragmentus. Svarbiausia – prasminis vientisumas. Puslapis turi išsamiai atsakyti į konkretų poreikį, o kiekviena jo dalis – turėti aiškią funkciją.
„Bandymas rašyti specialiai robotui dažniausiai pablogina turinį žmogui. Kur kas tvirtesnė strategija – aiškiai ir profesionaliai paaiškinti temą, vartoti tikslius terminus bei parodyti jų tarpusavio ryšius“, – apibendrina UAB „DIGITAL STAR“ vadovas.
Vektorinės reprezentacijos padeda sistemoms rasti prasminį panašumą, tačiau jos neatstoja kokybiško turinio. AI SEO laimi ne daugiausia raktažodžių surinkęs puslapis, o tas, kuris aiškiausiai ir išsamiausiai atskleidžia vartotojui rūpimą temą.