Hitz-bektoreak

Euskarazko 500 hitzen bi dimentsiotako errepresentazioa

Hitz-bektoreak, word embeddingak edo bektore distribuzionalak hizkuntzaren prozesamenduan erabiltzen diren zenbakizko bektoreak dira, hitz edo esaldien esanahia modu abstraktuan errepresentatzeko balio dutenak. Corpuseko hitz bakoitzari bere esanahiaren errepresentazio abstraktu bat esleitzen diote, hitz bakoitza bektore-espazio batean kodetzen da. Gauzak horrela, eragiketa matematikoen bidez hitzen arteko antzekotasunak eta erlazioak erraz neurtu daitezke. Gainera, bektore-espazio horiek hizkuntza bat baino gehiagorekin lan egiteko aukera ematen dute, eta, ondorioz, ale desberdinen arteko eragiketak ahalbidetzen dituzte.

Mapaketa hau sortzeko neurona-sareak, probabilitate modeloak, zein beste metodo batzuk erabili ohi dira.

Hobekuntza nabarmenak izan dira hizkuntzaren prozesamenduaren alorretan hitz-bektoreak eta esaldi-bektoreak erabiliz, besteak beste, itzulpen automatiko neuronalean, sentimenduen analisian eta azterketa sintaktikoan.


© MMXXIII Rich X Search. We shall prevail. All rights reserved. Rich X Search