Kā jums teiks ikviens, kurš jebkad bijis attiecībās, cilvēku emocijas ir sarežģīts jēdziens. Tas jo īpaši attiecas uz tirgotājiem, kuri cenšas izprast sava produkta vai pakalpojuma kvalitatīvos ieguvumus - vērtību, kas pārsniedz pamata funkcionalitāti. Nav grūti saprast, ko dara jūsu produkts, bet vai zināt, kā tas liek justies jūsu patērētājiem?



Jūs izmantotu sociālās klausīšanās noskaņojuma analīzi, lai mērķa auditorijas nefiltrētos sociālo mediju domāšanas veidus izmantotu stratēģiskā izpratnē. Ņemot visu sociālie dati, kas pieejami visā Twitter un tā kategorizēšana pēc pozitīvas, negatīvas vai neitrālas noskaņas ir būtisks uzdevums, un nav divu vienādu metožu. Tāpēc HASHTAGS izveidoja hibrīda noskaņojuma analīzes sistēmu, kas apvieno divas galvenās pieejas - kārtulu sarakstus un mašīnmācīšanos.



Noteikumu saraksti

Viens no vienkāršākajiem veidiem, kā risināt sentimenta analīzi, ir cilvēku radītu likumu vai vārdnīcu izmantošana. Izmantojot šo pieeju, sistēma paļaujas uz vārdu vai frāžu sarakstu, kas tieši atbilst noteiktam noskaņojumam. Piemēram, jebkurš čivināt, kurā ir vārds “pieci augsti”, var tikt apzīmēti kā pozitīvi, bet čivināt ar “briesmīgi” - negatīvi. Šādas sistēmas ir ļoti pielāgojamas, un tās var paplašināt, iekļaujot tūkstošiem vārdu un frāžu likumu.

Trūkums ir tāds, ka noteikumu sistēmas cīnās ar Tweets, kas atbilst pretrunīgiem noteikumiem, piemēram, 'Filma nebija tik briesmīga, kā es gaidīju.' Šeit “briesmīgo” varētu apzīmēt kā negatīvu, bet “paredzamo” - pozitīvu. Konfliktējošie noteikumi atzīmē čivināt kā neitrālu, savukārt daži cilvēku lasītāji to interpretētu kā nedaudz pozitīvu, bet citi - nedaudz negatīvu.

Uz noteikumiem balstītu sistēmu papildu ierobežojums ir paļaušanās uz cilvēka centieniem un sapratni. Valoda strauji attīstās (īpaši čivināt), un uz noteikumiem balstīta sistēma prasa, lai kāds nodrošina stabilu jaunu terminu un frāžu plūsmu. Noskaņojuma sistēmas atjaunināšana ne vienmēr ir galvenā prioritāte, un sistēma var ātri novecot. Pat ar modru uzraudzību var būt grūti noteikt mainīgās valodas tendences un noteikt, kad jāpievieno jauni noteikumi.

Mašīnmācība

Izmanto uzlabotas sentimenta analīzes sistēmas Mašīnmācība (ML) paņēmieni (dažreiz tos dēvē arī par mākslīgo intelektu vai Dabas valodas apstrāde ). Mašīnmācība ir paņēmiens, kurā tiek izmantota statistika un varbūtība, lai identificētu sarežģītus modeļus, kurus var izmantot priekšmetu apzīmēšanai.

19 eņģeļa numurs

Atšķirībā no uz sistēmām balstītām sistēmām, ML sistēmas ir pietiekami elastīgas, lai atklātu līdzības, kas cilvēkam nav uzreiz acīmredzamas. Aplūkojot daudzus, daudzus piemērus, sistēma apgūst modeļus, kas parasti ir saistīti ar pozitīvām, negatīvām vai neitrālām noskaņām.



Piemēram, ML noskaņojuma analīzes sistēma var atklāt, ka tvīti, kuros ir vārds “lietus” un kuri beidzas ar vienu izsaukuma punktu, ir negatīvi, bet tvīti ar “lietus” un diviem izsaukuma punktiem ir pozitīvi. Cilvēks, iespējams, nepamana šo modeli vai nesaprot, kāpēc tas notiek, bet ML sistēma to var izmantot, lai veiktu ļoti precīzas prognozes.

Lai gan mašīnmācīšanās sistēmas var dot lieliskus rezultātus, tām tomēr ir daži trūkumi. Ja valodā ir daudz dažādu, ML sistēmai var būt grūti izsijāt troksni, lai izvēlētos modeļus. Ja pastāv spēcīgi modeļi, tie var aizēnot mazāk izplatītus modeļus un izraisīt ML sistēmas neievērošanu smalkās norādēs.

Sprout’s Approach

Lai izveidotu mūsu noskaņojuma analīzes sistēmu, mēs izstrādājām hibrīdsistēmu, kas apvieno labākos gan uz noteikumiem balstītas, gan mašīnmācīšanās pieejas. Mēs analizējām desmitiem tūkstošu tvītu, lai identificētu vietas, kur cīnās ML modeļi, un ieviesām uz noteikumiem balstītas stratēģijas, kas palīdzētu novērst šos trūkumus.



Papildinot statistikas modeļus ar cilvēku izpratni, mēs esam izveidojuši stabilu sistēmu, kas darbojas labi dažādos iestatījumos.

asnu noskaņojuma analīze

Viss par precizitāti

Virspusē noskaņojuma analīze šķiet diezgan vienkārša - vienkārši izlemiet, vai čivināt ir pozitīvs, negatīvs vai neitrāls. Cilvēka valoda un emocijas tomēr ir sarežģītas, un noskaņojuma atklāšana čivināt atspoguļo šo sarežģītību.

244 eņģeļu skaitļa mīlestība

Apsveriet šos tvītus. Vai tie ir pozitīvi, negatīvi vai neitrāli?

https://twitter.com/alex/status/917406154321420289

Jūs varētu justies pārliecināts par savām atbildēm, taču ir lielas izredzes, ka ne visi jums piekritīs. Pētījumi ir parādījuši, ka cilvēki vienojas tikai par tvītu noskaņojumu 60–80% Laikā.

Jūs varētu būt skeptiski. Arī mēs bijām.

Lai to pārbaudītu, divi mūsu Data Science komandas locekļi atzīmēja tieši tādu pašu 1000 Tweets komplektu kā pozitīvu, negatīvu vai neitrālu. Mēs izdomājām, ka “mēs katru dienu strādājam ar Tweets; mums, iespējams, būs gandrīz ideāla vienošanās starp mums abiem. ”

Mēs aprēķinājām rezultātus un pēc tam tos pārbaudījām divreiz un trīs reizes. Pētījums tika veikts uz vietas - mēs vienojāmies tikai par 73% no Tweets.

Izaicinājumi noskaņojuma analīzē

Pētījumi (kopā ar mūsu mazo eksperimentu) liecina, ka noskaņojuma analīze nav vienkārša. Kāpēc tas ir tik grūts? Apskatīsim dažus no lielākajiem izaicinājumiem.

Konteksts

Twīti ir neliels momentuzņēmums laikā. Kaut arī daži ir atsevišķi, tvīti bieži ir daļa no notiekošās sarunas vai atsauces informācijas, kurai ir jēga tikai tad, ja jūs zināt autoru. Bez šīm norādēm var būt grūti interpretēt autora jūtas.

Sarkasms

Sarkasma noteikšana ir vēl viens konteksta izaicinājuma aromāts. Bez papildu informācijas sentimenta analīzes sistēmas bieži sajauc vārdu burtisko nozīmi ar to, kā tie ir domāti. Sarkasms ir aktīva akadēmisko pētījumu joma, tāpēc tuvākajā nākotnē mēs varam redzēt sistēmas, kas saprot snarku.

Salīdzinājumi

Noskaņojums kļūst sarežģīts arī tad, kad Tweets salīdzina. Ja es veicu tirgus izpēti par dārzeņiem un kādu no Tweets, “Burkāni ir labāki par skvošu”, vai šis čivināt ir pozitīvs vai negatīvs? Tas ir atkarīgs no jūsu perspektīvas. Tāpat kāds varētu čivināt: “Uzņēmums A ir labāks par uzņēmumu B.” Ja es strādāju uzņēmumā A, šis čivināt ir pozitīvs, bet, ja esmu kopā ar uzņēmumu B, tas ir negatīvs.

Emocijzīmes

Emocijzīmes ir viņu pašu valoda . Kaut arī emoji patīk izteikt diezgan acīmredzamu noskaņojumu, citi nav tik universāli. Veidojot mūsu noskaņojumu analīzes sistēmu, mēs rūpīgi izpētījām, kā cilvēki izmanto emocijzīmes, atklājot, ka pat parastie emocijzīmes var radīt neskaidrības. gandrīz vienādi tiek izmantots nozīmē 'tik laimīgs, ka raudu' vai 'tik skumji, ka raudu'. Ja cilvēki nespēj vienoties par emocijzīmes nozīmi, nevar arī noskaņojuma analīzes sistēma.

118 eņģeļa numurs

Neitrāla noteikšana

Pat neitrāls noskaņojums ne vienmēr ir vienkāršs. Apsveriet ziņu virsrakstu par traģisku notikumu. Lai gan mēs visi būtu vienisprātis, ka notikums ir briesmīgs, lielākā daļa ziņu virsrakstu ir domāti kā faktiski, informatīvi paziņojumi. Noskaņojuma analīzes sistēmas ir izstrādātas, lai identificētu satura autora emocijas, nevis lasītāja reakciju. Lai gan var šķist dīvaini redzēt briesmīgas ziņas ar norādi “neitrāls”, tas atspoguļo autora nodomu paziņot faktisko informāciju.

Sentimenta analīzes sistēmas atšķiras arī pēc neitrālo definīciju. Daži uzskata, ka neitrāla ir visaptveroša kategorija jebkuram čivināt, kur sistēma nevar izlemt starp pozitīvu vai negatīvu. Šajās sistēmās “neitrāls” ir sinonīms vārdam “es neesmu pārliecināts”. Tomēr patiesībā ir daudz tādu tvītu, kas neizpauž emocijas, piemēram, zemāk redzamais piemērs.

Mūsu sistēma nepiespiestos tvītus nepārprotami klasificē kā neitrālus, nevis izmanto neitrālu kā noklusējuma etiķeti divdomīgiem tvītiem.

Noskaņojuma analīzes novērtēšana

Tā kā noskaņojumu analīzē ir tik daudz problēmu, ir vērts veikt mājasdarbus, pirms ieguldāt jaunā rīkā. Pārdevēji cenšas palīdzēt samazināt sarežģītību, koncentrējoties uz statistiku par sava produkta precizitāti. Tomēr precizitāte ne vienmēr ir ābolu-ābolu salīdzinājums. Ja plānojat izmantot precizitāti kā mērīšanas nūju, jums jāuzdod dažas lietas.

Vai norādītā precizitāte ir lielāka par 80%?
Tā kā cilvēki savstarpēji vienojas tikai 60–80% gadījumu, nav iespējams izveidot testa datu kopu, kurā visi piekritīs, ka tajās ir “pareizās” noskaņojuma etiķetes. Runājot par noskaņojumu, “pareizs” ir subjektīvs. Citiem vārdiem sakot, testēšanas precizitātē nav jāizmanto zelta standarts.

Noskaņojuma analīzes sistēmas precizitātes augšējā robeža vienmēr būs cilvēka līmeņa vienošanās: aptuveni 80%. Ja pārdevējs apgalvo, ka precizitāte pārsniedz 80%, ieteicams būt skeptiskam. Pašreizējie pētījumi liecina, ka pat 80% precizitāte ir maz ticama; nozares labākie eksperti parasti sasniedz precizitāti 60. gadu vidū un augšpusē.

Cik noskaņojuma kategorijas tiek prognozētas?
Daži pārdevēji precizitāti vērtē tikai tajos tvītos, kurus cilvēku vērtētāji ir identificējuši kā galīgi pozitīvus vai negatīvus, izslēdzot visus neitrālos tvītus. Sistēmas precizitāte ir daudz vieglāk parādīties ļoti augsta, strādājot ar ļoti emocionāliem tvītiem un tikai diviem iespējamiem rezultātiem (pozitīviem vai negatīviem).

Tomēr savvaļā lielākā daļa tvītu ir neitrāli vai divdomīgi. Ja sistēma tiek vērtēta tikai ar pozitīvu un negatīvu, nav iespējams uzzināt, cik labi sistēma tiek galā ar neitrāliem tvītiem - lielāko daļu no tā, ko jūs patiesībā redzēsiet.

Kādi tweets veidi ir iekļauti viņu testa komplektā?
Noskaņojuma analīzes sistēma ir jāveido un jāpārbauda Tweets, kas atspoguļo reālos apstākļus. Dažas noskaņojuma analīzes sistēmas tiek veidotas, izmantojot domēnam specifiskus tvītus, kas ir filtrēti un iztīrīti, lai padarītu to pēc iespējas vieglāk saprotamu sistēmai.

Piemēram, pārdevējs, iespējams, ir atradis jau esošu datu kopu, kas ietver tikai ļoti emocionālus tvītus par aviokompāniju, izslēdzot jebkādus surogātpasta vai tēmas ārpus tēmas. Tas izraisītu augstu precizitāti, taču tikai tad, ja to izmanto ļoti līdzīgos Tweets. Ja strādājat citā domēnā vai saņemat nevienu tēmu vai surogātpasta tvītu, redzēsit daudz zemāku precizitāti.

Cik liela bija testa datu kopa?
Nosacījumu analīzes sistēmas jānovērtē vairākos tūkstošos Tweets, lai novērtētu sistēmas veiktspēju dažādos scenārijos. Jūs nesaņemsiet patiesu sistēmas precizitātes mērījumu, ja sistēma tiek pārbaudīta tikai ar dažiem simtiem Tweets.

Šeit, Sprout, mēs izveidojām savu modeli, izmantojot 50 000 Tweets kolekciju, kas iegūta no izlases Twitter izlases. Tā kā mūsu tvīti nav domēna specifiski, mūsu noskaņojumu analīzes sistēma labi darbojas plašā diapazonā.

Turklāt mēs veicam atsevišķas prognozes pozitīvām, negatīvām un neitrālām kategorijām; mēs ne tikai neitrālu, ja citas prognozes neizdodas. Mūsu precizitāte tika pārbaudīta ar 10 000 Tweets, no kuriem neviens netika izmantots sistēmas izveidošanai.

Skatiet Sprout noskaņojumu analīzi tiešraidē ar klausītājiem

Visi pasaules pētījumi neaizstāj sistēmas novērtēšanu no pirmavotiem. Dodiet mūsu jaunajai noskaņojumu analīzes sistēmai izmēģinājumu mūsu jaunākajā sociālās klausīšanās rīku komplektā, Klausītāji un uzziniet, kā tas darbojas jums. Visbeidzot, labākais sociālās klausīšanās rīks ir tas, kas atbilst jūsu vajadzībām un palīdz iegūt lielāku sociālo vērtību. Ļaujiet mums palīdzēt jums sākt darbu jau šodien.

Dalieties Ar Draugiem:

nozīmīgums 43