[{"text_idx": "#000002", "text": "Sut i gofrestru ar gyfer allwedd API"}, {"text_idx": "#000005", "text": "Mae prosesu iaith naturiol (Natural Language Processing, neu NLP) yn faes pwnc sy\u2019n astudio\u2019r rhyngweithio rhwng cyfrifiaduron ac ieithoedd dynol. Yn bennaf mae\u2019n galluogi cyfrifiaduron i brosesu a dadansoddi iaith naturiol ar ffurf testun. Mae\u2019n faes sylfaenol a hanfodol ar gyfer datblygu nifer o dechnolegau iaith."}, {"text_idx": "#000006", "text": "Rhai o\u2019r swyddogaethau defnyddiol a gyflawnir gan gydrannau\u2019r maes yw gwirio gramadeg, dosbarthu a chrynhoi dogfennau, deall ystyr neu fwriad, dehongli sentiment, dysgu ffeithiau ac ateb cwestiynau yn eu cylch a chynhyrchu testunau newydd."}, {"text_idx": "#000008", "text": "Dyma dri o\u2019r llyfrgelloedd mwyaf adnabyddus ar gyfer y Saesneg:"}, {"text_idx": "#000010", "text": "Cydrannau sylfaenol llyfrgell prosesu iaith naturiol\nDefnyddir nifer o\u2019r cydrannau hyn gyda\u2019i gilydd i greu llawer o offer ieithyddol i hwyluso defnyddio neu gyfathrebu gyda chyfrifiaduron, er enghraifft, gwirwyr sillafu a gramadeg."}, {"text_idx": "#000011", "text": "Dyma esboniad o rai o\u2019r cydrannau a ystyrir yn bwysig ar gyfer dadansoddi a phrosesu iaith:"}, {"text_idx": "#000012", "text": "Mae segmentiwr yn ddarn o feddalwedd sy\u2019n canfod ffiniau brawddegau ac sydd felly\u2019n medru torri darn o destun yn ddarnau llai ar lefel brawddeg. Mae\u2019n gwneud yr hyn sy\u2019n cael ei alw hefyd yn ddadamwyso ffiniau brawddegau(sentence boundary disambiguation). Gall segment fod yn deitl, yn bwynt bwled neu\u2019n ddilyniant tebyg o eiriau sy\u2019n ystyrlon ac yn sefyll ar waha\u0302n i\u2019r geiriau o\u2019i flaen ac ar ei o\u0302l. Gall hyn swnio\u2019n syml mewn iaith fel y Gymraeg sy\u2019n defnyddio\u2019r nod \u2018.\u2019 fel atalnod llawn i ddynodi diwedd brawddeg, ond hyd yn oed yma gall fod yn fwy cymhleth na hynny gan fod \u2018.\u2019 hefyd yn cael ei ddefnyddio o fewn brawddeg, er enghraifft gyda byrfoddau fel \u2018e.e.\u2019 a \u2018Dr.\u2019 ac o fewn rhifau fel \u20181.23\u2019 i gynrychioli\u2019r pwynt degol. Yn ogystal, ni fydd rhai segmentau fel teitlau a phenawdau dogfennau yn defnyddio atalnod llawn i ddynodi eu diwedd felly ni ellir dibynnu yn llwyr ar ei bresenoldeb."}, {"text_idx": "#000013", "text": "Ystyr tocyneiddio wrth ddadansoddi iaith yw gwahanu a dosbarthu rhannau o nodau (llythrennau, rhifau a symbolau) sydd o fewn segment, er mwyn eu cyflwyno i\u2019w prosesu ymhellach. Yn ymarferol, mewn iaith fel y Gymraeg, golyga hyn yn syml wahanu geiriau oddi wrth ei gilydd, ond gall fod yn fwy cymhleth mewn ieithoedd lle na cheir bwlch rhwng geiriau, megis Mandarin, a ieithoedd cyflynol (agglutinative) megis Coreeg. Hyd yn oed mewn ieithoedd fel y Gymraeg, gall nodweddion fel atalnodi, cywasgu neu gysylltnodi geiriau beri problemau sy\u2019n galw am awtomeiddio\u2019r broses o docyneiddio."}, {"text_idx": "#000014", "text": "Ffigur2- Enghraifft syml o docyneiddio yn Gymraeg mewn sgema XML ar gyfer y llinell\n\u201cMae\u2019r awdurdodau wrthi\u2019n ystyried y cynlluniau\u201d"}, {"text_idx": "#000015", "text": "Mae lemateiddiwr yn ddarn o feddalwedd sy\u2019n adnabod pob ffurf bosib ar air sy\u2019n medru cael ei ffurfdroi (inflect) yn o\u0302l ei leoliad mewn brawddeg. Er enghraifft, mae gan air fel ci (dog) yn y Gymraeg 8 ffurf bosibl, o gyfrif y ffurfiau unigol a lluosog, a phob treiglad posibl:"}, {"text_idx": "#000016", "text": "ci, gi, chi, nghi, cw\u0302n, gw\u0302n, chw\u0302n, nghw\u0302n."}, {"text_idx": "#000017", "text": "Mae nifer y ffurfiau posib gyda berfau yn fwy fyth, gan fod hynny\u2019n golygu pob rhediad posibl ym mhob amser y ferf, ynghyd a\u0302\u2019r holl dreigladau posibl. Er enghraifft, mae tabl wedi\u2019i symleiddio o rediadau posibl y ferf \u2018canu\u2019 isod yn dangos 46 ffurf, heb gyfrif ffurfiau sydd yn edrych yn arwynebol yr un fath ond yn cynrychioli amserau gwahanol, megis \u2018canwn\u2019 fel person cyntaf lluosog presennol, a \u2018canwn\u2019 fel person cyntaf unigol amherffaith. O ychwanegu treigliadau meddal, llaes a thrwynol at y ffurfiau hynny hefyd, dyna gyfanswm o 138 ffurf bosibl. Dylai lemateiddiwr fedru delio gyda phob un o\u2019r ffurfiau hynny, a\u2019u olrhain yn o\u0302l i\u2019r berfenw \u2018canu\u2019."}, {"text_idx": "#000018", "text": "Ystyrir mai\u2019r lema, neu\u2019r ffurf graidd ar y gair, yw\u2019r ffurf sydd fel arfer (ond nid bob amser) yn cael ei defnyddio fel dangosair mewn geiriadur traddodiadol. Weithiau, lle ceir ffurfiau afreolaidd i eiriau, nid oes cysylltiad rhwng geirffurf a\u0302\u2019r lema, e.e. \u2018cystal\u2019, \u2018gwell\u2019 a \u2018gorau\u2019 fel graddau cyfartal, cymharol ac eithaf o\u2019r ansoddair \u2018da\u2019, ond bydd lemateiddiwr yn eu clystyru gyda\u2019i gilydd er hynny."}, {"text_idx": "#000019", "text": "O redeg lemateiddiwr dros \u2018Mae hen wlad fy nhadau yn annwyl i mi\u2019 byddem yn cael:"}, {"text_idx": "#000020", "text": "Ar gyfer rhai ieithoedd fel y Saesneg, ystyrir bod arf sy\u2019n canfod bo\u0302n gair yn ddigonol ar gyfer canfod y rhan fwyaf o\u2019i ffurfdroadau. Mae boniwr yn symlach na lemateiddiwr gan ei fod yn unig yn edrych ar olddodiaid gair ac yn torri\u2019r rheiny er mwyn canfod y ffurf graidd. Ar y llaw arall, yn wahanol i lemateiddiwr, gall ganfod geiriau sy\u2019n perthyn i\u2019w gilydd oherwydd eu bod yn rhannu\u2019r un gwraidd, e.e. llawen, llawenydd, llawenhau, llawenychu. Fodd bynnag, y mae affeithiad (vowel affection) yn Gymraeg, sy\u2019n peri i lafariaid mewnol newid dan rai amgylchiadau, e.e. cyfaill, cyfeillion, cyfeillgar yn ei wneud yn fwy cymhleth i\u2019w wireddu. Mae treigliadau hefyd yn gwneud bonwyr yn anymarferol ar gyfer y Gymraeg. Ni fyddai boniwr er enghraifft wedi medru adnabod \u2018mae\u2019, \u2018wlad\u2019 na \u2018nhadau\u2019 yn llinell gyntaf yr anthem genedlaethol."}, {"text_idx": "#000021", "text": "Tagiwr rhannau ymadrodd (Part of speech tagger, PoS tagger)"}, {"text_idx": "#000022", "text": "Un o\u2019r arfau mwyaf defnyddiol ar gyfer dadansoddi iaith yw medru adnabod rhannau ymadrodd geiriau unigol o fewn darn o destun. Mae tagio rhannau ymadrodd yn golygu marcio pob gair mewn testun neu gorpws gyda\u2019i gategori gramadegol priodol. Ar ei lefel symlaf, gall y categori\u0308au gramadegol hyn gynnwys berfau, enwau, ansoddeiriau, adferfau, arddodiaid, ac ati. Gan fod mwy nag un ffordd o ddadansoddi ac o ddisgrifio gramadeg iaith, ceir hefyd amryw ffyrdd gwahanol o greu cynlluniau tagio rhannau ymadrodd, yn dibynnu ar chwaeth y sawl sy\u2019n cynllunio\u2019r tagiwr, a\u2019r pwrpas fydd i\u2019r tagiwr o fewn prosesu iaith."}, {"text_idx": "#000023", "text": "Mae categori\u0308au gramadegol yn amrywio rhwng ieithoedd, er enghraifft, ceir bannod amhendant (\u2018a\u2019 ac \u2018an\u2019) yn Saesneg, ond ni cheir rhan ymadrodd cyfatebol yn y Gymraeg. Ceir dwy genedl i enwau yn Gymraeg, sef benywaidd a gwrywaidd, ond ceir tair cenedl y enwau mewn Almaeneg, sef benywaidd, gwrywaidd a neodr, ac ni cheir cenedl i enwau yn Saesneg o gwbl. Mae gan ieithoedd eraill eto, yn enwedig rhai morffolegol gyfoethog, gategori\u0308au gramadegol gwahanol iawn, ac mae creu tagiwr rhannau ymadrodd yn her sylweddol wrth geisio creu offer prosesu iaith naturiol ar eu cyfer."}, {"text_idx": "#000024", "text": "Gall creu tagiwr rhannau ymadrodd fod yn her i unrhyw iaith oherwydd amwyster rhai geiriau a geirffurfiau. Un o\u2019r geiriau anoddaf i\u2019w ddadamwyso yn Gymraeg yw\u2019r gair \u2018yn\u2019, sy\u2019n medru bod yn arddodiad rhediadol (\u2018ynof\u2019, \u2018ynot\u2019 etc); yn eiryn berfenwol (\u2018yn canu\u2019 etc); yn eiryn traethiadol (\u2018yn annwyl\u2019 etc); ac yn nifer o rannau ymadrodd llai cyffredin. Nid dim ond ffurfiau craidd geiriau sy\u2019n medru peri amwyster. Mae\u2019r amwyster yn cynyddu\u2019n sylweddol os ystyrir ffurfiau cymharol, ffurfiau lluosog, ffurfiau wedi\u2019u rhedeg a/neu eu treiglo, ac ati. Er enghraifft, gall \u2018gw\u0302n\u2019 fod yn enw gwrywaidd yn golygu math arbennig o wisg, gall hefyd fod yn ffurf ar yr enw lluosog \u2018cw\u0302n\u2019 wedi\u2019i dreiglo\u2019n feddal. Yr hyn sy\u2019n galluogi adnabod rhannau ymadrodd yn gywir yw cyd-destun geiriau mewn brawddeg, a\u2019u perthynas gyda\u2019r geiriau o\u2019u cwmpas. Felly mae modd adnabod \u2018gw\u0302n\u2019 fel enw gwrywaidd unigol mewn brawddeg fel \u2018Roedd yn gwisgo gw\u0302n porffor llaes at ei draed\u2019 o\u2019i gymharu a\u0302 \u2018Roedd nifer o gw\u0302n yn cyfarth yn ffyrnig o\u2019i gwmpas\u2019 lle mae \u2018gw\u0302n\u2019 yn ffurf luosog o\u2019r enw \u2018ci\u2019 wedi\u2019i dreiglo\u2019n feddal."}, {"text_idx": "#000025", "text": "Dyma enghraifft o\u2019r llinell \u2018Mae hen wlad fy nhadau yn annwyl i mi\u2019 wedi cael ei redeg drwy dagiwr rhannau ymadrodd Cysill:"}, {"text_idx": "#000026", "text": "Teclyn adnabod clystyrau o eiriau fel ymadroddion enwol, ymadroddion berfol, endidau enwol a thermau aml air yw talpiwr. Weithiau caiff ei alw yn barsiwr bas (shallow parser) am ei fod yn gallu gwneud rhai o\u2019r un swyddogaethau a\u0302 pharsiwr llawn, ond heb fod mor gymhleth. Yn y llinell \u2018Mae hen wlad fy nhadau yn annwyl i mi\u2019 gellir ystyried \u2018hen wlad fy nhadau\u2019 yn un talp, gan ei fod yn digwydd yn aml fel ymadrodd gyda\u2019r un dilyniant geiriau."}, {"text_idx": "#000027", "text": "Ystyrir talpiwr yn arf defnyddiol i gael hyd i endidau sy\u2019n cynnwys mwy nag un gair ond sy\u2019n perthyn i\u2019w gilydd yn gysyniadol, yn enwedig os oes iddynt ystyr gwahanol fel ymadrodd i ystyr y geiriau unigol ar ei pen eu hun, e.e. mae \u2018llygoden fawr\u2019 yn Gymraeg yn golygu yr un peth a\u0302 \u2018rat\u2019 yn Saesneg, sy\u2019n anifail gwahanol i \u2018big mouse\u2019 sef yr hyn fyddai\u2019r cyfieithiad Saesneg o gyfieithu\u2019r ddau air yn unigol ar waha\u0302n."}, {"text_idx": "#000028", "text": "Fel rheol defnyddir tagiwr rhannau ymadrodd i dagio testun neu gorpws yn gyntaf, a wedyn defnyddio talpiwr fel ail gam yn y broses o\u2019i ddadansoddi. Mae algorithmau talpio syml yn canfod patrymau ailadroddus mewn clystyrau o eiriau, ac yn benthyg o syniadaeth techneg mynegiadau rheolaidd (regular expressions) a ddefnyddir mewn meysydd eraill fel cyfrifiadura damcaniaethol a theori iaith ffurfiol (formal language theory). Bellach gall talpwyr mwy soffistigedig ddadansoddi\u2019r cyd-destun hefyd ac felly roi canlyniadau sy\u2019n adlewyrchu\u2019r talpiau fel unedau o ystyr, yn hytrach na chyfateb patrymau yn unig."}, {"text_idx": "#000029", "text": "Diben parsiwr yw dadansoddi brawddeg neu ddilyniant o eiriau yn o\u0302l yr elfennau llai ynddo, er mwyn deall y gystrawen ac felly hefyd gynorthwyo i ddeall yr ystyr. Arferid gwneud hyn a\u0302 llaw, gan dynnu llun neu ddiagram o\u2019r gwahanol elfennau a\u2019u perthynas a\u0302\u2019r frawddeg, ond bellach gellir gwneud y dadansoddiad yma yn gyfrifiadurol. Gall modelau iaith sydd wedi\u2019u hyfforddi ar ddigon o destun anodedig safon aur (gold standard) ddadansoddi brawddegau yn gywir iawn erbyn hyn yn y Saesneg."}, {"text_idx": "#000030", "text": "Mae modd creu nifer o ffyrdd gwahanol o barsio brawddegau, a\u2019r ddau ddull mwyaf poblogaidd yw parsio dibyniaethau (dependency parsing) a pharsio cyfansoddion (constituency parsing). Mae\u2019r ddau ddull yn defnyddio strwythur coeden, canghennau a dail i ddarlunio\u2019r berthynas rhwng y gwahanol elfennau, ond mae\u2019r dehongli yn wahanol. Mae\u2019r ddau ddull yn tagio rhannau ymadrodd (i raddau gwahanol o fanylder) ac mae\u2019r union fodd y gwneir hyn yn amrywio o fewn y ddau ddull."}, {"text_idx": "#000031", "text": "Mae modd gweld y gwahaniaeth rhwng cystrawen gwahanol ieithoedd yn weledol wrth barsio yn o\u0302l y ddau ddull, fel wrth gymharu strwythur y parsiadau syml isod yn y Gymraeg a\u2019r Saesneg."}, {"text_idx": "#000032", "text": "Mewn parsio cyfansoddion mae\u2019r strwythur yn cwmpasu\u2019r goeden gyfan, gan ddechrau o\u2019r frawddeg (=S) a diweddu ym mhob un o\u2019r dail. Isod defnyddir y byrfoddau canlynol yn y goeden:"}, {"text_idx": "#000033", "text": "NP am ymadrodd enwol (noun phrase). Gall ymadroddion enwol fod yn oddrych a gwrthrych brawddeg.\nVP am ymadrodd berfol (verb phrase), sydd yma yn chwarae rhan traethiad (predicate).\nD am y banodolyn(determiner), yma ar ffurf y fannod."}, {"text_idx": "#000034", "text": "Yn y strwythur uchod, mae\u2019r frawddeg (S) yn wraidd, y canghennau sy\u2019n cysylltu dau gwgn (node) yn ganghennau (VP ac NP), a\u2019r tocynau lecsigol (N,V, D ac N) ar y diwedd yn ddail."}, {"text_idx": "#000035", "text": "Mewn parsio dibyniaethau ni cheir gwahaniaeth rhwng cangen a dail, ac felly mae\u2019r strwythur yn symlach. Mae fel petai pob cwgn yn ddeilen yn o\u0302l y dehongliad hwn. Ni cheir y categori\u0308au brawddeg, ymadrodd enwol nac ymadrodd berfol yma."}, {"text_idx": "#000036", "text": "Fodd bynnag ceir strwythur cyfansoddion mewn parsio dibyniaethau yr un fath ag mewn parsio cyfansoddion, gyda phob is-goeden o\u2019r goeden yn gyfansoddyn. Ar hyn o bryd, parsio dibyniaethau yw\u2019r dull mwyaf poblogaidd o barsio testunau wrth brosesu iaith naturiol."}, {"text_idx": "#000037", "text": "Mae modelau iaith yn un o\u2019r cydrannau pwysicaf ar gyfer prosesu iaith naturiol. Maent yn bwysig ar gyfer gwirio sillafu, adnabod llawysgrifen, adnabod nodau gweledol (OCR), cyfieithu peirianyddol, ac adnabod lleferydd. Mae ganddynt ro\u0302l ganolog hefyd mewn Deallusrwydd Artiffisial a Dysgu Peirianyddol, er mwyn deall a dadansoddi ieithoedd dynol."}, {"text_idx": "#000038", "text": "Mae iaith naturiol yn benagored, ac mae siaradwyr yn ddyfeisgar wrth ei defnyddio. Maent yn creu cyfuniadau newydd o eiriau yn gyson, yn ymestyn ystyr geiriau, a hyd yn oed yn dyfeisio geiriau newydd mewn ffyrdd creadigol sy\u2019n anodd i beiriannau eu deall a\u2019u dadansoddi. Canlyniad hyn yw fod angen ffordd sy\u2019n patrymu neu\u2019n modelu iaith lle gall ddod ar draws cyfuniadau newydd o eiriau a brawddegau, yn hytrach na dim ond cydweddu gyda\u2019r union eiriad sydd eisoes yn y cof neu\u2019r model."}, {"text_idx": "#000040", "text": "Tan yn ddiweddar, y ffordd o greu modelau iaith oedd drwy ddulliau ystadegol i ddosbarthu tebygolrwydd (P) dros linynnau i geisio adlewyrchu pa mor aml mae llinyn (S) yn digwydd mewn brawddeg. Mae modd felly fynegi gwahanol ffenomena\u0302u iaith yn nhermau paramedrau syml mewn model ystadegol. Model n-gram yw\u2019r model mwyaf cyffredin yn y dull ystadegol, a cheir sawl math gwahanol ohono, sy\u2019n ddefnyddiol mewn meysydd y tu hwnt i brosesu iaith naturiol. Ei brif broblem yw diffyg data wrth i\u2019r n-gramau gynyddu, hynny yw, gall fod yn gymharol hawdd modelu deugramau a thrigramau, ond wrth fynd i rifau uwch, bydd llai o enghreifftiau ar gael i hyfforddi\u2019r model."}, {"text_idx": "#000041", "text": "Bellach defnyddir dulliau rhwydweithiau niwral a dysgu dwfn ar gyfer modelu defnydd iaith naturiol gan eu bod yn dysgu i drawsffurfio gwybodaeth tebygolrwydd i greu allbwn dymuniedig mewn modd sy\u2019n cyffredinoli i ddata na welwyd yn ystod y broses hyfforddi. Gall gwahanol fathau o hyfforddi a phensaerni\u0308aeth rhwydweithiau niwral gynnwys manteision cynhenid at ddibenion modelu. Er enghraifft, gall hyfforddi heb oruchwyliaeth glystyru geiriau i ystyron tebyg a dysgu\u2019r berthynas rhyngddynt tra bo rhwydweithiau niwral ailadroddol (recurrent neural networks) yn modelu\u2019r cyd-destun ehangach ar lefel brawddeg, dogfen neu gorpws, sy\u2019n ddefnyddiol ar gyfer adnabod pwnc (topic identification) yn awtomatig."}, {"text_idx": "#000044", "text": "Mae\u2019n anodd i ieithoedd bach fel y Gymraeg gael gafael ar ddata o\u2019r maint yna, a cheir amheuaeth am faterion hawlfraint a statws casglu a rhyddhau rhai mathau o ddata, sy\u2019n ychwanegu at yr anhawster o gael data digonol ar gyfer rhai tasgau. Ar hyn o bryd corpws Cysill Ar-lein yw\u2019r corpws Cymraeg mwyaf sydd ar gael i greu modelau iaith ac offer tebyg12, gan ei fod yn cynnwys dros 150 miliwn o eiriau ac yn dal i dyfu."}, {"text_idx": "#000045", "text": "Fod bynnag, oherwydd pryderon am sensitifrwydd y data sydd wedi\u2019i fewnbynnu i Cysill Ar-lein nid oes modd i Brifysgol Bangor rannu testunau\u2019r corpws cyfan. Ceir corpora eraill llai at ddibenion penodol, rhai ohonynt wedi\u2019u cynllunio ar gyfer dadansoddiadau ieithyddol yn hytrach na fel adnoddau technolegau iaith. Corpora felly yw corpora iaith CEG13, Siarad14 CorCenCC15sydd ar hyn o bryd yn cael ei ddatblygu yn samplau o wahanol fathau o iaith, ac a fydd yn cynnwys 10 miliwn o eiriau pan fydd wedi\u2019i gwblhau."}, {"text_idx": "#000046", "text": "At ddibenion prosesu iaith, yn aml cre\u0308ir corpws safon aur (gold standard corpus) sy\u2019n cael ei anodi\u2019n ofalus a\u0302 llaw yn unol a\u0302\u2019r safon y penderfynwyd ei ddilyn. Caiff hwnnw wedyn ei ddefnyddio i hyfforddi algorithmau er mwyn anodi yn awtomatig. Mae\u2019n arfer hefyd cadw rhan o\u2019r corpws safon aur yn o\u0302l er mwyn gallu gwerthuso\u2019r modelau a hyfforddwyd ar y corpws ar ddata nad yw\u2019r model wedi\u2019i weld o\u2019r blaen. Mae anodi a\u0302 llaw yn waith llafurus, araf a drud, ond mae safon y gwaith hwn yn effeithio ar lwyddiant y gwaith awtomatig dilynol. Oherwydd hynny, mae anodi a\u0302 llaw yn rhan hynod o bwysig o\u2019r broses, ac yn un na lwyddwyd i\u2019w throsglwyddo\u2019n llawn i beiriannau hyd yn hyn."}]