Neurale netwerke

’n Neurale netwerk is ’n versameling berekeningselemente, neurone, wat onderling verbind is. Die basiese struktuur van ’n neurale netwerk behels drie vlakke neurone,

die invoer-, die versteekte en die uitvoervlak, met onderlinge verbindings. Die verbindings kan nooit tussen neurone in dieselfde vlak wees nie. Die aantal en patroon van die verbindings bepaal die taak wat die neurale netwerk kan uitvoer. Indien die inligting tussen die vlakke net in een rigting vloei, is dit ’n feedforward- netwerk. Wanneer ’n invoerneuron geaktiveer word, stuur dit die verskafte inligting met behulp van geweegde verbindings na die verbinde neurone in die versteekte vlak. Nadat die inligting ontvang is, weeg die versteekte neurone die invoerwaardes en pas ’n nie-lineêre transformasie toe om sy eie uitset te genereer. Die versteekte neurone stuur dan hulle eie inligting aan die neurone in die uitvoervlak, ook oor geweegde verbindings. Elke uitvoerneuron sommeer die geweegde invoere, transformeer dit en verskaf ’n uitset (Laitinen & Kankaanpää, 1999).

Voordat ’n neurale netwerk gebruik kan word, moet dit eers opgelei word (onder toesig of sonder toesig) deur die toevoer van ’n groep waarnemings. Opleiding onder toesig behels dat die uitkoms (byvoorbeeld misluk of nie-misluk) van elke waarneming bekend is. Die netwerk lei dit self op totdat dit ’n sekere invoer met ’n spesifieke uitset kan verbind. Met opleiding sonder toesig, word die uitkomste van die waarnemings nie verskaf nie en die neurale netwerk organiseer self die data ten einde die basiese eienskappe af te lei en met ’n spesifieke uitkoms te verbind. Inligting word dan aan die netwerk verskaf oor hoe goed die uitkoms is (Laitinen & Kankaanpää, 1999). Die fout van die uitvoervlak bepaal dan watter gewigte in die verbindings tussen die uitvoer- en die versteekte vlakke moet verander (Wilson & Chong, 1995). Figuur 2.2 stel ’n neurale netwerk voor.

Die voordeel van ’n neurale netwerk is dat dit aanpasbare wysigings aan die voorspellingsmodel toelaat soos nuwe voorbeelde beskikbaar word, wat handig is veral as die onderliggende groepverdelings besig is om te verander. Dit verdra ook datafoute en ontbrekende waardes (Cybinski, 2001:31). Neurale netwerke behaal goeie resultate in komplekse areas, dit kan kategoriese en kontinue veranderlikes hanteer en dit is vryelik in pakkette beskikbaar. Die probleme met neurale netwerke is dat die invoere tussen 0 en 1 moet wees; die netwerk vroegtydig ’n suboptimale oplossing kan gebruik (Sung, et al., 1999); en daar nie ’n formele metode bestaan waarvolgens die relatiewe belang van ’n invoer uit die gewigte van die netwerk afgelei kan word nie (Tam & Kiang, 1992:944). Tam en Kiang, (1992:944) waarsku dat behalwe indien die hele universum vir opleiding van die neurale netwerk gebruik

word, die aantal versteekte neurone versigtig gekies moet word, omdat dit ’n groot aantal kan wees wat tot oorpas van die netwerk kan lei.

Figuur 2.2: Drievlak-neurale netwerk

(Bron: Laitinen & Kankaanpää, 1999:74)

Pompe en Feelders (1997:275) vergelyk MDA-, herhalende verdeling- en neurale netwerkmodelle by konstruksiemaatskappye en vind dat neurale netwerke op die oog af beter akkuraatheid lewer as die ander twee. Nadat hulle dit egter statisties getoets het, vind hulle dat hulle nie die gevolgtrekking kan maak dat een tegniek beter as die ander is nie.

Laitinen en Kankaanpää (1999) het MDA, logit-analise, herhalende verdeling, oorlewingsanalise (die Cox-“proportionate hazard”-metode) en ’n neurale netwerk as metodes op ’n stel data vir een tot drie jaar voor mislukking toegepas ten einde vas te stel watter metode die beste in klassifikasie en voorspelling is. Hulle bevind dat alhoewel die herhalende verdeling en neurale netwerk die beste resultate behaal het vir klassifikasie-akkuraatheid, en MDA die swakste was, daar statisties nie ’n betekenisvolle verskil tussen die metodes was nie. Vir doeleindes van voorspelling het logit-analise die beste resultate behaal, terwyl neurale netwerke en MDA in die

Ratio 1

Ratio 2

Ratio 3

Failed/ Non-Failed

tweede plek was. Weer eens het die statistiese toetsing aangetoon dat geen metode beter was as die ander nie, al het die voorspellingsakkuraatheid tussen die metodes verskil. Laitinen en Kankaanpää (1999:84) kom tot die gevolgtrekking: “it can be stated that one of the latest applications, neural networks, is in its present form as effective as discriminant analysis was as early as thirty years ago”.

Lin en McClean (2001) vergelyk ook MDA, logit-analise, herhalende verdeling en neurale netwerke met mekaar, en vind dat die masjien-leer-tegnieke, naamlik herhalende verdeling en neurale netwerke, beter resultate lewer as die statistiese tegnieke, naamlik MDA en logit-analise, maar hulle toets nie of die verskille betekenisvol is soos Laitinen en Kankaanpää (1999) nie. Lin en McClean (2001:193) stel ’n verdere tegniek bekend, die hibried-algoritme, wat die beste eienskappe van die verskillende metodes kombineer en beter voorspellingsakkuraatheid as die ander metodes behaal.

2.2.2.9 “Rough sets”

Die metode wat deur Dimitras, Slowinski, Susmaga en Zopounidis (1999:265) gebruik word om hulle model saam te stel is ’n rough set-benadering. Voorwerpe wat deur dieselfde inligting gekenmerk word, is ononderskeibaar op grond van die inligting wat oor hulle beskikbaar is. Hierdie ononderskeibare verwantskap is die wiskundige basis van die rough set-teorie. ’n Stel ononderskeibare voorwerpe is ’n elementêre stel, terwyl ’n stel voorwerpe wat ’n gemeenskap van elementêre stelle is, ’n presiese stel is, andersins is die stel vaag (rough). Elke ruwe stel het dus grensgevalle wat nie met sekerheid as deel van die stel geklassifiseer kan word nie. Elke ruwe stel kan deur ’n paar presiese stelle verteenwoordig word – die onderste beraming, wat met sekerheid tot die stel behoort - en die boonste beraming wat moontlik tot die stel behoort.

Die rough set-proses betrek ’n besluitnemer, byvoorbeeld ’n kenner op die terrein van mislukkingvoorspelling, wat dan op grond van sy kennis die veranderlikes wat gebruik word, identifiseer en onderskeidingsnorme aan die kontinue veranderlikes toeken. Die aanvanklike veranderlikes word gereduseer na reduksies wat kombinasies van minder veranderlikes is. Die besluitnemer kies die reduksie wat volgens hom die beste is en wat die veranderlikes bevat wat hy as die belangrikste

aangedui het. ’n Stel besluitnemingsreëls word ontwikkel wat op grond van die norme van die veranderlikes in die reduksie die maatskappy as misluk of nie-misluk klassifiseer. Die proses kombineer dus ’n wiskundige tegniek met die besluitneming van ’n kundige. Die nadeel is dat die kundige se besluitnemingsreëls nie in ’n ander omgewing as sy eie bekende omgewing gebruik kan word nie. ’n Beter klassifikasie- akkuraatheid met dieselfde veranderlikes is deur Dimitras, et al. (1999:265) behaal met ’n rough set-model teenoor ’n logit- en ’n MDA-model.

2.2.3 Datavoorbereiding en steekproefontwerp