I hvilken grad kan domenespesifikk kunnskap (ekspertkunnskap) bidra til å forbedre prediktive maskinlæringsmodeller?

Abstract

Målet med denne oppgaven har vært å undersøke i hvilken grad domenespesifikk kunnskap (ekspertkunnskap) kan bidra til å forbedre prediktive maskinlæringsmodeller (ML).

I første del av oppgaven er det undersøkt om bruk av maskinlæringsmodeller bidrar til høyere konverteringsrate (antall salg for antall kunder kontaktet) innenfor telemarketing. I den kvantitative analysen er det utviklet og evaluert fem ulike ML-modeller. Resultatene viser at bruk av maskinlæring basert på historiske data kan bidra til betydelig forbedret konverteringsrate. Maskinlærings-modellen som gir aller best prediksjoner er basert på extreme gradient boosting algoritme. Modellen oppnår en gjennomsnittlig forbedring av konverteringsraten på ca 104%.

I andre del av oppgaven er det undersøkt om bruk av ekspertkunnskap, i kombinasjon med maskinlæringsmodeller, bidrar til høyere konverteringsrate utover kun ren maskinbasert prediksjon.

I studien er eksperter vekselvis integrert i utviklingsprosessen. Analysen viser at ulike ML-algoritmer vurderer betydningen av variabler forskjellig. En åpen og transparent utviklings-prosess, som integrerer domene-eksperter i virksomheten gjennom en hybrid praksis, er fordelaktig. Ekspertenes kvalitative vurderinger, sammen med resultatene fra de ulike ML-modellene og recursive feature elimination (RFE), har bidratt til ny innsikt og avdekket betydningen av viktige variabler som kan være med på å forutsi fremtidig kjøpsadferd. Domene-ekspertene har også avdekket mangler i informasjon og variabler, og har bidratt til å gjøre modellen mer relevant.

Resultatene viser at eksperkunnskap kan bidra til å utvikle ML-modeller med høyere prediktiv nøyaktighet enn rene maskinprediksjoner alene. Den hybride modellen gir en forventet gjennomsnittlig forbedring i konverteringsraten på 109%, som er 5% over modellen med rene maskinprediksjoner. Selv om forbedringen er relativt liten, viser analysen at forskjellen er signifikant. Ved å inkludere domene-eksperter i prosessen er antall variabler i modellen redusert fra 29 til 16. Det bidrar til å redusere kompleksitet, og gjør modellen mer forståelig, pålitelig og nøyaktig med bruk av nye testdata.

The aim of this thesis has been to investigate the extent to which domain-specific knowledge (expert knowledge) can contribute to improving predictive machine learning models (ML).

In the first part of the thesis, it is investigated whether the use of machine learning models contributes to a higher conversion rate (number of sales of customers contacted) in telemarketing. In the analysis, five different ML models have been developed and evaluated. The results show that the use of machine learning, based on historical data, can contribute to significantly improved conversion. The machine learning models that give the best predictions are based on extreme gradient boosting algorithm. The model implies an average expected improvement in the conversion rate of 104%.

In the second part of the thesis, it is investigated whether the use of expert knowledge in combination with machine learning models, contributes to a higher conversion rate beyond just pure machine-based prediction.

In the study, experts are alternately integrated into the development process. The analysis shows that different ML algorithms assess the importance of variables differently. An open and transparent development process, which integrates domain experts through a hybrid practice is beneficial. The experts' qualitative assessments, together with the results from the various ML models and recursive feature elimination (RFE), has contributed to new insights and revealed the most important variables that can help to predict future buying behavior. The domain experts have also identified shortcomings in information and variables, which have made the model more relevant.

The results show that expert knowledge can contribute to develop ML-models with higher predictive accuracy, than pure machine predictions alone. The hybrid model gives an expected improvement in conversion rate of 109%, which is 5% above the model with pure machine predictions. Although the improvement is relatively small, they are significant. By including domain experts, the number of variables in the model is reduced from 29 to 16. This helps to reduce complexity, and makes the model more understandable, reliable, and accurate with the use of new test data.