Om metode: Bruk av inter-observatør enighet og inter-rater reliabilitet i NTA, og forslag til utvidelse av repertoaret i atferdsanalytiske studier

Abstract

For at atferdsanalytiske studier skal inkluderes i evidensbasene må forskningsdesign og de tilhørende statistiske analyser være av god kvalitet. En kvalitetsindikator innen psykologiforskning er bruk og rapportering av enighet mellom observatørene under datainnsamling og analyser. Denne artikkelen beskriver omfanget av artikler i Norsk Tidsskrift for Atferdsanalyse som har metodedel, som oppgir å ha målt enighet mellom observatører, og som oppgir hvordan forfatterne har målt denne enigheten. Resultatene viser at de aller fleste artiklene med metodedel oppgir grad av enighet i form av prosentvis enighet. Vi gir en oversikt over og redegjør for ytterligere strategier for å måle observatørenighet og argumenterer for at atferdsanalytikere bør benytte seg av mer robuste statistiske mål for enighet mellom observatører.

To ensure that behavior analytic research will be included as evidence-based research, rigorous designs and statistical analyses is needed. One indicator of quality within psychological research is the measure and analysis of inter-rater reliability (IRR). This article provides an overview of the number of articles in the Norwegian Journal of Behavior Analysis that contain a method section, that reports data on inter-observer agreement (IOA), and how they have measured IOA. Our results show that most of these articles use percentage agreement. We provide an overview and introduction to other strategies of measuring agreement. Further, we argue that behavior analysts should utilize more robust statistical measures of observer agreement.