Ekspertvurdering
Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den
version , der blev gennemgået den 16. september 2021; checks kræver
2 redigeringer .
Ekspert evaluering - processen med at opnå en vurdering af noget, baseret på udtalelser fra eksperter , med henblik på efterfølgende beslutningstagning eller valg .
Typer af ekspertvurderinger
Der er to grupper af ekspertvurderinger:
- Individuelle vurderinger er baseret på brug af udtalelser fra individuelle eksperter, som er uafhængige af hinanden.
- Kollektive vurderinger er baseret på brugen af den samlede udtalelse fra eksperter.
Den fælles udtalelse er mere nøjagtig end den individuelle udtalelse fra hver af specialisterne. Denne metode bruges til at opnå kvantitative skøn over kvalitative karakteristika og egenskaber. For eksempel, evalueringen af flere tekniske projekter i henhold til deres grad af overholdelse af et givet kriterium , under konkurrencen, evalueringen af skaterens præstation af dommerne.
Følgende metoder til ekspertvurderinger er kendt:
- foreningsmetode . Baseret på studiet af et objekt, der i egenskaber ligner et andet objekt.
- Metode til parrede (binære) sammenligninger . Det er baseret på en sammenligning foretaget af en ekspert af alternative muligheder, hvorfra de mest foretrukne skal vælges.
- Præferencevektormetode . Eksperten analyserer hele sættet af alternative muligheder og vælger de mest foretrukne.
- Focal object metode . Det er baseret på overførslen af funktioner fra tilfældigt udvalgte analoger til det undersøgte objekt.
- Individuel ekspertundersøgelse . Undersøgelse i form af et interview eller i form af en analyse af ekspertvurderinger. Betyder en samtale mellem kunden og en ekspert, hvor kunden stiller spørgsmål til eksperten, hvis svar er væsentlige for at nå programmets mål. Analysen af ekspertvurderinger går ud på, at den enkelte af en ekspert udfylder en formular udviklet af kunden, på baggrund af hvis resultater der laves en omfattende analyse af problemsituationen og identificeres mulige måder at løse den på. Den sagkyndige fremlægger sine overvejelser i form af et særskilt dokument.
- middelpunkt metode . Der formuleres to alternative løsninger, hvoraf den ene er mindre at foretrække. Derefter skal eksperten vælge det tredje alternativ, hvis vurdering er placeret mellem værdierne af det første og andet alternativ.
Stadier af peer review
- At sætte mål for studiet.
- Valg af forskningsform, fastsættelse af projektets budget.
- Udarbejdelse af informationsmateriale, spørgeskemaer, procedure moderator.
- Udvælgelse af eksperter.
- Gennemførelse af en eksamen.
- Analyse af resultaterne (behandling af ekspertvurderinger).
- Udarbejdelse af en rapport med resultaterne af en ekspertvurdering.
Udtalelse af forskningsmålet
Eksperttilgangen giver dig mulighed for at løse problemer, der ikke kan løses på den sædvanlige analytiske måde, herunder:
- At vælge den bedste løsning blandt de tilgængelige.
- Forudsigelse af udviklingen af processen.
- At finde mulige løsninger på komplekse problemer.
Før en ekspertundersøgelse påbegyndes, er det nødvendigt klart at definere dens formål (problem) og formulere et passende spørgsmål til eksperterne. I dette tilfælde anbefales det at overholde følgende regler;
- En klar definition af problemets betingelser, tid, eksterne og interne begrænsninger. * Evnen til at besvare et spørgsmål med menneskeoplevet nøjagtighed.
- Spørgsmålet er bedre formuleret som et kvalitativt udsagn end som et skøn over et tal. For numeriske estimater anbefales det ikke at indstille mere end fem gradueringer.
- Eksperter vurderer mulige muligheder, og man skal ikke forvente, at de udvikler en komplet handlingsplan, en detaljeret beskrivelse af mulige løsninger.
Valg af forskningsform, fastsættelse af projektets budget
Eksisterende typer af ekspertvurderinger kan klassificeres efter følgende kriterier:
- I henhold til form for deltagelse af eksperter: fuld tid, deltid. Ansigt-til-ansigt metoden giver eksperter mulighed for at fokusere på problemet, der skal løses, hvilket forbedrer kvaliteten af resultatet, men fjernmetoden kan være billigere.
- Ved antallet af iterationer (gentagelser af proceduren for at forbedre nøjagtigheden) - et-trins og iterativ.
- I henhold til de opgaver, der skal løses: generere løsninger og vurdere muligheder.
- Efter type svar: ideologisk, rangordning, evaluering af objektet i en relativ eller absolut (numerisk) skala.
- Ifølge metoden til behandling af ekspertudtalelser: direkte og analytisk.
- Efter antallet af involverede eksperter: ubegrænset, begrænset. Normalt bruges 5-12 eksperter.
De mest berømte metoder til ekspertvurderinger er Delphi-metoden , brainstorming og hierarkianalysemetoden . Hver metode har sin egen timing og behov for eksperter. Efter at have valgt metoden til ekspertevaluering er det muligt at bestemme omkostningerne ved proceduren, som inkluderer betaling af eksperter, leje af lokaler, køb af papirvarer, betaling af en specialist i at udføre og analysere resultaterne af undersøgelsen.
Udarbejdelse af informationsmateriale
Eksperter bør, før de foretager en vurdering, diversificere det præsenterede problem. For at udføre denne procedure er det nødvendigt at udarbejde informationsmateriale, der beskriver problemet, tilgængelige statistiske data, referencematerialer, spørgeskemaskemaer , opgørelse. Følgende fejl bør undgås: omtale af udviklerne af materialer, fremhæve en eller anden løsningsmulighed, udtrykke ledelsens holdning til de forventede resultater. Data skal være alsidige og neutrale. Det er nødvendigt på forhånd at udvikle spørgeskemaer til eksperter. Afhængigt af metoden kan de være med åbne og lukkede spørgsmål, svaret kan gives i form af en bedømmelse, parret sammenligning, rangordnede serier, i point eller i form af en absolut vurdering.
Selve proceduren udføres af en uafhængig moderator af proceduren, som kontrollerer overholdelse af reglerne, distribuerer materialer og spørgeskemaer, men ikke udtrykker sin egen mening.
Udvælgelse af eksperter
Eksperter bør have erfaring inden for områder, der er relevante for de opgaver, der skal løses. Når man udvælger eksperter, bør man tage hensyn til tidspunktet for personlig interesse, som kan blive en væsentlig hindring for at opnå en objektiv bedømmelse. Til dette formål bruges for eksempel Shars metoder, når én ekspert, den mest respekterede specialist, anbefaler en række andre og videre i kæden, indtil det nødvendige team er udvalgt.
Udførelse af en eksamen
Fremgangsmåden varierer afhængigt af den anvendte metode. Generelle anbefalinger:
- Undgå pres fra myndighederne (en ekspert er ofte bange for at modsige flertallets eller den mest respekterede specialists mening).
- Indstil og følg regler. At øge tiden til at træffe en beslutning ud over den optimale, forbedrer ikke svarets nøjagtighed.
Analyse af resultaterne (behandling af ekspertvurderinger)
De vigtigste stadier i behandlingen af ekspertvurderinger:
- fastlæggelse af eksperters kompetence ;
- definition af en generaliseret vurdering;
- opbygning af en generaliseret rangordning af objekter i tilfælde af flere evaluerede objekter eller alternativer ;
- bestemmelse af afhængigheder mellem rangeringer;
- vurdering af sammenhængen i ekspertudtalelser. I mangel af væsentlig enighed blandt eksperter er det nødvendigt at identificere årsagerne til inkonsekvens (tilstedeværelse af grupper) og anerkende fraværet af en aftalt udtalelse (ubetydelige resultater);
- vurdering af forskningsfejl;
- opbygning af en model af objektets (objekternes) egenskaber baseret på eksperternes svar (til analytisk ekspertise);
- udarbejdelse af en rapport (med angivelse af formålet med undersøgelsen, sammensætningen af eksperter, vurdering og analyse af resultaterne).
Se også
Litteratur