trafność / stronniczość

wymień rodzaje trafności

trafność treściowa(wewnętrzna, logiczna), kryterialna i teoretyczna

Czym jest trafność fasadowa

Analizą tego, co bada test z punku widzenia badanych. Czy w ich pojmowaniu test mierzy to co miał mierzyć.

kiedy dany test jest trafny treściowo?

gdy wszystkie pozycje testu należą do uniwersum i gdy cały test proporcjonalnie reprezentuje uniwersum

czym jest analiza logiczna

analizą pozycji I całości testu przy pomocy sędziów kompetentnych w celu ustalenia trafności treściowej.

Czym jest współczynnik trafności teściowej

Jest to współczynnik wykorzystywany do ilościowej analizy zgodności sędziów. Został stworzony przez Lawshego i wygląda tak:

W przypadku jakich testów zwłaszcza określa się trafność treściową?

Zwłaszcza w przypadku testów sprawnościowych (testy wiadomości, umiejętności i osiągnięć szkolnych)

co to jest kryterium?

Jest to standard, względem którego ocenia się jakość wyników testowych. Kryterium musi spełniać dwie cechy: powinno być zmienną dającą rzetelne wyniki oraz być zmienną istotną z punku widzenia tego co mierzy dany test.

Czym jest kontaminacja kryterium?

Jest to sytuacja, w której znajomość wyników danej osoby w teście wpływa na ocenę jej wyniku zmiennej kryterialnej.

Co to jest współczynnik trafności kryterialnej?

To współczynnik korelacji pomiędzy wynikami testu, a wynikami zmiennej kryterialnej. Najczęściej r Pearsona, albo rho Spearmana

Jak określa się trafność?

Ocena trafności to proces zbierania i oceny danych świadczących o trafności określonej interpretacji wyników testu. Procedura w zasadzie się nie kończy.

Czym jest poprawka na obniżenie wielkości współczynnika?

Jest to poprawka dot wielkości współczynnika trafności kryterialnej ze względu na wielkość rzetelności testu oraz kryterium. A wygląda tak:

Czym jest trafność teoretyczna?

Oceną stopnia, w jakim wnioski wyprowadzone na podstawie wyników testowych odzwierciedlają pozycje osoby na teoretycznym kontinuum, zwanym konstruktem. Odzwierciedla związek pomiędzy cechą psychologiczną, a narzędziem pomiarowym (jego operacjonalizacją)

Jak ustala się trafność teoretyczną?

Ustala się ją poprzez definiowanie mierzonej cechy i późniejsze wiązanie wyników testu z zachowaniami osób badanych w sytuacjach, w których konstrukt jest istotną zmienną.

Wymień metody badania trafności teoretycznej

1Analiza różnic miedzygrupowych, 2analiza macierzy korelacji, 3analiza czynnikowa, 4analiza stryktury wewnętrznej testu, 5analiza zmian nieprzypadkowych testu, 6analiza procesu rozwiązywania testu.

Opisz metodę wielu cech wielu metod

Jest to metoda badania trafności teoretycznej stworzona przez Canpbela i Fiskego, polega na przeprowadzeniu kilku badań przy pomocy kilku metod, następnie stworzeniu macierzy i porównaniu wyników. Istotny jest aspekt zbieżny oraz różnicowy.

Opisz analizę czynnikową

Jest to technika statystyczna używana do identyfikacji czynników mogących reprezentować relacje między grupami wielu wzajemnie skorelowanych zmiennych. Pozwala sprawdzić, czy dane empiryczne są zgodne z przyjętymi teoretycznie wymiarami.

Co to jest homogeniczność?

Jest to stopień, w jakim test można uznać za miarę jednego danego konstruktu. tzw zgodność wewnętrzna. Szacowana zwykle przez korelację danej pozycji z wynikiem ogólnym. Zostawia się te pozycje, które różnicują badanych w tę samą stronę co test.

Na czym polega analiza zmian nieprzypadkowych

Jest to porównywanie wyników dwukrotnego badania danym testem, przy wprowadzeniu manipulacji pomiędzy pomiarami. Wyniki retestu powinny się obniżyć/podwyższyć (hipoteza z teorii)

Czym jest technika dekompozycji?

Jest to technika zaproponowana przez Embretson, polegająca na manipulacji złożonością zadań, liczbą wskazówek, kolejnością elementów, w celu ustalenia jakie procesy przetwarzania inf są zaangażowane w rozwiązywanie testu.

Co oznacza stronniczość w sensie psychonetrycznym i statystycznym?

Stronniczość w sensie psychometrycznym oznacza względną trudność pozycji testowych, która zniekształca stałe różnice międzygrupowe. W sensie statystycznym oznacza obciążenie, czyli systematyczne niedo- lub przeszacowanie parametru populacyjnego.

Jakie mogą być źródła stronniczość testu?

1) Niewłaściwa treść testu, 2) pomiar różnych charakterystyk, 3) zakłócenia trafności prognostycznej, 4) język, 5) niewłaściwa próba standaryzacyjna, 6) różnice grupowe w średnim wykonaniu testu i 7) niejednakowe konsekwencje społeczne.

Czym jest błąd egalitaryzmu?

Założenie, że wszystkie grupy każdej populacji są równe pod względem wszystkich charakterystyk mierzonych przez test.

Z czym wiąże się niewłaściwa treść testu?

Jest to nieodpowiednie sformułowanie testu, poprzez zawarcie w nim wiedzy, czy wartości bardziej znajomych dla danej grupy niż innych.

Z czym wiąże się źródło stronniczość w pomiarze różnych charakterystyk?

Ten sam test może mierzyć różne charakterystyki, jeżeli stosowany jest na grupie spoza kultury, z której pochodzą pozycje testowe.

Z czym wiąże się zakłócenie trafności prognostycznej?

Test może umożliwiać dokonanie dobrych prognoz w wypadku grup większościowych i nie umożliwiać tego w grupie mniejszościowej. (niepełność grupy walidacyjnej)

W jaki sposób język może być źródłem stronniczość testu?

Osoby mówiące w innym języku niż język testu otrzymają generalnie niższe wyniki. Źródłem stronniczość jest w tym wypadku wadliwa procedura badania - nieupewnienie się, że osoba badana rozumie język, w którym sformułowany jest test.

W jaki sposób niewłaściwa grupa standaryzacyjna może być źródłem stronniczości?

Jeżeli w próbie standaryzacyjnej nie są reprezentowane wszystkie grupy, które mogą być badane danym testem, to test może być stronniczy w stosunku do tych grup w niej nieuwzględnionych.

W jaki sposób różnice grupowe w średnim wykonaniu testu mogą być źródłem stronniczości?

Każda różnica wykonania testu przez dwie grupy jest traktowana jako dowód stronniczości. Wynika z założenia, że grupy są równe pod względem wszystkich charakterystyk (błąd egalitaryzmu)

w jaki sposób niejednakowe konsekwencje społeczne mogą być źródłem stronniczości?

Decyzje podejmowane na podstawie stronniczych testów mogą być niekorzystne w stosunku do grup mniejszości i pogłębiać nierówności społeczne.

Czym są statystyki DIF?

Jest to wskaźnik odmiennego różnicowania, sam w sobie nie świadczy o stronniczości. Pozwalają zauważyć, że dana pozycja zachowuje się różnie w zależności od grupy osób badanych. Na podstawie statystyk DIF wnioskujemy o rozkładzie cech drugorzędowych.

Czym jest stronniczość treściowa?

Występuje ona, gdy uniwersum pozycji testowych zostało trafnie określone tylko w stosunku do jednej grupy(np grupy większości). Taki test jest stronniczy dla wszystkich innych grup.

Wymień przyczyny stronniczości treściowej

1. Pozycje są stronnicze, bo wymagają od członków grupy mniejszościowych znajomości tematu, z którym się nie zetknęły. 2. Pozycje są stronnicze, ponieważ stworzono nieprawidłowy klucz ich oceny. Arbitralna decyzja, co jest popr odp. 3. Pozycje są

Czym jest stronniczość kryterialna?

Jest to stały błąd w przewidywaniu wyniku kryterialnego osób należących do danej grupy. Przeszacowanie lub niedoszacowanie w przewidywaniu przyszłych zachowań w wyniku ich przynależności grupowej.

Co odzwierciedlają prognozy nieobciążone kryterialnie?

Odzwierciedlają one poziom osiągnięć właściwy dla danej grupy, z jednakową dokładnością dla każdej grupy.

Jakie dwie grupy wyników są rozważane w kontekście stronniczości kryterialnej?

Wyniki zastosowania określonego testu i wyniki innych zmiennych poza testowych, stanowiących kryterium przewidywania przyszłych zachowań.

Co to jest stronniczość teoretyczna?

Stronniczość ta występuje wtedy, gdy test mierzy różne konstruktu w wypadku różnych grup, lub gdy mierzy tę samą cechę, ale z różną dokładnością.

W jaki sposób szacuje się stronniczość teoretyczną?

Przy pomocy analizy czynnikowej. Stwierdzenie identycznych czynników w różnych grupach można uznać za potwierdzenie, że test mierzy w każdej grupie to samo (nie jest stronniczy)

Na czym polega szacowanie stronniczości kryterialnej?

Polega na ocenie funkcjonowania testu z punktu widzenia jego trafności kryterialnej. Stąd też test stronniczy, to test który nie pozwala na trafne przewidywanie zachowań aktualnych lub występujących w przyszłości w stosunku do wszystkich badanych.

Jak operacjonalizuje się stronniczość testu?

Nierówność linii regresji w dwóch wyodrębnionych grupach (różne korelację wyników testowych z prognozowanymi w zależności od grupy).

Czego rezultatem jest błąd systematyczny przy prognozowaniu wartości zmiennej kryterialnej dla osób z różnych grup?

1) Oparcia diagnozy/prognozy o wspólna linie regresji wyznaczona dla wszystkich, bez względu na przynależność. 2) Oparcia diagnozy/prognozy wyników kryterialnych jednej grupy na równaniu regresji ustalonym dla innej grupy.

Na czym polega badanie stronniczości?

Na wyznaczeniu linii regresji dla każdej z grup i następnie ocenie ich zgodności.

Na co pozwalają badania nad stronniczością?

1) Pozwalają określić czy i jakie zmiany powinny zostać wprowadzone w procedurze budowania testu, żeby zminimalizować stronniczość. 2) Stworzyc reguły eliminowania stronniczości, której źródłem jest język, czy treść pozycji. 3) Opracowanie procedur

Wymień techniki oszacowania stronniczości pozycji.

Techniki oparte na sędziowaniu, analizie wariancji, analizie współczynników trudności pozycji, teście chi, analizie ICC

Czym jest walidacja krzyżowa?

Jest to metoda oceny ostatecznej wersji testu. Polega na przeprowadzenia badania na nowej próbie, a następnie losowe przydzielenie arkuszy do analizy zadań oraz walidacji krzyżowej.

Czym jest kurczenie trafności?

Występuje wtedy, gdy wskaźniki trafności pozycji wybranych do ostatecznej wersji testu będą mniejsze w nowej próbie. (im większa pula testowa, tym większe zmniejszenie trafności, im większa próba, tym łatwiej i wysoką trafność)

Uzasadnij stosowanie testów psychologicznych w procesie selekcji.

1) Gwarantuja standaryzację sytuacji egzaminacyjnej. 2) mają jawne skalę ocen i odniesienia, co ułatwia porównywanie wyników. 3) Mogą być wykorzystywane po okresie selekcji. 4) pomagaja uzupełniać/korygować inf już zebrane nt kandydata.

Populacja osób starających się o pracę na podstawie wyniku w teście mogą być podzielone na cztery grupy. Wymień je.

Osoby przyjęte i osiągające sukces, osoby nieprzyjęte, które by go osiągnęły, osoby przyjęte, które go nie osiągają i osoy nieprzyjęte, które by go nie osiągnęły.

Od czego zależy trafność decyzji selekcyjnej?

Od korelacji między testem a kryterium, oraz od przyjętych punktów na skali powodzenia i na skali wyników testowych.

Czym jest stosunek powodzenia i stosunek wyboru?

Stosunek powodzenia to proporcja kandydatów przyjętych, którzy osiągnęli sukces. A stosunek wyboru, to proporcja kandydatów przyjętych.

Czym jest współczynnik selekcji?

To liczba kandydatów poddanych selekcji podzielona przez liczbę wszystkich potencjalnych kandydatów. Zależy od popytu i podazy danego stanowiska pracy.

Jakie wymagania należy wziąć pod uwagę przy tworzeniu procedury selekcyjnej?

1) Trafnosc(metoda powinna trafnie przewidywać przyszłe sukcesy pracowników)2)skuteczność(odpowiedni dobór stosunku powodzenia i wyboru)3)etyczne postępowanie4) opłacalność(koszty stosowania procedur rekrutacyjnych) 5)wydajność

Wymień koncepcje selekcji opisane przez Huntera i Smidta.

Indywidualizm nieograniczony, indywidualizm ograniczony i dobór kwotowy.

Scharakteryzuj indywidualizm nieograniczony

Zakłada on wybór kandydatów o najwyższym wyniku kryterialnym. W tym przypadku każda zmienna demograficzna może być użyta jako zmienna predykcyjna, jeśli tylko jest skorelowana z kryterium i podwyższa trafność prognostyczną.

Opisz indywidualizm ograniczony.

Koncepcja ta kładzie nacisk na maksymalizację trafności predykcyjnej, ale w procedurze selekcji nie bierze pod uwagę wszystkich zmiennych, przez które można zidentyfikować przynależność grupową osoby.

Opisz dobór kwotowy.

Oznacza dobór proporcjonalny, w procedurach selekcji uwzględnia się kryteria społeczne. Dobiera się kandydatów według uczciwych proporcji (najczęściej procentowy skład populacji).

Porównaj koncepcje selekcji kandydatów.

Indywidualizm nieograniczony stawia na maksymalizację trafności i minimalizację błędu prognozy. Indywidualizm ograniczony stawia na tworzenie procedur niezależnych od przynależności grupowej, przy jednoczesnym dążeniu do maksymalizacji trafności.

Wskaż krytykę wszystkich koncepcji selekcji pracowników.

przy indywidualizmie nieograniczonym predyktorów może mieć niższa trafność dla jakiejś grupy, tym samym będzie ona poszkodowana. indywidualizm ograniczony nie działa w zgodzie z zasadą maksymalizacji trafności oraz korzysta z pośrednich