Analisis Validitas dan Reliabilitas

Bilson Simamora, 4 Juli 2018

Pada halaman (page) ini (klik) telah dijelaskan tentang konstruk, yaitu konsep yang bersifat umum atau memiliki abstraksi tinggi. Misalnya, kualitas produk terdiri dari kualitas utilitarian dan kualitas emosional. Kualitas utilitarian sendiri ditentukan oleh unjuk kerja (performance), kesesuaian unjuk kerja dengan promosi (conformance), durabilitas (durability), reliabilitas (reliability), dan kemudahan perbaikan (repairability) (Kotler dan Keller, 2016). Andaikan kita mengukur unjuk kerja (performance) dan teman-temannya untuk mengukur kualitas utilitarian, perlu dipertanyakan apakah variabel-variabel itu memang mengukur kualitas utilitarian? Sekalipun teori sudah men-spesifikasi variabel atau dimensi suatu konstruk, dalam setiap penelitian, perlu dilakukan uji untuk memastikan apakah variabel-variabel yang digunakan valid atau mengukur konstruknya.  Sebuah variabel dikatakan valid apabila mengukur atau menyumbangkan informasi terhadap konstruknya.

Bagaimana variabel atau dimensi mengukur atau memberi informasi tentang konstruknya? Sebelum menjawab pertanyaan ini perlu dipahami bahwa varian total suatu variabel terdiri dari common variance (varian bersama), unique variance (varian yang dimiliki sendiri) dan error variance (varian karena kesalahan pengukuran).  Perumpamaan untuk menjelaskan varian ini adalah DNA (deoxyribonucleic acid), yaitu kode genetika yang menentukan sifat-sifat seseorang. DNA ada tiga jenis, yaitu DNA yang dimiliki bersama, DNA yang unik dan DNA penyimpangan. Orang bersaudara memiliki DNA yang sama daripada yang berbeda dan menyimpang. Varian bersama ini dapat kita bayangkan seperti DNA bersama tersebut.  Jadi, sebuah variabel dikatakan ‘bersaudara’ dengan variabel-variabel lain yang tergabung dalam suatu konstruk apabila memiliki porsi common variance yang besar.

Pada kesempatan ini, untuk menentukan validitas, kita membahas korelasi, factor loading, variance extracted, composite reliability dan discriminant validity.  Pertama-tama, kita lihat dulu tabel operasionalisasi variabel penelitian di bawah ini.

Untuk uji validitas, yang mau kita uji adalah:

  1. Apakah INCOM1 s/d INCOM4 merupakan bagian dari konstruk ‘incom’?
  2. Apakah EXFUNC 1 s/d EXFUNC6 merupakan bagian dari konstruk ‘exfunc’?
  3. Apakah EXSYM 1 s/d EXSYM5 bergabung pada konstruk ‘exsym’?
  4. Apakah PAE1 s/d PAE5 bersatu dalam konstruk ‘pae’?

Reliabilitas

Sebelum membahas validitas lebih lanjut, kita bahas dulu reliabilitas. Konsep ini berkaitan dengan kualitas suatu instrumen, yang dinyatakanoleh akurasi satuan yang dihasilkan.  Bayangkan kita mengukur suhu air hangat. Kita gunakan dua instrumen, yaitu termometer dan jari telunjuk. Pengukuran dilakukan lima kali oleh lima orang berbeda. Hasilnya, dengan termometer, angka yang dihasilkan adalah 37, 36.8, 37.1, 37.2 dan 36.9 derajat celsius. Sedangkan dengan jari telunjuk, angka perkiraan yang dihasilkan lima orang adalah 30, 40, 36, 45 dan 25 derajat celsius. Jelas, dalam contoh ini, termometer lebih reliabel dibanding jari telunjuk karena menghasilkan angka yang lebih konsisten.

Dalam riset pemasaran reliabilitas menyatakan kemampuan instrumen untuk menghasilkan hasil (skor atau satuan) yang konsisten apabila digunakan untuk mengukur variabel berkali-kali.  Kuesioner yang reliabel adalah kuesioner yang apabila dicobakan secara berulang-ulang kepada responden yang sama akan menghasilkan data yang sama.  Asumsinya, tidak terdapat perubahan psikologis pada responden.  Memang, apabila data yang diperoleh sesuai dengan kenyataannya, berapakali pun pengambilan data dilakukan, hasilnya tetap sama.

Pertanyaannya, untuk melakukan uji reliabilitas sebuah instrumen (misalnya kuesioner), apakah kita harus melakukan pengukuran lebih dari satu kali? Ada dua jenis reabilitas, yaitu reliabilitas eksternal dan reliabilitas internal.

Reliabilitas Eksternal

Secara garis besar, reliabilitas eksternal adalah reliabilitas yang diperoleh dengan membandingkan hasil dua kelompok data.  Ada dua jenis cara untuk menguji reliabilitas eksternal, yaitu teknik paralel dan teknik ulang.

Teknik  paralel

Pada teknik paralel, peneliti perlu menyiapkan dua perangkat kuesioner,  kemudian keduanya dicobakan pada sekelompok responden yang sama.  Hasil dari kedua percobaan kemudian dikorelasikan dengan teknik product moment atau korelasi Pearson.  Sekelompok data dijadikan sebagai variabel X, sekelompok lainnya dijadikan sebagai variabel Y.  Tinggi rendahnya koefisien korelasi keduanyalah yang menentukan reliabilitas kuesioner.

Karena menggunakan dua instrumen dan pengisian kuesioner dilakukan dua kali, maka teknik ini disebut teknik double test double trial.

Teknik Berulang  Dalam teknik ini, kuesioner yang dicobakan hanya hanya satu set, namun percobaan dilakukan dua kali.  Dengan kata lain, sekelompok responden diminta untuk mengisi kuesioner dua kali.  Kemudian, kedua kelompok data, yaitu hasil percobaan kuesioner pertama dan kedua, dikorelasikan. Karena dalam teknik ini hanya dibutuhkan satu set kuesioner dengan dua kali uji coba, maka teknik ini dinamakan single test double trial.

Reliabilitas Internal

Kalau reliabilitas eksternal diperoleh dengan menganalisis dua kelompok data, baik dari perangkat kuesioner yang berbeda maupun sama, maka reliabilitas internal diperoleh dengan menganalisis data yang berasal dari satu kali pengujian kuesioner.  Terdapat berbagai rumus (teknik) mencari reliabilitas, yaitu Spearman-Brown, Flanagan, Rulon, K-R. 20, K-R.21,  Hoyt dan Cronbach Alpha.

Dari semua teknik yang dibahas, yang paling paling banyak digunakan dalam Riset Pemasaran adalah reliabilitas internal dengan teknik Cronbach Alpha. Itulah yang kita bahas lebih lanjut.  Lagi pula, semua rumus reliabilitas internal selain Cronbach Alphya  hanya bisa digunakan apabila kategorisasi jawaban hanya menggunakan variabel diskrit yang skor-nya 0 atau 1.  Masalahnya, kebanyakan penelitian tidak lagi menggunakan variabel diskrit, tetapi skala berganda (multiple scale) yang skornya bisa antara 1 sampa1 5, 1 sampai 7, -3 sampai 3, dan seterusnya. Untuk hasil penelitian yang diperoleh melalui skala berganda, maka Cronbach Alpha adalah teknik yang tepat.

Ada juga peneliti yang menyederhanakannya dengan mengelompokkan jawaban skala yang digunakan menjadi dua kategori.  Misalnya, untuk skala 1 sampai 5, maka jawaban 3 ke bawah diberi 0 dan di atas 3 diberi 1.  Daripada repot melakukan hal seperti itu, lebih baik menggunakan Rumus Alpha yang memang digunakan untuk menganalisis reliabilitas kuesioner yang skalanya bukan 0 dan 1.

Cronbach Alpha menggunakan rumus:

Keterangan:

  • r11  atau r-alpha = reliabilitas instrumen
  • k          = banyaknya butir pertanyaan
  •  =jumlah varian butir
  • st2  = varian total

Data di bawah ini diperoleh dari 10 responden. Dengan data seperti itu, bagaimana dengan reliabilitas instrumen yang digunakan? Mari kita cek sama-sama.

Maka dengan menggunakan rumus di atas diperoleh:

Dengan tingkat kepercayaan 99% dan jumlah responden (n)=10, r-alpha tabel adalah 0.765.  Karena r-alpha hitung>r-alpha tabel cukup bukti untuk menyatakan bahwa  instrumen (kuesioner) reliabel pada tingkat kepercayaan 99%.

Berita baiknya, dengan SPSS dengan mudah kita memperoleh nilai Cronbach Alpha, jadi tidak perlu dilakukan perhitungan manual. KIta juga tidak perlu membandingan nilai Cronbach Alpha hitung dan tabel, cukup memenuhi ketentuan saja bahwa apabila nilai Cronbach Alpha lebih besar atau sama dengan 0.7, maka intrumen adalah reliabel. Batas 0.6 masih ditoleransi. Selang selang 0.6 s/d 0.7 masih diterima atau cukup reliabel. Namun, yang diharapkan adalah r-alpha=0.7 atau lebih besar (Hair et al. 2006).

Analisis validitas dan reliabilitas dilakukan per konstruk. Untuk memantapkan pemahaman, mari kita lakukan analisis validitas dan reliabilitas.  Dengan menggunakan kuesioner berdasarkan Tabel 12, kita peroleh data pada link ini. Silakan di-klik.

Setelah di-down-load, periksa ‘measure‘ setiap variabel. Biasanya SPSS memberikan status ‘unknown‘. Ubah menjadi ‘scale‘.  Kadang-kadang proses down-load juga tidak sempurna, sehingga ada unit analisis (case) yang datanya tidak terekam, yang ditandai dengan tanda tanya (?). Kasus demikian hapus saja.

Analisis validitas dan reliabilitas kita lakukan untuk satu konstruk saja, yaitu intensi partisipasi konsumen (incom). Untuk konstruk lain silakan dikerjakan sendiri.

Memraktekkan Uji Validitas dan Reliabilitas

Korelasi

Untuk menghitung korelasi, lakukan prosedur berikut ini: Analysis>Correlate>Bivariat. Pada jendela dialog yang terbuka masukkan incom1, incom2, incom3, dan incom4 dan total_incom ke dalam sel Variables. Untuk test of significance tandai one-tailed karena hipothesis yang diuji dalam contoh kali ini adalah Ho: r>0. Artinya, setiap variabel operasional menggambarkan konstruknya secara positif atau berkorelasi secara positif dengan konstruknya.

Kalau ada variabel yang mengggambarkan secara positif, adakah yang menggambarkan konstruknya secara negatif? Jawabnya ada. Misalnya, apabila kadar polusi dijadikan sebagai salah satu indikator kualitas udara, maka semakin tinggi kadar polusi, semakin rendah kualitas udara. Jadi, apakah kualitas udara merupakan indikator kualitas udara yang valid, salah satunya ditandai korelasi antar keduanya yang negatif.

Data berikut ini adalah hasil down-load  yang anda telah lakukan tadi.  Untuk mencari korelasi variabel dengan konstruknya, lakukan prosedur berikut: Analyze>Correlation>Bivariat. Masukkan semua variabel serta konstruknya ke dalam sel ‘variables’.  Kemudian, karena setiap variabel diasumsikan menggambarkan konstruknya secara positif, pada ‘test of significance‘, tandai ‘one-tailed‘.

Hasil analisis korelasi adalah sebagai berikut:

Perhatikan bagian yang diarsir. Itulah yang menjadi perhatian kita. Keempat variabel memiliki korelasi yang tinggi dengan konstruknya (r>0.7), di mana korelasi ini signifikan pada alpha atau nilai sig.=0.000.

Sebagian peneliti hanya menggunakan tingkat signifikansi koefisien korelasi. Intinya, apabila korelasi sebuah variabel signifikan, maka sebuah variabel dianggap valid. Pertanyaannya, berapa batas ‘r’ yang dianggap valid (alpha=0.05) untuk N=200?

Pada link ini (klik) ditunjukkan bahwa nilai kritis pada alpha=0.05 untuk N=150 adalah 0.159 dan pada N=300 adalah 0.113. Berarti, untuk N=200, nilai kritis r pada alpha=0.05 adalah 0.159 – [(200-150)/(300-150)*(0.159-0.113)=0.140. Berarti, dengan kriteria ini, untuk N=200 dan alpha=0.05, setiap variabel yang memiliki nilai korelasi sebesar 0.140 atau lebih dianggap valid. Benarkah demikian?

Apabila korelasi sebuah variabel dengan konstruknya=0.140, maka koefisien determinasi atau r kuadrat=0.0196. Artinya, informasi yang dimiliki variabel tentang konstruknya adalah 0.0196 atau 1.96%. Sebanyak 0.9804 atau 98.04% dari informasi yang dimiliki variabel tidak menjelaskan konstruknya.  Jadi, apabila nilai r hanya sebatas nilai kritis agar dianggap valid, informasi yang disumbangkan variabel bagi konstruknya sangat rendah. Oleh karena itu, menjadikan nilai kritis r sebagai batas valid-tidaknya suatu variabel adalah tidak tepat.

Pertanyaannya, apakah korelasi dapat digunakan sebagai kriteria validitas? Jawabnya dapat, tetapi tetapkanlah batas korelasi tang tinggi, misalnya r=0.7, sehingga apabila dikuadratkan, maka variabel operasional yang dinyatakan valid masih menyumbangkan setidaknya separuh (0.49 atau 49%) dari informasi yang dimilikinya bagi konstruk.

Sekalipun menetapkan batas nilai korelasi yang tinggi sebagai kriteria, masih terdapat kelemahan korelasi untuk menguji validitas.  Pertama, dalam korelasi, yang diperhitungkan adalah varian total. Seperti telah dijelaskan, varian total yang dimiliki sebuah variabel terdiri dari common variance, unique variance dan error variance.  Dengan menggunakan korelasi, koefisien determinan diperoleh diperoleh dari varian total, sehingga tidak benar-benar menggambarkan konstruknya. Kelemahan kedua, skor konstruk diperoleh dengan cara menjumlahkan skor semua variabel (summated scale) tanpa memedulikan bobot masing-masing variabel. Padahal, dalam memperoleh nilai variate suatu konstruk seharusnya bobot variabel-variabel anggotanya diperhatikan. Penjelasan lebih lengkap lihat pada halaman ini.  Teknik yang dapat mengatasi kedua kelemahan ini adalah confirmatory factor analysis.

Confirmatory Factor Analysis (CFA)

CFA dimaksudkan untuk mengonfirmasi apakah variabel-variabel yang telah dispesifikasi sebelumnya tergabung dalam satu faktor atau konstruk. Pada Tabel 12, misalnya, empat variabel, yaitu INCOM1, INCOM2, INCOM3, dan INCOM4, oleh peneliti dispesifikasi tergabung dalam konstruk intensi partisipasi komunitas (incom). Setelah dilakukan pengumpulan data dengan CFA dikonfirmasi betulkah keempatnya tergabung dalam konstruk yang sama?

Sebagaimana disampaikan, varian yang dipertimbangkan seharusnya adalah yang dimiliki bersama oleh variabel-variabel yang dianalisis. Karena itu, dalam CFA, yang digunakan adalah common variance, sehingga analisis faktor yang digunakan dinamakan common factor analysis. Dalam SPSS teknik ekstraksi yang menggunakan pendekatan ini adalah principal axis factoring.

Pada layar SPSS yang sudah terbuka (kalau belum terbuka atau sempat ditutup klik link ini), lakukan prosedur berikut: Analyze>Dimension Reduction>Factor, lalu masukkan INCOM1 s/d INCOM4 ke dalam sel Variables. Klik Extraction, lalu metodanya pilih Principal Axis Factoring.  Kemudian klik OK.

 

 

 

 

 

Output 1 berisikan common variance masing-masing variabel, yang berada pada kolom ‘initial‘.  Kolom extraction pada Output 1 menyatakan persentase common variance yang diekstrak. Output 2 menyatakan bahwa keempat variabel hanya tergabung dalam satu konstruk.

Output 3 menyatakan factor loading (FL) antara setiap variabel dengan faktornya. FL ini adalah semacam korelasi, tetapi berbeda dari korelasi product moment atau Spearman.  Pada common factor analysis, FL hanya mempertimbangkan common variance, sedangkan korelasi product moment menggunakan total variance. Jadi, dalam CFA (sekali lagi hanya dalam CFA, dalam teknik lain, yaitu PCA lain lagi), FL adalah korelasi berbasis common variance antara variabel dengan faktornya.

Hair et al. (2006) menyatakan bahwa FL>0.5 dapat diterima, sedangkan Wijanto (2008) menginginkan FL minimal 0.7. Kali ini kita menggunakan pendapat Hair et al. (2006). Terlihat bahwa keempat variabel sudah memenuhi syarat FL minimal.

Pertanyaannya, apakah keempat variabel (incom1, incom2, incom3 dan incom 4) valid karena syarat FL minimal sudah terpenuhi?  Hair et al (2006) menyatakan bahwa FL tidak cukup digunakan untuk uji validitas. Dua kriteria lain yang dibutuhkan adalah average variance extracted dan composite reliability.  Satu syarat lagi, yaitu discriminant validity adalah syarat tambahan, tetapi kebanyakan peneliti tidak menggunakannya.

Average variance extracted (AVE) adalah rata-rata variance yang diekstrak oleh program. Datanya ada di Output 1, yaitu kolom extraction. Berdasarkan data tersebut diperoleh rata-rata AVE sebesar 0.503.  Bisa pula kita gunakan data dari Output 3. Caranya, pangkat-duakanlah FL, kemudian cari rata-ratanya, itulah AVE. Perhitungannya seperti di bawah ini.

Nilai AVE minimal yang dapat ditoleransi adalah 0.5 (Hair et al., 2006; Wijanto, 2008). Karena itu, AVE=0.503 sudah memenuhi syarat. Langkah selanjutnya adalah mememeriksa nilai CR.

CR dicari dengan rumus berikut:

FL=factor loading, EV=error variance.  Error variance= 1 – Variance Extracted.

Pada tabel tersebut tampak bahwa sigma FL=2.827 dan sigma EV=0.1.987. Dengan demikian, CR=(2.827)^2/((2.827^2+1.987)=0.801. Dengan nilai 0.801, CR melewati batas ambang minimal (CR=0.6). Karena itu, berdasarkan kriteria ini, kedua variabel yang dianalisis dinyatakan valid.

Analisis Reliabilitas

Dalam SPSS analisis relialibilitas dilakukan melalui prosedur berikut: Analyze>Scale>Reliability analysis. Lalu masukkan variabel yang valid, yaitu incom1, incom2, incom3 dan incom4. Pastikan metoda yang digunakan adalah Alpha. Hasil SPSS menunjukkan bahwa r-alpha=0.787. Angka ini melewati batas 0.7, dengan demikian instrumen dinyatakan reliabel.

Silakan lakukan analisis validitas dan reliabilitas ketiga konstruk lainnya.

DAFTAR REFERENSI

DeCoster, J. (1998).  Overview of Factor Analysis. Retrieved March 24, 2011  from http://www.stat-help.com/notes.html.

Hair, Jr., J.F., Black, W.C., Bobin, J.B., Anderson, R.E. & Thatam, R.L. (2006). Analisis Data Multivariate. Uppersaddle River: Pearson Prentice-Hall, Inc.

Kotler, P. & Keller, K.L. (2016). Marketing Management. Sixtenth Edition. Uppersaddle River: Pearson Prentice-Hall, Inc.

Wijayanto, S.H. (2008). Strucutral Equation Modelling dengan Lisrel 8.8. Graha Ilmu, Yogyakarta.