Dalam penelitian online, salah satu angka yang paling sering ditanyakan adalah:
“Sudah berapa responden?”
Angka tersebut memang penting. Sample size berkaitan dengan tingkat precision dan kemampuan analisis statistik. Namun menjadikan jumlah responden sebagai satu-satunya indikator kualitas penelitian merupakan kekeliruan metodologis sekaligus kesalahan dalam perspektif ekonomi.
Bayangkan dua penelitian.
Penelitian pertama memperoleh:
10.000 responden.
Tetapi responden tidak benar-benar sesuai dengan target population, screening lemah, terdapat duplicate response, dan sebagian responden mengisi questionnaire secara asal.
Penelitian kedua hanya memperoleh:
1.000 responden.
Namun seluruh responden memenuhi kriteria, sample dirancang sesuai target, fieldwork dikontrol, dan data melewati quality control.
Pertanyaannya:
Mana yang lebih valuable bagi perusahaan?
Jawabannya tidak dapat ditentukan hanya dari angka 10.000 versus 1.000.
Dalam jasa survey online dan jasa sebar kuisioner, nilai sebuah dataset ditentukan oleh kombinasi:
- relevance;
- representativeness;
- measurement quality;
- response quality;
- sampling design;
- analytical validity;
- dan decision relevance.
Dengan kata lain:
lebih banyak data tidak otomatis berarti lebih banyak informasi.
Yang dicari perusahaan sebenarnya bukan:
response count,
melainkan:
reliable information untuk mengurangi decision risk.
Mengapa Response Count Sering Menjadi “Vanity Metric”?
Response count mudah dipahami.
Manajemen melihat:
5.000 response.
Lalu muncul persepsi:
“Riset ini besar.”
Masalahnya:
quantity lebih mudah dilihat daripada quality.
Sebuah dashboard dapat dengan mudah menunjukkan:
Complete = 5.000.
Tetapi dashboard yang sama belum tentu menjawab:
- berapa yang benar-benar eligible?
- berapa yang valid?
- apakah sample composition sesuai?
- apakah terdapat duplicate?
- apakah terdapat response bias?
- apakah target population terwakili?
- apakah questionnaire mengukur construct yang tepat?
Inilah alasan mengapa:
response count adalah output operasional, bukan indikator tunggal research quality.
Information Quality
Information quality menggambarkan:
seberapa dapat dipercaya informasi yang dihasilkan untuk tujuan tertentu.
Dalam konteks survey, information quality dipengaruhi oleh:
Respondent Quality
Sampling Quality
Measurement Quality
Data Processing Quality
Analytical Quality
Jika salah satu komponen bermasalah:
kualitas informasi dapat menurun.
Data Quality vs Information Quality
Keduanya tidak sama.
Data quality berkaitan dengan:
apakah data dikumpulkan dan diproses dengan baik.
Information quality lebih jauh:
apakah data tersebut menghasilkan informasi yang relevan dan dapat digunakan untuk keputusan.
Dataset dapat:
technically clean,
tetapi:
strategically irrelevant.
Contoh:
Survey memiliki:
3.000 clean responses.
Namun target perusahaan adalah:
decision makers B2B.
Jika sebagian besar responden:
bukan decision maker,
maka data mungkin:
clean tetapi tidak decision-useful.
Sample Size Bukan Representativeness
Salah satu misconception paling umum:
semakin besar sample, semakin representative.
Tidak selalu.
Misalnya population:
1 juta orang.
Sample:
100.000 orang,
tetapi seluruhnya berasal dari satu komunitas tertentu.
Sample sangat besar.
Tetapi:
selection bias dapat tetap tinggi.
Sebaliknya sample:
1.000 orang
dengan recruitment dan sample structure yang lebih tepat:
dapat memberikan informasi yang jauh lebih relevan.
Sampling Risk
Sampling risk muncul karena:
perusahaan meneliti sample,
bukan:
seluruh population.
Selalu terdapat kemungkinan:
sample berbeda dari population.
Dalam statistical inference, hal ini berkaitan dengan:
sampling variability.
Tetapi sampling risk juga dapat berasal dari:
sample selection.
Ini berbeda.
Sampling Error vs Sampling Bias
Sampling error:
variasi karena hanya menggunakan sebagian population.
Dengan sample yang dirancang baik, uncertainty tersebut:
dapat diukur atau diperkirakan.
Sampling bias:
kesalahan sistematis karena sample tidak merepresentasikan population secara tepat.
Menambah sample size:
tidak otomatis menghilangkan bias.
Ini merupakan prinsip penting dalam survey research.
Contoh Sampling Bias
Misalnya perusahaan ingin mengetahui:
opini seluruh pengguna layanan internet.
Survey hanya disebarkan:
melalui komunitas pengguna teknologi.
Hasilnya:
kemungkinan opini lebih tech-savvy.
Menambah responden dari komunitas yang sama:
tidak menyelesaikan masalah.
Yang perlu diperbaiki:
sampling frame atau recruitment strategy.
Coverage Error
Coverage error terjadi ketika:
sebagian target population tidak memiliki kesempatan yang memadai untuk masuk ke sample.
Misalnya target:
seluruh konsumen di Indonesia.
Tetapi survey hanya tersedia:
melalui channel tertentu.
Kelompok yang tidak menggunakan channel tersebut:
undercovered.
Akibatnya:
inference menjadi terbatas.
Nonresponse Risk
Tidak semua eligible respondent:
bersedia menjawab.
Jika nonrespondents berbeda secara sistematis dari respondents:
nonresponse bias dapat muncul.
Misalnya:
pelanggan yang sangat tidak puas
lebih bersedia mengisi survey.
Maka satisfaction:
dapat terlihat lebih rendah.
Atau sebaliknya:
pelanggan loyal
lebih aktif berpartisipasi.
Hasil dapat terlihat:
lebih positif.
Response Quality
Response quality mengacu pada:
kualitas jawaban individual.
Beberapa indikator yang perlu diperhatikan:
- completion time;
- consistency;
- attention;
- logical pattern;
- open-ended quality;
- duplicate status.
Tujuannya bukan:
mencari responden yang “jawabannya sesuai harapan”.
Tetapi:
memastikan response mencerminkan engagement yang memadai.
Speeding
Speeding terjadi ketika responden menyelesaikan survey:
jauh lebih cepat dibandingkan reasonable completion time.
Speeding:
bukan bukti otomatis bahwa response invalid.
Namun merupakan:
quality signal.
Jika speeding disertai:
- straightlining;
- inconsistent answer;
- poor open-ended response;
maka:
concern menjadi lebih kuat.
Straightlining
Straightlining berarti:
memilih opsi yang sama secara berulang.
Misalnya:
1, 1, 1, 1, 1, 1, 1.
Tetapi:
straightlining tidak selalu berarti careless response.
Jika seluruh statement memang sesuai:
pola tersebut dapat legitimate.
Karena itu quality control:
sebaiknya menggunakan multiple indicators.
Duplicate Response
Duplicate dapat muncul jika:
individu atau source menghasilkan response lebih dari sekali.
Jika duplicate tidak terdeteksi:
effective sample size
dapat lebih rendah daripada:
reported sample size.
Ini menciptakan:
false impression of scale.
Effective Sample Size
Dalam konteks tertentu, sample size nominal:
tidak sama dengan effective sample size.
Jika response memiliki:
- clustering;
- weighting;
- design effect;
- atau quality issue,
maka:
informational power
dapat berbeda dari angka nominal.
Ini semakin memperkuat alasan:
tidak menggunakan response count sebagai satu-satunya metric.
Measurement Quality
Selain sample, pertanyaan:
“Apa yang sebenarnya diukur?”
juga penting.
Misalnya perusahaan ingin mengukur:
customer loyalty.
Tetapi questionnaire hanya bertanya:
“Apakah Anda puas?”
Satisfaction:
bukan loyalty.
Measurement construct:
harus jelas.
Construct Validity
Construct validity menanyakan:
apakah instrument benar-benar mengukur construct yang dimaksud?
Untuk:
brand trust,
misalnya dapat terdapat indikator:
- credibility;
- reliability;
- perceived honesty;
- confidence.
Untuk:
loyalty,
dapat digunakan:
- repeat intention;
- switching resistance;
- recommendation;
- relationship commitment.
Tidak berarti seluruh construct harus selalu diukur dengan banyak pertanyaan, tetapi:
measurement harus sesuai dengan research objective.
Questionnaire Bias
Wording dapat memengaruhi:
response.
Pertanyaan:
“Seberapa puas Anda terhadap layanan premium kami yang berkualitas?”
mengandung:
framing.
Lebih netral:
“Bagaimana Anda menilai layanan tersebut?”
Neutrality:
meningkatkan measurement quality.
Leading Question
Leading question:
mendorong responden ke arah tertentu.
Misalnya:
“Apakah Anda setuju bahwa fitur baru kami sangat membantu?”
Responden sudah diberi:
assumption.
Lebih baik:
“Seberapa membantu fitur tersebut bagi Anda?”
Recall Bias
Responden dapat mengalami:
kesulitan mengingat kejadian masa lalu.
Semakin jauh periode:
semakin besar kemungkinan recall error.
Karena itu pertanyaan mengenai:
frequency,
sebaiknya memiliki:
timeframe yang jelas.
Contoh:
“Dalam 30 hari terakhir...”
lebih jelas daripada:
“Biasanya seberapa sering...”
Social Desirability Bias
Responden terkadang:
memberikan jawaban yang dianggap socially acceptable.
Contohnya:
perilaku konsumsi tertentu.
Jika topic sensitive:
anonymous design
dan wording yang neutral:
dapat membantu.
Acquiescence Bias
Sebagian responden cenderung:
menyetujui pernyataan.
Jika questionnaire memiliki terlalu banyak:
agree/disagree statements,
acquiescence dapat memengaruhi data.
Questionnaire Fatigue
Semakin panjang survey:
semakin besar risk respondent fatigue.
Dampaknya:
- speeding;
- straightlining;
- abandonment;
- lower-quality responses.
Maka:
questionnaire length
harus seimbang dengan:
information need.
Information Density
Pertanyaan yang baik bukan:
sebanyak mungkin.
Tetapi:
setiap pertanyaan harus memiliki information value.
Jika sebuah question:
tidak digunakan dalam analysis,
pertimbangkan:
apakah memang perlu ditanyakan.
Data Cleaning
Setelah fieldwork:
data cleaning
menjadi tahap penting.
Cleaning dapat mencakup:
- duplicate removal;
- eligibility verification;
- response pattern review;
- missing data review;
- outlier assessment;
- coding open-ended response.
Data Cleaning Bukan Manipulasi
Quality control:
bukan berarti membuang response yang tidak sesuai dengan hypothesis.
Response hanya dapat dikeluarkan berdasarkan:
predefined criteria.
Contoh:
gagal screening.
duplicate.
incomplete sesuai threshold.
demonstrably careless.
Ini menjaga:
analytical integrity.
Predefined Exclusion Rule
Idealnya kriteria exclusion ditentukan:
sebelum melihat hasil akhir.
Mengapa?
Karena jika criteria dibuat setelah melihat hasil:
researcher dapat secara tidak sengaja melakukan outcome-driven cleaning.
Ini dapat menghasilkan:
confirmation bias.
Confirmation Bias
Manusia cenderung:
mencari evidence yang mendukung belief awal.
Dalam survey:
confirmation bias
dapat muncul ketika perusahaan hanya menerima:
data yang sesuai ekspektasi.
Research seharusnya:
memungkinkan hasil yang tidak sesuai hypothesis.
Decision Risk
Mengapa semua ini penting?
Karena data digunakan:
untuk keputusan.
Jika data salah:
keputusan dapat salah.
Misalnya perusahaan menginvestasikan:
Rp1 miliar
berdasarkan survey yang flawed.
Jika keputusan gagal:
research cost
mungkin hanya sebagian kecil dari:
total economic loss.
Information Risk
Information risk adalah:
risiko akibat informasi yang tidak lengkap, tidak akurat, atau misleading.
Dalam decision-making:
information risk
menjadi bagian dari:
overall business risk.
False Confidence
Data berkualitas rendah dapat menghasilkan:
confidence yang terlalu tinggi.
Misalnya:
90% respondents memilih A.
Manajemen yakin:
“Pasar jelas menginginkan A.”
Tetapi jika sample:
biased,
angka 90% tersebut:
tidak berarti bahwa 90% population menginginkan A.
Ini adalah:
false confidence.
Confidence Interval Bukan Jaminan
Dalam statistical inference, confidence interval:
menggambarkan uncertainty sampling dalam kondisi asumsi tertentu.
Namun confidence interval:
tidak memperbaiki sampling bias.
Jika sample:
systematically biased,
interval yang sempit:
tidak otomatis membuat hasil benar.
Ini merupakan salah satu alasan mengapa:
statistical precision
dan:
representativeness
harus dibedakan.
Precision vs Accuracy
Precision:
hasil relatif konsisten atau uncertainty sampling relatif kecil.
Accuracy:
kedekatan terhadap kondisi population yang sebenarnya.
Sample besar dapat:
sangat precise,
tetapi:
inaccurate.
Contohnya:
timbangan yang selalu menunjukkan 70 kg ketika berat sebenarnya 65 kg.
Hasilnya konsisten:
tetapi bias.
Konsep yang sama dapat terjadi pada survey.
Reliability vs Validity
Reliability:
consistency.
Validity:
apakah pengukuran benar-benar mengukur apa yang seharusnya diukur.
Survey dapat:
reliable tetapi tidak valid.
Karena itu:
keduanya perlu diperhatikan.
Decision Relevance
Data yang secara statistik bagus:
belum tentu secara bisnis relevan.
Misalnya survey menunjukkan:
preference terhadap 10 warna produk.
Tetapi perusahaan sebenarnya membutuhkan:
pricing decision.
Jika data tidak membantu:
decision,
maka:
decision utility rendah.
Decision-Weighted Research
Research design sebaiknya mempertimbangkan:
importance of decision.
Keputusan:
Rp10 juta
tidak selalu membutuhkan:
research architecture
yang sama dengan keputusan:
Rp10 miliar.
Semakin besar:
capital at risk,
semakin besar:
justification untuk meningkatkan research rigor.
Marginal Value of Additional Respondents
Setiap tambahan responden:
memberikan informasi tambahan.
Namun marginal information gain:
tidak selalu konstan.
Pada titik tertentu:
tambahan sample hanya sedikit mengubah estimasi.
Karena itu:
optimal sample
lebih penting daripada:
maximum sample.
Diminishing Returns
Secara ekonomi:
tambahan resource tidak selalu menghasilkan tambahan benefit yang sama besar.
Hal ini berlaku pada:
respondent recruitment.
Misalnya:
dari 200 ke 500 responden
mungkin sangat membantu.
Tetapi:
dari 10.000 ke 10.300
mungkin hanya memberikan perubahan kecil.
Maka:
budget
dapat dialihkan ke:
- better screening;
- better questionnaire;
- better segmentation;
- better analysis.
Quality over Quantity
Prinsipnya bukan:
“sample kecil selalu lebih baik.”
Prinsip yang benar:
sample size harus cukup untuk tujuan analisis, sementara kualitas sample harus dijaga.
Keduanya:
complement, bukan substitute.
Jasa Sebar Kuisioner dan Sample Quality
Dalam memilih jasa sebar kuisioner, perusahaan sebaiknya tidak berhenti pada:
“Bisa mendapatkan berapa responden?”
Pertanyaan yang lebih penting:
“Responden seperti apa yang dapat Anda akses?”
Kemudian:
“Bagaimana mereka disaring?”
Dan:
“Bagaimana kualitas response dikontrol?”
Respondent Recruitment
Recruitment strategy menentukan:
siapa yang memiliki kesempatan masuk ke sample.
Source dapat berbeda dalam:
- demographic profile;
- engagement;
- usage;
- geography;
- behavior.
Karena itu:
recruitment source
perlu dipertimbangkan dalam research design.
Screening Quality
Screening yang terlalu longgar:
meningkatkan contamination.
Screening yang terlalu ketat:
dapat mengurangi feasibility.
Maka screening perlu:
balance antara precision dan practicality.
Quota Management
Quota dapat digunakan untuk:
mengontrol sample composition.
Misalnya:
- age;
- gender;
- region;
- usage frequency;
- customer status.
Namun quota:
tidak otomatis membuat sample probability-based.
Perusahaan tetap perlu memahami:
bagaimana sample diperoleh.
Sample Composition
Overall average:
dapat menyembunyikan perbedaan segment.
Misalnya:
60% overall memilih produk A.
Tetapi:
- young consumers = 80%;
- older consumers = 40%.
Jika target growth:
young consumers,
maka angka segment:
lebih actionable.
Weighting
Weighting dapat digunakan untuk:
menyesuaikan sample composition terhadap population benchmark tertentu.
Namun weighting:
bukan obat untuk seluruh bias.
Jika kelompok tertentu:
sama sekali tidak ter-cover,
weighting:
tidak dapat menciptakan informasi yang tidak tersedia.
External Validity
External validity berkaitan dengan:
sejauh mana hasil dapat diterapkan pada target population atau context yang lebih luas.
Pertanyaan penting:
“Untuk siapa hasil ini berlaku?”
Jika sample hanya:
existing customers,
hasil tidak otomatis berlaku untuk:
non-customers.
Generalization
Generalization membutuhkan:
careful reasoning.
Jangan mengatakan:
“70% responden memilih A, berarti 70% seluruh Indonesia memilih A.”
Tanpa sample design yang mendukung:
inference tersebut terlalu jauh.
Lebih tepat:
“70% responden dalam sample memilih A.”
Kemudian:
interpretasikan sesuai methodology.
Transparency
Provider survey yang baik seharusnya mampu menjelaskan:
- target population;
- recruitment method;
- screening;
- quota;
- fieldwork period;
- quality control;
- exclusion criteria.
Transparansi:
meningkatkan credibility.
Fieldwork Monitoring
Monitoring selama pengumpulan data dapat mendeteksi:
- quota imbalance;
- abnormal completion time;
- source quality problem;
- duplicate pattern;
- unexpected response behavior.
Dengan monitoring:
corrective action
dapat dilakukan lebih cepat.
Quality Control Layer
Idealnya proses memiliki:
Layer 1
Eligibility
↓
Layer 2
Recruitment
↓
Layer 3
Response monitoring
↓
Layer 4
Data cleaning
↓
Layer 5
Analysis validation.
Semakin strategic decision:
semakin penting multilayer control.
Quality-Adjusted Completion Rate
Misalnya:
2.000 completed.
Setelah quality control:
1.600 usable.
Quality-adjusted rate:
80%.
Metric tersebut:
lebih informatif daripada hanya menyebut:
“2.000 completes.”
Cost per Usable Response
Misalnya biaya fieldwork:
Rp20 juta.
Usable response:
1.600.
Maka:
cost per usable response = Rp12.500.
Metric ini membantu perusahaan:
membandingkan vendor secara lebih fair.
Cost per Insight
Metric yang lebih advanced:
cost per decision-useful insight.
Tidak mudah dihitung secara objektif.
Namun secara konseptual:
research value
lebih dekat dengan:
usefulness
daripada:
response count.
Survey as Information Production
Survey dapat dipahami sebagai:
production process.
Input:
- respondents;
- questionnaire;
- recruitment;
- technology;
- fieldwork.
Process:
collection + validation.
Output:
information.
Jika input berkualitas rendah:
output information juga berisiko rendah.
Data Production Function
Secara konseptual:
Information = f(Sample, Measurement, Data Quality, Analysis)
Artinya:
informasi bukan hanya fungsi dari jumlah responden.
Ada beberapa input:
yang saling berinteraksi.
Information Production Cost
Perusahaan mengeluarkan biaya untuk:
- questionnaire design;
- recruitment;
- incentives;
- fieldwork;
- quality control;
- analysis.
Total cost:
harus dibandingkan dengan:
expected decision value.
Research ROI
Research ROI dapat berasal dari:
- avoided loss;
- revenue improvement;
- cost reduction;
- better pricing;
- better product allocation;
- faster decision.
Dengan demikian:
return
tidak selalu berbentuk:
direct revenue.
Expected Value of Information
Secara sederhana:
EVI = Expected Value with Information − Expected Value without Information
Jika:
EVI > Research Cost,
maka secara konseptual:
research memiliki positive expected economic value.
Ini bukan formula untuk semua situasi, tetapi:
kerangka berpikir yang berguna.
Decision Tree
Untuk keputusan besar, perusahaan dapat membandingkan:
Without Research
Decision A → outcome uncertain
Decision B → outcome uncertain
dengan:
With Research
Research → evidence → better-informed choice.
Jika informasi:
dapat mengubah probability atau pilihan,
maka:
research memiliki potential value.
Irreversibility
Semakin sulit keputusan dibatalkan:
semakin besar potensi value of information.
Contoh:
membuka cabang baru.
Lebih irreversible dibanding:
mengganti iklan digital minggu depan.
Karena itu:
research intensity
sebaiknya disesuaikan dengan:
decision reversibility.
Timing of Information
Informasi juga memiliki:
time value.
Data yang datang:
setelah keputusan dibuat
mungkin:
tidak memiliki decision value.
Karena itu:
fieldwork speed
penting.
Tetapi speed:
tidak boleh mengorbankan quality.
Speed vs Quality Trade-Off
Terdapat trade-off antara:
- speed;
- cost;
- quality;
- precision.
Perusahaan perlu menentukan:
acceptable level
berdasarkan:
decision urgency.
Why Cheap Data Can Be Expensive
Harga murah:
tidak selalu economical.
Jika data murah:
tetapi invalid,
perusahaan mungkin:
membayar dua kali.
Pertama:
biaya research.
Kedua:
biaya keputusan yang salah.
Inilah:
hidden cost of low-quality data.
Why Expensive Data Can Also Be Wasteful
Sebaliknya:
research yang terlalu kompleks
untuk keputusan kecil:
juga tidak efisien.
Jika keputusan hanya:
memilih desain sederhana,
penelitian nasional yang sangat besar:
mungkin overkill.
Maka:
optimal research
adalah:
proportional research.
Risk-Adjusted Research Design
Research design sebaiknya mempertimbangkan:
- financial exposure;
- decision reversibility;
- uncertainty;
- population complexity;
- required precision;
- consequence of error.
Semakin besar consequence:
semakin tinggi justification untuk rigor.
Practical Framework
Sebelum menggunakan jasa survey online atau jasa sebar kuisioner, perusahaan dapat menggunakan tujuh pertanyaan:
1. Apa keputusan yang akan dibuat?
Jangan mulai dari:
questionnaire.
Mulai dari:
decision.
2. Apa uncertainty terbesar?
Identifikasi:
apa yang belum diketahui.
3. Siapa population yang relevan?
Definisikan:
target population.
4. Bagaimana sample akan diperoleh?
Tentukan:
recruitment method.
5. Bagaimana kualitas response diperiksa?
Tetapkan:
QC criteria.
6. Apa analytical method?
Tentukan:
bagaimana data akan digunakan.
7. Apa decision rule?
Tentukan:
kapan hasil research akan mengubah action.
Dengan framework ini:
survey menjadi decision instrument.
Q&A
Apakah jumlah responden yang besar menjamin survey berkualitas?
Tidak. Sample size merupakan salah satu komponen research quality. Representativeness, respondent relevance, measurement quality, response quality, dan sampling design juga sangat penting.
Apa perbedaan sampling error dan sampling bias?
Sampling error merupakan variasi yang muncul karena penelitian hanya menggunakan sample. Sampling bias merupakan kesalahan sistematis ketika proses selection membuat sample berbeda secara sistematis dari target population.
Mengapa menambah responden tidak selalu menyelesaikan masalah bias?
Karena jika responden tambahan berasal dari sumber atau selection mechanism yang sama, bias tersebut dapat tetap ada. Yang perlu diperbaiki mungkin recruitment strategy, sampling frame, atau sample composition.
Apa yang dimaksud information quality?
Information quality menunjukkan seberapa dapat dipercaya dan relevan informasi yang dihasilkan untuk tujuan tertentu. Dalam survey, kualitas informasi dipengaruhi oleh sampling, measurement, respondent quality, data processing, dan analysis.
Apa itu false confidence dalam survey?
False confidence terjadi ketika perusahaan terlalu yakin terhadap hasil penelitian karena melihat angka yang terlihat kuat, padahal data memiliki bias atau quality problem.
Apakah confidence interval menjamin hasil survey akurat?
Tidak. Confidence interval terutama berkaitan dengan uncertainty sampling berdasarkan asumsi tertentu. Confidence interval yang sempit tidak otomatis menghilangkan sampling bias atau measurement error.
Apa itu response quality?
Response quality menunjukkan apakah jawaban responden diberikan secara attentive, consistent, dan sesuai dengan kriteria penelitian. Speeding, duplicate, dan pola jawaban tertentu dapat menjadi signal yang perlu diperiksa.
Apakah straightlining selalu berarti responden tidak serius?
Tidak. Straightlining perlu dilihat bersama indikator lain. Jika seluruh pernyataan memang sesuai dengan pengalaman responden, pola jawaban yang sama dapat saja valid.
Mengapa screening penting dalam jasa sebar kuisioner?
Screening memastikan bahwa responden memiliki karakteristik yang sesuai dengan target penelitian. Tanpa screening, sample dapat terkontaminasi oleh responden yang tidak relevan.
Apakah quota sama dengan representative sample?
Tidak. Quota membantu mengontrol komposisi sample berdasarkan karakteristik tertentu, tetapi tidak otomatis menjadikan sample probability-based atau representative untuk seluruh population.
Apa manfaat quality control dalam jasa survey online?
Quality control membantu mendeteksi duplicate, response yang tidak memenuhi eligibility, speeding, inconsistent response, dan indikasi careless answering sehingga dataset akhir lebih layak digunakan.
Apa itu external validity?
External validity berkaitan dengan sejauh mana hasil penelitian dapat diterapkan pada target population atau kondisi lain di luar sample yang diteliti.
Mengapa sample kecil kadang lebih berguna daripada sample besar?
Jika sample kecil memiliki respondent relevance dan sample design yang lebih baik, data tersebut dapat lebih decision-useful daripada sample besar yang biased atau tidak sesuai target.
Apakah weighting dapat memperbaiki semua masalah sample?
Tidak. Weighting dapat membantu menyesuaikan komposisi terhadap benchmark tertentu, tetapi tidak dapat memperbaiki seluruh bentuk bias atau menciptakan informasi untuk kelompok yang tidak ter-cover.
Bagaimana menilai jasa sebar kuisioner?
Jangan hanya menilai berdasarkan jumlah response dan harga per complete. Evaluasi juga recruitment method, screening, quota, sample composition, quality control, fieldwork monitoring, dan usable response rate.
Apa yang dimaksud cost per usable response?
Cost per usable response adalah biaya penelitian dibandingkan dengan jumlah response yang benar-benar layak digunakan setelah proses screening dan quality control.
Apakah survey murah selalu lebih ekonomis?
Tidak. Survey murah tetapi menghasilkan data buruk dapat menyebabkan biaya keputusan yang jauh lebih besar. Economic efficiency harus dilihat dari total value dan risk yang terkait dengan keputusan.
Kapan perusahaan perlu melakukan research yang lebih rigorous?
Ketika keputusan memiliki financial exposure besar, sulit dibatalkan, uncertainty tinggi, atau konsekuensi kesalahan sangat besar.
Jasa survey online dan jasa sebar kuisioner seharusnya tidak dinilai berdasarkan satu angka sederhana:
berapa banyak responden yang berhasil dikumpulkan.
Jumlah responden memang penting.
Namun:
sample size hanyalah salah satu komponen dari information quality.
Research yang benar-benar bernilai harus memperhatikan:
target population,
respondent relevance,
sampling design,
measurement quality,
response quality,
data validation,
analytical method,
dan:
decision relevance.
Perusahaan harus membedakan:
quantity of data
dengan:
quality of information.
10.000 response yang biased:
tidak otomatis lebih valuable
daripada:
1.000 response yang relevan dan berkualitas.
Begitu pula:
confidence interval yang sangat sempit
tidak otomatis berarti:
keputusan pasti benar.
Jika sample memiliki systematic bias, precision tinggi hanya dapat membuat perusahaan:
semakin yakin terhadap estimasi yang salah.
Inilah mengapa kualitas data merupakan persoalan:
bukan hanya statistik,
tetapi juga:
ekonomi.
Data yang buruk dapat menghasilkan:
false confidence,
yang kemudian menghasilkan:
wrong decision,
yang akhirnya menimbulkan:
financial loss.
Sebaliknya, data yang dirancang dengan baik dapat membantu perusahaan:
mengurangi uncertainty,
mengidentifikasi opportunity,
menguji hypothesis,
dan:
memperbaiki resource allocation.
Karena itu, ketika menggunakan jasa sebar kuisioner, perusahaan sebaiknya tidak bertanya hanya:
“Berapa responden yang bisa didapat?”
Pertanyaan yang jauh lebih strategis adalah:
“Seberapa relevan responden tersebut dengan keputusan yang sedang kami buat?”
Kemudian:
“Bagaimana kualitas response diverifikasi?”
Dan:
“Seberapa besar informasi yang dihasilkan dapat mengurangi decision risk?”
Pada akhirnya, tujuan survey bukan:
mengumpulkan angka.
Tujuan survey adalah:
menghasilkan informasi yang cukup kredibel untuk membantu perusahaan mengambil keputusan dengan uncertainty yang lebih rendah.
Itulah mengapa:
survey response bukan sekadar angka.
Ia merupakan input ekonomi yang memiliki konsekuensi langsung terhadap:
revenue,
cost,
investment,
opportunity cost,
dan:
strategic risk.