Evaluasi

Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain.

MENGAPA EVALUASI DIBUTUHKAN ?

·         Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design guidelines menjamin bahwa karyanya pasti bagus

·         Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan menyukainya

·         Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan kuesioner dan atau interview

KAPAN EVALUASI DILAKUKAN ?

1.      Evaluasi dapat dilakukan pada : Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations  Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations

2.       Saat produk tersebut telah jadi yaitu melalui prototype

3.      Saat produk tersebut telah dipasarkan. Jika ada kekurangan atau perubahan kebutuhan user, maka produk tersebut bisa dibuatkan versi yang terbaru/upgrade, mis: program-program Windows, Winamp, dll. Evaluasi ini biasa disebut summative evaluations

4.      Evaluasi produk dapat dilakukan melalui riset pasar, baik melalui perorangan atau sekelompok user

PARADIGMA EVALUASI

·   “Quick and dirty” evaluation

·   Usability testing

·    Field studies

·   Predictive evaluation

“Quick and Dirty” Evaluation

·   Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya

·   Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati

Usability Testing

·    Evaluasi ini cukup dominan digunakan pada tahun 1980-an

·    Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya

·    Kinerja user umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas

·   Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara: Melihat secara langsung, Merekamnya dalam video 

·    Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut

·   Penelitian biasanya dilakukan di dalam sebuah laboratorium, dimana user diberi suatu treatment tertentu (mis: cahaya, suara, warna, dll) atau bisa juga tanpa treatment

Field Studies

Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak padanya.

Evaluasi ini dapat digunakan untuk :

1. Membantu mengidentifikasi kesempatan sebuah teknologi baru

2.Menentukan kebutuhan-kebutuhan untuk melakukan desain 

3. Memfasilitasi pengenalan sebuah teknologi

4.Evaluasi teknologi

Teknik yang dapat digunakan :

·   Interview

·   Observasi (pengamatan yang hanya dilakukan oleh desainer)

·   Partisipatori (user dilibatkan dalam pembuatan desain)

·   Ethnography (penilaian berdasarkan budaya)

Dari data yang didapatkan tersebut, maka desainer dapat melakukan evaluasi, baik secara kuantitatif maupun kualitatif, terhadap produknya

Predictive Evaluation

Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk

      Keuntungan evaluasi ini:

·   User yang diinginkan tidak perlu untuk dihadirkan

·   Proses pembuatannya relatif cepat, murah, dan cukup disukai oleh perusahaan

TEKNIK-TEKNIK EVALUASI

• Observing users

• Asking users their opinions

• Asking experts their opinions 

•  Testing user’s performance

• Modeling users’ task performance to predict the efficacy of a user interface
  

• 
  
  Evaluasi memiliki tiga tujuan utama, yaitu :
  1.    Melihat seberapa jauh system berfungsi
  Mencakup kesesuaian penggunaan system terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada system, untuk melihat keefektifan system dalam mendukung tugas.
  2.    Melihat efek interface bagi pengguna
  Mencakup aspek dari kemudahan system dipelajari, daya guna dan perilaku user. Penting juga untuk mengidentifikasi area desain yang berlebih dari user dengan menggunakan sejumlah informasi.
  3.    Mengidentifikasi problem khusus yang terjadi pada system
  Ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan di antara user. Tujuan ini merupakan aspek negatif dari desain.
  Ada dua jenis evaluasi.
  1.    Dalam kondisi percobaan (Laboratory) : Pengujian system ini dilakukan pada ruang percobaan dengan beberapa kondisi diantaranya :
  a.    Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah, komputer beserta perlengkapannya yang mungkin tidak ada pada lokasi kerja yang sebenarnya.
  b.    Operator terbebas dari gangguan yang menghambat pekerjaan.
  c.       Beberapa situasi hanya dapat dilakukan di laboratorium, misalnya system yang akan digunakan ditempatkan pada lokasi yang berbahaya atau terpencil.
  d.   Dapat memanipulasi situasi untik memecahkan masalah dan melihat penggunaan presedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.
  e.    Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di laboratorium.
  
  
  2.    Dalam kondisi lokasi kerja yang sebenarnya : Pengguna pengujian system ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi, di antaranya :        
  a.    Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit dilakukan.
  b.    Situasi yang lebih “terbuka” antar system dan pengguna.
  c.    Aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya.
  Ada beberapa pendekatan evaluasi yang dilakukan seperti :
  1.      Evaluating designs
  2.      Evaluating implementations
  3.      Query techniques
  4.      Physiological methods
  1.    EVALUASI DESAIN
  Evaluasi ini dilakukan setelah proses perancangan. Evaluasi desain terdiri dari :
  1.      Cognitive Walkthrough
  Bertujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang diberikan ke pengguna guna memelajari berbagai tugas yang diberikan. Pendekatan ini dikemukakan oleh Polson. Dalam pendekatan ini terdapat beberapa isu yang timbul, seperti :
  a.       Dampak interaksi apakah yang akan terjadi pada pengguna ?
  b.      Proses kognitif apakah yang dibutuhkan ?
  c.       Masalah pembelajaran apakah yang mungkin terjadi?
  Informasi yang dibutuhkan :
  a.       Deskripsi dari interface yang dibutuhkan itu.
  b.      Deskripsi tugas, termasuk usaha yang benar untuk melakukannya dan struktur tujuan untuk mendukungnya.
  Langkah walkthrough :
  a.       Pilih tugas,
  b.      Deskripsi tujuan awal dari user,
  c.       Lakukan kegiatan/aksi yang tepat,
  d.      Analisis proses keputusan untuk setiap kegiatan.
  Contoh :
              Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu dimulai dari jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka tugas untuk hal tersebut adalah :
  a.       Set waktu awal
  b.      Set waktu akhir
  c.       Set channel
  d.      Set tanggal
  2.      Evaluasi Heuristik
       Evaluasi ini diusulkan oleh Nielsen dan Molich. Heuristik adalah guideline, prinsip umum dan peraturan, pengalaman yang bisa membantu suatu keputusan atau kritik atas suatu keputusan yang telah diambil, beberapa penilaian bebas terhadap suatu design supaya kritik bisa memajukan potensi daya guna. 
  Ada sepuluh dasar dari heuristik, seperti :
  a.       Visibilitas status system,
  b.      Kecocokan anatara system dan dunia nyata,
  c.       Kontrol user dan kebebasan,
  d.      Konsisten dan standar
  e.       Pencegahan kesalahan
  f.       Pengenalan atas penarikan kembali
  g.      Fleksibilitas dan efisiensi
  h.      Berhubungan dengan keindahan dan desain minimalis
  i.        Bantuan bagi user untuk mengenali, mendiagnosis dan memperbaiki dari kesalahan,
  j.        Help dan dokumentasi.
  Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif. Pendekatan ini mudah dan relatif cepat.
  3.      Evaluasi Berbasis Tinjauan
  Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer membuahkan hasil eksperimen yang baik dan pengalaman yang nyata. Misalnya pada daya guna dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan ikon.
  4.      Model Evaluasi Dasar
  Pendekatan terakhir untuk mengevaluasi perancangan adalah dengan mengombinasikan spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama. Contoh GOMS  model, keystroke level model dan design rationale.
  
  
  2.    EVALUASI IMPLEMENTASI
  Evaluasi system akhir dengan pengguna nyata untuk mendapatkan suatu system yang betul-betul baik. Evaluasi implementasi membutuhkan sebuah artefak, prototype dan implementasi penuh. Ada tiga pendekatan dari evaluasi implementasi, seperti empiris (teknik percobaan), metode observasi dan metode query (menanyakan user untuk mendapatkan umpan balik).
  
  
  EVALUASI EKSPERIMEN
  Merupakan metode klasik dengan pendekatan statistik. Faktor-faktor eksperimental seperti :
  1.      Subjects : siapa merepresentasikan, ketercukupan contoh.
  a. Pemilihan subjek
  b.Harus setepat mungkin dengan keinginan user.
  c.       Subjek yang dipilih harus sama usia dan tingkat pendidikannya sesuai dengan    kelompok user yang dimaksud
  d.      Ukuran sample yang dipilih kebanyakan ditentukan dengan pertimbangan pragmatis, kehandalan user yang terbatas juga harus cukup besar untuk mewakili populasi yang diambil dalam eksperimen perancangan dan metode statistika yang dipilih.
  
  
  2.      Variabel : Sesuatu untuk dimodifikasi dan ukuran
  a. Variabel independen : Karakteristik suatu eksperimen manipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan. Contoh : Jenis interface, level dari help, jumlah item menu dan perancangan ikon.
  b.Variabel dependen : Variabel yang dapat diukur dalam eksperimen. Contoh variable independen adalah kecepatan dari pemilihan menu.
  
  
  3.      Hipotesis : apa yang ingin ditunjukkan
  a. Merupakan prediksi yang dihasilkan dalam eksperimen.
  b.Masih menggunakan variable independen dan dependen akan menyebabkan perbedaan pada variable dependen.
  c. Untuk menunjukkan bahwa perkiraan benar dengan menyangkal adanya hipotesis null yang menyatakan bahwa tidak ada perbedaan dalam variable.
  d.      Nilai hasil dapat dibandingkan dengan tingkat kepercayaan.
             
  4.      Desain eksperimental : bagaimana cara melakukannya.
  a. Between-Groups (Randomized)
  §  Masing-masing subjek diberi kondisi yang berbeda
  §  Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi
  §  Kerugiannya adalah dengan semakin banyaknya jumlah subjek yang tersedia maka akan menyebabkan hasilnya berkurang dan perbedaan antar setiap individu akan membuat hasilnya menjadi bias.
  
  
  b.      Within-Groups
  1.      Setiap user akan menampilkan kondisi yang berbeda
  2.      Jumlah user yang tersedi lebih sedikit.
  3.      Pengaruh dari subjek lebih sedikit.
  
  
  Variabel yang digunakan terbagi dalam :
  1.      Variabel diskrit : Menggunakan jumlah yang terbatas dari suatu nilai atau tingkatan. Contoh, warna layar monitor, yakni merah, hijau atau biru.
  2.      Variabel kontinu : Menggunakan jumlah berapapun (batas atas maupun bawah). Contoh : Ketinggian seseorang atau waktu yang diperlukan untuk menyelesaikan pekerjaan.
  
  
  Analisis Data
  Data terdiri dari dua jenis, yaitu diskrit (jumlah terbatas dari nilai-nilai) dan  kontinu (sembarang nilai).
  Pada system data terdapat tiga jenis tes, yaitu :
  1.      Parametrik
  diasumsi berdistribudi normal data tetap dapat bekerja serta   berdayaguna dalam berbagai kondisi.   
  2.      Non-parametrik
  distribusinya diasumsikan tidak berdistribusi normal, kurang berdayaguna tetapi lebih handal.
  3.      Tabel kontingensi
  klasifikasi data dengan atribut-atribut diskrit dan menghitung jumlah item data dalam setiap kelompok.
  
  
  Tes parametrik dan non-parametrik ditunjukkan untuk hal-hal berikut :
  1.      Informasi apa yang dibutuhkan untuk analisis data?
  2.      Adakah perbedaan pada setiap data?
  3.      Seberapa besar perbedaannya?
  4.      Seberapa akurat taksirannya?
  Contoh :
  Kondisi A : 33,42,25,79,52
  Kondisi B : 87, 65,92,93,91,55
  
  
  Setelah diurut mulai 25,33,42,….,92,93 dan kemudian diranking maka 25 jadi 1, 33 jadi 2, dan seterusnya.
  
  
  Kondisi A : 2,3,1,7,4         = 5 digit
  Kondisi B : 8,5,10,11,9,5  = 6 digit
  
  
  Dengan tes Wilcoxon, setiap kondidi dijumlah rankingnya kemudian dikurangi dengan nilai terkecilnya sehingga didapatkan nilai statistik U-nya :
  
  
  Konsisi A : 1+2+3+4+5    = 15
  Kondisi B : 1+2+3+4+5+6           = 21
  
  
                    Rank sum                        Smallest                   U                           
  Kondisi A : (2+3+1+7+4)              = 17 -  15                 =   2
  Kondisi B : (8+6+10+11+9+5)       = 49 -  21                = 28
  
  
  Ternyata jumlah dari kedua statistik U tersebut, 2 + 28 = 30, merupakan perkalian dari jumlah nilai dari masing-masing kondisi 5 X 6.
  
  
  Studi Eksperimental pada Grup
  Bebarapa masalah yang timbul yaitu :
  1.      Subject group : Jumlah subjek lebih banyak, waktu yang dibutuhkan lebih lama karena munculnya banyak variasi dan sulit untuk menjadwal anggota grup yang ada.
  2.      Task : Harus saking menyemangati dan kerjasama.
  
  
  
  
  
  
  3.      Data gathering : Data yang dimiliki oleh setiap kelompok berbeda masalah seperti sinkronisasi, volume tipis dan sebagainya.
  4.      Analisis : Waktu melakukan analisis dari suatu percobaan terdapat banyak variasi dari setiap anggota group.
  
  
  TEKNIK OBSERVASI
  Think Aload
  Menjelaskan apa yang mereka percaya terjadi, mengapa mereka mengambil tindakan, apa yang mereka coba kerjakan. Think aload mempunyai keuntungan, yakni sederhana, membutuhkan sedikit pengetahuan untuk menampilkannya, dan menyediakan pengertian yang berguna dengan interface. Juga dapat digunakan untuk mengobservasi bagaimana system digunakan.
  
  
  Evaluasi Kooperatif
  User bekerja sama dalam melakukan evaluasi, di mana baik user maupun evaluator dapat saling memberikan pertanyaan. Keuntungannya, seperti lebih sedikit batasannya dan mudah untuk digunakan, user didorong untuk mengkritisi system dan memungkinkan klafifikasi.
  
  
  Analisis Protokol
  Merupakan metode untuk merekam aksi-aksi yang dilakukan dengan menggunakan beberapa peralatan seperti :
  1.      Kertas dan pensil : Murah tetapi dibatasi oleh kecepatan dalam menulis.
  2.      Auto recording : Baik untuk pertimbangan yang lebih seksama dan sulit untuk mencocokkan dengan protokol lain.
  3.      Video recording : Lebih akurat dan realistis menggunakan dua peralatan, yang satu mengarah ke komputer dan yang satu lagi ke user.
  4.      Computer logging : Dilakukan secara otomatis oleh komputer, tetapi data yang ada terlalu besar dan perlu keahlian khusus untuk melakukan analisis.
  5.      Notebook : User menyimpan semua aktivitas dan problem dalam notebook evaluator.
  
  
  Biasanya untuk merekam aksi-aksi yang dilakukan user digunakan lebih dari satu protokol, karena jika hanya menggunakan satu protokol saja maka akan sulit untuk mendapatkan masalahnya secara benar. Misalnya meski sudah menggunakan video recording, perlu juga menggunakan kertas untuk mencatat permasalahan secara lebih detail.
  
  
  Beberapa peranti pembantu secara otomatis telah tersedia, misalnya EVA (Experimental Video Annotator) yang merupakan suatu system prototype yang berjalan pada multimedia workstation yang dihubungkan langsung ke video recorder. Contoh : Workplace Project pada Xerox PARC.
     
  Post-Task Walkthrough
  Sering data didapat melalui observasi langsung tanpa interpretasi. Walkthrough dibuat untuk mengatasi masalah tersebut dengan merefleksikan kembali ke subjek aksi mereka setelah event. Apakah ditulis atau direkam, diputar kembali ke subjek untuk memberikan komentarnya atau langsung ditanya oleh analis. Keuntungannya adalah bahwa analis memiliki waktu untuk membuat pertanyaan yang sesuai dan focus pada aksi khusus.
  
  
  3.    TEKNIK QUERY
  Ada dua tipe teknik query :
  1.      Wawancara
  Merupakan suatu analisis yang dilakukan dengan menanyai user satu demi satu, biasanya berdasarkan pertanyaan-pertanyaan yang telah disiapkan sebelum wawancara dilakukan. Kelebihan dari metode ini adalah bahwa pertanyaan dapat divariasikan sesuai konteksnya. Isu dapat dieksplorasi lebih jauh dan pandangan user bisa diperoleh dan permasalahan tak terantisipasi dapat dikenali.Kekurangannya adalah sangat subjektif dan memakan waktu yang lama
  2.      Kuesioner
  Kuesioner merupakan sekumpulan pertanyaan yang sudah pasti yang diberikan kepada pengguna. Kelebihannya, cepat dan dapat mencapai kelompok pengguna yang besar dan dapat dianalisis lebih teliti. Kelemahannya, kurang fleksibel dan kurang teliti (faktor waktu dan pekerjaan user)
  
  
  Gaya pertanyaan yang umum digunakan untuk suatu kuesioner :
  1.      Umum : Pertanyaan untuk mengetahui latar belakang user dan memasukkannya ke dalam subjek populasi.
  2.      Open-ended : pertanyaan yang membutuhkan jawaban atau opini sendiri, berguna untuk mengumpulkan informasi subjektif secara umum tetapi sulit untuk dianalisis.
  3.      Skala : user diminta memutuskan pertanyaan tertentu berdasarkan skala angka, biasanya berhubungan dengan setuju atau tidak setuju terhadap pertanyaan.
  4.      Pilihan ganda : Responden diberikan pilihan respon secara eksplisit dan hanya boleh memilih satu atau sebanyak yang diperlukan.
  Misal : software apa yang pernah anda gunakan?
  Pengolahan kata                      –
  Basis data                                –
  Spreadsheet                             –
  System pakar                           –
  System help online                  –
  Kompilator                              –
  
  
  5.      Ranking : Mengurutkan item dalam daftar dan berguna untuk mengindikasikan preferensi user.
                   
  Untuk mengurangi kesalahan dari responden, sebaiknya digunakan pertanyaan tertutup seperti pertanyaan scalar, ranking atau pilihan ganda.
  
  
  4.    METODE FISIOLOGIS
  Metode ini membutuhkan alat deteksi yang dirancang untuk mengetahui gerak mata user, tekanan darah, perubahan suhu tubuh dan sebagainya. Dengan menempatkan alat-alat khusus pada tubuh user, evaluasi dari suatu desain dapat dilakukan secara otomatis. Data yang terkumpul dapat dianalisis setelah user selesai menguji suatu program. Kekurangan dari metode ini adalah alat khusus yang dgunakan sangat mahal harganya dan hasil yang diberikan tidak begitu akurat karena bergantung desain dan program dari alat tersebut.
  
  
  Pemilihan Metode Evaluasi
  Ada 8 faktor yang membantu kita dalam memilih teknik yang sesuai, yaitu :
  1.      Tingkat siklus
  2.      Jenis evaluasi
  3.      Tingkat objektivitas dan subjektivitas
  4.      Jenis ukuran yang tersedia
  5.      Informasi yang tersedia
  6.      Kesiapan dari suatu respons
  7.      Tingkat gangguan yang tidak secara langsung
  8.      Sumber yang tersedia
  a.       Design VS. Implementation
  Evaluasi pada tingkat perancangan hanya membutuhkan ahlinya dan akan dianalisis sedangkan evaluasi pada tingkat implementasi menjadikan user sebagai subjek eksperimen.
  b.      Laboratory VS. Field studies
  Secara ideal proses perancangan mencakup dua jenis evaluasi ini di mana pada aktivitas di laboratorium merupakan awal tingkatan sedangkan studi lapangan ditempatkan pada tingkat implementasi.
  c.       Subjektif VS. Objektif
  Teknik yang subjektif, seperti pada cognitive walkthrough maupun think about, memercayakan hasilnya pada evaluator atau orang yang melakukan evaluasi. Teknik objektif seharusnya memberikan hasil yang berulang yang tidak tergantung pada evaluator. Eksperimen yang terkontrol merupakan contoh pengukuran objektif. Idealnya pengukuran subjektif dan objektif sama-sama harus dilakukan.
  d.      Qualitative VS. Quantitative measures
  Pengukuran menggunakan numerik lebih mudah dilakukan daripada dengan teknik statistik sedangkan pengukuran non-numerik lebih sulit dilakukan namun akan menghasilkan sesuatu yang penting secara lebih lengkap.
  e.       Informasi yang tersedia
  Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi.
  f.       Kesiapan suatu tindakan
  Seperti metode think aloud yang merekam perilaku user pada waktu interaksi, sedangkan pada post task walkthrough memercayakannya pada pengumpulan kembali kegiatan user.
  g.      Intrusiveness
  Merupakan teknik yang menghasilkan pengukuran segera yang dihasilkan user selama interaksi dan mempunyai risiko akan memengaruhi perilaku user.
  h.      Sumber-sumber
  Hal terakhir yang perlu diperhatikan adalah peralatan, waktu, biaya, subjek serta evaluator yang ahli.