Antivirus Products Performance Testing-PassMark

PassMark ^TM Software adalah perusahaan pembangun software swasta yang didirikan pada tahun 1998 di Sydney, Australia. Passmark memproduksi hardware dan software komputer yang digunakanuntuk pengujian komputer dalam lingkungan Windows. PassMark telah berkembang dan memiliki puluhan ribu pelanggan, termasuk HP, Intel, Symantec, IBM dan Dell.
Selama bulan September dan Oktober 2008, PassMark melakukan pengujian kinerja Antivirus. Pengujian dilakukan pada semua produk baru Antivirus dengan memakai sistem IBM/Lenovo A55 ThinkCentre Desktop, Core2 6300, 1GB of RAM, 220GB Hard Disk Drive serta Sistem Operasi yang digunakan adalah Windows Vista Ultimate (32-bit). Pengujian beberapa Antivirus ini meliputi beberapa Benchmark yaitu sebagai berikut :

Benchmark 1 - Boot Time
Waktu windows booting setelah AV di install, dengan masing-masing produk diulang rata-rata 15 kali.

Benchmark 2 - Kecepatan Scan
Waktu scan, dengan jumlah 6159 file, total 982 MB. Sebagian dari file sistem windows dan lainnya dari file-file office, image, dan lainnya.

Benchmark 3 - Kecepatan Tampilnya Antarmuka
Waktu diukur baik dengan software maupun dengan manual (dengan stop watch)

Benchmark 4 - Penggunaan Memory
Setelah komputer booting maka penggunaan memory di ukur, setiap 5 menit sampai 15 kali pengukuran. Software yang digunakan adalah Sysinternals Process Explorer.

Benchmark 5 - Kecepatan Loading Internet Explorer (IE)
Mengukur seberapa besar efek antivirus/produk dengan kecepatan loading IE.

Benchmark 6 - Waktu Instalasi
Mulai dari awal proses sampai produk siap digunakan. Sehingga mencakup Extraction dan Setup, Copy File dan Post Installasi.

Benchmark 7 - Ukuran File Installasi
Mengukur penggunaan space di hardisk.

Benchmark 8 - Jumlah Key di Registry
Tiap antivirus yang sudah di install, biasanya akan menambahkan key di registry, dan tahap ini akan menghitung jumlah total key yang di buat setelah antivirus di install.

Benchmark 9 - Performa Real Time
Test ini meliputi seberapa cepat proses Copy, Move dan Delete file ketika antivirus sudah terinstall di komputer. Dengan jumlah sample 812, total 760,867,636 bytes.

Benchmark 10 - Installasi program lain (pihak ketiga)
Test ini mengukur seberapa lama ketika antivirus sudah terinstall dan digunakan untuk menginstall dan uninstall program lainnya. Digunakan sample Microsoft .NET Framework 2.0 (*.msi).

Benchmark 11 - Download file Binary
Waktu yang diperlukan untuk download file binary dari internet ( media dan dokumen), total sekitar 550 MB.

Benchmark 12 - Konversi format File
Waktu untuk mengkonversi audio dari MP3 > WAV dan MP3 > WMA.

Benchmark 13 - Kompresi dan Dekompresi File
Waktu yang diperlukan program 7Zip untuk membuat arsip file zip dan dekompresi zip tersebut. Total 404 file dengan ukuran 277 MB meliputi dokumen dan media.

Benchmark 14 - Menulis file, membuka dan Close
Proses ini melakukan test Input/Output (I/O), dengan software OpenClose.exe yang melakukan proses baca tulis file di hardisk.

Adapun hasil Antivirus yang sudah diuji :

Semakin kecil nilai semakin lebih baik.

Kecepatan Scan

Penggunaan Memory (RAM)

Waktu membuka IE (Internet Explorer)

Jumlah Key di Registry

Proses Write, Open Dan Close File

Hasil keseluruhan test :

Referensi : Antivirus 2009 Perfomance
Source : http://testingimplementasi.wordpress.com/2008/11/22/antivirus-testing/

I MD. GD. Raka Sanjaya
060010076

Testing pada AntPilot – Game Client for “War of the Ants II”

War of the Ants II (WOTAII) adalah multiplayer strategy game yang dibangun berdasarkan arsitektur client server. Game ini dikembangkan oleh 3×20 Marching Ants Corporation untuk pasar game Linux. AntPilot sendiri merupakan software client untuk WOTAII yang dikembangkan oleh FireAnts Team dari AntFarm Division. AntPilot menyediakan graphical user interface di sisi client, bertanggungjawab mengadakan koneksi ke server, mengirimkan perintah-perintah, mengilustrasikan game dalam grafik 3D, dll.

Testing pada AntPilot

Proses testing dilakukan menggunakan komputer yang berada di laboratorium University of Guelph, yang mana telah memenuhi spesifikasi yang sudah ditetapkan pada Software Requirements Specification dan System Design Document. Testing dilakukan dengan seluruh game server yang ada, yaitu FlyingAnts dan ArmyAnts. Total dibutuhkan empat komputer untuk melakukan testing. Dua komputer digunakan untuk masing-masing server. Satu komputer digunakan untuk AntPilot berhubungan dengan server dan membuat game, sedang satu komputer lainnya digunakan untuk bergabung dengan game yang telah dibuat dan kemudian memulai game.

Cakupan dari proses testing ini dibagi menjadi tiga, yaitu black-box testing, white-box testing, dan direct-user testing. Tujuan yang ingin dicapai dalam proses ini adalah untuk mengetahui sebaik apa performa dari AntPilot, dan menemukan bagian yang perlu diperbaiki, termasuk software’s requirement.

- Black-box testing

Pada tahap ini, fokus dari testing dibagi menjadi tiga, yaitu :

• General Tests

Fokusnya adalah pengoperasian umum oleh pengguna. Beberapa hal yang diuji antara lain transisi menu, catching and handling errors, dll.

Contoh General Tests

• Game Play Tests

Fokusnya adalah interaksi antara pengguna dengan software ketika game berlangsung. Beberapa hal yang diuji antara lain apakah karakter dapat muncul di layar, apakah karakter dapat menjalankan perintah-perintah, dll.

Contoh Game Play Tests

• Quantitative Tests

Fokusnya adalah mengukur kecepatan performa secara umum. Beberapa hal yang diukur adalah seberapa cepat koneksi dengan server dapat terjadi, seberapa cepat respon perintah dijalankan, dll.

Contoh Quantitative Tests

- White-box testing

Pada tahap ini, fokus pengujian adalah kecocokan antara AntPilot dengan network protocol yang dikembangkan oleh Open Ants Standards Working Group (OASWG). Hal yang diuji adalah berjalannya komunikasi ke server, baik untuk mengadakan koneksi, membuat game, dll .

- Direct-user testing

Testing juga dilakukan pada sebuah grup yang dibentuk dengan variasi yang luas. Mereka diminta untuk menyelesaikan sejumlah perintah, dan mengisi kuisioner yang diberikan. Secara garis besar, pertanyaan yang diberikan adalah mencakup game screen, koneksi dengan server, dan sebaik apa game dapat berjalan. Melalui uji ini, dapat diketahui kepuasan pengguna terhadap penggunaan AntPilot.

Contoh Direct-user testing

Dalam proses testing ditemukan ada beberapa hal yang perlu diperbaiki, seperti penampilan error message yang belum lengkap, penerapan fitur dari protokol OASWG yang belum diimplementasi, dan beberapa perintah untuk karakter yang belum berjalan baik. Namun, secara umum AntPilot telah memenuhi banyak tujuannya, dan juga memberikan kepuasan yang cukup bagi pengguna. Pengembangan dan perbaikan perlu dilakukan untuk hasil yang lebih baik.

sumber : http://fortisi.wordpress.com/

I MD. GD. Raka Sanjaya
060010076

Testing Performa Game Menggunakan 3DMark 06

PC Gamer: 3DMark 06 masih menjadi standar dunia untuk melakukan pengujian performa game 3D. 3DMark 06 menggunakan beban game 3D secara real-time untuk mengukur performa PC dengan berbekal seperangkat pengujian, seperti tes grafik HDR/SM3.0 dan SM2.0. Selain itu, dapat dilakukan juga pengujian performa CPU melalui AI dan beban fisik untuk sistem single core, multi-threaded multi-core, dan lingkungan multiple processor.

3DMark06 memiliki 3 edisi, yaitu

1. Basic Free Edition untuk penggunaan non-komersial,
2. Advanced Edition yang ditujukan bagi pengguna perseorangan, Advanced Edition memiliki sejumlah feature pengujian grafis yang tidak dimiliki oleh Basic Free Edition, seperti Fill Rate Test, Pixel Shader Test, Vertex Shader Test, SM3.0 Feature Test, Batch Size Test, Playable Mini Game, Graph Bencmark Mode, Pro-Online ResultBrowser, Benchmark Display Setting, Shader Profile Setting, Texture Filtering & AA Tool, Image Quality Tool, Full Demo & Setting, Extra Rendering Setting, Ref Rast Image Database, Export to MS Excel, dan Technical Support.
3. Professional Edition yang digunakan untuk keperluan bisnis dan komersial. Professional Edition memiliki semua feature Advanced Edition dan tambahan feature Full Demo Looping, Command Line Functionality, dan Batch Run for Automated Testing.

Terdapat 2 HDR/SM3.0 Graphics Test, yaitu Canyon Flight yang menampilkan efek rendering High Dynamic Range (HDR) dan memperlihatkan keuntungan dari dynamic shadow. Pada tes Deep Freeze, tool ini mengemulasikan scene yang bernuansakan film horor dengan transisi siang ke malam. Saat matahari terbenam, shadow secara dinamis meningkat panjangnya untuk efek yang sangat realistis.

CPU Test juga menggunakan game engine terbaru 3DMark06 dan mengandalkan AI, physic dan game logic untuk menghasilkan beban multithread yang dapat didistribusikan pada multiple processor, core, atau bahkan pada single processor. Red Valley menjadi judul CPU Test yang berjalan pada fixed frame rate 2 FPS atau lebih. Resolusi dikunci pada 640×480 untuk menurunkan pengaruh GFX pada performa. Shader profile dikunci pada 2_0 dan dynamic shadow dinonaktifkan. Para professional reviewer dapat menonaktifkan CPU kedua atau core lainnya untuk membandingkan hasil benchmark berdasarkan jumlah CPU atau core.

Kesimpulan CHIP: Kemampuannya dalam menguji grafis, hardware, dan performa CPU membuat tool ini menjadi pilihan yang tepat untuk gamer.

Sumber referensi : http://www.chip.co.id/windows/3dmark-06-2.html

I MD. GD. Raka Sanjaya
060010076