Sejarah Web Crawler dan Pengertiannya

Awal kehadiran Web, untuk mengakses suatu web, user melakukan dua cara yakni cara yang pertama user mengetahui alamat dari suatu web kemudian memasukkan alamat web tersebut pada web browser. Cara yang kedua yakni dengan mengikuti link dari web yang saat itu sedang diakses.

Dengan semakin meningkatnya jumlah web, dalam thesisnya Károly Csalogány mengatakan bahwa hal ini memunculkan dua metode untuk mengakodimirnya yakni web directories dan web crawler . Web directories merupakan web yang berisi kumpulan link yang dianggap berguna bagi user dimana untuk mengkoleksinya membutuhkan campur tangan manusia. Dikarenakan butuh sumber daya manusia yang tidak sedikit dan perlu memperbaharui data terhadap web yang diperbaharui maka crawler dianggap lebih efisien dan efektif.

Web crawler adalah suatu program dari komputer yang melakukan penjelajahan pada world wide web berdasarkan metode tertentu, secara otomatis dan melakukan pembaharuan data apabila ada perubahan. Web crawler merupakan salah satu jenis web robots atau software agent. Berawal dari URL yang telah terdaftar yang disebut dengan seeds. Crawler akan melakukan identifikasi semua hyperlink dan memasukkan ke dalam daftar URL yang telah dikunjungi atau yang disebut dengan crawl frontier. Crawl frontier tersebut akan dilakukan pengindeksan dan akan dikunjungi secara rekursif berdasarkan kesepakatan bersama antara penyedia web crawler dan pemilik web.

Semua konten ini dibuat dan dipublish pertama di www.rumahpustakom.blogspot.com

Sumber

Kesalahan Membuat Web

Berikut beberapa kesalahan web programmer dan web designer dalam membuat dan mempublish webnya
Tampilan

- Terlalu Banyak gambar sehingga tidak diperhitungkan besar ukuran web alangkah baiknya menggunakan ajax untuk mengambil gambar jika hanya user ingin melihat
- Terlalu banyak plugin yang merupakan bukan informasi bagi user
- Menyertakan suara atau audio dalam web tersebut.
- Perpaduan warna yang terlalu banyak dan tidak selaras
- Format penulisan yang tidak standar atau menyulitkan user untuk membacanya
- Warna tulisan yang hampir sama dengan background
- Terlalu banyak iklan sehingga load halaman menjadi lambat
- Memasang gambar secara penuh yang mungkin bisa ditulis ulang dengan menggunakan css
- Flash yang ditujukan hanya untuk memperindah tampilan
- Menu yang tidak user friendly
- Tidak adanya konfirmasi error message jika ada kesalahan
- Loading yang tidak jelas pangkal dan ujungnya
- Tidak menggunakan kompresi pada gambar yang disajikan
- Menggunakan background yang merupakan warna sensiitif bagi orang yang buta warna

Content
- Mencopy secara mentah-mentah tanpa menyertakan alamat sumber aslinya atau mengambil kalimat sepenuhnya tanpa meyertakan siapa yang memberikan info tersebut.Hal ini bisa berakibat bisa dianggap web spam oleh search engine.
- Terlalu banyak link keluar tidak adanya link masuk
- Adanya outbound link yang berasal dari web spam
- Terlalu banyak scrollbar
- Halaman yang terlalu panjang

Script
- Video yang langsung di play ketika semua halaman telah di load
- Tidak suport terhadap jenis browser tertentu
- Standar script yang digunakan tidak berpathokan pada W3C
- Terlalu banyak script yang seharusnya bisa dibuat fungsinya justru ditulis secara bruto force
- Terlalu banyak script client pada web
- Tidak adanya auto logout dalam jangka waktu yang telah ditentukan
- Source yang dibuat tidak eyecatching
- Terlalu banyak eksekusi setelah on load halaman
- Tidak memanfaatkan metode parenting
- Content yang ditampilkan selalu dalam full text
- Penamaan method, attribute atau class
- Penggunaan tipe data yang salah
- Logika yang salah
- Tidak menggunakan master pages
- Eror handling yang tidak ditangani sehingga tampak line script yang bermasalah
- Web Host yang sering down

Semua konten ini dibuat dan dipublish pertama di www.rumahpustakom.blogspot.com

Sumber [1] http://www.pojokweb.com/resource/a02.html [2] http://id.88db.com/id/Knowledge/Knowledge_Detail.page/Komputer-Interne/?kid=29984