Web Crawler & Routing Protocols

-

Pengertian Web Crawler 
Web Crawler adalah program yang menelusuri World Wide Web dengan cara yang metodis, otomatis dan teratur. Istilah lain untuk web crawler adalah ant, automatic indexer, bots, web spiders atau web robots. Web Crawler adalah salah satu jenis bot atau agen perangkat lunak. Secara umum, proses crawling dimulai dengan list URL yang akan dikunjungi, disebut seeds. Kemudian web crawler akan mengunjungi URL tersebut satu per satu. Setiap page URL yang dikunjungi akan diidentifikasi apakah ada hyperlink di dalamnya. Jika ada maka akan ditambahkan ke dalam list URL yang akan dikunjungi. Ini disebut crawl frontier. URL yang didapat dari crawl frontier ajab dikunjungi secara rekursif dengan beberapa kebijakan tertentu.

Fungsi Web Crawler 
Untuk memudahkan pengambilan informasi yang tersebar dan selalu berubah-ubah di Internet dalam jumlah besar diperlukan sebuah web crawler. Web Crawler atau dengan kata lain Web Spider ataupun Web Robot merupakan salah satu komponen penting dalam sebuah mesin pencari modern. Fungsi utama Web Crawler adalah melakukan penjelajahan dan pengambilan halaman-halaman web yang ada di Internet. Hasil pengumpulan situs web selanjutnya akan di indeks oleh mesin pencari sehingga mempermudah pencarian informasi di Internet.

Proses Web Crawler 
Berikut ini proses yang dilakukan Web Crawler pada saat berkerja (Sulastri dan Zuliarso, 2010):
  1. Mengunduh halaman web.
  2. Menguraikan halaman yang diunduh dan mengambil semua link.
  3. Untuk setiap link yang diambil, ulangi proses.

Penerapan Web Crawler di Internet 
Beberapa penerapan web crawler di internet antara lain :
  1. Mendapatkan dan menyaring informasi pada mesin pencarian (search engine)
Ø  Google Bot dari Google
Ø  Bingbot dari Bing
Ø  Slurp Bot dari Yahoo
Ø  DuckDuckBot dari DuckDuckGO
Ø  Baiduspider dari Baidu (mesin pencari dari China)
Ø  Yandex Bot dari Yandex (mesin pencari dari Rusia)
Ø  Sogou Spider dari Sogou (mesin pencari dari China)
Ø  Exabot dari Exalead
Ø  Alexa Crawler dari Amazon
  1. Pencarian pada Electronic Book (E-Book)
  2. Data Tools Analis Website
Ø  Google Search Console
Ø  Screaming Frog SEO
  1. Data Website Statistik
Ø  Google News
  1.  Mendapatkan dan menyaring informasi pada social media
Ø  Twitter

Crawling Policies
Policies yang berarti kebijakan untk mengatur suatu masalah terdapat pada semua aspek kehidupan termasuk juga pada web crawler dalam penggunaannya. Selama crawling web terdapat berbagai isu dalam prosesnya sehingga menghasilkan,4 kombinasi kebijakan(policies), yaitu:
  1. Selection policy
  2. Re-visit policy
  3. Politeness policy
  4. Parallezization policy

Selection Policy
•       Studi oleh  Lawrence and Giles [LG00] menunjukkan tidak ada search engine manapun yang mengindeks situs di internet lebih dari 16%.
•       Crawler hanya mendownload sebagian dari web , jadi sangat penting untuk crawler mendownload pages yang benar-benar relevan.
•       Ada banyak kebijakan untuk pemilihan pengurutan bagian pages yang akan di download seperti :
1.       breadth-first
2.       backlink-count
3.       partial Pagerank
•       Najork and Wiener [NW01] melakukan crawl pada 328 juta pages  menggunakan  breadth-first ordering, dan menemukan bahwasannya:
1.       breadth-first melakukan crawl pada page dengan ranking yang tinggi
2.       Page yang paling penting adalah page dengan link rujukan yang paling banyak dari beragam host
Re-visit Policy
•       Objektif dari kebijakan ini untuk melakukan pengecekan page-paeg yang sudah tidak relevan dan outdated
•       Cho dan Garcia-Molina [CGM03a] mempelajari 2 Re-visit polis yang simple:
1.       Uniform policy, mengunjungi semua web pages dengan freekuensi yang sama terlepasdari banyak perubahannya
2.       Proportional policy, mengunjugi ulang pages yang sering melakukan perubahan dengan frekuensi re-visiting berbanding lurus dengan perubahan yang terjadi
3.       Cho dan Garcia-Molina membuktikan dalam segi relevansi Uniform mengungguli  Proportional. Hasil ini muncul dari fakta yang ditemukan bahwa ketika page berubahy terllau sering, crawler akan menyia-nyiakan waktunya hanya untuk re-crawl sehingga tidak dapat mempertahankan page yang relevan
“Jadi, untuk meningkatkan relevansi , harus dilakukan penghukuman kepada elemen yang terlalu sering berganti” [CGM03a].

Politeness Policy
Seperti yang dicatatkan oleh Koster [Kos95], penggunaan robot web berguna untuk sejumlah tugas, tetapi dilengkapi dengan harga untuk masyarakat umum. Biaya menggunakan robot web meliputi :
  1. Sumber daya jaringan
  2. Server overload
  3. Robot web yang ditulis dengan buruk, dimana dapat menyebabkan crash pada server atau router, ataupun unduhan halaman yang tidak dapat ditangani
  4. Robot pribadi, yang jika digunakan oleh banyak pengguna, dapat menggangu jaringan dan server web
Solusi parsial untuk masalah ini  adalah protokol pengecualian robot [Kos96] yang merupakan standar administrator untuk menunjukkan bagian mana dari server web mereka yang tidak boleh diakses oleh robot.
Parallezization Policy
Parallel crawler adalah crawler yang menjalankan banyak proses secara parallel. Tujuannya adalah untuk memaksimalkan kecepatan unduhan sambil meminimalkan overhead dari paralelisasi dan untuk menghindari unduhan berulang pada halaman yang sama. Untuk menghindari mengunduh halaman yang sama lebih dari sekali, maka sistem crawling membutuhkan kebijakan untuk menetapkan URL baru yang ditemukan selama proses crawling, karena URL yang sama dapat ditemukan oleh dua proses crawling yang berbeda.

Routing Protocols
Router adalah sebuah alat yang mengirimkan paket data melalui sebuah jaringan atau Internet menuju tujuannya, melalui sebuah proses yang dikenal sebagai routing.
Routing adalah proses untuk memilih jalur (path) yang harus dilalui oleh paket. Jalur yang baik tergantung pada beban jaringan, panjang datagram, type of service requested dan pola trafik. Pada umumnya skema routing hanya mempertimbangkan jalur terpendek (the shortest path).
Tabel Routing
Router merekomendasikan tentang jalur yang digunakan untuk melewatkan paket berdasarkan informasi yang terdapat pada Tabel Routing.
Informasi yang terdapat pada tabel routing dapat diperoleh secara static routing melalui perantara administrator dengan cara mengisi tabel routing secara manual ataupun secara dynamic routing menggunakan protokol routing, dimana setiap router yang berhubungan akan saling bertukar informasi routing agar dapat mengetahui alamat tujuan dan memelihara tabel routing.
Tabel Routing pada umumnya berisi informasi tentang:
·         Alamat Network Tujuan
·         Interface Router yang terdekat dengan network tujuan
Metric, yaitu sebuah nilai yang menunjukkan jarak untuk mencapai network tujuan. Metric tesebut menggunakan teknik berdasarkan jumlah lompatan (Hop Count).
Routing Protocol maksudnya adalah protocol untuk merouting. Routing protocol digunakan oleh router-router untuk memelihara /meng-update isi routing table. Pada dasarnya sebuah routing protocol menentukan jalur (path) yang dilalui oleh sebuah paket melalui sebuah internetwork.
Contoh dari routing protocol adalah RIP, IGRP, EIGRP, dan OSPF.

Parameter sistem untuk menguji Routing Protocols
Parameter Sistem  
Parameter yang digunakan adalah Quality of Service (QOS). QoS merupakan terminologi yang digunakan untuk mendefinisikan kemampuan suatu jaringan untuk menyediakan tingkat ja-minan layanan yang berbeda-beda.

a. Delay (Latency)
Delay (Latency) adalah lamanya waktu suatu paket sampai ke tujuannya yang diaki-batkan oleh proses transmisi dari suatu titik ke titik lain. Satuan yang digunakan pada perhi-tungan delay adalah mili second (ms) . Persamaan untuk menghitung delay :





b. Throughput
Throughput adalah kemampuan suatu jaringan dalam melakukan pengiriman data. Satuan yang digunakan pada perhitungan throughputadalah bps. Persamaan untuk menghitung throughput :

 

 
c. Packet loss
Packet loss adalah kegagalan transmisi paket data saat mencapai tujuannya. Umumnya perangkat network memiliki buffer untuk menampung data yang diterima. Jika terjadi kongesti yang cukup lama, buffer akan penuh dan data baru tidak diterima.





PERBANDINGAN ROUTING PROTOKOL OPEN SHORTES PATH FIRST (OSPF) DENGAN ENHANCED INTERIOR GATEWAY ROUTING PROTOCOL (EIGRP)


Kesimpulan
Berdasarkan hasil analisis dan pengujian yang telah dilakukan, maka dapat diambil kesimpulan sebagai berikut:
  1. Jaringan yang menggunakan routing protocol OSPF saat traffic normal memiliki nilai rata-rata delay sebesar 283.953 ms, sedangkan jaringan yang menggunakan routing protocol EIGRP memiliki nilai rata-rata delay sebesar 269.217 ms . Dengan demikian routing protocol EIGRP mengalami peningkatan kinerja jaringan untuk nilai delay, yakni menurun 5% jika dibandingkan dengan kinerja dari jaringan PT. Phinisi Global Data yang menggunakan routing protocol OSPF. Sedangkan nilai delay pada pengujian dalam traffic sibuk EIGRP masih unggul 2.7 % terhadap nilai delay routing OSPF.  
  2. Jaringan PT. Phinisi Global Data yang menggunakan routing protocol OSPF saat traffic normal memiliki nilai throughput sebesar 3004.348 bps sedangkan jaringan yang menggunakan routing protocol EIGRP memiliki nilai throughput sebesar 3162.813 bps. Dengan demikian routing protocol EIGRP mengalami peningkatan kinerja jaringan untuk nilai throughput, yaitu 5 % jika dibandingkan dengan kinerja dari jaringan yang menggunakan routing protocol OSPF. Pada pengujian saat traffic sibuk jaringan yang menggunakan routing protocol EIGRP unggul 2,3 % terhadap throughput routing protocol OSPF.
  3.  Jaringan yang menggunakan routing protocol OSPF saat traffic normal memiliki nilai packet loss sebesar 9%. sedangkan jaringan yang menggunakan routing protocol EIGRP memiliki nilai packet loss 0%. Dalam hal ini jaringan yang menggunakan routing protocol EIGRP mengalami peningkatan kinerja sebesar 100% untuk nilai packet loss. Dalamkeadaan traffic sibuk OSPF dan EIGRP memiliki kinerja yang sama baiknya yakni 0%.
  1. Berdasarkan hasil pengujian yang telah dilakukan baik dalam traffic normal maupun traffic sibuk, diketahui bahwa kinerja routing protocol EIGRP lebih baik untuk nilai delay dan nilai throughput dibanding routing protocol OSPF.

Daftar Referensi Jurnal
Pramana Yoga Saputra (2017). IMPLEMENTASI TEKNIK CRAWLING UNTUK PENGUMPULAN DATA DARI MEDIA SOSIAL TWITTER. Politeknik Negeri Malang

Agustino Halim, Rudy Dwi Nyoto, Novi Safriadi (2017). Perancangan Aplikasi Web Crawler untuk Menghasilkan Dokumen Teks pada Domain Tertentu. Universitas Tanjungpura

Nur Indah, Yulita Salim, Ramdan Satra (2018). ANALISIS PERBANDINGAN ROUTING PROTOKOL OPEN SHORTES PATH FIRST (OSPF) DENGAN ENHANCED INTERIOR GATEWAY ROUTING PROTOCOL (EIGRP). Universitas Muslim Indonesia 

Castillo, Carlos (2004). Effective Web Crawling (Ph.D. thesis). University of Chile

https://repository.uksw.edu/bitstream/123456789/6383/2/T1_672007230_BAB%20II.pdf


Komentar

Posting Komentar

Postingan populer dari blog ini

Teknologi Terbaru

-
Gambar
Teknologi di rancang sedemikian rupa, dari berbagai macam bentuk, jenis, dan juga berbagai macam bidang. Teknologi dikembangkan guna membantu pekerjaan manusia agar pekerjaan tersebut menjadi lebih mudah dan efisien, baik efisien waktu, biaya, dan pekerjaan. Ya, sekarang sudah berada pada tahun 2019 akhir dan sudah sangat banyak teknologi yang dikembangkan bahkan diluncur kan pada tahun ini dan sebelum-sebelumnya yang memberikan banyak manfaat bagi manusia, namun dibalik sejumlah manfaat yang kita dapat, kita harus mampu memanajemen penggunaan teknologi tersebut agar terhindar dari efek atau dampak yang ditimbulkannya. Dari sejumlah teknologi terbaru yang diluncurkan, yang mencuri perhatian saya adalah pada bidang transportasi atau otomotif yaitu ‘Autonomous Car’ atau kerap disebut dengan ‘Driver-Less Car’. Autonomous Car adalah kendaraan mobil yang mampu membawa penumpang tanpa harus dikendalikan oleh supir (tanpa seorang supir), mobil ini dirancang memiliki sensor khusus ber...
Baca selengkapnya

KOMPUTASI MODERN

-
Definisi Komputasi (Perhitungan pada masalah-masalah) Komputasi merupakan salah satu proses yang sering dijumpai dalam aktivitas menyelesaikan masalah-masalah eksak. Oleh karena itu penggunaan alat komputasi yang bersifat praktis diperlukan untuk meminimalisir kesalahan yang tidak diinginkan. Hal tersebut dikarenakan alat komputasi yang praktis telah dirancang sedemikan rupa sehingga dapat digunakan dalam proses perhitungan dan menghasilkan jawaban yang benar. Salah satu kegunaan dari alat komputasi adalah dapat digunakan sebagai alat untuk menguji kebenaran dari hasil perhitungan secara manual. Dari hal tersebut, seseorang ridak lagi ragu dalam menentukan hasil akhir dari suatu hasil perhitungan.Dalam dunia komputasi modern saat ini, alat populer yang juga sering digunakan selain komputer adalah kalkulator. Komputasi modern mungkin merupakan kalimat yang jarang terdengar di telinga masyarakat Indonesia pada umumnya. Komputasi modern pengertiannya adalah cara untuk menemukan pemecahan ...
Baca selengkapnya

Esensi Analisis Web

-
Gambar
Definisi Analisis Web  adalah pengukuran, pengumpulan, analisis dan pelaporan data internet untuk tujuan memahami dan mengoptimalkan penggunaan web.  Metodologi  adalah cara-cara yang digunakan oleh seseorang secara rutin dalam menyelesaikan suatu pekerjaan. Jadi  Metodologi Analisis Web  adalah cara yang digunakan untuk mengoptimalkan sebuah web dengan melakukan pengumpulan serta pengukuran data pada internet.  Metodologi paling klasik terdiri dari 5 fase yaitu : 1.       Fase requirement. mencari tahu apa yang dibutuhkan, tujuan dari suatu proyek pengembangan aplikasi, dan seperti apa hasil yang diinginkan. 2.       Fase analisa. memutuskan seperti apa aplikasi yang ingin dibuat, feature apa saja yang diperlukan, masalah yang kemungkinan dihadapi, apa saja yang diperlukan dalam proses pengembangan, dsb. 3.       Fase perancangan. membuat rencana atau rancangan mengena...
Baca selengkapnya