scrapping

Project untuk melakukan Scrapping Sitemap dari url Menggunakan Node Js dan Menyimpannya Dalam Bentuk File

Installation

Bahan yang di perlukan.

pkg install node-js
pkg install npm
pkg install git 
pkg install nano
npm install unirest
npm install random-useragent

git clone https://github.com/aceptriana/scrapping.git
cd scrapping
nano server.js

Silahkan ganti "Link_Sitemap" dengan dengan link url sitemap yang ingin kamu scrap isinya.
"Remove_Duplicate_Link" berfungsi untuk menghapus link yang sama. Maksudnya jika terdapat link duplicate di dalam file hasil scrapping, maka url duplicate tersebut akan dihapus dan menyisakan 1 link url asli. Jika kamu setting "no" maka link duplicate tidak akan dihapus. Jika kamu setting "yes" maka link duplicate akan di hapus.

ctrl x+y

node server.js

Silahkan buka folder OUTPUT

cd OUTPUT
mv hasil.txt /sdcard
buka hasilnya dengan Quick Edit
atau dengan mengunakan nano hasil.txt

Name		Name	Last commit message	Last commit date
Latest commit History 12 Commits
OUTPUT		OUTPUT
LICENSE		LICENSE
README.md		README.md
image.jpg		image.jpg
server.js		server.js