Scraping sou sit entènèt ak Python ak BeautifulSoup - Semalt konsèy
Gen plis pase ase enfòmasyon sou entènèt la sou kouman yo grate sit entènèt ak blogs byen. Ki sa nou bezwen se pa sèlman aksè a ki done men fason yo évolutive nan kolekte, analize ak òganize li. Piton ak BeautifulSoup yo se de zouti bèl bagay yo grate sit entènèt ak ekstrè done - grain bin fan prices. Nan grafouy entènèt, done ka fasil extrait ak prezante nan yon fòma ou bezwen. Si ou se yon envestisè grangou ki valè tan li ak lajan, ou definitivman bezwen pi vit entènèt la grate pwosesis epi fè li kòm optimisé jan li te kapab.
Nou pral sèvi ak tou de Piton ak BeautifulSoup kòm lang grate prensipal la.
1. Pou itilizatè Mac, Piton pre-enstale nan OS X la. Yo jis gen yo louvri Tèminal ak kalite nan python -version . Nan fason sa a, yo pral kapab wè Python 2.7 vèsyon.
2. Pou itilizatè Windows la, nou rekòmande enstale Piton sou sit ofisyèl li yo.
3. Apre sa, ou gen jwenn aksè nan bibliyotèk BeautifulSoup avèk èd pip. Sa a zouti jesyon pake te fè espesyalman pou Python. easy_install pip
Nan tèminal la, ou dwe insert kòd sa a:
pip enstale BeautifulSoup4
Règleman grate:
Règleman yo grate prensipal ou ta dwe pran swen yo se:
1. Ou dwe tcheke Règleman ak Règleman sit la anvan yo kòmanse ak grate li yo..Se konsa, dwe pran anpil prekosyon!
2. Ou pa ta dwe mande done yo nan sit sa yo twò agresif. Asire w ke, zouti ou sèvi ak korije rezonab. Sinon, ou ka kraze sit la.
3. Yon demann pou chak dezyèm se pratik dwat la.
4. Ka Layout nan blog la oswa sit ka chanje nenpòt ki lè, epi ou ka oblije revize sit sa a ak reekri kòd pwòp ou a nenpòt lè sa nesesè.
Enspekte paj la
Hover kurseur ou nan paj Pri a pou konprann ki sa yo ta dwe fè. Li tèks la ki gen rapò ak tou de HTML ak Python, ak nan rezilta yo, ou pral wè pri yo anndan Tags yo HTML.
Paj sa yo HTML souvan vini nan fòm
Export nan Excel CSV
Yon fwa ou te extrait done yo, pwochen etap la se pou konsève pou li offline. Excel Comma separe fòma a se chwa ki pi bon nan sa a konsiderasyon, epi ou ka fasilman louvri li nan fèy Excel ou a. Men, anvan, ou ta dwe enpòte modil yo CSV Piton ak modil yo dat-tan nan dosye done ou byen. Ka kòd ki anba la a dwe antre nan seksyon an enpòte:
enpòte csv
soti nan datetime enpòte nan datetime (21 )
Teknik Scraping Avanse
BeautifulSoup se youn nan zouti ki pi senp e konpreyansif pou entènèt grate. Sepandan, si ou bezwen rekòlte gwo komèsan nan done yo, konsidere kèk lòt altènativ:
1. Scrapy se yon fondamantal pwisan ak etonan grate fondasyon.
2. Ou kapab tou entegre kòd la ak yon API piblik. Efikasite nan done ou yo pral enpòtan. Pou egzanp, ou ka eseye Facebook grafik API, ki ede kache done yo epi yo pa montre li moute sou paj yo Facebook.
3. Anplis, ou ka itilize pwogram yo backend tankou MySQL ak magazen done yo nan yon gwo kantite ak presizyon gwo.
4. TRIYÈ a vle di "Pa repete tèt ou" epi ou ka eseye otomatize travay regilye yo lè l sèvi avèk teknik sa a.