哈希技術部落格


Slider

Python爬蟲實作-擷取網路新聞

網路世代中,多數的資訊都可以在網路上找到。除了透過我們人自己閱讀網路上的資訊以外,透過程式將網路上的資訊擷取下來並進行處理,已是非常熱門的應用,這樣透過程式將網頁上的資訊擷取下來的行為,就稱作「爬蟲」

今天,我們會分享如何透過實作爬蟲,取得常見媒體網頁中的新聞資訊!

使用網路爬蟲

程式不像我們人的眼睛看見網頁的呈現,而是看見程式碼。所以在使用爬蟲的時候,我們需要告訴爬蟲要讀取網頁中哪些資料的時候,就是透過尋找網頁程式語言(HTML、CSS)的位置。

而在Python中,最常被大家使用的爬蟲模組就是「BeautifulSoup」

首先,我們需要透過pip安裝模組

pip install beautifulsoup4

BeautifulSoup只負責解析網頁程式語言的內容,但不包含將網頁擷取下來的功能,所以我們還需要另一個模組「requests」,將網頁擷取下來。

爬蟲實作

我們以擷取「聯合新聞網」為示範。首先,我們需要知道網頁上的新聞資訊,是寫在怎樣的HTML與CSS的架構中。所以我們可以在網頁上對新聞內容點擊「右鍵」>「檢查」 。找到這個資訊放在哪一個程式碼段落中。

從上圖中可以看見,新聞的標題放在「story-list__text」這個div class中底下的「h2」標籤內。所以我們可以寫爬蟲擷取這個程式段落中的內容。

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://udn.com/news/breaknews/1” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.story-list__text h2” )
for i in allTitle[3:]:
print( “標題:” + i.text[1:-1] )

執行成果:

練習擷取更多的新聞網站

擷取TVBS新聞網站

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://news.tvbs.com.tw/hot” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.content_center_contxt_box_news .txt” )
for i in allTitle[47:]:
print( “標題:” + i.text )

執行成果:

擷取三立新聞網站

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://www.setn.com/ViewAll.aspx” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.view-li-title a” )
for i in allTitle:
print( “標題:” + i.text )

執行成果:

擷取自由時報網站

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://news.ltn.com.tw/” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.tit .title” )
for i in allTitle:
print( “標題:” + i.text )

執行成果:

0 Comments

  1. Si vous êtes enceinte ou que vous allaitez, si vous pensez être enceinte ou planifiez une grossesse, demandez conseil à votre médecin ou pharmacien avant de prendre ce médicament. Si vous avez d’autres questions sur l’utilisation de ce médicament, demandez plus d’informations à votre médecin ou à votre pharmacien. https://acheterdusolupred.space/hydrocortancyl/ Cialis tadalafil prix en pharmacie sans prescription generique vente Canada.

  2. Si vous devez prendre ce traitement sur une durée prolongée et à des doses inférieures à 20 mg par jour, il existe des dosages plus appropriés. Par conséquent, l’allaitement est à éviter durant le traitement. Si vous êtes enceinte ou que vous allaitez, si vous pensez être enceinte ou planifiez une grossesse, demandez conseil à votre médecin ou pharmacien avant de prendre ce médicament. https://acheterdusolupred.space/cortancyl-20-mg/ Achat sildenafil inde gratuit vente sans ordonnance ligne Canada, pharmacie. Vente ligne ordonnance pharmacie suisse livraison de prescription viagra 25 mg.

  3. Continuer Г  prendre Solupred mГЄme si vous vous sentez bien. Demandez Г  votre mГ©decin avant de modifier la dose de votre mГ©dicament de diabГЁte. En cas de traitement prolongГ©, suivez les recommandations de votre mГ©decin pour la diminution des doses. https://acheterdusolupred.space/achat-prednisone-en-ligne/ Career Center and Enterprise Relations, CASS Europe. Pharmacie En Ligne France Levitra.Magasin en ligne de drogue, Prix bon.

  4. Ils ont besoin de vГ©rifications mai croissance rГ©guliГЁre, tandis qu’ils font la Solupred. Ceci s’applique aussi Г  tout effet indГ©sirable qui ne serait pas mentionnГ© dans cette notice. https://acheterdusolupred.space/solupred-prednisolone/ Viagra 25 mg, pharmacie viagra du Canada, Budapestyoga.

  5. Assurez-vous de conserver tous les mГ©decins et les nominations de laboratoire. En cas d’antГ©cГ©dent ulcГ©reux, la corticothГ©rapie peut ГЄtre prescrite, avec une surveillance clinique et au besoin aprГЁs fibroscopie. https://acheterdusolupred.space/achat-prednisone-en-ligne/ Centre d Information et de Documentation de la Pharmacie Centrale des.

  6. Solupred mai abaisser la capacitГ© de votre corps pour combattre l’infection. Les corticoГЇdes oraux ou injectables peuvent favoriser l’apparition de tendinopathie, voire de rupture tendineuse (exceptionnelle). L’emploi des corticoГЇdes nГ©cessite une surveillance particuliГЁrement adaptГ©e, notamment chez les sujets ГўgГ©s et en cas de colites ulcГ©reuses (risque de perforation), anastomoses intestinales rГ©centes, insuffisance rГ©nale, insuffisance hГ©patique, ostГ©oporose, myasthГ©nie grave. http://solupredsansordonnance.space/solupred-prednisolone/ Australie pharmacie en ligne tadalafil vente sans ordonnance sildenafil levitra. Commander viagra, marque viagra sans prescription, Geosystems.

  7. Si vous oubliez une dose de Solupred, sautez la dose oubliée. Retournez à votre horaire habituel. Certains médicaments peuvent augmenter les effets de Solupred 20 mg, comprimé orodispersible et il est possible que votre médecin souhaite vous surveiller attentivement si vous prenez ces médicaments (y compris certains médicaments pour traiter l’infection à VIH : ritonavir, cobicistat). http://solupredsansordonnance.space/solupred-20-mg/ Viagra 25 mg, achat viagra en pharmacie, Etnografiadigitale.

  8. Demandez Г  votre mГ©decin avant de modifier la dose de votre mГ©dicament de diabГЁte. Le dosage de Solupred 20 mg est adaptГ© si vous dГ©butez un traitement ou si vous devez prendre un traitement sur une courte durГ©e nГ©cessitant des doses moyennes ou fortes. Grossesse et allaitement: Si vous ГЄtes enceinte, consultez votre mГ©decin. http://solupredsansordonnance.space/acheter-solupred-en-ligne/ Pharmacie en ligne, Acheter Cialis, Acheter Viagra, Acheter Kamagra. Le prix de viagra, prix pilule viagra, Mageesci Magasin en ligne de.

  9. Г‰viter tout contact avec des gens qui ont un rhume ou une infection. Ne jetez aucun mГ©dicament au tout-Г -l’égout ou avec les ordures mГ©nagГЁres. En cas d’antГ©cГ©dent ulcГ©reux, la corticothГ©rapie peut ГЄtre prescrite, avec une surveillance clinique et au besoin aprГЁs fibroscopie. http://solupredsansordonnance.space/solupred-20-mg-generique/ Sildenafil, Vendre sildenafil cialis pharmacie ordonnance ordre meilleur ligne. Du Canada pilule viagra, acheter sans ordonnance.Escompte Inde, viagra prix.

  10. Si vous avez d’autres questions sur l’utilisation de ce médicament, demandez plus d’informations à votre médecin ou à votre pharmacien. Pas de précautions particulières de conservation. Utilisez Solupred comme indiqué par votre médecin. http://solupredsansordonnance.space/solupred-20-mg-generique/ Provinces planifient la mise en place dun portail en ligne pour ces derniers. pharmacie sans ordonnance, pharmacie ligne vente achat pfizer, Pharmacie du.

  11. Cependant, si vous oubliez de prendre une dose, continuez le traitement normalement. Ces mesures contribueront à protéger l’environnement. http://solupredsansordonnance.space/prescription-solupred/ Achat de cialis pas cher, cialis generique en pharmacie, Arubahuis. Commander cialis en ligne, pharmacie canada cialis, Wydawnictwa.

  12. Demandez Г  votre pharmacien d’éliminer les mГ©dicaments que vous n’utilisez plus. Il importe, avant la mise en route du traitement, d’Г©carter toute possibilitГ© de foyer viscГ©ral, notamment tuberculeux, et de surveiller, en cours de traitement, l’apparition de pathologies infectieuses. http://solupredsansordonnance.space/solupred-40-mg/ Cialis tadalafil prix en pharmacie sans prescription generique vente Canada. Achat de cialis pas cher, cialis generique en pharmacie, Arubahuis.

  13. À fortes doses, ce médicament diminue les réactions immunitaires et est donc également utilisé pour prévenir ou traiter le rejet des greffes d’organes. https://fr.ulule.com/solupred-pas-cher/ Ce médicament est réservé à l’adulte et à l’enfant de plus de 10 kg.

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *