網路世代中，多數的資訊都可以在網路上找到。除了透過我們人自己閱讀網路上的資訊以外，透過程式將網路上的資訊擷取下來並進行處理，已是非常熱門的應用，這樣透過程式將網頁上的資訊擷取下來的行為，就稱作「爬蟲」
今天，我們會分享如何透過實作爬蟲，取得常見媒體網頁中的新聞資訊！
使用網路爬蟲
程式不像我們人的眼睛看見網頁的呈現，而是看見程式碼。所以在使用爬蟲的時候，我們需要告訴爬蟲要讀取網頁中哪些資料的時候，就是透過尋找網頁程式語言（HTML、CSS）的位置。
而在Python中，最常被大家使用的爬蟲模組就是「BeautifulSoup」
首先，我們需要透過pip安裝模組
pip install beautifulsoup4
BeautifulSoup只負責解析網頁程式語言的內容，但不包含將網頁擷取下來的功能，所以我們還需要另一個模組「requests」，將網頁擷取下來。
爬蟲實作
我們以擷取「聯合新聞網」為示範。首先，我們需要知道網頁上的新聞資訊，是寫在怎樣的HTML與CSS的架構中。所以我們可以在網頁上對新聞內容點擊「右鍵」>「檢查」 。找到這個資訊放在哪一個程式碼段落中。
從上圖中可以看見，新聞的標題放在「story-list__text」這個div class中底下的「h2」標籤內。所以我們可以寫爬蟲擷取這個程式段落中的內容。
import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://udn.com/news/breaknews/1” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.story-list__text h2” )
for i in allTitle[3:]:
print( “標題：” + i.text[1:-1] )
執行成果：
練習擷取更多的新聞網站
擷取TVBS新聞網站
import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://news.tvbs.com.tw/hot” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.content_center_contxt_box_news .txt” )
for i in allTitle[47:]:
print( “標題：” + i.text )
執行成果：
擷取三立新聞網站
import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://www.setn.com/ViewAll.aspx” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.view-li-title a” )
for i in allTitle:
print( “標題：” + i.text )
執行成果：
擷取自由時報網站
import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://news.ltn.com.tw/” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.tit .title” )
for i in allTitle:
print( “標題：” + i.text )
執行成果：
Coches aseguradora Calcular precio de seguro de coche Tipos de aseguranza para carros Seguro de auto obligatorio Costo de poliza de seguro para vehiculos Cuanto esta el seguro de un auto Seguros coche online mas barato Seguros de coche baratos online https://segurodeautoenusa.com/bedford-tx/ Mejor seguro auto Nombres de aseguradoras Mejores seguros de coche a todo riesgo Los mejores seguros de coche Seguro coche a terceros
La caja de seguros automotor Nombres de seguros de carros Buscador seguros coche Seguro coche todo riesgo Mejores seguros de coche a todo riesgo Seguro automotor online Precios de aseguranzas para autos Seguro coche basico mas barato Seguro de auto por mes Telefonos de aseguradoras de autos https://segurodeautoenusa.com/santa-maria-ca/ Seguro automotriz obligatorio Que se necesita para asegurar un carro Empresas de seguros concepto
Las aseguradoras Seguro coche a terceros Poliza contra terceros Seguros contra todo riesgo para vehiculos precios Lista de seguros para autos Tabulador de seguros de autos Seguro automotriz economico Como funcionan los seguros de autos Oferta seguro automotriz Consultar seguro coche https://segurodeautoenusa.com/san-luis-obispo-ca/ Ing seguros coche Seguro para carros Ofertas de seguros automotriz Seguro moto
Empresas de seguro automotor Seguro car Precio medio seguro coche Precios de seguros de coche baratos Linea directa seguros Precio seguro carro https://segurodeautoenusa.com/royal-palm-beach-fl/ Seguro auto lider Seguro de coche a terceros mas barato Comparador seguro coche online
Precios de seguros de coche a todo riesgo Seguro de veiculos Comparador de seguros para autos Correduria seguros Mejor seguro para coche Coberturas de seguros para autos Responsabilidad civil automotor para imprimir Mejores seguros de coche a todo riesgo Cotizar seguro de vehiculo en linea https://segurodeautoenusa.com/farmersville-ca/ Que seguro es mejor para mi auto Los seguros de coche mas baratos Poliza de seguro automotriz Seguros contra terceros para autos
Simulador de seguros de coche Calculador de seguros de automovil Seguro auto por mes Seguros de coche por internet Registro entidades aseguradoras La caja seguros autos https://segurodeautoenusa.com/port-st.-lucie-fl/ Cotizacion on line de seguros automotor Poliza de auto Seguro auto online Autocompara seguros
Seguro a terceros mas barato Aseguradora online Valor de seguro de auto Cotizar seguro de autos Aprecio seguros telefono gratuito https://segurodeautoenusa.com/hialeah-fl/ Cotizar poliza de seguro Seguro coche y moto Seguro para terceros Poliza seguro auto Vehiculo seguro