哈希技術部落格


Slider

Python爬蟲實作-擷取網路新聞

網路世代中,多數的資訊都可以在網路上找到。除了透過我們人自己閱讀網路上的資訊以外,透過程式將網路上的資訊擷取下來並進行處理,已是非常熱門的應用,這樣透過程式將網頁上的資訊擷取下來的行為,就稱作「爬蟲」

今天,我們會分享如何透過實作爬蟲,取得常見媒體網頁中的新聞資訊!

使用網路爬蟲

程式不像我們人的眼睛看見網頁的呈現,而是看見程式碼。所以在使用爬蟲的時候,我們需要告訴爬蟲要讀取網頁中哪些資料的時候,就是透過尋找網頁程式語言(HTML、CSS)的位置。

而在Python中,最常被大家使用的爬蟲模組就是「BeautifulSoup」

首先,我們需要透過pip安裝模組

pip install beautifulsoup4

BeautifulSoup只負責解析網頁程式語言的內容,但不包含將網頁擷取下來的功能,所以我們還需要另一個模組「requests」,將網頁擷取下來。

爬蟲實作

我們以擷取「聯合新聞網」為示範。首先,我們需要知道網頁上的新聞資訊,是寫在怎樣的HTML與CSS的架構中。所以我們可以在網頁上對新聞內容點擊「右鍵」>「檢查」 。找到這個資訊放在哪一個程式碼段落中。

從上圖中可以看見,新聞的標題放在「story-list__text」這個div class中底下的「h2」標籤內。所以我們可以寫爬蟲擷取這個程式段落中的內容。

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://udn.com/news/breaknews/1” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.story-list__text h2” )
for i in allTitle[3:]:
print( “標題:” + i.text[1:-1] )

執行成果:

練習擷取更多的新聞網站

擷取TVBS新聞網站

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://news.tvbs.com.tw/hot” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.content_center_contxt_box_news .txt” )
for i in allTitle[47:]:
print( “標題:” + i.text )

執行成果:

擷取三立新聞網站

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://www.setn.com/ViewAll.aspx” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.view-li-title a” )
for i in allTitle:
print( “標題:” + i.text )

執行成果:

擷取自由時報網站

import requestsfrom bs4 import BeautifulSoup
web = requests.get( “https://news.ltn.com.tw/” )
content = BeautifulSoup( web.text, “html.parser” )
allTitle = content.select( “.tit .title” )
for i in allTitle:
print( “標題:” + i.text )

執行成果:

0 Comments

  1. Te Presto Dinero Necesito Prestamo De Dinero Urgente Te Presto Dinero Para Lo Que Quieras Prestamo De Internet Calcular Credito Prestamos Crediticios Pedir Credito Online

    https://prestamospersonales.space/

    Donde Prestan Dinero Facil Contrato De Prestamo De Dinero Credito 24 Horas Telefono Prestamos Sencillos Como Hacer Prestamo En Personal

    PrГ©stamo de dinero urgente en Petaluma CA
    PrГ©stamos de dinero rГЎpido en Ocean Springs MS
    PrГ©stamo de dinero urgente en Hurst TX

    Prestamos Por Pagar Necesito Dinero Prestamos De Dinero Por Internet Calcular Prestamo Dinero Credito De Credito Prestamos Elektra Los Prestamos

  2. Prestamos Personales 1000 Euros Donde Puedo Sacar Un Prestamo Facil Y Rapido Prestamos De Credito Prestamos Totalmente Online Prestamos Gratis Quiero Prestamo De Dinero Comparador Creditos Interes Credito Personal

    https://prestamosdedinerorapido.space/

    Como Hacer Un Prestamo Credito Familiar Prestamos Online Con Nomina Solicitar Un Credito Rapido Por Internet Prestamos On Line Rapidos Prestamos Cortos Y Rapidos A Credito Como Conseguir Un Prestamo Rapido Y Facil Como Saber Tu Credito Personal

    PrГ©stamos de dinero en North Las Vegas NV
    PrГ©stamos de dinero rГЎpido en Wichita Falls TX
    CrГ©ditos personales en Cherry Hill NJ

    Solicitar Prestamo En Linea Prestamistas En Linea Creditos Rapidos Al Instante Prestamos On Line Rapidos Como Obtener Un Prestamo Personal Creditos De Dinero Rapidos Pedir Prestamo Credito Rapido 300 Euros

  3. Prestamos En Linea Urgentes Prestamo De Dinero A Interes Empresas Prestamistas De Dinero Quiero Un Prestamo Personal Prestamos Con Veraz Prestamos Rapidos Y Faciles Financieras De Creditos Personales Prestamos Rapidos Y Sencillos Prestamos Personales Con Dni

    https://prestamospersonales.space/

    Intereses De Prestamos Personales Prestamo De Personal Dinero Ya Prestamos Prestamos Personales Rapidos En Linea Prestamos Rapidos Online Como Pedir El Prestamo De Personal

    PrГ©stamos de dinero rГЎpido en Miami Gardens FL
    CrГ©ditos rГЎpidos en Waxahachie TX
    donde pedir un credito rapido

    Donde Puedo Obtener Un Prestamo Personal Necesito Un Prestamo Personal Calculadora Para Prestamos Personales Creditos Urgentes Prestamos Personales De Bancos Pedir Un Credito Rapido Por Internet

  4. Buscar Creditos Rapidos Dinero Express Donde Sacar Un Credito Personal Prestamos Urgentisimos Prestamos En Linea Por Internet Facil Prestamos Paginas De Prestamos Creditos Rapidos Gratis Todos Los Creditos Rapidos Solicitud De Credito Para Clientes

    https://prestamospersonales.space/

    Solicitar Dinero Rapido Y Facil Como Pedir Prestamo A Personal Credito Nomina Creditos Via Internet Donde Sacar Prestamos Personales Creditos Directos

    pedir prestamo personal
    PrГ©stamos de dinero rГЎpido en Tulare CA
    PrГ©stamos de dinero rГЎpido en University City MO

    Como Saber Si Puedo Sacar Un Credito Personal Para Pedir Un Credito Rapido A Credito Prestamos En Linea Urgentes Credito Rapido Web

  5. Terminos De Credito Comparador Creditos Donde Prestan Dinero Facil Y Rapido Prestadores De Dinero Creditos Online A Plazos Prestamos Express Por Internet Credil Prestamos Prestamos Personales Rapidos En Linea Simulador Credito Prestamos En Linea Urgentes

    https://prestamosdedinerorapido.space/

    Pedir Credito Online Prestamos De Dinero En Linea Urgentes Credito Rapid Personas Que Prestan Dinero A Redito Prestamos O Prestamos Solo Facil Prestamos

    CrГ©ditos personales en Elk Grove CA
    CrГ©ditos rГЎpidos en Garland TX
    PrГ©stamos de dinero en Gardnerville Ranchos NV

    Prestamos Con Pocos Intereses Dinero Urgente Prestamos Chiquitos Lugares Para Prestamos De Dinero Comparador De Prestamos Online Prestamos A Pagar Por Mes

  6. Solicitud De Credito Online Creditos Rapidos Online Prestamos Personales Rapidos Calcular Prestamo Personal Prestamos Personales On Line Urgente Super Prestamo Mini Prestamos Urgentes Online Prestamos Urgentes Por Internet Micro Prestamos Rapidos

    https://prestamosenusa.space/

    Prestamos Requisitos Te Presto Dinero Solicitar Dinero Urgente Tipos De Prestamos Personales Mini Creditos Personales A Cuanto Esta El Interes De Un Prestamo Personal Creditos Pagina Web

    PrГ©stamos de dinero en Lubbock TX
    PrГ©stamos de dinero en Toms River NJ
    PrГ©stamos de dinero en La Palma CA

    Mini Prestamos Urgentes Como Conseguir Un Prestamo Facil Prestamos Pequenos En Linea Prestamos Dineo Prestamos Avance Conseguir Prestamo Personal Prestamos Prestamos Personales

  7. Prestamos En Linea Por Internet Lugares Donde Prestan Dinero Rapido Solo Credito Prestamos Personales Inmediatos En Linea Minicreditos Rapidos Online Donde Dan Prestamos Personales Quien Presta Dinero Rapido Prestamos Rapidos Online Creditos Dineo El Credito

    https://prestamospersonales.space/prestamosonline/post-falls-id/

    Obtener Un Prestamo Personal Simulador De Cuotas De Prestamos Como Solicitar Un Credito Tasa Interes Prestamos Personales Prestamos Personales Faciles De Conseguir Prestamos Personales Simulador De Cuotas Prestamos Rapidos Hoy Es Confiable

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *