python網絡爬蟲是什麼

Python網絡爬蟲就是使用 Python 程序開發的網絡爬蟲（網頁蜘蛛，網絡機器人），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。主要用於搜索引擎，它將一個網站的所有內容與鏈接進行閲讀，並建立相關的全文索引到數據庫中，然後跳到另一個網站。

拓展：爬蟲分類

從爬取對象來看，爬蟲可以分為通用爬蟲和聚焦爬蟲兩類。

通用網絡爬蟲又稱全網爬蟲，爬行對象從一些種子 URL 擴充到整個 Web，主要為搜索引擎和大型 Web 服務提供商採集數據。

聚焦網絡爬蟲（Focused Crawler），是指選擇性地爬取那些與預先定義好的主題相關頁面的網絡爬蟲。

今天的分享就是這些，希望大家喜歡。