python(一)网络爬取

        在爬取网页信息时，需要注意网页爬虫规范文件robots.txt

        eg:csdn的爬虫规范文件 csdn.net/robots.txt

User-agent:          下面的Disallow规则适用于所有爬虫（即所有用户代理）。星号*是一个通配符，表示“所有”。

Disallow：

        禁止爬虫访问的路径

1、首先下载python的相关类库 pip install requests pip install beautifulsoup4

        requests 是一个http库，可以发送网络请求 。

        beautifulsoup4 主要用来解析html文档。

2、引入相关库  import requests from bs4 import BeautifulSoup 3、编写相关代码 url = 'https://www.....com' response = requests.get(url) html_content = response.text soup = BeautifulSoup(html_content, 'html.parser') titles = soup.select('h2') for title in titles: print(title.text)

        url : 需要爬的页面路径

        response = requests.get(url)  发送get请求并接受

        html_content = response.text 取出页面主体

        soup = BeautifulSoup(html_content, 'html.parser')  由beautifulsoup对主体中的h5标签解析

        titles = soup.select('h2')   选择所有的h2标签

        最后循环遍历打印出所有h2 标签

4、测试