#获取网页源码
def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
           return response.text
        return None
    except RequestException:
      return None
#正则匹配提取方针信息并形成字典
def parse_one_page(html):
    pattern = re.compile('<li>.*?src="https://juejin.im/post/7145268210126815239/(.*?)".*?<h5>.*?det.*?>(.*?)</a>.*?p.*?<a.*?>(.*?)</a>.*?</li>',re.S)
    items = re.findall(pattern, html)
    j = 1
    for item in items[:-1]:
        yield {'index': str(j),
            'name': item[1],
            'class':item[2]
        }
        j = j+1
#成果写入txt
def write_to_file(content):
    with open(r'test.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')

标签却有 8 对。该 CSS 款式的作用是躲藏标签，所以咱们在页面只看到 6 件商品，爬虫程序会提取到 8 件商品的 URL。

图14.蜜罐反爬虫比方

三、反反爬相关技能

针对上一节说到的反爬虫相关技能，有以下几类反反爬技能手法：css偏移反反爬、自界说字体反反爬、页面动态烘托反反爬、验证码破解等，下面对这几类办法进行详细的介绍。

3.1 CSS偏移反反爬

3.1.1 CSS偏移逻辑介绍

那么关于以上2.1css偏移反爬虫的比方，怎么才能得到正确的机票价格呢。仔细观察css款式，可以发现每个带有数字的标签都设定了款式，第 1 对 b 标签内的i 标签对的款式是相同的，都是width: 16px；另外，还注意到最外层的 span 标签对的款式为width:48px。

假如依照 css款式这条线索来剖析的话，第 1 对 b 标签中的 3 对 i 标签刚好占满 span 标签对的方位，其方位如图15所示。此刻网页中显现的价格应该是 777，可是由于第 2 和第 3 对 b 标签中有值，所以咱们还需求计算它们的方位。由于第 2 对 b 标签的方位款式是 left:-32px，所以第 2 对 b 标签中的值 6 就会掩盖本来第 1 对 b 标签中的中的第 2 个数字 7，此刻页面应该显现的数字是 767。

按此规律计算，第 3 对 b 标签的方位款式是 left:-48px，这个标签的值会掩盖第 1 对 b 标签中的第 1 个数字 7，最终显现的票价便是 467。

图15.偏移逻辑

3.1.2 CSS偏移反反爬代码完结

因而接下来咱们按以上css款式的规律来编写代码对该网页爬取获取正确的机票价格，代码和成果如图16所示。

if __name__ == '__main__':
    url = 'http://www.porters.vip/confusion/flight.html'
    resp = requests.get(url)
    sel = Selector(resp.text)
    em = sel.css('em.rel').extract()
    for element in range(0,1):
        element = Selector(em[element])
        element_b = element.css('b').extract()
        b1 = Selector(element_b.pop(0))
        base_price = b1.css('i::text').extract()
        print('css偏移前的价格：',base_price)
        alternate_price = []
        for eb in element_b:
            eb = Selector(eb)
            style = eb.css('b::attr("style")').get()
            position = ''.join(re.findall('left:(.*)px', style))
            value = eb.css('b::text').get()
            alternate_price.append({'position': position, 'value': value})
        print('css偏移值：',alternate_price)
        for al in alternate_price:
            position = int(al.get('position'))
            value = al.get('value')
            plus = True if position >= 0 else False
            index = int(position / 16)
            base_price[index] = value
        print('css偏移后的价格：',base_price)

图16. CSS 偏移反反爬代码与成果

3.2 自界说字体反反爬

针关于以上2.3自界说字体反爬虫的状况，解决思路便是提取出网页中自界说字体文件（一般为WOFF文件），并将映射联系包括到爬虫代码中，就可以获取到有用数据。解决的进程如下：

发现问题：检查网页源代码，发现关键字符被编码代替，如&#xefbe

剖析：检查网页，发现运用了css自界说字符集躲藏

查找：查找css文件url，获取字符集对应的url，如PingFangSC-Regular-num

查找：查找和下载字符集url

比对：比对字符集中的字符与网页源代码中的编码，发现编码的后四位与字符对应，也即网页源代码对应的口味是8.9分

3.3 页面动态烘托反反爬

客户端烘托的反爬虫，页面代码在浏览器源代码中看不到，需求履行烘托并进一步获取烘托后成果。针对这种反爬虫，有以下几种办法破解：

1. 在浏览器中，经过开发者东西直接检查ajax详细的恳求办法、参数等内容；

2. 经过selenium模拟真人操作浏览器，获取烘托后的成果，之后的操作进程和服务端烘托的流程相同；

3. 假如烘托的数据躲藏在html成果的JS变量中，可以直接正则提取；

4. 假如有经过JS生成的加密参数，可以找出加密部分的代码，然后运用pyexecJS来模拟履行JS，回来履行成果。

3.4 验证码破解

下面举例一个辨认滑块验证码的比方，如图17所示，是运用方针检测模型来辨认某滑块验证码缺口方位的成果示例，这种破解滑块验证码的办法对应的是模拟真人的办法。不采用接口破解的原因一方面是破解加密算法有难度，另一方面也是加密算法可能每天都会变，这样破解的时间本钱也比较大。

图17. 经过方针检测模型辨认滑块验证码的缺口

3.4.1 爬取滑块验证码图片

由于运用的方针检测模型yolov5是有监督学习，所以需求爬取滑块验证码的图片并进行打标，然后输入到模型中练习。经过模拟真人的办法在某场景爬取部分验证码。

图18. 爬取的滑块验证码图片

3.4.2 人工打标

本次运用的是labelImg来对图片人工打标签的，人工打标耗时较长，100张图片一般耗时40分钟左右。自动打标代码写起来比较复杂，主要是需求别离提取出验证码的所有背景图片和缺口图片，然后随机生成缺口方位，作为标签，同时将缺口放到对应的缺口方位，生成图片，作为输入。

图19. 对验证码图片打标签以及打标签后生成的xml文件

3.4.3 方针检测模型yolov5

直接从github下clone yolov5的官方代码，它是依据pytorch完结。

接下来的运用进程如下：

1. **数据格局转化：**将人工标示的图片和标签文件转化为yolov5接纳的数据格局，得到1100张图片和1100个yolov5格局的标签文件；

2. **新建数据集：**新建custom.yaml文件来创立自己的数据集，包括练习集和验证集的目录、类别数目、类别名；

3. **练习调优：**修正模型配置文件和练习文件后，进行练习，并依据练习成果调优超参数。

转化xml文件为yolov5格局的部分脚本：

for member in root.findall('object'):
           class_id = class_text.index(member[0].text)
           xmin = int(member[4][0].text)
           ymin = int(member[4][1].text)
           xmax = int(member[4][2].text)
           ymax = int(member[4][3].text)
           # round(x, 6) 这儿我设置了6位有用数字，可依据实际状况更改
           center_x = round(((xmin + xmax) / 2.0) * scale / float(image.shape[1]), 6)
           center_y = round(((ymin + ymax) / 2.0) * scale / float(image.shape[0]), 6)
           box_w = round(float(xmax - xmin) * scale / float(image.shape[1]), 6)
           box_h = round(float(ymax - ymin) * scale / float(image.shape[0]), 6)
           file_txt.write(str(class_id))
           file_txt.write(' ')
           file_txt.write(str(center_x))
           file_txt.write(' ')
           file_txt.write(str(center_y))
           file_txt.write(' ')
           file_txt.write(str(box_w))
           file_txt.write(' ')
           file_txt.write(str(box_h))
           file_txt.write('\n')
       file_txt.close()

练习参数设置：

parser = argparse.ArgumentParser()
parser.add_argument('--weights', type=str, default='yolov5s.pt', help='initial weights path')
parser.add_argument('--cfg', type=str, default='./models/yolov5s.yaml', help='model.yaml path')
parser.add_argument('--data', type=str, default='data/custom.yaml', help='data.yaml path')
parser.add_argument('--hyp', type=str, default='data/hyp.scratch.yaml', help='hyperparameters path')
# parser.add_argument('--epochs', type=int, default=300)
parser.add_argument('--epochs', type=int, default=50)
# parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')
parser.add_argument('--batch-size', type=int, default=8, help='total batch size for all GPUs')
parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes')
parser.add_argument('--rect', action='store_true', help='rectangular training')
parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
parser.add_argument('--notest', action='store_true', help='only test final epoch')
parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check')
parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters')
parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')
parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
parser.add_argument('--device', default='cpu', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer')
parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')
parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')
parser.add_argument('--project', default='runs/train', help='save to project/name')
parser.add_argument('--entity', default=None, help='W&B entity')
parser.add_argument('--name', default='exp', help='save to project/name')
parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
parser.add_argument('--quad', action='store_true', help='quad dataloader')
parser.add_argument('--linear-lr', action='store_true', help='linear LR')
parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table')
parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B')
parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch')
parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used')
opt = parser.parse_args()

3.4.4 方针检测模型的练习成果

模型根本在50次迭代的时分在precision和recall以及mAP上现已达到了瓶颈。猜测成果也有如下问题：大部分可以是可以精确框出缺口，但也呈现少数框错、框出两个缺口、框不出缺口的状况。

图20. 上：模型的练习成果走势图；

下：模型对部分验证集的猜测成果

四、总结

本次简略对爬虫以及反爬虫的技能手法进行了介绍，介绍的技能和事例均只是用于安全研究和学习，并不会进行很多爬虫或许运用于商业。

关于爬虫，本着爬取网络上揭露数据用于数据剖析等的意图，咱们应该恪守网站robots协议，本着不影响网站正常运转以及恪守法律的状况下进行数据爬取；关于反爬虫，由于只要人类可以正常拜访的网页，爬虫在具备同等资源的状况下就必定可以抓取到。所以反爬虫的意图仍是在于可以防止爬虫在大批量的收集网站信息的进程对服务器形成超负载，然后根绝爬虫行为阻碍到用户的体会，来进步用户运用网站服务的满意度。