【宅男福利-第一弹】使用Python抓取妹子图

Robin 7607次浏览

摘要:Python爬虫入门,使用urllib、urllib2、bs4抓取和分析网站内容,将需要的内容下载到本地。

# -*- coding:utf8 -*-
import urllib2, os, os.path, urllib, random
from bs4 import BeautifulSoup
import random

def get_soup(url):
    """
    获取网站的soup对象
    """
    my_headers = [
    'Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534nbsp;(KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30&'
            filename=os.path.join(dir_name, basename)
            pic_url=i[1] + '/' + str(pic)
            if not os.path.exists(filename):
                print u'......%s' % basename,
                get_image(pic_url, filename)
            else:
                print filename + u'已存在,略过'

if __name__=='__main__':
    url='http://www.mzitu.com/'
    pages=get_pages(url)
    print u'***************妹子图一共有 %d 页******************' %pages
    if not os.path.exists('MeiZiTu'):
        os.mkdir('MeiZiTu')
    for page in range(1, pages):
        main(page)


相关文章