python实现爬虫统计学校BBS男女比例（一）

#对myurl页面进行seWord匹配查找
#seWord是用unicode表示
def getInfo(myurl, seWord):
  headers = {
    'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
  }
  req = urllib2.Request(
    url=myurl,
    headers=headers
  )
  time.sleep(0.3)
  response = urllib2.urlopen(req)
  html = response.read()
  html = unicode(html, 'utf-8') #需要进行编码，否则找不到信息
  timeMatch = seWord.search(html) #因为seWord是用unicode表示
  if timeMatch:
    s = timeMatch.groups()
    return s[0]
  else:
    return None

五、错误处理

1、断网情况（热修复方案）

• 总共爬虫需要几天时间，用的校园网，中间可能有断网的可能。
• 如果发现断网，我们可以重新连上互联网，这中间有些用户的性别没有获取到。
• 程序运行时间较长，断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。
• 为了不让程序重头开始跑，所以我们是记录下断网中漏掉的用户id。
• 等一次程序跑完了（这需要几天的时间），我们再跑记录下来的id重新跑一次。

2、无法获取性别

• 这种有两种情况:
• 一是真的没有性别（用户没有填写）
• 二是服务器抽了，咱们请求网页失败了。
• 这种咱们也是和上面类似，记录下失败的id，后面再重新跑。
  

知识点小结

对于这种错误，SyntaxError: Non-ASCII character '\xe5' in file

需要在文件开头加上# -*- coding: UTF-8 -*-

因为 python 的默认编码文件是用的 ANSCII 码

BBS网页源代码使用utf-8进行编码的。

本项目设计到中文字符，自然会遇到编码问题。

import sys
print sys.getdefaultencoding()

reload(sys)
# sys.setdefaultencoding('utf-8')

# -*- coding: UTF-8 -*-
  html = response.read()
  sexRe = re.compile('em>性别(.*?)\u6027\u522b(.*?)

字符串 女
unicode 女

  html = response.read()
  print len(html)
  html = unicode(html, 'utf-8') #
  print len(html)

html = response.read()
  print len(html)
  html = unicode(html, 'utf-8') #
  print len(html)

35423
33658