设为首页 收藏本站
开启辅助访问 快捷导航
菜单
猿人部落 主页 资讯 查看内容

有道翻译最新版爬虫,解析反爬虫了,不要再问{"errorCode":50}错误怎么办了

2018-3-15 10:46 发布者: admin 评论 18 查看 2257
昨天(2018年3月14日晚)刚写的有道翻译爬虫,奇怪出炉,拿到就可以用了着实有道翻译的反爬虫就是sign的md5加密详细的js代码如下:var n = b.val(),            r = "" + (


昨天(2018年3月14日晚)刚写的有道翻译爬虫,奇怪出炉,拿到就可以用了

着实有道翻译的反爬虫就是sign的md5加密

详细的js代码如下:
  1. var n = b.val(),
  2.             r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
  3.             o = u.md5(S + n + r + D),
  4.             a = n.length;
  5.         if (L(), w.text(a), a > 5e3) {
  6.             var l = n;
  7.             n = l.substr(0, 5e3), o = u.md5(S + n + r + D);
  8.             var c = l.substr(5e3);
  9.             c = (c = c.trim()).substr(0, 3), u("#inputTargetError").text("有道翻译字数限定为5000字,“" + c + "”及厥反面没有被翻译!").show(), w.addClass("fonts__overed")
  10.         } else w.removeClass("fonts__overed"), u("#inputTargetError").hide();
  11.         f.isWeb(n) ? i() : s({
  12.             i: n,
  13.             from: _,
  14.             to: C,
  15.             smartresult: "dict",
  16.             client: S,
  17.             salt: r,
  18.             sign: o,
  19.             doctype: "json",
  20.             version: "2.1",
  21.             keyfrom: "fanyi.web",
  22.             action: e || "FY_BY_DEFAULT",
  23.             typoResult: !1


使用Python实现salt和sign参数的获取代码:
  1. def get_md(self, value):
  2.         '''md5加密'''
  3.         m = hashlib.md5()
  4.         # m.update(value)
  5.         m.update(value.encode('utf-8'))
  6.         return m.hexdigest()

  7.     def get_salt(self):
  8.         '''根据当前时间戳获取salt参数'''
  9.         s = int(time.time() * 1000) + random.randint(0, 10)
  10.         return str(s)

  11.     def get_sign(self):
  12.         '''使用md5函数和其他参数,得到sign参数'''
  13.         s = "fanyideskweb" + self.msg + self.salt + self.D
  14.         return self.get_md(s)


得到关键参数,data就有了:
  1. data = {
  2.             'i': self.msg,
  3.             'from': 'AUTO',
  4.             'to': 'AUTO',
  5.             'smartresult': 'dict',
  6.             'client': 'fanyideskweb',
  7.             'salt': self.salt,
  8.             'sign': self.sign,
  9.             'doctype': 'json',
  10.             'version': '2.1',
  11.             'keyfrom': 'fanyi.web',
  12.             'action': 'FY_BY_CL1CKBUTTON',
  13.             'typoResult': 'true'
  14.         }


末了还要加上headers才行,然而我颠末探索,发现headers内里有几个参数是必须的,其他的好坏必须的:
  1. headers = {
  2.             # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  3.             # 'Accept-Encoding': 'gzip, deflate',
  4.             # 'Accept-Language': 'zh-CN,zh;q=0.9,mt;q=0.8',
  5.             # 'Connection': 'keep-alive',
  6.             # 'Content-Length': '240',
  7.             # 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
  8.             'Cookie': 'OUTFOX_SEARCH_USER_ID=-2022895048@10.168.8.76;',
  9.             # 'Host': 'fanyi.youdao.com',
  10.             # 'Origin': 'http://fanyi.youdao.com',
  11.             'Referer': 'http://fanyi.youdao.com/',
  12.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; rv:51.0) Gecko/20100101 Firefox/51.0',
  13.             # 'X-Requested-With': 'XMLHttpRequest'
  14.         }


算上这些,就可以去哀求了,看看运行的结果,直接翻译,妥妥的
Snipaste_2018-03-15_10-42-33.png
登录/注册后可看大图

检察完备代码必要复兴,我隐蔽了爬虫的分析过程和完备代码请检察http://www.tendcode.com/article/youdao-spider/

煎蛋网的爬虫在这里煎蛋网妹子图爬虫
趁便说一下,各人爬别人的网站,假如不是特别的缘故起因,只管设置延时时间,不要过于频仍的爬取

路过

雷人

握手

鲜花

鸡蛋
收藏 邀请
上一篇:爬取斗鱼直播人气排名练习笔记下一篇:Python微信跳一跳外挂

相关阅读