正方教务爬虫JavaScript版

人到大三、也不想考研。在留在大学有限的时间里，想做一些有意义的事情。第一个想法是开发一个应用，可以查课表、成绩、空教室等等，毕竟在我的学校大多数人使用的超级课程表，面对那么多用户，那么多高校的教务系统,所以难免会有些高延迟。如果我们缩小用户范围，仅仅面对我们学校，那速度肯定会快很多的，但是询问过学校的信息中心，发现高校用的教务系统是外包给外面的公司管理的，并没有 API 接口。于是首要任务变成了提供 API 接口。

很显然，教务官网没有提供 API 接口给我们，于是只能自己模拟登陆写爬虫了。在搜索引擎上进行搜索，发现有类似想法的人还是很多的，但是我逛了一大圈、居然只有 Java、Python 两个版本，没有别的版本了，但好在思路很清晰。

为了后期开发方便，提供接口，我用 JavaScript 重构一下。我相信开发网站的全干工程师们，比起 Java 和 Python，后端用 Nodejs 会更加顺手一点吧，也在此文中记录一些踩过的坑。

虽然网络上已经对爬取的过程有了原理性的介绍了，但为了避免读者还要反复阅读别的文章的麻烦、这里还是要详细的介绍一下流程。

本次开发使用的环境

操作系统：MacOS

开发框架：Egg.js（阿里为了规范提出的框架， 熟悉 nodejs 的 es6 语法和 koa2 框架的同学一个多小时就可以上手）

浏览器和抓包工具：Chrome/Safari、Charles

开源仓库地址：戳我前往

模拟登陆

第一步、分析登陆表单

先贴出本次实验的正方教务系统的界面，省的不同的看官白费力气，但就算界面不同，思路肯定也是相同的，看看也无妨。

按 F12 打开开发者工具，调到Network这栏（不知道为啥写文章的时候我的 chrome 有点抽风，所以我打开了 charles，该工具类似于 Windows 上的 Fiddler），我们首先模拟一次失败的登陆，我这里键入虚假的用户名和密码:1543140220/123456。

前端给后端发了两个请求，我们来逐一分析。

第一个请求

其实从请求的名字就能看得出来，是获取加密的公钥的，可以大胆的猜测这是一个 RSA 加密了，等会儿我们分析 js 代码的时候会证明这一点，所以我们要记住 modulus 和 exponent 这两个参数。

第二个请求

第二个请求携带的参数就多了

csrftoken:这个我们一般是用来防止网站遭受 xss 跨站请求脚本攻击的时候弄的玩意

如何获取这个令牌呢？

搜索一下网页的 html 可以发现，这玩意藏在表单的一个隐藏标签里。在我的项目中，使用了cheerio这个库来解析 HTML。相关代码如下：

async get_csrf_token(session, time) {
   const ctx = this.ctx;
   let headers = {
     'Host': 'jwgl.njtech.edu.cn',
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0',
     'Accept-Encoding': 'gzip, deflate',
     'Accept': '*/*',
     'Connection': 'keep-alive',
     'Cookie': session
   }
   const options = {
     headers,
   }
   const url = await this.service.common.get_login_url();
   const res = await ctx.curl(url + time, options);
   const resultHtml = (res.data.toString());
   const cheerioModel = cheerio.load(resultHtml);
   const csrf_token = cheerioModel('#csrftoken')[0].attribs.value;

   return { token: csrf_token, session }
 }

yhm：这个是用户名

mm：密码，明显是加密过的。But 为什么要写两次？我觉得很迷惑，反正请求的时候发一个过去就行了。

第二步、获取加密密码

分析网页端的加密算法

还是分析 Web 前端的 js 脚本，看看他是怎么加密的。在开发者工具里搜索何时给“mm”赋值、找到了这一段，果然是 rsa 加密。

但 nodejs 的 rsa 加密真是坑了我一天，我本来使用的是node-rsa这一个库、似乎除了这个库 nodejs 没有别的用来 rsa 加密的库了。而网页上的 rsa 加密算法，貌似是自己撸出来的、代码奇丑无比。但是明明生成的 RSA 对象的 key 跟相同参数生成的网页端 debug 生成的 key 是一样的，验证就是不通过。

最后很无奈，只好把网页上的 rsa 加密用的 js 代码拷贝下来，封装成 utils 的一个接口了，事实证明这是一个好办法。

以上是我叨逼叨、只是为了介绍了我项目中 utils 下 rsa.js 文件的由来。有了密码的明文、RSA 算法、公钥对、我们就能够正确求出加密后的算法了。

第三步、判断是否登录成功

总之，我们有了密码、csrf_token、外加模仿他正常请求的 header，就能够正确登陆了。但我们如何判断是否登录成功？

当登陆失败的时候，服务器会给我们返回 HTML、有点 low。但返回的 html 中包含字段”用户名或密码不正确”。只需要判断返回的文本中中是否包含这句话，就可以判断是否登录成功了。总之，登录的流程代码如下：

async login(username, password, time) {
  let { modulus, exponent, session } = await this.service.common.get_public_key(time);
  let { token } = await this.service.common.get_csrf_token(session, time);
  let enpassword = await this.service.common.process_public(password, modulus, exponent);
  let data = {
    'csrftoken': token,
    'mm': enpassword,
    'yhm': username
  };
  const url = await this.service.common.get_login_url();
  let headers = {
    'Host': 'jwgl.njtech.edu.cn',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0',
    'Accept': 'text/html, */*; q=0.01',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Referer': url + time,
    'Upgrade-Insecure-Requests': '1',
    'Cookie': session,
    'Connection': 'keep-alive',
    "Content-Type": "application/x-www-form-urlencoded;charset=utf-8",
  }

  const options = {
    method: 'POST',
    headers,
    data,
  }
  const ctx = this.ctx;
  const result = await ctx.curl(url, options);
  const regValue = '用户名或密码不正确'
  if (result.data.toString().indexOf(regValue) > 0) {
    return {
      success: false,
      message: regValue
    }
  }
  else {
    return {
      success: true,
      message: '登陆成功',
      session: result.headers['set-cookie']
    }
  }
}

当登陆成功之后，服务器给我们返回的响应里包含”Set-Cookie”字段。

拿到这个JSESSIONID把它放到以后请求的 Cookie 里，就可以为所欲为啦。

到这里，模拟登陆的思路介绍完了。

演示：获取成绩

在上一节，模拟登陆过后。我们拿到了 JSessionID，如果你还是比较迷茫，那我再掩饰一下如何获取成绩？

第一步、模拟获取成绩

在这里插入图片描述
现在网页端模拟一下获得成绩、再看看抓到的包。

首先看 Cookie、是 JSESSIONID 字段、第二个字段测试了一下不加也没事。

在看发送的表单内容

第一栏是学年、第二栏是学期。这里的学期比较坑、好像是加密过的，大家只要记住第一学期是 3、第二学期是 12 就好了、这个可以自己试出来的，nd 是时间戳。其他照抄就好。

然后看他返回的数据：

PS：丑的一批

依稀能分辨出来，这个是根据拼音来命名的。

所以获取成绩的 API 的代码是这样的：

async grade() {
    const { ctx } = this;
    const { username, password, year, term } = ctx.request.body;
    const time = await this.service.common.get_time();
    const loginInfo = await this.service.login.login(username, password, time);
    if (loginInfo.success) {
        const gradeInfo = await this.service.grade.post_grade_data(year, term, loginInfo.session)
        ctx.body = gradeInfo
    } else {
        ctx.body = {
            success: false,
            message: loginInfo.message
        }
    }
}

async post_grade_data(year, term, session) {
    // 校验
    if (!parseInt(year) || parseInt(year) > (new Date().getFullYear())) {
        return {
            success: false,
            message: "请求课程年份出错"
        }
    }

    //   默认第一学期
    let form_term = '3';
    if (parseInt(term) === 1) {
        form_term = '3'
    } else if (parseInt(term) === 2) {
        form_term = '12'
    }
    const url = await this.service.common.get_grade_url();
    const data = {
        '_search': 'false',
        'nd': this.service.common.get_time(),
        'queryModel.currentPage': '1',
        'queryModel.showCount': '15',
        'queryModel.sortName': '',
        'queryModel.sortOrder': 'asc',
        'time': '0',
        'xnm': year,
        'xqm': form_term
    }
    let headers = {
        'Host': 'jwgl.njtech.edu.cn',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0',
        'Accept': 'text/html, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Referer': url,
        'Upgrade-Insecure-Requests': '1',
        'Cookie': session,
        'Connection': 'keep-alive',
        "Content-Type": "application/x-www-form-urlencoded;charset=utf-8",
    }
    const options = {
        method: 'POST',
        headers,
        data,
    }
    const ctx = this.ctx;
    const result = await ctx.curl(url, options);

    const response_data = JSON.parse(result.data.toString());
    const courseitems = response_data.items;
    const grade = courseitems.map(currentValue => {
        return {
            name: currentValue.kcmc,
            credit: currentValue.xf,
            grade: currentValue.bfzcj,
            point: currentValue.jd,
            teacher: currentValue.jsxm
        }
    })

    return {
        success: true,
        message: "请求课程成绩成功",
        grade: grade
    };
}

结果演示

如果你觉得这个过程写的不够好，也可以参考 这位博主的 Python 版本

另外，还可以去我的个人博客阅读，虽然没有开启评论功能哈哈

博客地址：点击前往

另外再次贴上 Github 仓库链接：戳我前往