因为好久没写过爬虫了，这次单位有需求要爬取几TB的资料，在测试过程中遇到一些问题，总结下来，未来写爬虫的时候可以避坑。

问题1：JSON Object Key不存在。规范的情况下，返回的JSON对象数组应该是统一的，即使数据不存在也应该是空字符串或者null或者别的什么，但是这个系统过于老旧，编码也乱七八糟不规范，导致个别数据不存在的时候，压根不返回这个Key。

解决方案：

if 'key' not in item:
    continue

只需要判断一下这个key在不在item里，不在直接跳出此循环。

问题2：保存的文件名/路径有非法字符。在Windows下，创建的文件夹/文件时，文件名不能包含以下字符：

 \ / : * ? " < > |

因此，如果文件名/路径名中有此些字符，需要替换掉，这里提供一个替换方法：

def string_format(str: string, replacement: string=''):
    illegal_words = ['\\', '/', '*', '?' '"', '<', '>', '|']
    for word in illegal_words:
        if word in str:
            str = str.replace(word, replacement)
    return str

参数说明：str 要格式化的字符串，replacement 将非法字符替换成指定内容，不填写则替换空字符串。

1、获取sheet直接使用数组形式：

sheet = work_book['Sheet0']

2、取单元格值是value

some_value = sheet.cell(row=1, column=1).value

3、遍历行 列的方法

# 这个的索引是从1开始的，最后max+1是为了最后一行可以匹配到

# 遍历行
for row in range(begin_row_index, sheet.max_row + 1):
 # some code
 break

# 遍历列

# 遍历行
for column in range(begin_column_index, sheet.max_column + 1):
 # some code
 break

4、填充，字体等设置方法

# 设置颜色 具体函数内容请阅读文档
sheet.cell(row=1, column=1).font = Font(color='FF0000')

# 设置填充
sheet.cell(row=1, column=1).fill = PatternFill(patternType='solid', fgColor='FF0000')

大家好，我又来了，昨天发了普法的脚本之后，有几个朋友私信我想找这个青椒第二课堂禁毒知识的脚本，就晚上没事简单看了看
这个脚本跟普法的原理是一样的，用一套做满分的payload重复提交。
下面python代码自取。


几个说明：
1、cookie获取：浏览器进www.2-class.com 开F12开发者工具，登录后随便刷新下网页，找个请求，复制里面请求Header里的cookie内容。是类似于aliyungf_tc=b*******cb6902f3f90635557533a17c27047; acw_tc=2f*****837535aa37366a7fb8b1c7; sid=aeb******887f0075
这样的字符串
2、reqtoken获取：接第一步，开发者工具里点Console(控制台)，输入window.__DATA__.reqtoken，然后复制引号内的内容
3、在脚本里填入以上内容，完毕


然后执行一下就可以了。。

注意：52pojie和本站发布的均为同一作者zjh4473

# -*- coding: utf-8 -*-

import requests
import json
import time
import random

# 获取reqtoken的命令： window.__DATA__.reqtoken

cookie = ''
reqtoken = ''


def yi_jian_man_fen():
    url = 'https://www.2-class.com/api/quiz/commit'
    headers = {
        'Cookie': cookie,
        'Content-Type': 'application/json',
        'User-Agent': 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'
    }
    time = random.randint(100, 350)
    data = {
        "list": [
            {
                "questionId": 2986,
                "questionContent": "B"
            },
            {
                "questionId": 2989,
                "questionContent": "C"
            },
            {
                "questionId": 2990,
                "questionContent": "D"
            },
            {
                "questionId": 2959,
                "questionContent": "C"
            },
            {
                "questionId": 2928,
                "questionContent": "C"
            },
            {
                "questionId": 2960,
                "questionContent": "A"
            },
            {
                "questionId": 2961,
                "questionContent": "C"
            },
            {
                "questionId": 2897,
                "questionContent": "B"
            },
            {
                "questionId": 2930,
                "questionContent": "D"
            },
            {
                "questionId": 2898,
                "questionContent": "B"
            },
            {
                "questionId": 2963,
                "questionContent": "A"
            },
            {
                "questionId": 2932,
                "questionContent": "D"
            },
            {
                "questionId": 2901,
                "questionContent": "A"
            },
            {
                "questionId": 2966,
                "questionContent": "D"
            },
            {
                "questionId": 2934,
                "questionContent": "C"
            },
            {
                "questionId": 2904,
                "questionContent": "D"
            },
            {
                "questionId": 2907,
                "questionContent": "D"
            },
            {
                "questionId": 2972,
                "questionContent": "C"
            },
            {
                "questionId": 2973,
                "questionContent": "A"
            },
            {
                "questionId": 2912,
                "questionContent": "B"
            }
        ],
        "time": time,
        "reqtoken": reqtoken
    }

    result = requests.post(url=url, data=json.dumps(data), headers=headers, verify=False)
    print(result.text)


if __name__ == '__main__':
    yi_jian_man_fen()

# -*- coding: utf-8 -*-

import requests
import json
import time

auth = '这里填入你的 AuthorizationLg 值'


def dian_zan():
    url = 'http://www.gsosc.cn/prod-api/app/mark/save'
    headers = {
        'AuthorizationLg': auth,
        'Content-Type': 'application/json'
    }
    for num in range(1, 11):
        if num < 10:
            num = '00' + str(num)
        elif 10 <= num < 100:
            num = '0' + str(num)
        data = {
            'projectId': 'emd2021',
            'contentId': f'lesson{num}',
            'type': 'lesson',
            'mark': 1
        }
        # print(json.dumps(data))
        result = requests.post(url=url, data=json.dumps(data), headers=headers)
        print(result.text)


def da_ti():
    url = 'http://www.gsosc.cn/prod-api/app/bzCeShi/saveJJLUserAnswer'
    headers = {
        'AuthorizationLg': auth,
        'Content-Type': 'application/json'
    }
    data = {"projectId": "emd2021",
            "json": "{\"answer\":\"1189f2f0d84e4409a780eb7ae811ceaa#A#17947##832d3802aa394bf98e3a4582831204de#B#5571##640edb8475c34722b32cb3169a13432d#A#5005##1856459845594747bb07abae6395628e#A#3862##8f371cb745c4492da9e7b3d59fdc5e06#A#2214##\",\"time\":45191}",
            "dtId": "emd2021_jlldt"}

    for num in range(0, 5):
        result = requests.post(url=url, data=json.dumps(data), headers=headers)
        print(result.text)
        time.sleep(3)


def study():
    dian_zan()
    da_ti()


if __name__ == '__main__':
    study()

单位让全员搞这个，没办法只能写个这玩意了。
小伙伴们可以把这个做成云函数，每天执行一次就可以了。
很简单的代码，功能分别是每天点10个赞(最多也就10个)和集训营5次满分
自己抓包将AuthorizationLg 的值填到开头的auth 里，类似于Bearer eyJhbGciOiJ********AmBaUBd55vahMRR4YHeQ9e5sA******ra6Tr0T2o8rW0yw 这么个字符串，很长。
也可以自己手动搞，看我这个帖子：https://www.52pojie.cn/thread-1532067-1-1.html

实战营和决战营还没开，开了之后我再更新下。

注意：52pojie和本站发表的帖子为同一个作者。