中国石油大学华东吧 关注:191,880贴子:7,546,088

好喜欢爬虫啊

只看楼主收藏回复

最近在写各种各样的爬虫


IP属地:山东来自iPhone客户端1楼2024-05-13 19:41回复
    目前最成功的就是这个
    https://github.com/linyuye/- 能无限爬bilibili评论


    IP属地:山东来自iPhone客户端2楼2024-05-13 19:44
    回复
      目前想做b站自动抽奖号,做好了就来源到仓库


      IP属地:山东来自iPhone客户端3楼2024-05-13 19:51
      回复
        是爬着的虫子吗


        IP属地:山东来自Android客户端4楼2024-05-13 20:04
        收起回复
          之前pixiv很喜欢的一篇文章失效了,能帮我从p站上爬到相关词吗


          IP属地:山东来自Android客户端5楼2024-05-13 20:53
          收起回复
            c语言大佬


            IP属地:山东来自iPhone客户端6楼2024-05-14 00:17
            回复
              带我掐米


              IP属地:山东来自Android客户端7楼2024-05-14 08:05
              收起回复
                关注了


                IP属地:广西来自iPhone客户端9楼2024-05-14 10:51
                回复
                  不懂就问,爬虫是什么


                  IP属地:山东来自Android客户端10楼2024-05-14 16:31
                  收起回复
                    能爬豆瓣倒数250名的电影电视剧吗


                    IP属地:山东11楼2024-05-14 20:27
                    收起回复
                      如何反反爬


                      IP属地:山东来自Android客户端12楼2024-05-15 09:06
                      收起回复
                        跪了


                        IP属地:广东来自Android客户端13楼2024-05-15 10:00
                        回复
                          哥给我发了自动登数字石大的吧每次都登烦死了


                          IP属地:山东来自Android客户端14楼2024-05-15 15:23
                          收起回复
                            大佬自学了一点爬虫,写了个登陆校园网的Python代码,运行成功,也返回200了,但是为什么运行完依然是没有链接的状态啊
                            import requests
                            if __name__ == "__main__":
                            # UA伪装:
                            # 将UA封装到字典中
                            data = {
                            'userId': '2201040111',
                            'password': '30615c329a48749a309e13cce0c03ab24610db99ee0f4b0ef5bce219fc3988f25e2ede871e0bda3c95917d69b794b2993117e4eeacbf35b65e673defdbbc2823133dd8ec637186925bdb4eef605361922a1997d6d2b33eca3bbddb4a27e1a38b0cdbd1e08928c0b15ab74b31269787b35617b2eb42bc4183704e89658a553a05',
                            'service': 'unicom',
                            'queryString': 'wlanuserip%3D172.24.44.189%26wlanacname%3D%26nasip%3D172.22.242.141%26wlanparameter%3D8c-f8-c5-51-d6-05%26url%3Dhttp%3A%2F%2Fedge-http.microsoft.com%2Fcaptiveportal%2Fgenerate_204%26uerlocation%3Dethtrunk%2F62%3A2911.0',
                            'operatorPwd': '', # If required, provide a value or remove if not needed
                            'operatorUserId': '', # If required, provide a value or remove if not needed
                            'validcode': '', # If required, provide a value or remove if not needed
                            'passwordEncrypt': 'true'
                            }
                            headers = {
                            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/Safari/537.36 Edg/123.0.0.0'
                            }
                            url = ' response = requests.post(url=url, data=data, headers=headers).status_code
                            print('回应{}'.format(response))


                            IP属地:山东来自Android客户端15楼2024-05-18 01:25
                            回复
                              哥写了个自动登陆校园网的爬虫,就是直接post请求,能运行,返回200,但是运行完网络链接还是没有建立能帮我看看吗


                              IP属地:山东来自Android客户端16楼2024-05-18 01:28
                              收起回复