pt吧 关注:205,462贴子:10,905,060

单进程,好慢!

只看楼主收藏回复

昨天写好的PHP全站爬虫,遇到了内存占用不断增大,最后被系统干掉。后面,改成了 主进程+子进程 才稳定。
自动辅种工具很快就可以和大伙见面了!



IP属地:海南1楼2019-11-30 05:29回复
    早点睡~


    IP属地:福建来自Android客户端2楼2019-11-30 05:33
    回复
      晚点起~


      IP属地:广西3楼2019-11-30 05:40
      回复
        为了实现支持更多站点,目前有2个方案:
        方案一:我 获得各站的邀请码,请吧友多多支持;
        方案二:种子更新脚本发给吧里的大佬
        说明:云服务器部署种子数据库与API,本地群晖、电脑、树莓派等支持PHP的任何系统部署 种子更新脚本,两者是分离的,种子数据库与种子更新脚本之间通过API通信。
        这样设计的原因是,服务器配置不够强大,因为抓取种子需要占用带宽、CPU计算各种hash特征码。分离后,充分利用家庭宽带的大带宽,与高性能。
        种子数据库更新方法:
        每个站点选取3位以上的用户,部署种子更新脚本;有了新种子后,3位会同时提交种子信息到云服务器,服务器经过比对后3位上传的种子特征hash完全一致,才入库。这样基本保证了种子信息的准确性。不知方案二是否可行?


        IP属地:海南4楼2019-11-30 05:42
        收起回复
          早点睡 身体好才能带给大家更好的脚本


          IP属地:吉林来自iPhone客户端5楼2019-11-30 06:41
          回复


            来自Android客户端6楼2019-11-30 07:09
            回复
              绑定


              IP属地:北京来自Android客户端7楼2019-11-30 07:15
              回复
                绑定


                来自iPhone客户端8楼2019-11-30 07:21
                回复
                  大佬早


                  IP属地:山东来自Android客户端9楼2019-11-30 07:53
                  回复
                    绑定大佬


                    IP属地:辽宁来自Android客户端10楼2019-11-30 08:02
                    回复
                      方案二太麻烦了


                      IP属地:四川来自Android客户端11楼2019-11-30 08:03
                      回复
                        怎么判断是同一个种子


                        来自iPhone客户端12楼2019-11-30 08:09
                        收起回复
                          绑定


                          IP属地:江苏来自Android客户端13楼2019-11-30 08:14
                          回复
                            绑定大佬


                            IP属地:广东来自iPhone客户端15楼2019-11-30 08:24
                            回复
                              绑定


                              IP属地:江苏来自Android客户端16楼2019-11-30 08:31
                              回复