博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
# python模拟各大网站登陆方式, 包括爬虫--你们要的全都有
阅读量:7153 次
发布时间:2019-06-29

本文共 923 字,大约阅读时间需要 3 分钟。

python模拟各大网站登陆方式,以及一些爬虫程序

  • 仅供练习使用,代码注释很详细

  • 走过路过的大佬们,记得给个star支持一下,嘻嘻嘻?

  • 收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是利用scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式,和爬虫程序,会持续更新。。。

  • 昨天加了个班,对一些老代码进行了重构和测试,大部分都可以用。

  • 欢迎star

模拟登录一些常见的网站

  • 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
  1. requests
  2. selenium
  3. rsa
  4. phantomjs

项目地址

关于

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,B站,如果采用selenium就相对轻松一些。

虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。

已完成

tips of pull request

  • 欢迎大家一起来 pull request

问题

  • 有的验证码需要手动,之后我会尽量改正
  • 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!

另外

  • 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
  • 如果该repo对大家有帮助,给个star鼓励鼓励吧

欢迎你们

  1. 项目写了一段时间后,发现代码的风格和程序的易用性,可扩展性,代码的可读性,都存在一定的问题,所以接下来最重要的是重构代码,让大家可以更容易的做出一些自己的小功能。
  2. 如果你觉得某个网站的登录很有代表性,欢迎在 issue 中提出

测试

Bilibili自动登录测试正常,成功率98%

web微信

图虫爬虫

项目地址

具体

  • 请跳转到项目地址查看

最后

  • 大佬们慢点喷,小弟有点承受不住,---_---

转载地址:http://sylgl.baihongyu.com/

你可能感兴趣的文章
JS继承之原型继承
查看>>
Excel应该这么玩——2、命名列:消除地址引用
查看>>
Solution for: Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'
查看>>
区间的关系的计数 HDU 4638 离线+树状数组
查看>>
第一个只出现一次的字符
查看>>
Python基础8_文件处理
查看>>
ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源, 或者超时失效
查看>>
结对项目开发(石家庄地铁乘车系统)
查看>>
CentOS6.2安装PhpMyadmin3.3.10
查看>>
Java运行环境的搭建---Windows系统
查看>>
定时任务redis锁+自定义lambda优化提取冗余代码
查看>>
linux每日命令(36):wc命令
查看>>
数论基础(附加例题)
查看>>
web应用,http协议简介,web框架
查看>>
递归找零问题
查看>>
纯手工编写的PE可执行程序
查看>>
实验四
查看>>
go标准库的学习-sync互斥
查看>>
FZU.Software Engineering1816 · First Homework -Preparation
查看>>
python学习day-10 模块补充
查看>>