0%

这是系列文章的第一篇,也是非常重要的一篇,希望大家能读懂我想要表达的意思。

系列文章开篇概述

相对于其他编程语言来说,Python 生态中最突出的就是第三方库。任何一个及格的 Python 开发者都使用过至少 5 款第三方库。

就爬虫领域而言,必将用到的例如网络请求库 Requests、网页解析库 Parsel 或 BeautifulSoup、数据库对象关系映射 Motor 或 SQLAlchemy、定时任务 Apscheduler、爬虫框架 Scrapy 等。

阅读全文 »

大家都知道,现在其实很多爬虫代理都已经并不那么好用了,一些 IP 段被大厂查到,很多大厂的站点可以直接检测到你用了代理,所以爬虫代理也被封得越来越严重了。但是现在代理有一个没有怎么开拓的领域,那就是蜂窝移动,即 4G 代理。目前用 4G 蜂窝移动数据来做代理的相对较少,因此可以算是爬虫代理的一个新的发展方向。但怎么来搭建呢?这就是个问题了。

阅读全文 »

so 文件调用

随着 Android 移动安全的高速发展,不管是为了执行效率还是程序的安全性等,关键代码下沉 native 层已成为基本操作。
native 层的开发就是通指的 JNI/NDK 开发,通过 JNI 可以实现 java 层和 native 层(主要是 C/C++ )的相互调用,native 层经编译后产生 so 动态链接库,so 文件具有可移植性广,执行效率高,保密性强等优点。
那么问题来了,如何调用 so 文件显得异常重要,当然你也可以直接分析 so 文件的伪代码,利用强悍的编程功底直接模拟关键操作,但是我想对于普通人来说头发还是比较重要的。

阅读全文 »