如何进行手机APP的数据爬取？
Python爬虫手机的步骤：
1. 下载fiddler抓包工具
2. 设置fiddler
这里有两点需要说明一下。
设置允许抓取HTTPS信息包
操作很简单，打开下载好的fiddler，找到 Tools - Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。
设置允许外部设备发送HTTP/HTTPS到fiddler
相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。
好了，需要的fiddler设置就配置完成了。
3. 设置手机端
设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。
可以使用wifi或者手机热点等来完成。
假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。
好了，下面我们开始手机端的设置。
手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。
进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。
进入后，填写上面记住的ip地址和端口号，确定保存。
4. 下载fiddler安全证书
在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。
以上就简单完成了所有的操作，最后我们测试一下是否好用。
5. 手机端测试
就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。
结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。
App中的数据可以用网络爬虫抓取么
可以，你可以用抓包，然后通过代理ip的方式，让你的手机和电脑处在一个网络，然后通过发送请求的方式去获取
如何通过使用fiddler对安卓系统设备抓包总结
目前有以下2种抓包方式
1. 通过fiddler抓包真机
好处是安卓手机不用root，简单设置代理，并可以在电脑端检测抓包数据。只能抓获wifi，不同抓包3g/2g运营商的数据
2. 通过tcpudmp工具抓包
可以检测真机，也可以模拟器。可以wifi，也可以3g/2g
必须root，可以安装在手机内，然后电脑端开启检测或者停止检测，抓到的数据包*.cab再拷贝到电脑，通过用Wireshark分析数据包。
本文主要总结fiddler抓包：
首先说明通过fillder抓包的网络数据包只能是http或者https协议，所以手机端有些app通过tcp/udp等协议传输的数据是无法捕获的。
1. 设置fillder，监听8888端口，允许远程连接
fillder---tools—fillder options
2.查看电脑的ip dos命令行-cmd
因为本机使用的无限局域网1，所以应当查看标记处的ip，为 49.65.48.242，等会要在手机端设置ip为这个。
3.设置手机wifi代理参数
连接手机到电脑，打开已经连接的wifi，本机器用的wifi名字是myappweb
点击 ，进入设置代理参数。
代理设置为手动，并将刚才的ip填写进去，8888端口是fillder刚才设置的8888端口
点击确定，下面就可以检测手机端数据了。
测试，手机端打开“天猫”的客户端
红的地方就是抓包得到的数据，下面就可以分析数据了。
安卓应用数据获取是怎么实现？
抓取需要在用户正在拨号时才行。
一般的方法是，在抓包的同时，用deauth攻击，让已经登录的用户断线，然后用户再次登录时就可以抓握手包了。
不要一直攻击，否则合法用户连不上。当pwr显示的合法客户端的数值变为0时，表示他已经掉线了。
这个过程需要多进行几次，得亲自盯着，靠全自动软件是不行的。
安卓app 需要用什么工具抓包 怎么抓包
两种方式，各有优劣且互补，一般第一种即可，对于不走代理的 App 选择第二种方式
第一种 Fiddler：
利用 Fiddler 抓包，适合大多数走代理的应用，优点 (1) 无需 root (2) 对 Android 和 Iphone 同样适用 (3) 操作更简单方便(第一次安装配置，第二次只需设置代理即可) (4) 数据包的查看更清晰易懂,Fiddler 的 UI 更简单明了 。
Mac 下可以使用 Charles。
第二种 Tcpdump：
对于不走代理的 App 可以利用 tcpdump 抓取 andorid 手机上网络数据请求，利用 Wireshark 查看，可见：如何利用Tcpdump抓取andorid网络数据请求，Wireshark查看
如何使用Burpsuite抓取手机APP的HTTPS数据
1.所需条件
· 手机已经获取root权限
· 手机已经成功安装xposed框架
· 电脑一台
2.详细步骤
2.1 在手机上面安装xposed JustTrustMe
JustTrustMe是一个去掉https证书校验的xposed hook插件，去掉之后就可以抓取做了证书校验的app的数据包。JustTrustMe在github的地址位： https://github.com/Fuzion24/JustTrustMe
安装好模块之后勾选JustTrustMe模块，然后重启手机
2.2 配置burpsuite
打开burpsuite，切换到Proxy，然后切换到下面的Options选项，然后点击add，然后配置好端口，ip选择本机的ip地址，然后点击ok添加
将running框勾选上
2.3 导入burpsuite证书
在电脑端使用Firefox浏览器访问设置的代理ip:端口，下载burpsuite证书，比如我上面的ip为192.168.1.105，端口为8080，就访问http://192.168.1.105:8080/然后去下载证书
点击CA certificate下载burpsuite的证书，保存证书文件
进入Firefox的设置里面，选择高级，然后选择证书，点击查看证书
然后选择服务器，点击导入，导入刚刚下载的cacert.der证书，导入之后会多一个PortSwigger的证书，选中它，然后点击导出,选择X.509证书，然后重新命名导出,这里之所以要这样导出证书，是因为手机上面识别不了burpsuite默认导出的证书格式，要转换一下。
导出之后，将证书放到手机的sd卡中，然后进入手机设置，安全，从sd卡安装，然后选择放到手机的证书文件，如果手机没有设置锁屏密码，这里会要求设置手机锁屏密码。不同的手机导入略微有些不同，但是都是在设置，安全设置里面去导入证书。
点击从sd卡安装就可以选择sd卡中的证书文件，然后安装了。
2.4 在手机上配置代理服务器
进入手机设置，WLAN，将手机和wifi连接到同一个路由器上面，然后设置wifi，有些手机是长按当前连接的wifi进行设置，有些是点击向右的箭头进行设置，这里两中都说一下
第一种：
进入设置，点击wlan，然后长按当前连接的wifi，选择修改网络，滑到最下面，勾选显示高级选项，然后选择代理设置为手动代理服务器主机名字填电脑ip，端口填你刚刚设置的端口。然后确定，就设置成功了。
第二种：
进入设置，wlan，点击当前连接的wifi最右边的向右详情图标，打开编辑当前连接的wifi，然后将代理设置选择为手动，主机名填电脑ip地址，端口填刚刚在burpsuite里面设置的地址，然后点击确定保存，就设置成功了。
设置好之后便可以抓取https的数据包了，带证书校验的也可以正常抓取，如果不装JustTrusMe插件，就不能抓带证书校验的app的https数据包。
使用burpsuite抓取https的教程到这里就结束了。
请问安卓有没有什么软件可以抓取APP 的页面数据？
抓取美团商家菜单数据不是app的范畴，而属于后台的范畴，应该针对后台接口进行抓取或者针对美团的网页进行分析。一般使用python
