本文目录一览：
- 1、爬虫怎么爬取js动态生成的数据
- 2、如何用Python爬虫抓取JS动态筛选内容
- 3、Java_爬虫，如何抓取Js动态生成数据的页面？
- 4、爬虫如何处理js动态
- 5、用scrapy爬虫结合什么第三方解析js动态加载网页比较好
- 6、Python爬虫在处理由Javascript动态生成的页面时有哪些解决方案
爬虫怎么爬取js动态生成的数据
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串，分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
如何用Python爬虫抓取JS动态筛选内容
打开浏览器，以google chrome为例，输入你上面的网址。
然后按F12打开调试窗口，然后尝试勾选左边某一个选项，马上可以看到右边的调试窗口有东西输出。
找到第一个输出的行，点击header，可以看到每一个都是用的post方法。
所以只需要构造相应的header并post上去，就可以得到你想要的数据了。
尝试每一个request都点开看一下
就是你要构造的数据
FormData就是你要构造的数据
把数据构造好然后使用post函数发送给网站
这个得到的是一个网页格式的数据。
而这个发放返回的是json数据，然后编码成dict格式 提取出数据就可以了。
Java_爬虫，如何抓取Js动态生成数据的页面？
用nodejs+puppeteer，解析dom结构获取，或者直接观察返回数据的接口，看能不能直接调用
爬虫如何处理js动态
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串，分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
用scrapy爬虫结合什么第三方解析js动态加载网页比较好
打开调试工具研究ajax请求，找到规律后自己仿照着发送
关键字 headless
请参考stackoverflow上的一个提问
Headless Browser and scraping - solutions
你看到PhantomJS的出现频率，应该知道怎么选了吧。
当然，CasperJS的API比较舒服一点
Python爬虫在处理由Javascript动态生成的页面时有哪些解决方案
最好的方法就是使用selenium这种库哦。
简单介绍一下selenium，这本身是一种网站自动测试的库，所以可以模拟用户的所有交互行为，包括输入、点击、拖拉、滚动等等和用户完全相同的操作，所以也和真正打开网页一样，可以响应Javascript的行为，可以加载JS异步加载的网页。
selenium最好配合PhantomJS使用，这样就没有界面，完全自动处理哦。