交流QQ群:491229003[IOS交流群] / 491310686[ReactNavite交流群]

本站处于开发中,有不妥的地方请及时与我本人联系

Scrapy + xpath + Beautiful Soup

在使用scrapy的过程中会遇到一个问题就是类似如下的代码<tr>     <td>元素一</td>     <td>元素二</td>     <td>元素三</td> </tr> <tr>     <td>元素一</td>     <td><a href='#'>元素二</a></td>     <td>元素三</td> </tr> <tr>     <td>元素一</td>     <td>元素二</td>     <td>元素三</td>...

scrapy 防止网站限制IP

根据scrapy官方文档:http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略。1,动态设置user agent2,禁用cookies3,设置延迟下载4,使用Google cache5,使用IP地址池(Tor project、VPN和代理IP)6,使用Crawlera由于Google...

解决webpack打包文件过大的问题

经过自己的多次波折,终于找到了一个可以解决的webpack打包过大的问题。首先说明一下我的打包文件为什么会很大,主要原因是里面的第三方库用的多了,打包的时候就会把依赖的文件打包到一起,当然会很大了。解决的办法是使用webpack的externals,记录一个例子externals: {     'moment': true,     'jquery':'jQuery',     'bootstrap':true,     'fancybox':true,     'co':true,   ...

更换elasticsearch的log目录的操作

一定要注意顺序,不要会出现没有raw的问题,因为这个搞死我了。不用停止kibana首先停止Logstash的运行再停止Elasticsearch的运行修改logstash的配置文件,将日志文件目录转移到指定的盘上,做好准备后,按照如下顺序执行先启动Elasticsearch的运行再启动Logstash的运行查看模板【如果返回空的json说明还是会出现.raw不存在的问题】curl -u logstashclient:qeeniao_logstash...

SCP传输命令的基本使用

scp是linux中功能最强大的文件传输命令,下面简单的讲解一些关于scp命令的操作1,本地到远程的操作-复制文件scp local_file remote_username@remote_ip:remote_folder指定了用户名,命令执行后需要再输入密码,指定了远程的目录,文件名字不变scp /home/space/walkerfree.sql root@www.xxx.cn:/home/root/othersscp local_file...