Skip to main content

作者: dapeng

react-native 学习(一)

react-native的安装首先确定自己是否安装了Node,如果没有安装Node的话,就需要安装node了,因为是依赖node的。安装推荐方式:nvmnvm是node的一个多版本管理器,方便管理node的版本安装和更新,本人觉得超级好用,推荐之。nvm的安装很简单,去github上了解一下就好了,这里给个链接:https://github.com/creationix/nvm安装完就可以安装node了,使用nvm安装node很简单nvm install...[…]

Read More

scrapy 1.0.3版本 Selenium Phantomjs Downloader Middleware

一直想找的这个东西Middleware,找了很久,有的是一个过期的,有的是要弹出什么框的,这里给scrapy最新版本的解决方案。此方案排除了几个问题:Message: 'Can not connect to GhostDriver'对于此问题像下面这样操作就好了:driver = webdriver.PhantomJS(port=port,                              desired_capabilities={                            ...[…]

Read More

scrapy递归抓取网页数据

在使用scrapy抓取网页的数据的过程中,我们会遇到一个问题就是,如何来抓取分页,有时候又不能一下子把所有的分页都获取过来。这里的解决问题的思路是,获取每个当前抓取页面的下一页链接,并将链接加入要抓取的url列表中,如下是实例代码 def parse(self, response):         items = []         validurls = []         newurls = response.xpath(            ...[…]

Read More

scrapy 防止网站限制IP

根据scrapy官方文档:http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略。1,动态设置user agent2,禁用cookies3,设置延迟下载4,使用Google cache5,使用IP地址池(Tor project、VPN和代理IP)6,使用Crawlera由于Google...[…]

Read More

解决webpack打包文件过大的问题

经过自己的多次波折,终于找到了一个可以解决的webpack打包过大的问题。首先说明一下我的打包文件为什么会很大,主要原因是里面的第三方库用的多了,打包的时候就会把依赖的文件打包到一起,当然会很大了。解决的办法是使用webpack的externals,记录一个例子externals: {     'moment': true,     'jquery':'jQuery',     'bootstrap':true,     'fancybox':true,     'co':true,   ...[…]

Read More

更换elasticsearch的log目录的操作

一定要注意顺序,不要会出现没有raw的问题,因为这个搞死我了。不用停止kibana首先停止Logstash的运行再停止Elasticsearch的运行修改logstash的配置文件,将日志文件目录转移到指定的盘上,做好准备后,按照如下顺序执行先启动Elasticsearch的运行再启动Logstash的运行查看模板【如果返回空的json说明还是会出现.raw不存在的问题】curl -u logstashclient:qeeniao_logstash...[…]

Read More

SCP传输命令的基本使用

scp是linux中功能最强大的文件传输命令,下面简单的讲解一些关于scp命令的操作1,本地到远程的操作-复制文件scp local_file remote_username@remote_ip:remote_folder指定了用户名,命令执行后需要再输入密码,指定了远程的目录,文件名字不变scp /home/space/walkerfree.sql root@www.xxx.cn:/home/root/othersscp local_file...[…]

Read More