-
当前标签：网络爬虫
-
【Python3.4.3】Scrapy1.2.0网络爬虫使用入门(一)
安装方法就不多说啦,很多坑,如果有遇到问题的可以参考下面文章试试能不能解决[Scrapy(1)安装方法]Python3.4.3安装scrapy时的各种问题，测试环境win764位 抓取指定博客的文章，使用方法找一个空目录,按着shift点鼠标右键,点->在此处打开命令行，输入下面命令... -
【Python3.4.3】Scrapy1.2.0网络爬虫使用CrawlSpider抓取整站内容(二)
scrapy.spiders.Spider是Scrapy框架最核心部分之一，然而我们最常用的是爬取某一个网站的内容,这个时候我们可能就需要用到下面这个类啦CrawlSpider，开始之前要先定义好想提取的对应的item,不会定义item的可以参考这篇文章 Scrapy1.2.0网络爬虫使用... -
使用CutyCapt抓取网页的快照(也就是网页截图)
CutyCapt-Win32-2010-04-26下载地址http://cutycapt.sourceforge.net/使用方法下载好后解压到一个目录,然后按shift+鼠标右键->此处打开cmd然后执行下面命令,当前文件夹会出现抓取网站的截图CutyCapt --url=http... -
【Python3.4.3】Scrapy1.2.0禁止重定向的解决方法
使用scrapy抓取内容的时候如果页面中有下面重定向的代码,scrapy就会去另一个页面,如下代码第一种重定向方法是在返回头里添加301重定向,如下php代码//设置地址被永久的重定向 301header('HTTP/1.1 301 Moved Per... -
pip使用国内镜像来安装python的一些包(scrapy)
安装scrapy时出现啦如下图的错误Couldnotfindanydownloadsthatsatisfytherequirementscrapy这个是因为本地没有证书访问不了https://pypi.python.org/simple/这个是python官方的安装包列表地址下面提供两个国内的htt... -
scrapy过程中报错cannot import name '_win32stdio'
python3.4 scrapy1.2.0已经安装成功,但是在看一个示例运行看效果的时候出现如下错误builtins.ImportError:cannotimportname'_win32stdio'查过资料后找到以下解决方法pip install py...