Mac OS装配开源爬虫框架pyspider

Mac OS安装开源爬虫框架pyspider

一、pyspider介绍 pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现，主要的功能需求是： 抓取、更新调度多站点的特定的页面 需要对页面进行结构化信息提取 灵活可扩展，稳定可监控 二、pyspider安装 1、安装pip（如果未安装）

sudo easy_install pip

2、安装pyspider

pip install pyspider 注意：安装的过程中可能会抛错：pyspider fatal error: ''libxml/xmlversion.h'' file not found

这个只要先安装Command Line Tools 就行了

---

osx 11 安装了 Xcode command line tools 依旧不行，百度了一些做法都解决不了

新的OSX10.11.5, 安装lxml库，可以用下面的命令：

1. 安装brew:

   /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2. 安装lxml:

   brew install libxml2 brew install libxslt brew link libxml2 --force brew link libxslt --force 3. pip install lxml 4. pip install scrapy

---- 用了这个知乎的方法依然不行

STATIC_DEPS=true sudo pip install lxml

三、运行

pyspider 完成之后访问 http://localhost:5000