Mac OS安装开源爬虫框架pyspider

一、pyspider介绍 pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现,主要的功能需求是: 抓取、更新调度多站点的特定的页面 需要对页面进行结构化信息提取 灵活可扩展,稳定可监控 二、pyspider安装 1、安装pip(如果未安装)

sudo easy_install pip

2、安装pyspider

pip install pyspider 注意:安装的过程中可能会抛错:pyspider fatal error: ''libxml/xmlversion.h'' file not found

这个只要先安装Command Line Tools 就行了


osx 11 安装了 Xcode command line tools 依旧不行,百度了一些做法都解决不了

新的OSX10.11.5, 安装lxml库,可以用下面的命令:

  1. 安装brew:

    /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

  2. 安装lxml:

    brew install libxml2 brew install libxslt brew link libxml2 --force brew link libxslt --force 3. pip install lxml 4. pip install scrapy

---- 用了这个知乎的方法依然不行

STATIC_DEPS=true sudo pip install lxml

三、运行

pyspider 完成之后访问 http://localhost:5000

Services: User Interface & Icon Design Clients: Kugou Music Date: 2016.07-2016.7 Links: Personal Practice

kugou-t.jpg

很长时间没有用过酷狗音乐了,可能是因为上了年纪,觉得酷狗已经跟不上潮流,整体设计以及曲库很LOW,但回想青葱岁月的时候,还是能够清晰的听到那声:Hello~Kugou~ 给自己定了一个小课题, 酷狗不酷?不对市场策略以及用户喜好负责,同时也并非是一个完整意义上的创新概念设计,而是基于一个问题去解决的设计方案,所以保留了大部分酷狗已有的元素。

- 阅读剩余部分 -

客户: LuciolaGames 技能: 动效设计,UI设计,视觉设计,LOGO设计 时间:2015.06-2015.9 链接:Appstore 商用作品(请勿盗用) 201505stutter-display-t.jpg Stutter Rapper is our first game in AppStore. Story Details:

Stutter Needs Help! Deep in the ocean, Stutter the whale’s adoptive-parents have been trapped, and are soon to be tin-canned! Stutter and his best DJ buddy, now have to join the "Rookie Rapper” Competition and need to win the biggest prize to free them. It’s an exciting adventure of rescue, overcoming obstacles and helping the little whale grow from a Stutter to a Rapper!Rap by Connecting the Letters! Your goal is to link letters in adjacent tiles to make a correct word for Stutter to rap it out. Accurate timing with the DJ’s rhythm will get you a higher score! With sharp eyes, even a Stutter can Rap & Rock the ocean!Fight For the Best! Will the little Stutter bring his guardians back home? What will happen in his adventure of growing into a great Rapper? Polish your word-spotting skills, keep exploring and unveil this story!

- 阅读剩余部分 -

客户: Xteacher Team 技能: 视觉设计 时间:2015.10-2015.10 链接: 商用作品(请勿盗用)

这是为Xteacher团队设计的应用界面,当然了包括ICON Xteacher是一款面向高中生的在线教育APP,在和客户沟通的时候我们定义他是一个科学的、丰富多彩以及温暖的应用。 在设计ICON的时候,我将各个学科中的一些代表性图形融入到X中,用来表达该应用的工具型属性,同时采用了柠檬黄这样年轻有朝气的颜色作为主色。 这款应用的界面没有过多的创新设计,主要是在视频缩略图上我添加了一个色彩蒙板,用处主要有: 1.能够通过色彩快速识别对应课程的类型是文科还是理科 2.弥补后期运营时图片质量不好的时候视觉上的低质感 同时还在一些交互的按钮上略微添加了一些厚度和质感,让应用显得更加有层次一些,同时也增加了亲和力,画面更生动。 当然这些属于一种尝试项,也和客户经过商讨。 在设计这款应用的时候,也出于自己对应用和体验的理解向客户提出过一些善意的疑问和建议,经过一些沟通后,对方还是采纳了不少改进意见,整体的合作过程都很愉快。 如:把原本收在设置界面里的签到按钮单拉出来,放到个人主页导航栏上方,方便用户每次打开个人主页就可以快速签到。 也改善了 用户-签到-积分商城的流转循环。 将loading页的注册登录按钮省去,放到设置页的头像触发,相当于默认让用户可以用游客身份进入,之后需要的时候再进行登录。 用户头像底部背景图片根据文理科的选择分别可以是 蓝色-理科、橙色-文科、绿色-未分文理。 把注册引导和邀请码作为分开步骤来做,这样每一步的时候选项更少更清晰。 最后因为对方临时改了应用名为 高考好提分,同时又没有留出足够的ICON和启动页调整时间,所以启动页仍然沿用了XTeacher的原版,凑合的放上去了一个中文文字,对此比较遗憾。

客户:LuciolaGames 技能:Logo设计 时间:2015.07-2015.7 链接: 商用作品(请勿盗用)

luciola-display-t.jpg

作为一个理性和感性兼顾的设计师,在进行logo设计的时候,我通常都会先进行品牌元素提炼,然后通过元素间的组合进行快速草图尝试,这样可以把创意方向控制在有效的范围之内。 具体的设计方案和过程请参考左侧图片。

因为个人偏好来讲会更倾向于简洁收敛的CASE8,同时也刚好有一些灵感。 所以为此专门做了一个游戏开机启动动画的效果。

- 阅读剩余部分 -

"QuartzComposer并没有传言中那么方便,FramerJS更令人惊喜。"

Spy_feature.jpg

最近在负责一款SpyCamera的设计和交互,因为本身这款软件是一个非常小众而又轻量级的小应用,在众多竞争者中除了核心的功能安排外,能够进行差异化设计的就只有视觉设计和交互设计了。 在视觉设计这部分我把ICON和UI视觉全部重构了一遍,在重构的过程中由于需要去贴合安卓5.0的设计规范来获得谷歌一定的推荐流量,所以把整个视觉设计的相对轻、薄、简,这时一个优秀又有特色的交互就显得更有吸引力了。

加之之前看过一些关于QuartzComposer的介绍,总算找到一个机会好好花点时间来琢磨一下交互设计的实现部分。 首选当然是已经让我激动已久的QuartzComposer ,上手还真不轻松,在网上搜集了一些资料,然后一步步的安装和尝试。

资料传送:

官方资料 (图片演示和DEMO文件下载)

CSDN较为详细的介绍和说明 (比较细致的中文说明)

苹果官方的指导文档  QuartzComposerUserGuide.pdf

豆瓣上的新手上路

Github上的新手上路  quartz-composer-and-origami-tutorial-button-animation (英文)

知乎上 几款 高保真交互设计软件的对比

- 阅读剩余部分 -

"当自己的目标非常遥远和困难的时候,更需要克制自己的内心,平衡理想和现实的差距,放慢心境,在正确的方向上稳步前行,这一切,都是为了更有效率的去达成那个最遥远的理想。"

近期解决了几件大事,之前的RunPuppyRun游戏重构和优化的工作完成以及新版本上线,原画师(概念设定)一职的招聘和选定人选,以及团队的优劣势发觉以及协作的磨合。 写在今天是因为总算把原画师一职顺利落定,在组织完部门小会之后的现在我才可以静下心来写一写最近的感受。

- 阅读剩余部分 -

“一次细致深入的整理带来的价值远远超过在具体工作中能直接带来的效果,更多的是帮助我在思考的过程中更加明晰目标,判断方向以及正确的做减法。”

正在整理着手头的RunPuppyRun 的 Artwork Resource Total List 以及 参考项目 KiwiDash 的 Artwork Resource Total List,想到一些比较重要的点,所以写下来。 因为着实没怎么做过游戏,特别是没有深入的从头至尾的参与过完整的游戏项目,在当下继续深抠RunPuppyRun这个项目时,遭遇到一个很大的瓶颈就是欠缺细节的洞察和贯彻执行能力。 在今天之前我们花了足足两周多的时间来进行项目重构,技术代码重新写了一遍,UI也全部重新画了,角色动画也一直在调,但还没有一个满意的结果。 我们多次开会讨论并试图去找到我们的核心1+X,分析用户的行为数据和交互数据,我们用了各种办法去找到我们想要的答案。当然包括下面这张用户的交互层流转分析。 Run_Data.jpg

- 阅读剩余部分 -

客户: LuciolaGames 技能: 视觉设计,UI设计,图标绘制 时间:2015.03-2015.5 链接:GooglePlay 商用作品(请勿盗用)

ror-t.jpg

RunPuppyRun是我们团队正式推出的第一款游戏,这款游戏也是团队刚组建的最初磨合期的产品。 在这个项目中我主要负责了有:美术风格设定,美术外包管理,界面UI、游戏LOGO、游戏ICON设计,开发过程中对于游戏的几个版本的流转数据进行过一些分析,同时也做过一些交互上的简单调整和优化。 作为一款休闲游戏,这版本UI还是改的比较成功的,相较于原先的厚重风格,在留存上有了更好的数据表现。

- 阅读剩余部分 -

“告别了短暂的休息后,重新认识的我们每一个人其实都有着自己未来的道路,我们心照不宣。 对于未来可能要发生的一切,我们也有着默契,道不同,却可相与为谋。”

这是从3月份来到广州后的第一个月,接触了很多道不同,却需要相为谋的人,经历了一些难以调和的事件,做了一些难却果断的判断。 抵达广州的第一天是凌晨2点,小伙伴们就开着租来的车接我,见面那刻我还没缓过劲来,一切都感到陌生,直到进了客厅吃了那碗炸酱面,感觉心情平复了许多,也慢慢的开始活起来。当晚便和 许 喝到了夜里,也在酒桌上了解了对方,知道了,是谁,有什么,为什么。 和去年的设想规划有很大出入,这是3天后我才知道的,之前一起合作的技术掉链子不来了也没冲劲了,想要拉入伙的牛人策划因为家庭原因也婉言谢绝了。在我面前的这个 策划许 完全是个空降兵,好在一顿酒已然拉近我们的距离。只是想象中,那个大神级的人,随着时间的推移成了现在这位半路出家的新伙伴,难免让人有些质疑。 尽管如此,希望还是有的。因为在3天后,还有一个很有想法和文学功底的文案策划要过来,据说还是个川妹子,想想也是极好的呢。 事情的发展总是要出人意料,理想总是被覆灭,好在生活也总能给我们一些意外惊喜。 只是没想到,这川妹子的吨位竟如此之高,令人不得不感叹,造化弄人。 这几日是很闲散的,直到新的两位继续加入我们的团队,进行“试合作”,我们开始了相对紧张的工作,而最为紧张的,就是会议之中,我们竟可以为了说明对方是错的而浪费整整半天的时间。而症结点就在于,当我们探讨一个问题的时候,你究竟持有的是开放性的思路,提供建设性意见,还是以封闭思路,以旧有经验来否定当前探索。 当然了,后者唯一的价值就是,如果死亡,那他将会加速这一过程。 在几日争论和无奈以及忍让后,在我们还没来得及在紧张的气氛中去真正了解他之前,他选择或是被选择,离开了团队,带着他的案子,和坚持。 而幸运的是,这个过程中,我和小伙伴们更加认清了自己,在慢慢的磨合中,我们擦出了星光般的火花,微小却让我们彼此交心。火柴和石头本没有交集,但只要放开自己和对方真正的碰撞,在某个未知的时刻,或许就能点燃熊熊的烈火。 告别了短暂的休息后,重新认识的我们每一个人其实都有着自己未来的道路,我们心照不宣。 对于未来可能要发生的一切,我们却也有着默契,道不同,却可相与为谋。

客户: LuciolaGames 技能: 视觉设计,图标设计,UI设计,插图绘制 时间:2014.09-2014.11 链接: 商用作品(请勿盗用)

darwin.png

一款面向海外市场的生存型手游,主要玩法是以数值为主。 为了让这个游戏不枯燥,在视觉表现上我们采用了极为具有吸引力的Lowpoly风格,很魔性哟。 最后并没有上线。

- 阅读剩余部分 -

rounded-t.jpg

客户:魅族 技能:视觉设计,图标绘制 时间:2014.11-2014.11 链接:商用作品(请勿盗用)

这是14年10月份的时候拿来练手的一个项目,当时是参加魅族的主题设计比赛,很遗憾未能入围。 设计这款主题的时候出发点是营造一种轻薄、透亮的荧光棒的质感,因为是本身不喜欢过于花哨的感觉,所以比较收敛。 下次尝试的时候希望自己可以更加大胆一些。

- 阅读剩余部分 -