一、岗位职责：
1、负责公司的爬虫平台建设与业务支撑；
2、负责公司爬虫的技术调研以及策略优化；
3、负责制定相关的反爬虫安全策略；

二、岗位要求：
1、全日制大专及以上学历，2年以上数据爬取工作经验，有大数据分布式爬取工作经验优先考虑（面试带实际案例）；
2、熟练掌握java或python编程语言，熟悉多线程编程，熟悉scrapy、pyspider、webmagic、nutch等其中一个或多个爬虫框架以及原理；
3、熟悉大数据存储技术，能运用MangoDB等数据库技术存储和处理非结构化数据，熟悉内存数据库技术者优先考虑；
4、精通正则表达式，熟悉网络协议及数据交换标准，能够快速解析各类结构化及非结构化数据；
5、有Redis、Memcache、Kafka、HBase、Lucene、ElasticSearch等相关框架使用经验的优先，有大规模分布式爬虫系统的开发经验优先；
6、具有良好的语言表达和文档撰写能力，能够熟练阅读文档和论文；
7、有责任心，工作有计划性，有良好的学习能力，具备优秀的沟通能力和团队精神；

三、薪资待遇：
1、五险一金
2、带薪假期
3、员工旅游
4、职业培训
5、海外交流