职位描述
岗位职责
1、负责构建垂直类爬虫架构,智能抓取系统设计与研发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)
2、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等)
3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案
任职资格:
1、本科及以上学历,良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验
2、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,对挑战性问题充满激情
3、熟悉linux和Java开发,熟悉shell/perl/python等脚本语言,熟练掌握正则表达式
4、有多线程、网络数据处理经验优先(如HTTP协议,AJAX,爬虫开发,浏览器内核开发,Web服务开发等)
5、有大规模分布式海量数据处理经验优先(如Hadoop/Hbase/Spark/Strom/Flink等)
企业介绍
关于滴滴出行
滴滴平台出行是全球领先的移动出行平台;利用移动互联网和基于机器学习的算法技术实现司机、乘客、交通工具的智能匹配,为超过4亿用户提供出租车召车、专车、快车、顺风车、代驾、公交、小巴、在线租车和企业级等全面出行服务。2016年10月,滴滴日完成订单已突破2000万;成为是全球第二大在线交易平台。2016年8月,滴滴出行并购优步中国。
滴滴致力于与不同社群及伙伴协作互补,运用大数据驱动的深度学习技术,解决中国城市的出行、环保、就业挑战;提升用户体验,创造社会价值,建设开放、高效、可持续的移动出行新生态。2016年,滴滴登上《财富》杂志“改变世界的50强”榜单;同年,获《MIT科技评论》膺选为全球五十大创新企业之一。2015年,滴滴入选达沃斯全球成长型公司。