为了更好的为用户服务以及公司的长远发展，通过日志信息的采集以及对数据多维度的分析， 分析网站中各个模块的点击、浏览、下载、安装等行为，获得用户行为及价值取向等统计信息，例如批发商品在各个地区 Top 排行、日活用户、月活用户等，为公司各部门提供需求报表以及公司决策提供数据支持。

抽取和地理信息相关行业新闻信息以及旅游景点新闻信息内容来丰富公司素材库，为司南的APP、公众号做内容推送提供精准素材。此项目为一期项目，分布式高并发爬虫框架配合 MySQL 数据库，获取相关网址信息。

数据结构、地理数据库、webGis等

通过获取用户下载 App 的行为和用户喜好，基于对物品推荐算法进行研究，根据物品的长尾性原理，分析出用户点击、下载、安装等行为间的关联性，通过 MapReduce 和后期用 Spark 优化实现算法程序，对用户流量进行切分，找到最合适的广告投放策略，为用户有针对性地推荐喜欢的商品，从而 给用户更好的体验以及给公司带来更大的效益。

1. 参与研究基于物品的协同过滤相似度推荐算法 2 .负责 MapReduce、Spark 程序实现基本的算法以及后期的优化 3. 制定离线测试，线上试验验证结果，以确认是否达到与通投相比 CVR 提升到指定指标 4. 负责导出 App 相似度数据集，供后续广告部门使用

为了更好的为用户服务以及公司的长远发展，通过日志信息的采集以及对数据多维度的分析， 分析网站中各个模块的点击、浏览、下载、安装等行为，获得用户行为及价值取向等统计信息，例如批发商品在各个地区 Top 排行、日活用户、月活用户等，为公司各部门提供需求报表以及公司决策提供数据支持。

1. 负责从数据集取、转换、清洗数据到数据存储，以及数据处理功能的开发 2. 负责编写 MapReduce 进行离线数据分析 3. 负责编写通用任务工作链工具，作为统一的 Mapreduce 编写标准。 4. 负责使用 Flume 归集 Nginx 行为日志和 Tomcat 日志数据 5. 负责编写 Shell 脚本及 Oozie 配置项目的调度与依赖

抽取和地理信息相关行业新闻信息以及旅游景点新闻信息内容来丰富公司素材库，为司南的APP、公众号做内容推送提供精准素材。此项目为一期项目，分布式高并发爬虫框架配合 MySQL 数据库，获取相关网址信息。

1. 参与分布式网络爬虫系统平台的架构设计与开发 2. 根据生产者消费者模式的分布式并发框架,编写程序实现新闻页面的下载,以 Python 语言实现过程 3. 研究反爬虫策略，如封账号、封 IP 等问题，提升网页抓取的效率和质量 4. 将爬取的数据推送到 Kafka 队列并上传到 Hadoop 集群，供其他人使用。 5. 项目后期的维护和优化