职责描述：
1、负责SPARK数据分析模块与其它系统/模块之间的衔接，提供基础数据分析能力；
2、运用数据挖掘算法，解决海量数据分析、挖掘方面的业务需求，负责数据仓库的设计，开发，维护；
3、支撑产品和运营各种业务数据分析需求；
4、负责数据平台的开发和优化，基于大数据平台完成各类统计和开发任务；
5、负责数据库监控、优化大数据计算性能；


任职要求：1、3年以上代码开发及2年以上大数据项目管理经验；
2、熟悉Python/Shell/Perl等一种或几种脚本语言；
3、精通Hadoop、Spark集群搭建、配置、优化以及维护和管理；
4、能够基于Hadoop生态的大数据存储平台进行数据仓库的搭建和部署工作，熟练掌握Hive，熟悉HBase或其它任意一种非关系型数据库；
5、熟练掌握大数据相关管理工具、技术，如Sqoop、Hue、Oozie等；
6、熟练掌握Kafka、Flume 进行消息数据的收发、优化工作，具有丰富的MapReduce调优经验者优先；
7、熟悉OpenStack，Docker等云计算平台或容器平台构建和维护经验者优先；
8、有数据挖掘、机器学习的经验；
9、有网络安全从业背景者优先；

光通公司于2014年4月成立，两年来，公司业务以600%的增长率发展，成为行业发展的奇迹。
主营业务为网络安全服务、云计算、数据中心业务及互联网大数据行业解决方案的互联网科技企业。公司已在北京、上海、深圳开设分公司，业务遍布国内33个大中城市。创立伊始，公司即专注于网络安全服务市场，是国内首批进入互联网抗DDos攻击领域的企业，成立三年以来，已具备丰富的网络攻防、DDos攻击防范经验，研发搭建了T级防御能力的超高安全防护架构及系统，是国内目前最专业的DDos网络高防产品。