一、专业特色
当下是大数据时代。“大数据”需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”的是无法使用传统流程或工具处理或分析的信息。
为构建大数据平台，需要对分布式数据收集，大数据存储，分布式计算，资源管理等系统有全面而又深入的理解。
本课程提供在企业在大数据时代普遍面临的各种挑战的解决方案。该实训授课内容均是大数据前沿最流行、最热点技术内容，这些开源技术在将来很长一段时间内还将不断的被发展、优化。企业中如果应用大数据技术解决实际问题，为企业发展增加核心竞争力。
本项目将全面覆盖大数据领域通用架构及涉及到的技术组合：
离线数据平台： Hadoop、Hive、HBase、ETL、Flume
实时数据平台： Storm、Kafka、Flume
二、建议先修课程
| 序号 | 课程名称 | 需掌握知识点 |
| 1 | 数据结构 | 线性表，栈，队列，串，数组，树，图等基本数据结构知识。 |
| 2 | 数据库技术 | 对主流数据库Oracle10g、MySQL等熟悉，同时对NoSQL较好的认识。 |
| 3 | 操作系统 | 进程管理、内存管理、文件系统、网络通讯、安全机制、用户界面、驱动程序等功能了解掌握。 |
| 4 | 计算机网路 | 对路由、交换、通讯、体系结构、网络协议、设计及集成等掌握和了解。 |
三、专业实践课程
| 序号 | 课程名称 | 任课教师 | 备注 |
| 1 | JAVA技术实践 | 毕业于中科院自动化所 任职于百度 | 大数据基础课 |
| 2 | Linux技术实践 | 毕业于中科院计算所 任职于教育部信息中心 | 大数据基础课 |
| 3 | Hadoop原理与实践 | 毕业于中科院自动化所 任职于中国搜索 | 专业核心课 |
| 4 | HBase技术实践与应用 | 毕业于北京航空航天大学 现任职于豌豆荚 | 专业核心课 |
| 5 | Storm与实时数据系统 | 现任职于中科院计算机机研究所 | 专业核心课 |
| 6 | 大数据平台架构与实现 数据仓库建设 |
现任职于中科院计算机机研究所 | 专业核心课 |
| 7 | 计算机算法实践 | 毕业于中国科学院大学 现任职于微软 | 提升发展课 |
四、专业技术课程简介
| 课程名称（1） | JAVA高级开发与实践 | |
| 教学内容 | 技术块 | Java 编程基础及高级类特性、JAVA数据库编程技术 |
| 知识点 | Java开发的工具Eclipse | |
| Java类库熟练运用 | ||
| 关系型数据库及SQL语言 | ||
| ODBC、JDBC的工作原理及使用方 | ||
| MySQL数据库访问与运用 | ||
| 重点 | MySQL数据库、JDBC、数据库连接池的使用 | |
| 技术块 | JSP+ Servlet 编程 | |
| 知识点 | Jsp运行原理、Jsp隐含对象、Jsp指令，Jsp动作 | |
| JavaBean、标签技术、文件上传、数据库连接池配置 | ||
| Servlet运行原理、Web应用配置、Web应用服务器配置 | ||
| SSL安全协议、监听器、过滤器、DAO概念 | ||
| 重点 | JavaBean技术、数据库连接池配置、Web应用服务器配置、SSL安全协议 | |
| 技术块 | 多线程机制和设计模式 | |
| 知识点 | 程序、进程、线程的概念和原理 | |
| Thread类的子类创建线程方法 | ||
| Runnable接口创建线程 | ||
| 设计模式的背景知识和设计模式的种类 | ||
| 重点 | 线程控制方法，线程的调度、互斥和同步；设计模式 | |
| 课程名称（2） | Linux实践与计算机算法实践 | |
| 教学内容 | 技术块 | Linux基础与实践 |
| 知识点 | Linux操作系统基础：Linux系统的特点及安装管理；桌面系统的使用；用户管理；文件系统操作；VI工具使用。 | |
| Linux磁盘与网络管理：网络管理；进程管理；磁盘管理；日志管理。 | ||
| 服务安装与部署：WEB服务器；数据库服务；Java安装与配置；Linux服务；Iptables配置；虚拟化配置。 | ||
| Linux下的Shell编程：Linux下的Shell编程方式 | ||
| 重点 | 服务前安装部署， shell编程，磁盘与网络管理。 | |
| 技术块 | 计算机设计算法实践 | |
| 知识点 | 二叉树的前序遍历，中序遍历和后续遍历的实现（递归和非递归），查找算法，内排序（插入排序，快速排序，选择排序等） | |
| 时间复杂度和空间复杂度 | ||
| 数组及字符串实践应用 | ||
| 链表及树的运用 | ||
| 递归和动态规划 | ||
| 重点 | 熟练掌握算法各类应用 | |
| 课程名称（3） | Hadoop原理与实践 | |
| 教学内容 | 技术块 | HDFS存储概述 |
| 知识点 | HDFS存储核心概念 | |
| HDFS关键运作机制 | ||
| Hadoop Shell | ||
| 重点 | 了解Hadoop的存储架构HDFS，能够使用Hadoop Shell | |
| 技术块 | MapReduce原理和事件 | |
| 知识点 | MapReduce运行机制 | |
| MapReduce使用注意事项 | ||
| 编写MapReduce程序并能运行出正确结果 | ||
| 重点 | 根据数据的特点能够设计MapReduce程序，并编写和运行 | |
| 课程名称（4） | HBase技术介绍与应用 | |
教学内容 |
技术块 | HBase文件系统 |
| 知识点 | HBase部署安装 | |
| HBase存储于HDFS的关系 | ||
| HBase逻辑存储原理 | ||
| HBase查询流程 | ||
| 重点 | 了解HBase的原理，清楚HBase解决实时查询的关键设计 | |
| 技术块 | HBase基本操作 | |
| 知识点 | 客户端API | |
| Java实现对Hbase的put、get等方法 | ||
| HBase过滤器使用 | ||
| HBase表、列族、行键设计等 | ||
| 重点 | 能根据需求设计合理的HBase表，并能完成相关操作 | |
| 课程名称（5） | Storm与实时数据系统 | |
| 教学内容 | 技术块 | Storm编程学习 |
| 知识点 | Storm集群搭建，依赖ZeroMQ、JNMQ、Python2.6.6 | |
| Storm topology构成组件及作用 | ||
| Trident介绍 | ||
| 实践单词实时统计Topology | ||
| 重点 | 掌握Storm Topoloy编程各组件的角色和用法。能将负责逻辑转成为组件流程。 | |
| 技术块 | 基于Storm的实时流式处理平台 | |
| 知识点 | Flume部署，实时监控数据源 | |
| Kafka部署，实现Flume向Kafka加载数据 | ||
| Storm集群部署、Storm从Kafka中读取实时处理 | ||
| 实践网站日志实时监控，完成ip黑名单功能 | ||
| 重点 | 理解实时流式数据平台的通用架构，加每个环节使用的技术 | |
| 课程名称（6） | 大数据平台架构与实现 | |
| 教学内容 | 技术块 | Hive实现原理、了解metastore |
| 知识点 | Hive的产生背景、主要解决的问题 | |
| Hive转译引擎的工作机制 | ||
| Hive加载、访问接口 | ||
| HQL与SQL的对比 | ||
| 重点 | 了解Hive工具的作用，工作机制 | |
| 技术块 | Hive对表的基础操作 | |
| 知识点 | 创建、删除、修改表 | |
| 外表、内表、分区介绍 | ||
| 动态分区实现分区准确性 | ||
| 多表关联查询 | ||
| 重点 | 熟悉对Hive的基本操作，能根据需求建立Hive表。 | |
| 课程名称（7） | 数据仓库建设 | |
| 教学内容 | 技术块 | 数据仓库概述 |
| 知识点 | 数据仓库的由来和常见概念 | |
| 数据仓库常见问题 | ||
| 数据仓库的基本架构 | ||
| 重点 | 数据仓库的基本架构 | |
| 技术块 | ETL理论和实施 | |
| 知识点 | ETL的基础理论 | |
| ETL常见问题 | ||
| 根据要求完成ETL任务 | ||
| 重点 | 完成ETL任务编写 | |
| 技术块 | 构建示例数据仓库 | |
| 知识点 | 根据要求完成多个相互关联的ETL任务 | |
| 理解各种任务和数据仓库分层的概念 | ||
| 技术块 | 完成示例数据仓库的构建，并理解数据仓库的分成概念 | |
五、实训项目安排
1.实训项目一：企业营销管理系统(JAVA开发语言实践)
2.实训项目二：通用海量数据计算、分析平台建设
模块一：分布式日志收集分析系统
模块二：基于Hadoop的ETL系统
模块三：Storm实时处理系统(实时监控网站的PV\UV)
3.考核方式：项目实践、课堂出勤、团队合作
六、招生情况介绍
1.开班时间：根据班级人数开班
2.实训地点：北京：中科院计算所
天津：天津市大学软件园区
3.班级人数：以30人为限
4.实训费用：共1.56万元 (分期付)
5.住宿安排：实训期间住宿统一安排，费用自理(600-900元/月)
6.实训时间：3个月
7.实习就业：实训结束后即通过双向选择到相应企业开展实习实践，并在就业阶段选择是否在所实习单位就业。
8.实习津贴：实习费在3000元/月左右。
七、主办单位情况介绍
中国科学院计算技术研究所是中国第一个专门从事计算机科学技术综合性研究的学术机构，是我国计算机事业的摇篮，先后为国家培养了几百名我国最早的计算技术专业人员。计算所目前拥有计算机体系结构国家重点实验室、高性能计算机研究中心、数据存储技术研究中心、网络数据科学与技术重点实验室、网络技术研究中心、无线通信技术研究中心、智能信息处理重点实验室等12个研究单元，以及上海、苏州、浙江等15个分部(所)，以及联想、曙光、龙芯等高技术企业。同时与百度、腾讯、华为等众多业界领军型企业具有多方面合作。
为满足中国科学院计算技术研究所相关实验室、所属企业及合作伙伴对于高素质实践型人才的需求，中国科学院计算技术研究所研究生部与中科瑞通信息科技公司共同推出面向大学生的实践课程及实习就业推荐机会，以及未来持续提升和发展机会。目前已与山东大学、大连理工大学、天津工业大学、天津理工大学、河北师范大学、河北科技大学、郑州大学、北方工业大学、华北水利水电大学、深圳大学等多所高校在“产学研”基础上开展实习实训、研究生培养、专业共建等多方面的合作。
八、联系方式
黑龙江省科学院自动化研究所培训中心
联系电话：0451-83166633 13936680986 李老师
地址：哈尔滨市南岗区汉水路265号省科学院自动化所513
共0条 [查看全部] 网友评论