高效指南:快速搭建Kylin分析环境

更新:11-16 民间故事 我要投稿 纠错 投诉

今天给各位分享高效指南:快速搭建Kylin分析环境的知识,其中也会对进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

2)官方文件

http://kylin.apache.org/cn/docs/

3)下载地址

http://kylin.apache.org/cn/download/

单节点服务模式安装

kylin的运行环境分为单机模式和集群模式。单机模式下,只需要在任意一台机器上安装一个kylin服务即可。集群模式下,可以把它安装在所有机器上,然后所有机器的kylin就组成一个集群。

kylin的服务安装依赖于zookeeper、hdfs、yarn、hive、hbase等各种服务,在安装kylin之前我们需要保证我们的zookeeper、hdfs、yarn、hive、hbase服务正常。

|

主机名

服务

|

节点01

|

节点02

|

节点03

|

|

动物园管理员

|

法定对等点主

|

法定对等点主

|

法定对等点主

|

|

HDFS

|

名称节点

| | |

|

次要名称节点

| | |

|

数据节点

|

数据节点

|

数据节点

|

|

|

资源管理器

| | |

|

节点管理器

|

节点管理器

|

节点管理器

|

|

映射减少

|

工作历史服务器

| | |

|

数据库

|

汉大师

| | |

|

HRegion服务器

|

HRegion服务器

|

HRegion服务器

|

|

蜂巢

| | |

Hive服务器2

|

| | |

元存储

|

第一步:下载kylin安装包上传并解压

kylin安装包下载地址为

http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.3/apache-kylin-2.6.3-bin-cdh57.tar.gz将安装包上传到node03服务器的/kkb/soft路径下,并解压到/kkb/install

node03执行以下命令解压

cd /kKB/软件

tar -zxf apache-kylin-2.6.3-bin-cdh57.tar.gz -C /kKB/install/

第二步:node03服务器开发环境变量配置

node03服务器添加以下环境变量:

须藤vim /etc/profile

导出JAVA_HOME=/kKB/install/jdk1.8.0_141

导出路径=PATH

导出HADOOP_HOME=/kKB/install/hadoop-2.6.0-cdh5.14.2

导出路径=路径

导出HBASE_HOME=/kKB/install/hbase-1.2.0-cdh5.14.2

导出路径=路径

导出HIVE_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=PATH

导出HCAT_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=路径

导出KYLIN_HOME=/kKB/install/apache-kylin-2.6.3-bin-cdh57

导出路径=路径

导出目录=/kKB/install/apache-kylin-2.6.3-bin-cdh57/bin

导出路径=PATH

更改环境变量后,记得source /etc/profile才能生效

第三步:node03启动kylin服务

node03 执行以下命令启动kylin服务

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh 启动

第四步:浏览器访问kylin服务

访问kylin服务的浏览器界面

http://node03.kaikeba.com:7070/kylin/

用户名: 管理员

密码:KYLIN

kylin的集群环境安装

单节点kylin环境主要用于方便测试和学习。在实际工作中,我们主要使用kylin的集群模式进行开发。接下来我们看一下kylin的集群模式是如何运作的。

Kylin 实例是无状态的,运行时状态存储在Hbase 的元数据中(由kylin.metadata.url 指定)

只要每个实例指向读取公共元数据,就可以完成集群的部署(即元数据共享)

对于每个实例,您必须指定实例运行的模式(kylin.server.mode)。总共有3种模式。

作业只能运行作业引擎

查询只能运行查询引擎

all 都可以运行作业和查询

查询模式下,仅支持sql查询,不进行cube构建等相关操作。特别注意:kylin集群中只有一个实例可以运行作业引擎,其他实例必须处于查询模式。

集群模式重要配置参数介绍

当kylin以集群模式运行时,会有多个运行实例,可以通过conf/kylin.properties中的两个参数进行设置

kylin.server.cluster-servers

列出所有要在实例之间同步的其余Web 服务器,例如设置为:

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.server.mode

确保一个实例配置为all或job,其他实例必须处于查询模式。

第一步:将node03服务器的kylin安装包分发到其他机器

将node03服务器/kkb/install路径下的kylin安装包分发到其他服务器

node03执行以下命令停止kylin服务,然后将kylin安装包分发到其他服务器上。

node03执行以下命令

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh 停止

cd /kKB/安装/

scp -r apache-kylin-2.6.3-bin-cdh57/node02:$PWD

scp -r apache-kylin-2.6.3-bin-cdh57/node01:$PWD

第二步:三台机器修改kylin配置文件kylin.properties

分别修改三台服务器上的kylin配置文件kylin.properties。

修改node01服务器的配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=查询

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-秒=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

修改node02服务器的配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=查询

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-秒=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

修改node03服务器的配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=全部

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-秒=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

第三步:三台机器配置环境变量

在三台机器上编辑/etc/profile并添加环境变量

注意:需要将hive安装文件夹复制到每台机器上。

须藤vim /etc/profile

导出JAVA_HOME=/kKB/install/jdk1.8.0_141

导出路径=PATH

导出HADOOP_HOME=/kKB/install/hadoop-2.6.0-cdh5.14.2

导出路径=路径

导出HBASE_HOME=/kKB/install/hbase-1.2.0-cdh5.14.2

导出路径=路径

导出HIVE_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=PATH

导出HCAT_HOME=/kKB/install/hive-1.1.0-cdh5.14.2

导出路径=路径

导出KYLIN_HOME=/kKB/install/apache-kylin-2.6.3-bin-cdh57

导出路径=路径

导出目录=/kKB/install/apache-kylin-2.6.3-bin-cdh57/bin

导出路径=PATH

导出HBASE_CLASSPATH=/kKB/install/hbase-1.2.0-cdh5.14.2

导出路径=路径

第四步:三台机器启动kylin服务

在三台机器上执行以下命令启动kylin服务

cd /kkb/soft/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh 启动

第五步:node02安装nginx实现请求负载均衡

注意:nginx安装需要root用户安装

在node02服务器上安装nginx服务,实现请求负载均衡

将nginx安装包上传到/kKB/soft路径下,然后解压,配置nginx配置文件,然后启动nginx服务。

1.解压nginx压缩包

cd /kKB/软/

tar -zxf nginx-1.8.1.tar.gz -C /kkb/install/

2.编译nginx

yum -y 安装gcc PCRE 开发zlib 开发openssl openssl 开发

cd /kKB/install/nginx-1.8.1/

./configure --prefix=/usr/local/nginx

制作

进行安装

3、修改nginx配置文件

node02执行以下命令修改nginx配置文件

cd /usr/local/nginx/conf

vim nginx.conf

添加以下内容

在nginx.conf配置文件最后一个“}”上面一行,添加以下内容

上游凯克巴{

最少连接;

服务器192.168.52.100:7070权重=8;

服务器192.168.52.110:7070权重=7;

服务器192.168.52.120:7070权重=7;

}

服务器{

听8066;

服务器名称本地主机;

地点/{

proxy_passhttp://kaikeba;

}

}

4.nginx启动和停止命令

nginx启动命令,node02执行以下命令启动nginx服务

cd /usr/local/nginx/

sbin/nginx -c conf/nginx.conf

nginx stop命令,node02执行以下命令停止nginx服务

cd /usr/local/nginx/

sbin/nginx -s 停止

好了,文章到这里就结束啦,如果本次分享的高效指南:快速搭建Kylin分析环境和问题对您有所帮助,还望关注下本站哦!

用户评论

泪湿青衫

想试试Kylin,不过环境配置总是卡在某个步骤...

    有10位网友表示赞同!

怪咖

刚入手Kylin,学习一下你们的安装教程吧!

    有16位网友表示赞同!

墨城烟柳

Kylin的安装文档写的真不错,跟着做起来还是很顺畅的。

    有15位网友表示赞同!

你是梦遥不可及

哪位高手能分享一下Kylin环境搭建遇到的坑?

    有14位网友表示赞同!

゛指尖的阳光丶

感觉Kylin的系统很稳定,环境配置也相对容易上手。

    有16位网友表示赞同!

回忆未来

之前用过其他数据分析工具,发现Kylin的速度更快了好多!

    有15位网友表示赞同!

淡抹烟熏妆丶

安装过程中要注意哪些细节啊?想弄一台自己玩玩Kylin。

    有20位网友表示赞同!

别悲哀

Kylin适合什么场景的数据分析?有哪些实战案例分享吗?

    有6位网友表示赞同!

盲从于你

准备学一下Kylin,先来搞定环境配置这一步!

    有19位网友表示赞同!

纯情小火鸡

有没有大佬提供一句部署Kylin的环境命令呢?省时省力!

    有14位网友表示赞同!

爱情的过失

学习了一下Kylin的文档,感觉安装还是挺简单的。

    有20位网友表示赞同!

歇火

想从零搭建一个完整的Kylin体验,这篇文章挺有帮助的。

    有18位网友表示赞同!

断桥残雪

我需要创建一个小型项目实验Kylin,环境配置应该怎么来?

    有6位网友表示赞同!

南宫沐风

分享一下你们的Kylin环境搭建经验和建议吧!

    有11位网友表示赞同!

£烟消云散

Kylin的安装过程会不会很复杂?对于初学者来说难吗?

    有14位网友表示赞同!

我要变勇敢℅℅

这篇文章能详细讲解Kylin的环境搭建步骤吗?

    有16位网友表示赞同!

笑叹★尘世美

我正在研究Kylin,这篇关于环境安装的文章很有用!

    有18位网友表示赞同!

我怕疼别碰我伤口

想搭建一个高效的Kylin环境,文章分享了不少思路。

    有10位网友表示赞同!

箜篌引

学习一下Kylin的安装流程,以便更好地使用它。

    有11位网友表示赞同!

眉黛如画

想要了解如何优化Kylin的环境配置,提高性能效果。

    有14位网友表示赞同!

堕落爱人!

Kylin在实际应用中比较常用的环境搭建方式是什么?

    有18位网友表示赞同!

【高效指南:快速搭建Kylin分析环境】相关文章:

1.蛤蟆讨媳妇【哈尼族民间故事】

2.米颠拜石

3.王羲之临池学书

4.清代敢于创新的“浓墨宰相”——刘墉

5.“巧取豪夺”的由来--米芾逸事

6.荒唐洁癖 惜砚如身(米芾逸事)

7.拜石为兄--米芾逸事

8.郑板桥轶事十则

9.王献之被公主抢亲后的悲惨人生

10.史上真实张三丰:在棺材中竟神奇复活

上一篇:揭秘七大高端高仿包购买渠道:如何找到顶级复刻包? 下一篇:免费流行歌曲MP3下载 - 最新好听的歌大全及百度网盘下载链接