快速,持续,稳定,傻瓜式
支持Mysql,Sqlserver数据同步

CDH6.3中HUE的配置,集成mysql,hive,hbase,spark,sparksql,pyspark

在线QQ客服:1922638

专业的SQL Server、MySQL数据库同步软件

要在CDH集成环境中打开色相组件,只需在hue_safety_valve.ini的Hue服务高级配置代码段(安全阀)中写入配置文件即可正常工作,

然后根据所需的服务安装该服务。

最后,这似乎很容易,但是详细说明实际上并不多,还有版本问题。请参考你们的教程,并对照正式文档核对记录(以免差评)。

集成蜂巢服务

在hive服务中启用hiveserver2服务

FF

服务地址在hue配置中声明(默认情况下提供了这些hive,如果要添加其他配置,最好将它们写出来)

 

声明要在笔记本中实施的服务

 

集成的hbase服务

在hbase组件中启用HBase Thrift Server服务

FF

在色相配置中,添加以下内容

 

集成的MYSQL服务

mysql服务必须已经存在,直接添加配置。

同样,首先声明接口服务信息

 

再次通过笔记本显示

 

将livy集成到CDH集中管理中(暂时不可用)

此方法将livy打包到一个包裹中,并为CDH创建一个csd文件,然后可以完全管理CDH

由SCM管理的这种解决方案应该是最好的。再次尝试安装后,发现未达到预期效果,因此被暂时放弃。具体表现是该角色仅是网关(至少有两个其他角色)。端口上没有UI服务,您看到的内容可能是SCM为他提供的管理信息。可能是版本问题,期待将来进行更新。

livy服务类似于spark的thirf界面

https://livy.incubator.apache.org/download/

 

制作Livy的包裹包和csd文件

 

 

将Parcel软件包和manifest.json文件部署到httpd服务

 

访问httpd服务以查看其是否可用

 

将生成的csd文件复制到cloudera-manager-server服务所在的节点的/opt/cloudera/csd目录中

 

在主机->包裹—->配置中添加http://192.168.22.235/livy/

如果您在哈希验证中遇到问题,则可以手动测试包裹并删除livy的http配置(我遇到的这个问题非常神奇,系统会将包裹复制到parcels文件夹中,包裹文件的大小会变大,导致哈希值更改并失败)

重新启动cloudera-scm-server服务

 

独立部署livy服务

选择一个节点以手动部署并启用livy服务。

下载并解压缩

? livy项目地址https://livy.incubator.apache.org/

配置conf/livy.conf文件

?这部分的内容也与hue.ini相关,冲突吗? ? ? (例如livy_server_session_kind =纱线)

? deployMode可以使用客户端/群集

 

配置conf/livy-env.sh

? jdk使用cdh随附的版本,请注意log目录,您无法配置它,默认值为$ {livy_home}/logs

 

开始服侍服务

 

在” Hue_safety_valve.ini色相服务高级配置代码段(安全阀)”中添加配置内容。

这是包括以上所有配置的最终编辑结果。

编辑此文件时,请注意原始的hue.ini和官方文档https://docs.gethue.com/administrator/configuration/connectors/

 

在sparksql服务中,使用livy服务报告了400个错误,原因未知。发现hiveserver2可以继续使用。在spark中配置hiveserver2与livy不冲突。

谢谢

链接

链接

链接

等待

相关推荐

咨询软件
 
QQ在线咨询
售前咨询热线
QQ1922638