【Wyn 6.0 Update1】更高效数据分析(5):支持ClickHouse为内置分析数据库
本帖最后由 Eden.Sun 于 2023-1-5 18:08 编辑Wyn6.1 版本支持大型数仓ClickHouse设置为内置数据库满足大数据量分析需求,在6.1之前内置的分析性数据库是MonetDb数据库,MonetDb算是一种中小型的数据库,当数据为几百万行和数百列的数据库表他可以提供高性能查询的支持,但是在进行大数据量上分析的时候,就会存在一些性能瓶颈,比如:1、在极端情况下偶尔会出现损坏(内存/硬盘耗尽)2、可能会吃掉服务器的物理内存 等问题,这些问题会导致数据集缓存失败,数据加载不出来。为了更好的解决大数据量情况下数据加载的性能和数据加载的稳定性。6.1的版本支持把ClicHouse作为内置数据库来进行大数据的分析
ClickHouse 是列式储存数据库,它的性能非常好。
[*]count: 千万级别,500毫秒,1亿 800毫秒2亿 900毫秒 3亿 1.1秒
[*]group: 百万级别 200毫米,千万 1秒,1亿 10秒,2亿 20秒,3亿 30秒
[*]join:千万-10万 600 毫秒, 千万 -百万:10秒,千万-千万 150秒
下面就给大家详细的介绍一下,如何把ClickHouse 配置为内置分析数据库
https://gcdn.grapecity.com.cn/data/attachment/forum/202212/12/183727ts7h9xfxiiqf8azx.png https://gcdn.grapecity.com.cn/data/attachment/forum/202212/12/183734rlolc9eb89llxgxe.png
1、首先你需要有一个ClickHouse的服务器,如果么有对应的服务器就需要安装 ClickHouse 服务器
2、安装好之后可以进行ClickHouse服务器的测试连接,具体的测试验证可以看这个操作教程
在左侧数据源列表或者在右侧图标视图中选择 ClickHouseV2。
填写数据库配置信息。
连接成功后,单击“确定”按钮。
3、数据连接测试成功后,就需要进行下面关键的一步,就是进行配置文件的修改。通过修改配置文件把 ClickHouse 设置为内置分析数据库
打开Wyn.conf文件,如果Wyn默认路径安装,那么文件路径如下:C:\Program Files\Wyn Enterprise\Monitor\conf
在 GlobalSettings做如下配置
<font face="微软雅黑"><GlobalSettings>
<IdentityServerUrl>http://localhost:51980</IdentityServerUrl>
</GlobalSettings></font>配置如下,加DataWarehouse 的配置,Host代表主机名或主机IP,Port代表端口号,默认为8123
如:
Host=myServerAddress;Port=myServerPort;Username=myUsername;Password=myPassword;Database=myDatabase;其中Username和Password 可省略。比如:Host=10.32.210.186;Port=8123;Database=default<font face="微软雅黑"><GlobalSettings>
<IdentityServerUrl>http://localhost:51980</IdentityServerUrl>
<DataWarehouse>
<Provider>ClickHouseV2</Provider>
<ConnectionString>host=10.32.210.186;port=8123;database=default;</ConnectionString>
</DataWarehouse>
</GlobalSettings></font>4、配置好之后把Wyn的整个服务重现启动下,Wyn的服务重启
页:
[1]