点击获取AI摘要

大数据套件安装

本文记录了jdk，FineBI，kettle的安装过程。

jdk安装

把jdk1.8.0_301.zip文件解压缩，放在某个目录中，本教程中是D:\program files\

jdk01.png

jdk02.png

jdk03.png

确认jdk安装成功，在cmd中输入 java -version

jdk04.png

FineBI安装使用

BI：business intelligence

FineBI介绍

1：数据可以帮助我们做什么 ？

​ 1-1 历史数据分析：分析已有的数据，对之前发生的事情做分析，找到原因

​ 1-2 实时数据分析：对当下发生的数据进行处理，及时展示数据信息。让企业关注实时发展动态

​ 1-3 未来数据：对未来即将发生的事情进行预测，帮助企业调整方向

2：FineBI有哪些优势

​ 1：个人用户完全免费，企业用户收费较低

​ 2：自动式BI工具，企业或者个人自己搭建服务器，就可以访问BI版块

​ 3：兼容多种数据源

​ 4：零编码设计，让数据可视化工具通过拖拉拽就可以完成日常的需求

​ 5：有超强的数据录入能力，在数据源加载以后依然可以修改、删除补录数据

3：FineBI的使用场景

​ FineBI在大数据的场景中，使用一般是将我们抽取的数据源加载完毕后，满足数据分析要求的数据或者指标的数据在进行BI开发。

FineBI的安装

第一步：找到软件，右键安装

第二步：配置安装路径

第三步：修改jvm内存（默认-本机内存的二分之一）

第四步：安装后运行之激活码的获取

第五步：启动界面分析

finebi1.png

第六步：密码设置

第七步：数据库的选择

第八步：页面介绍

finebi2.png

网页开发优点

如果企业中，我们将FineBI部署在一个服务器中，所有人都可以访问浏览器访问这个服务器进行BI开发

1、此时所有的人的使用开发环境是相同

2、方便数据源的使用，绑定或者提取一次数据源所有的开发者都可以使用

3、开发结果所有的人都可以通过浏览器的方式查看

4、可以快速分析数据报表（表格和图形）给非专业人事看

开发前的数据准备

1、大数据开发，既不产生数据，也不消费数据

​ 业务部门各个数据源提供生产数据（抽）

​ BI开发、数据分析师、运营部门、产品经理

因为BI开发都是大数据的下游部门，所以开发之前必须有数据！！！

操作：把我们提供给大家的sql脚本，导入到数据库中

1：启动datagrip ，选择一个数据库连接，找到结构，右键 run sql Script

finebi3.png

2：找到要执行sql脚本文件

finebi4.png

3：导入数据结果

finebi5.png

数据准备

1：创建数据库连接

finebi6.png

2：创建分组&业务包

finebi7.png

3：给业务包添加数据

finebi8.png

4：最重要的一步

finebi9.png

仪表版内容

finebi10.png

1：新建仪表板

finebi11.png

2：选择仪表板样式

finebi12.png

3：选择数据源

finebi13.png

4：页面编辑界面介绍

finebi14.png

5：点击分区柱形图

6：拖拽字段

finebi15.png

7：通过自定义图标将下面的展示改为线

8：修改图表颜色

第九步：取消图例

finebi16.png

不同地区访问人数表

1：加载数据源

finebi17.png

第二步：选择分析数据表

finebi18.png

第三步：更新业务数据包

finebi19.png

第四步：进入仪表盘

finebi20.png

第五步：选择要分析的数据表

finebi21.png

第六步：选择 地图

finebi22.png

第七步：构建地图（添加横轴、纵轴）

finebi23.png

总结：大屏展示的步骤

1：连接内部（外部的数据库）-找到要展示bi库

2：数据准备、 创建分组，根据数据连接创建业务包【注意！！一定要记得点更新】

3：进入仪表板

​ 3-1：创建组件

​ 3-2：加载数据源

​ 3-3：配置

拓展：

​ 遇到问题！！！记载页面数据发现有点卡

1：进入安装目录下的bin文件夹， 找到 finebi.vmoptions

集团数据分析_数据准备

1：找到数据需要数据

finebi24.png

2：分析数据之前的关系

finebi25.png

3：自主选取数据，选择字段

finebi26.png

4：数据自助选取结果

finebi27.png

5：添加新增了-毛利额

finebi28.png

6：创建集团分析源表

finebi29.png

7：查看源数据集是否创建成功

finebi30.png

8：创建仪表盘

finebi31.png

集团数据分析_月销售额

1：使用sql分析

finebi32.png

2：创建图表

finebi33.png

3：解决时间的问题&毛利额问题

finebi34.png

同比&环比【拓展】

1：同比是本期与同期做对比 eg： 2020-1 2019-1

​ –本期指一定时期如月、季度、年

​ 同期

2：环比：表示连续2个统计周期内的量的变化比 eg：2020-1 2020-2

finebi35.png

finebi36.png

4：修改组件颜色

finebi37.png

Kettle安装使用

kettle是一个etl工具，etl是进行数据抽取 转换 加载

kettle用java开发的，所以要安装jdk（java development kit），

windows下使用 kettle打开Spoon.bat

mac 下打开 kettle 使用终端 cd 切换到 你解压的kettle的目录下， ==sh ./spoon.sh==

txt数据转换Excel数据
  1. 新建转换

kettle1.png

  1. 创建文本输入组件

kettle2.png

  1. kettle3.png

  2. kettle4.png

  3. kettle5.png

  4. kettle6.png

  5. kettle7.png

  6. 获取好字段之后，点击确定保存即可。

  7. kettle8.png

  8. kettle9.png

  9. kettle10.png

  10. kettle11.png

  11. 当看到流程上面有绿色的对勾 表示转换成功了

Excel数据转换Mysql数据

  1. 找到要转换为excel文件

  2. 打开DG或者是使用命令行进入到mysql数据库，创建一个数据库

    1
    CREATE DATABASE kettle_db CHARSET =utf8;

  3. 配置kettle和mysql连接，

    kettle12.png

    kettle13.png

    kettle14.png

    kettle15.png

    1
    2
    3
    4
    5
    kettle_demo/type=javax.sql.DataSource  
    kettle_demo/driver=com.mysql.cj.jdbc.Driver
    kettle_demo/url=jdbc:mysql://192.168.88.100:3306/kettle_demo?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT
    kettle_demo/user=root
    kettle_demo/password=123456

  4. 先去新建输入和输出组件

kettle16.png

image-20211202104034187.png

  1. kettle17.png

  2. kettle18.png

  3. kettle19.png

  4. kettle20.png

  5. kettle21.png

  6. kettle22.png

  7. kettle23.png

  8. kettle24.png

  9. ctrl+s 将流程进行保存，保存之后，点击执行即可。

错误问题

kettle25.png

  1. 找到自己的mysql的配置文件 my.ini

default_authentication_plugin 这个选项后面的值 改为

1
default_authentication_plugin=mysql_native_password

保存这个文件， 打开 win+R， 输入services.msc，重启此服务

Mysql表间转换

设置数据库连接的共享

kettle26.png

  1. kettle27.png
  2. kettle28.png
  3. kettle29.png
  4. kettle30.png
  5. 保存并执行即可

插入-更新组件

  1. 清空 new_user 表中的数据（右键Database Tools Truncate）
  2. 先将 t_user 表中的张三 改为 20岁，重新的去执行 刚才的 table_to_table 这个脚本，将t_user表中的数据 ，添加到 new_user 表。
  3. kettle31.png
  4. kettle32.png
  5. kettle33.png
  6. kettle34.png
  7. 保存并执行

switch-case组件

1， kettle35.png

  1. kettle36.png
  2. kettle37.png
  3. kettle38.png
  4. excel输出男和女的时候，配置基本一样，女的配置参照男的截图（3-4）
  5. 保存这个流程 并执行。

SQL脚本组件

kettle39.png

设置转换参数

kettle40.png

kettle41.png

kettle42.png

kettle43.png

接下来就可以保存去执行了

job开发

  1. 新建jobkettle44.png
  2. 先将job保存完毕之后，再去设置转换kettle45.png
  3. kettle46.png

==Kettle中文网 – Kettle安装、Kettle使用、Kettle中文==