当前位置：Gxlcms > 数据库问题 > 用SQL玩转数据挖掘之MADlib（一）——安装

用SQL玩转数据挖掘之MADlib（一）——安装

时间：2021-07-01 10:21:17 帮助过：41人阅读

二、安装

1. 确定安装平台

        MADlib最新发布版本是1.11，可以安装在PostgreSQL、Greenplum和HAWQ中，在不同的数据库中安装过程也不尽相同。我是安装在HAWQ2.1.1.0中。

2. 下载MADlib二进制安装压缩包

        下载地址为：https://network.pivotal.io/products/pivotal-hdb。2.1.1.0版本的HAWQ提供了四个安装文件，如图2所示。经过测试，只有MADlib 1.10.0版本的文件可以正常安装。

技术分享 图2 

3. 安装MADlib

        以下命令需要使用gpadmin用户，在HAWQ的master主机上执行。
（1）解压缩

[plain] view plain copy
  1. tar -zxvf madlib-ossv1.10.0_pv1.9.7_hawq2.1-rhel5-x86_64.tar.gz  

（2）安装MADlib的gppkg文件

[plain] view plain copy
  1. gppkg -i madlib-ossv1.10.0_pv1.9.7_hawq2.1-rhel5-x86_64.gppkg  

        该命令在HAWQ集群的所有节点（master和segment）上创建MADlib的安装目录和文件，缺省目录为/usr/local/hawq_2_1_1_0/madlib。
（3）在指定数据库中部署MADlib

[plain] view plain copy
  1. $GPHOME/madlib/bin/madpack install -c /dm -s madlib -p hawq  

        该命令在HAWQ的dm数据库中建立madlib schema，-p参数指定平台为HAWQ。命令执行后可以查看在madlib schema中创建的数据库对象。

[plain] view plain copy
  1. dm=# set search_path=madlib;  
  2. SET  
  3. dm=# \dt  
  4.                      List of relations  
  5.  Schema |       Name       | Type  |  Owner  |   Storage     
  6. --------+------------------+-------+---------+-------------  
  7.  madlib | migrationhistory | table | gpadmin | append only  
  8. (1 row)  
  9.   
  10. dm=# \ds  
  11.                         List of relations  
  12.  Schema |          Name           |   Type   |  Owner  | Storage   
  13. --------+-------------------------+----------+---------+---------  
  14.  madlib | migrationhistory_id_seq | sequence | gpadmin | heap  
  15. (1 row)  
  16.   
  17. dm=# select type,count(*)   
  18. dm-#   from (select p.proname as name,  
  19. dm(#                case when p.proisagg then ‘agg‘  
  20. dm(#                     when p.prorettype = ‘pg_catalog.trigger‘::pg_catalog.regtype then ‘trigger‘  
  21. dm(#                     else ‘normal‘  
  22. dm(#                 end as type  
  23. dm(#            from pg_catalog.pg_proc p, pg_catalog.pg_namespace n   
  24. dm(#           where n.oid = p.pronamespace and n.nspname=‘madlib‘) t   
  25. dm-#  group by rollup (type);  
  26.   type  | count   
  27. --------+-------  
  28.  agg    |   135  
  29.  normal |  1324  
  30.         |  1459  
  31. (3 rows)  

        可以看到，MADlib部署应用程序madpack首先创建数据库模式madlib，然后在该模式中创建数据库对象，包括 一个表，一个序列，1324个普通函数，135个聚合函数。所有的机器学习和数据挖掘模型、算法、操作和功能都是通过调用这些函数实际执行的。
（4）验证安装

[plain] view plain copy
  1. $GPHOME/madlib/bin/madpack install-check -c /dm -s madlib -p hawq  

        该命令通过执行29个模型的77个案例，验证所有模型都能正常工作。命令输出如下：

[plain] view plain copy
  1. [gpadmin@hdp3 Madlib]$ $GPHOME/madlib/bin/madpack install-check -c /dm -s madlib -p hawq  
  2. madpack.py : INFO : Detected HAWQ version 2.1.  
  3. TEST CASE RESULT|Module: array_ops|array_ops.sql_in|PASS|Time: 1851 milliseconds  
  4. TEST CASE RESULT|Module: bayes|gaussian_naive_bayes.sql_in|PASS|Time: 24222 milliseconds  
  5. TEST CASE RESULT|Module: bayes|bayes.sql_in|PASS|Time: 70634 milliseconds  
  6. TEST CASE RESULT|Module: crf|crf_train_small.sql_in|PASS|Time: 27186 milliseconds  
  7. TEST CASE RESULT|Module: crf|crf_train_large.sql_in|PASS|Time: 32602 milliseconds  
  8. TEST CASE RESULT|Module: crf|crf_test_small.sql_in|PASS|Time: 22410 milliseconds  
  9. TEST CASE RESULT|Module: crf|crf_test_large.sql_in|PASS|Time: 21711 milliseconds  
  10. TEST CASE RESULT|Module: elastic_net|elastic_net_install_check.sql_in|PASS|Time: 931563 milliseconds  
  11. TEST CASE RESULT|Module: graph|sssp.sql_in|PASS|Time: 18174 milliseconds  
  12. TEST CASE RESULT|Module: linalg|svd.sql_in|PASS|Time: 72105 milliseconds  
  13. TEST CASE RESULT|Module: linalg|matrix_ops.sql_in|PASS|Time: 58312 milliseconds  
  14. TEST CASE RESULT|Module: linalg|linalg.sql_in|PASS|Time: 2836 milliseconds  
  15. TEST CASE RESULT|Module: pmml|table_to_pmml.sql_in|PASS|Time: 34508 milliseconds  
  16. TEST CASE RESULT|Module: pmml|pmml_rf.sql_in|PASS|Time: 35993 milliseconds  
  17. TEST CASE RESULT|Module: pmml|pmml_ordinal.sql_in|PASS|Time: 15540 milliseconds  
  18. TEST CASE RESULT|Module: pmml|pmml_multinom.sql_in|PASS|Time: 12546 milliseconds  
  19. TEST CASE RESULT|Module: pmml|pmml_glm_poisson.sql_in|PASS|Time: 7321 milliseconds  
  20. TEST CASE RESULT|Module: pmml|pmml_glm_normal.sql_in|PASS|Time: 8597 milliseconds  
  21. TEST CASE RESULT|Module: pmml|pmml_glm_ig.sql_in|PASS|Time: 8861 milliseconds  
  22. TEST CASE RESULT|Module: pmml|pmml_glm_gamma.sql_in|PASS|Time: 26212 milliseconds  
  23. TEST CASE RESULT|Module: pmml|pmml_glm_binomial.sql_in|PASS|Time: 12977 milliseconds  
  24. TEST CASE RESULT|Module: pmml|pmml_dt.sql_in|PASS|Time: 9401 milliseconds  
  25. TEST CASE RESULT|Module: prob|prob.sql_in|PASS|Time: 1917 milliseconds  
  26. TEST CASE RESULT|Module: sketch|support.sql_in|PASS|Time: 143 milliseconds  
  27. TEST CASE RESULT|Module: sketch|mfv.sql_in|PASS|Time: 720 milliseconds  
  28. TEST CASE RESULT|Module: sketch|fm.sql_in|PASS|Time: 7301 milliseconds  
  29. TEST CASE RESULT|Module: sketch|cm.sql_in|PASS|Time: 19777 milliseconds  
  30. TEST CASE RESULT|Module: svm|svm.sql_in|PASS|Time: 205677 milliseconds  
  31. TEST CASE RESULT|Module: tsa|arima_train.sql_in|PASS|Time: 75680 milliseconds  
  32. TEST CASE RESULT|Module: tsa|arima.sql_in|PASS|Time: 76236 milliseconds  
  33. TEST CASE RESULT|Module: conjugate_gradient|conj_grad.sql_in|PASS|Time: 6757 milliseconds  
  34. TEST CASE RESULT|Module: knn|knn.sql_in|PASS|Time: 9835 milliseconds  
  35. TEST CASE RESULT|Module: lda|lda.sql_in|PASS|Time: 20510 milliseconds  
  36. TEST CASE RESULT|Module: stats|wsr_test.sql_in|PASS|Time: 2766 milliseconds  
  37. TEST CASE RESULT|Module: stats|t_test.sql_in|PASS|Time: 3686 milliseconds  
  38. TEST CASE RESULT|Module: stats|robust_and_clustered_variance_coxph.sql_in|PASS|Time: 17499 milliseconds  
  39. TEST CASE RESULT|Module: stats|pred_metrics.sql_in|PASS|Time: 14032 milliseconds  
  40. TEST CASE RESULT|Module: stats|mw_test.sql_in|PASS|Time: 1852 milliseconds  
  41. TEST CASE RESULT|Module: stats|ks_test.sql_in|PASS|Time: 2465 milliseconds  
  42. TEST CASE RESULT|Module: stats|f_test.sql_in|PASS|Time: 2358 milliseconds  
  43. TEST CASE RESULT|Module: stats|cox_prop_hazards.sql_in|PASS|Time: 39932 milliseconds  
  44. TEST CASE RESULT|Module: stats|correlation.sql_in|PASS|Time: 10520 milliseconds  
  45. TEST CASE RESULT|Module: stats|chi2_test.sql_in|PASS|Time: 3581 milliseconds  
  46. TEST CASE RESULT|Module: stats|anova_test.sql_in|PASS|Time: 1801 milliseconds  
  47. TEST CASE RESULT|Module: svec_util|svec_test.sql_in|PASS|Time: 14043 milliseconds  
  48. TEST CASE RESULT|Module: svec_util|gp_sfv_sort_order.sql_in|PASS|Time: 3399 milliseconds  
  49. TEST CASE RESULT|Module: utilities|text_utilities.sql_in|PASS|Time: 6579 milliseconds  
  50. TEST CASE RESULT|Module: utilities|sessionize.sql_in|PASS|Time: 3901 milliseconds  
  51. TEST CASE RESULT|Module: utilities|pivot.sql_in|PASS|Time: 15634 milliseconds  
  52. TEST CASE RESULT|Module: utilities|path.sql_in|PASS|Time: 9321 milliseconds  
  53. TEST CASE RESULT|Module: utilities|encode_categorical.sql_in|PASS|Time: 7665 milliseconds  
  54. TEST CASE RESULT|Module: utilities|drop_madlib_temp.sql_in|PASS|Time: 153 milliseconds  
  55. TEST CASE RESULT|Module: assoc_rules|assoc_rules.sql_in|PASS|Time: 31975 milliseconds  
  56. TEST CASE RESULT|Module: convex|lmf.sql_in|PASS|Time: 66775 milliseconds  
  57. TEST CASE RESULT|Module: glm|poisson.sql_in|PASS|Time: 19117 milliseconds  
  58. TEST CASE RESULT|Module: glm|ordinal.sql_in|PASS|Time: 23446 milliseconds  
  59. TEST CASE RESULT|Module: glm|multinom.sql_in|PASS|Time: 18780 milliseconds  
  60. TEST CASE RESULT|Module: glm|inverse_gaussian.sql_in|PASS|Time: 20931 milliseconds  
  61. TEST CASE RESULT|Module: glm|gaussian.sql_in|PASS|Time: 23795 milliseconds  
  62. TEST CASE RESULT|Module: glm|gamma.sql_in|PASS|Time: 43365 milliseconds  
  63. TEST CASE RESULT|Module: glm|binomial.sql_in|PASS|Time: 39437 milliseconds  
  64. TEST CASE RESULT|Module: linear_systems|sparse_linear_sytems.sql_in|PASS|Time: 5405 milliseconds  
  65. TEST CASE RESULT|Module: linear_systems|dense_linear_sytems.sql_in|PASS|Time: 3331 milliseconds  
  66. TEST CASE RESULT|Module: recursive_partitioning|random_forest.sql_in|PASS|Time: 294832 milliseconds  
  67. TEST CASE RESULT|Module: recursive_partitioning|decision_tree.sql_in|PASS|Time: 91311 milliseconds  
  68. TEST CASE RESULT|Module: regress|robust.sql_in|PASS|Time: 55325 milliseconds  
  69. TEST CASE RESULT|Module: regress|multilogistic.sql_in|PASS|Time: 25330 milliseconds  
  70. TEST CASE RESULT|Module: regress|marginal.sql_in|PASS|Time: 73750 milliseconds  
  71. TEST CASE RESULT|Module: regress|logistic.sql_in|PASS|Time: 76501 milliseconds  
  72. TEST CASE RESULT|Module: regress|linear.sql_in|PASS|Time: 7517 milliseconds  
  73. TEST CASE RESULT|Module: regress|clustered.sql_in|PASS|Time: 40661 milliseconds  
  74. TEST CASE RESULT|Module: sample|sample.sql_in|PASS|Time: 890 milliseconds  
  75. TEST CASE RESULT|Module: summary|summary.sql_in|PASS|Time: 14644 milliseconds  
  76. TEST CASE RESULT|Module: kmeans|kmeans.sql_in|PASS|Time: 52173 milliseconds  
  77. TEST CASE RESULT|Module: pca|pca_project.sql_in|PASS|Time: 229016 milliseconds  
  78. TEST CASE RESULT|Module: pca|pca.sql_in|PASS|Time: 523230 milliseconds  
  79. TEST CASE RESULT|Module: validation|cross_validation.sql_in|PASS|Time: 33685 milliseconds  
  80. [gpadmin@hdp3 Madlib]$  

        可以看到，所有案例都已经正常执行，说明MADlib安装成功。

三、卸载

        卸载过程基本上是安装的逆过程。

1. 删除madlib模式

        方法1，使用madpack部署应用程序。

[plain] view plain copy
  1. $GPHOME/madlib/bin/madpack uninstall -c /dm -s madlib -p hawq  

        方法2，使用SQL命令手工删除模式。

[sql] view plain copy
  1. drop schema madlib cascade;  


2. 删除其它遗留数据库对象

人气教程排行

本站所有资源全部来源于网络，若本站发布的内容侵害到您的隐私或者利益，请联系我们删除！