当前位置:Gxlcms > 数据库问题 > R语言︱ 数据库SQL-R连接与SQL语句执行(RODBC、sqldf包)

R语言︱ 数据库SQL-R连接与SQL语句执行(RODBC、sqldf包)

时间:2021-07-01 10:21:17 帮助过:94人阅读

RMySQL。但是在R里面,回传文本会出现截断的情况,这一情况可把我弄得有点手足无措。

 

 

一、数据库读入——RODBC包

 

 

CRAN 里面的包 RODBC 提供了 ODBC的访问接口:

  • odbcConnect 或 odbcDriverConnect (在Windows图形化界面下,可以通过对话框选择数据库) 可以打开一个连接,返回一个用于随后数据库访问的控制(handle)。 打印一个连接会给出ODBC连接的一些细节,而调用 odbcGetInfo 会给出客户端和服务器的一些细节信息。
  • 在一个连接中的表的细节信息可以通过函数 sqlTables 获得。
  • 函数 sqlSave 会把 R 数据框复制到一个数据库的表中, 而函数 sqlFetch 会把一个数据库中的表拷贝到 一个 R 的数据框中。
  • 通过sqlQuery进行查询,返回的结果是 R 的数据框。(sqlCopy把一个 查询传给数据库,返回结果在数据库中以表的方式保存。) 一种比较好的控制方式是首先调用 odbcQuery, 然后 用 sqlGetResults 取得结果。后者可用于一个循环中 每次获得有限行,就如函数 sqlFetchMore 的功能。
  • 连接可以通过调用函数 close 或 odbcClose 来关闭。 没有 R 对象对应或不在 R 会话后面的连接也可以调用这两个函数来关闭, 但会有警告信息。

 

 

[plain] view plain copy      print?技术分享技术分享
  1. #安装RODBC包  
  2. install.packages("RODBC")   
  3. library(RODBC)  
  4. mycon<-odbcConnect("mydsn",uid="user",pwd="rply")  
  5. #通过一个数据源名称(mydsn)和用户名(user)以及密码(rply,如果没有设置,可以直接忽略)打开了一个ODBC数据库连接  
  6.   
  7. data(USArrests)  
  8. #将R自带的“USArrests”表写进数据库里  
  9. sqlSave(mycon,USArrests,rownames="state",addPK=TRUE)  
  10. #将数据流保存,这时打开SQL Server就可以看到新建的USArrests表了  
  11. rm(USArrests)  
  12. #清除USArrests变量  
  13.   
  14. sqlFetch(mycon, "USArrests" ,rownames="state")  
  15. #输出USArrests表中的内容  
  16. sqlQuery(mycon,"select * from USArrests")  
  17. #对USArrests表执行了SQL语句select,并将结果输出  
  18.   
  19. sqlDrop(channel,"USArrests")  
  20. #删除USArrests表  
  21. close(mycon)  
  22. #关闭连接  

本段来自R语言︱文件读入、读出一些方法罗列(批量xlsx文件、数据库、文本txt、文件夹)

 

1、sqlSave函数

 

[plain] view plain copy    print?技术分享技术分享
  1. sqlSave(channel, dat, tablename = NULL, append = FALSE,  
  2.         rownames = TRUE, colnames = FALSE, verbose = FALSE,  
  3.         safer = TRUE, addPK = FALSE, typeInfo, varTypes,  
  4.         fast = TRUE, test = FALSE, nastring = NULL)  


其中这个函数的使用还是很讲究的,参数的认识很重要。

 

append代表是否追加,默认不追加,如果一张已经有数据的表,就可以用append追加新的数据,需要同样的column,一般开个这个就行。

rownames,可以是逻辑值,也可以是字符型。

colnames,列名;

verbose,默认为FALSE,是否发送语句到R界面,如果TRUE,那么每条上传数据就会出现在命令栏目致之中。

addPK,是否将rownames指定为主键。

 

2、sqlUpdate函数

 

[html] view plain copy    print?技术分享技术分享
  1. sqlUpdate(channel, dat, tablename = NULLindex = NULL,  
  2.           verbose = FALSEtest = FALSEnastring = NULL,  
  3.           fast = TRUE)  

更新已经存在的表格,需要包括已经存在的列。

 

 

 

——————————————————————————————————————————————

 

二、sqldf包

 

本包的学习来自CDA DSC课程,L2-R语言第四讲内容,由常老师主讲。与RODBC的区别在于,前面是直接调用数据库SQL中的数据;而该包是在R语言环境中,执行SQL搜索语言。

组合使用:RODBC从数据库读入环境,sqldf进行搜索(适合SQL大神)。

其他函数的类似功能可以看:R语言数据集合并、数据增减

 

 

1、SQL基本特点

 

SQL语句语句特点:先全局选择,再局部选择

Select * from sale where year=2010 and ...

 

where后面可以接很多,有比较运算符,算数运算符,逻辑运算符。

比较运算符号:=(等于,不是双引号);!=(不等于);>,<,>=,<=

算数运算符:*,/,+,-

逻辑运算符:&&(and,与), ||(or,或) ,!(,not非)

 

2、数据筛选与排序

 

数据筛选可以有subset函数,排序有order/sort函数

 

 

[html] view plain copy    print?技术分享技术分享
  1. #选择表中指定列*/  
  2. sqldf("select year,market,sale,profit from sale")  
  3.   
  4. #选择满足条件的行*/  
  5. sqldf("select * from sale where year=2012 and market=‘东‘")  
  6.    #语句特点,先抽取全局数据,然后再执行局部选择  
  7.    #字符单引号,切记  
  8.   
  9. #对行进行排序*/  
  10. sqldf("select year,market,sale,profit  
  11.       from sale  
  12.       order by year")  



 

数据筛选:sqldf可以执行选择表中指定指标、满足条件的行(注意:抽取满足条件的行的字符时,字符型需要用单引号),语法结构是:

select  指标名称 from 数据集 where 某指标=条件  

 

排序order:按照某变量排序,语法结构:

select 指标名称(或全部)from 数据集 order by 指标名称

 

3、数据合并——纵向连接

 

数据合并的方法很多,基本函数包中有merge、cbind/rbind,以及一些专业的包plyr、dplyr、data.table等

rbind/cbind对数据合并的要求比较严格:合并的变量名必须一致;数据等长;指标顺序必须一致。

sqldf就不会这么苛刻,并参照了一些集合查询的方法(关于基础包的集合查询可参考:R语言︱集合运算)。

 

(1)并——union

 

 

[html] view plain copy    print?技术分享技术分享
  1. UNION3<-sqldf("select * from one union select * from two")  
  2.    #合并后去重,rbind是合并后不去重  
  3. UNION_all<-sqldf("select * from one union all select * from two")  
  4.    #all可以支持,合并后不去重  


rbind/cbind是将数据一股脑子全部帖在一起,只合并不去重;sqldf则可以自行选择,语法结构:

 

select * from 数据集1 union (all) select * from 数据集2

其中的all代表不去重,一起加进来。

 

(2)差(except)、交(Intersect)

 

 

[html] view plain copy    print?技术分享技术分享
  1. #EXCEPT_差集  
  2.    #不存在all  
  3. EXCEPT<-sqldf("select * from one EXCEPT select * from two")  
  4.   
  5. #INTERSECT——交集  
  6. INTERSECT<-sqldf("select * from one INTERSECT select * from two")  


差集就是找两个数据集的不同的数据,而且是数据集1中,去掉重复的数值;并集则是两个数据集的重合(去重可以用)之处。

 

 

4、数据合并——横向连接

 

横向连接有三种类型:交叉连接(笛卡尔乘积,大乱炖所有数据重新排列组合合并起来,一般在实验设计涉及全排列的时候可以很好地使用)、内连接(筛选匹配到的数据)、外连接。

技术分享

其中,sqldf 中的右连接、全连接已经失效,一般情况下会大多选择左联结。

 

(1)内连接——匹配到完全一致的

 

 

[html] view plain copy    print?技术分享技术分享
  1. > inner1<- merge(table1, table2, by = "id"all = F);inner1  #筛选相同id,F为只连接匹配到的,T为没有匹配到的赋值NA  
  2.   id a b  
  3. 1  3 c e  
  4. > inner2<-inner_join(table1, table2, by = "id");inner2   #与merge完全一致  
  5.   id a b  
  6. 1  3 c e  

人气教程排行