问题 R write.csv使用UTF-16编码


我在使用输出data.frame时遇到问题 write.csv 使用UTF-16字符编码。

背景:我正在尝试从data.frame写出一个CSV文件,以便在Excel中使用。 Excel Mac 2011似乎不喜欢UTF-8(如果我在文本导入期间指定UTF-8,则非ASCII字符显示为下划线)。我一直认为Excel会对UTF-16LE编码感到满意。

这是示例data.frame:

> foo
  a  b
1 á 羽
> Encoding(levels(foo$a))
[1] "UTF-8"
> Encoding(levels(foo$b))
[1] "UTF-8"

所以我尝试输出data.frame:

f <- file("foo.csv", encoding="UTF-16LE")
write.csv(foo, f)

这给了我一个看起来像这样的ASCII文件:

"","

如果我使用 encoding="UTF-16",我得到一个只包含字节顺序标记的文件 0xFE 0xFF

如果我使用 encoding="UTF-16BE",我得到一个空文件。

这是在Mac OS X 10.6.6上的64位版本的R 2.12.2上。我究竟做错了什么?


1334
2018-03-10 23:15


起源

为了记录,WTF错误的Excel和UTF-8?我的意思是,来吧,这是2011年。 - Daniel Dickison


答案:


你可以简单地保存 CSV 在UTF-8中,稍后将其转换为UTF-16LE 的iconv 在终端。

如果你坚持在R中这样做,以下可能会奏效 - 尽管看起来如此 iconv 在R确实有一些问题,请参阅: http://tolstoy.newcastle.edu.au/R/e10/devel/10/06/0648.html

> x <- c("foo", "bar")
> iconv(x,"UTF-8","UTF-16LE")
Error in iconv(x, "UTF-8", "UTF-16LE") : 
  embedded nul in string: 'f\0o\0o\0'

你可以看到真正需要上面链接的补丁 - 我没有测试过,但如果你想让它保持模拟(和讨厌):只需调用R里面的第三方iconv程序 system 保存表后调用 CSV


6
2018-03-10 23:54



输出UTF-8后我一直在使用iconv,但我希望我只是做错了,R会很高兴直接输出UTF-16。我猜可能不是这样的...... - Daniel Dickison
@Daniel Dickison:看起来如此:(如果可以,我建议你在保存数据框后从R调用iconv,只需使用 system 功能 - 这样您就不必启动单独的程序。您还可以通过编写一个保存的小函数来自动执行该过程 CSV 并且还转换为所需的编码。祝你好运! - daroczig
为什么在R中仍然没有修复UTF-16 iconv问题(补丁是2010年)?在2016年,我仍然看不到简单的“原生”方式来读取或写入UTF-16(Windows)编码的文本文件:-( - R Yoda


这样的事情可能会做(write.csv() 只是忽略编码,所以你必须选择 writLines() 要么 writeBin())...

#' function to convert character vectors to UTF-8 encoding
#'
#' @param x the vector to be converted
#' @export 

toUTF8 <- 
  function(x){
    worker <- function(x){
      iconv(x, from = Encoding(x), to = "UTF-8")
    }
    unlist(lapply(x, worker))
  }



#' function to write csv files with UTF-8 characters (even under Windwos)
#' @param df data frame to be written to file
#' @param file file name / path where to put the data
#' @export 

write_utf8_csv <- 
function(df, file){
  firstline <- paste(  '"', names(df), '"', sep = "", collapse = " , ")
  char_columns <- seq_along(df[1,])[sapply(df, class)=="character"]
  for( i in  char_columns){
    df[,i] <- toUTF8(df[,i])
  }
  data <- apply(df, 1, function(x){paste('"', x,'"', sep = "",collapse = " , ")})
  writeLines( c(firstline, data), file , useBytes = T)
}


#' function to read csv file with UTF-8 characters (even under Windwos) that 
#' were created by write_U
#' @param df data frame to be written to file
#' @param file file name / path where to put the data
#' @export 

read_utf8_csv <- function(file){
  # reading data from file
  content <- readLines(file, encoding = "UTF-8")
  # extracting data
  content <- stringr::str_split(content, " , ")
  content <- lapply(content, stringr::str_replace_all, '"', "")
  content_names <- content[[1]][content[[1]]!=""]
  content <- content[seq_along(content)[-1]]  
  # putting it into data.frame
  df <- data.frame(dummy=seq_along(content), stringsAsFactors = F)
  for(name in content_names){
    tmp <- sapply(content, `[[`, dim(df)[2])
    Encoding(tmp) <- "UTF-8"
    df[,name] <- tmp 
  }
  df <- df[,-1]
  # return
  return(df)
}

4
2018-05-05 06:38