用nutch2.x爬取国内网站,因为国内网站的编码并不统一,同时有gbk和utf8的门户网站也不少,我用nutch2.x爬取的网页数据存入数据库因为编码不统一,总是存在乱码的问题。请问该如何解决。
或者说,我在用nutch2.x爬取国内网站的时候,如何做到编码自动转换为统一编码存入mysql