mapreduce对于关系数据库的连接和访问

关系数据库的连接和访问

1.从数据库中输入数据

DBInputFormat提供从数据库读取数据的格式
DBRecordReader提供读取数据记录的接口
Hadoop允许直接从数据库读取数据，但是这样的话频繁读取会大大加重数据库的负载，所以一般不建议这样做
一个比较好的解决方法是：用数据库中的dump工具将待分析的大量数据输出为文本数据文件，并上载到HDFS中进行处理。

2.向数据库中输出计算结果
DBOutputFormat提供向数据库中输出数据的格式
DBRecordWriter提供向数据库中写入数据记录的接口
DBConfiguration提供数据库配置和创建连接的接口

DBConfiguration 中的静态方法：

?

public static void configureDB(Job job,String driverClass,String dbUrl,String userName,String password)

?DBOutputFormat 中提供静态方法（指定需要写入的数据表和字段）：

?

?

public static void setOutput(Job job,String tableName,String ...fieldNames)

示例：

Configuration conf = new Configuration();Job job = new Job(conf,JobClass.class);job.setOutputFormat(DBOutputFormat.class);DBConfiguration.configureDB(job,"com.mysql.jdbc.Driver","jdbc:mysql://db.host.com/mydb","myname","mypassword");DBOutputFormat.setOutput(job,"Customers","Name","PhoneNumber");

?此外为了向数据库中写入数据还得实现DBWritable

package test;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import org.apache.hadoop.io.Writable;import org.apache.hadoop.mapred.lib.db.DBWritable;public class CustomersDBWritable implements Writable, DBWritable {private String CustomerName;private String PhoneNumber;@Overridepublic void readFields(ResultSet resultSet) throws SQLException {CustomerName = resultSet.getString(1);PhoneNumber = resultSet.getString(2);// 除非是用DBInputFormat直接向数据库输入数据，否则readFields方法不会被调用}@Overridepublic void write(PreparedStatement statement) throws SQLException {statement.setString(1, CustomerName);statement.setString(2, PhoneNumber);}@Overridepublic void readFields(DataInput in) throws IOException {CustomerName = in.readUTF();PhoneNumber = in.readUTF();}@Overridepublic void write(DataOutput out) throws IOException {out.writeUTF(CustomerName);out.writeUTF(PhoneNumber);}}

??

?