// Path: src/libra/common/json/JsonSerializer.java
// public class JsonSerializer {
//     
//     private ObjectMapper mapper;
//             
//     public JsonSerializer() {
//         this.mapper = new ObjectMapper();
//     }
//     
//     public JsonSerializer(boolean prettyformat) {
//         this.mapper = new ObjectMapper();
//         this.mapper.configure(SerializationConfig.Feature.INDENT_OUTPUT, prettyformat);
//     }
//     
//     public String toJson(Object obj) throws IOException {
//         StringWriter writer = new StringWriter();
//         this.mapper.writeValue(writer, obj);
//         return writer.getBuffer().toString();
//     }
//     
//     public void toJsonConfiguration(Configuration conf, String key, Object obj) throws IOException {
//         String jsonString = toJson(obj);
//         
//         conf.set(key, jsonString);
//     }
//     
//     public void toJsonFile(File f, Object obj) throws IOException {
//         this.mapper.writeValue(f, obj);
//     }
//     
//     public void toJsonFile(FileSystem fs, Path file, Object obj) throws IOException {
//         if(!fs.exists(file.getParent())) {
//             fs.mkdirs(file.getParent());
//         }
//         
//         DataOutputStream ostream = fs.create(file, true, 64 * 1024, (short)3, 1024 * 1024);
//         this.mapper.writeValue(ostream, obj);
//         ostream.close();
//     }
//     
//     public Object fromJson(String json, Class<?> cls) throws IOException {
//         if(json == null) {
//             return null;
//         }
//         StringReader reader = new StringReader(json);
//         return this.mapper.readValue(reader, cls);
//     }
//     
//     public Object fromJsonConfiguration(Configuration conf, String key, Class<?> cls) throws IOException {
//         String jsonString = conf.get(key);
//         
//         if(jsonString == null) {
//             return null;
//         }
//         
//         return fromJson(jsonString, cls);
//     }
//     
//     public Object fromJsonFile(File f, Class<?> cls) throws IOException {
//         return this.mapper.readValue(f, cls);
//     }
//     
//     public Object fromJsonFile(FileSystem fs, Path file, Class<?> cls) throws IOException {
//         DataInputStream istream = fs.open(file);
//         Object obj = this.mapper.readValue(istream, cls);
//         
//         istream.close();
//         return obj;
//     }
// }
// 
// Path: src/libra/common/helpers/MapReduceHelper.java
// public class MapReduceHelper {
//     public static String getOutputNameFromMapReduceOutput(Path mapreduceOutputPath) {
//         return getOutputNameFromMapReduceOutput(mapreduceOutputPath.getName());
//     }
//     
//     public static String getOutputNameFromMapReduceOutput(String mapreduceOutputName) {
//         int midx = mapreduceOutputName.indexOf("-m-");
//         if(midx > 0) {
//             return mapreduceOutputName.substring(0, midx);
//         }
//         
//         int ridx = mapreduceOutputName.indexOf("-r-");
//         if(ridx > 0) {
//             return mapreduceOutputName.substring(0, ridx);
//         }
//         
//         return mapreduceOutputName;
//     }
//     
//     public static int getMapReduceID(Path mapreduceOutputName) {
//         return getMapReduceID(mapreduceOutputName.getName());
//     }
//     
//     public static int getMapReduceID(String mapreduceOutputName) {
//         int midx = mapreduceOutputName.indexOf("-m-");
//         if(midx > 0) {
//             return Integer.parseInt(mapreduceOutputName.substring(midx + 3));
//         }
//         
//         int ridx = mapreduceOutputName.indexOf("-r-");
//         if(ridx > 0) {
//             return Integer.parseInt(mapreduceOutputName.substring(ridx + 3));
//         }
//         
//         return 0;
//     }
//     
//     public static boolean isLogFiles(Path path) {
//         if(path.getName().equals("_SUCCESS")) {
//             return true;
//         } else if(path.getName().equals("_logs")) {
//             return true;
//         }
//         return false;
//     }
//     
//     public static boolean isPartialOutputFiles(Path path) {
//         if(path.getName().startsWith("part-r-")) {
//             return true;
//         } else if(path.getName().startsWith("part-m-")) {
//             return true;
//         }
//         return false;
//     }
// }


import org.codehaus.jackson.annotate.JsonProperty;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Collections;
import java.util.Hashtable;
import java.util.List;
import libra.common.json.JsonSerializer;
import libra.common.helpers.MapReduceHelper;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.codehaus.jackson.annotate.JsonIgnore;
            addRecord(record);
        }
    }
    
    @JsonIgnore
    public int getIDFromFilename(String filename) throws IOException {
        Integer ret = this.filenameCache.get(filename);
        if(ret == null) {
            throw new IOException("could not find id from " + filename);
        } else {
            return ret.intValue();
        }
    }
    
    @JsonIgnore
    public NamedOutputRecord getRecordFromID(int id) throws IOException {
        if(this.recordList.size() <= id) {
            throw new IOException("could not find record " + id);
        } else {
            return this.recordList.get(id);    
        }
    }
    
    @JsonIgnore
    public NamedOutputRecord getRecordFromMROutput(Path outputFile) throws IOException {
        return getRecordFromMROutput(outputFile.getName());
    }
    
    @JsonIgnore
    public NamedOutputRecord getRecordFromMROutput(String outputFilename) throws IOException {
// Path: src/libra/common/json/JsonSerializer.java
// public class JsonSerializer {
//     
//     private ObjectMapper mapper;
//             
//     public JsonSerializer() {
//         this.mapper = new ObjectMapper();
//     }
//     
//     public JsonSerializer(boolean prettyformat) {
//         this.mapper = new ObjectMapper();
//         this.mapper.configure(SerializationConfig.Feature.INDENT_OUTPUT, prettyformat);
//     }
//     
//     public String toJson(Object obj) throws IOException {
//         StringWriter writer = new StringWriter();
//         this.mapper.writeValue(writer, obj);
//         return writer.getBuffer().toString();
//     }
//     
//     public void toJsonConfiguration(Configuration conf, String key, Object obj) throws IOException {
//         String jsonString = toJson(obj);
//         
//         conf.set(key, jsonString);
//     }
//     
//     public void toJsonFile(File f, Object obj) throws IOException {
//         this.mapper.writeValue(f, obj);
//     }
//     
//     public void toJsonFile(FileSystem fs, Path file, Object obj) throws IOException {
//         if(!fs.exists(file.getParent())) {
//             fs.mkdirs(file.getParent());
//         }
//         
//         DataOutputStream ostream = fs.create(file, true, 64 * 1024, (short)3, 1024 * 1024);
//         this.mapper.writeValue(ostream, obj);
//         ostream.close();
//     }
//     
//     public Object fromJson(String json, Class<?> cls) throws IOException {
//         if(json == null) {
//             return null;
//         }
//         StringReader reader = new StringReader(json);
//         return this.mapper.readValue(reader, cls);
//     }
//     
//     public Object fromJsonConfiguration(Configuration conf, String key, Class<?> cls) throws IOException {
//         String jsonString = conf.get(key);
//         
//         if(jsonString == null) {
//             return null;
//         }
//         
//         return fromJson(jsonString, cls);
//     }
//     
//     public Object fromJsonFile(File f, Class<?> cls) throws IOException {
//         return this.mapper.readValue(f, cls);
//     }
//     
//     public Object fromJsonFile(FileSystem fs, Path file, Class<?> cls) throws IOException {
//         DataInputStream istream = fs.open(file);
//         Object obj = this.mapper.readValue(istream, cls);
//         
//         istream.close();
//         return obj;
//     }
// }
// 
// Path: src/libra/common/helpers/MapReduceHelper.java
// public class MapReduceHelper {
//     public static String getOutputNameFromMapReduceOutput(Path mapreduceOutputPath) {
//         return getOutputNameFromMapReduceOutput(mapreduceOutputPath.getName());
//     }
//     
//     public static String getOutputNameFromMapReduceOutput(String mapreduceOutputName) {
//         int midx = mapreduceOutputName.indexOf("-m-");
//         if(midx > 0) {
//             return mapreduceOutputName.substring(0, midx);
//         }
//         
//         int ridx = mapreduceOutputName.indexOf("-r-");
//         if(ridx > 0) {
//             return mapreduceOutputName.substring(0, ridx);
//         }
//         
//         return mapreduceOutputName;
//     }
//     
//     public static int getMapReduceID(Path mapreduceOutputName) {
//         return getMapReduceID(mapreduceOutputName.getName());
//     }
//     
//     public static int getMapReduceID(String mapreduceOutputName) {
//         int midx = mapreduceOutputName.indexOf("-m-");
//         if(midx > 0) {
//             return Integer.parseInt(mapreduceOutputName.substring(midx + 3));
//         }
//         
//         int ridx = mapreduceOutputName.indexOf("-r-");
//         if(ridx > 0) {
//             return Integer.parseInt(mapreduceOutputName.substring(ridx + 3));
//         }
//         
//         return 0;
//     }
//     
//     public static boolean isLogFiles(Path path) {
//         if(path.getName().equals("_SUCCESS")) {
//             return true;
//         } else if(path.getName().equals("_logs")) {
//             return true;
//         }
//         return false;
//     }
//     
//     public static boolean isPartialOutputFiles(Path path) {
//         if(path.getName().startsWith("part-r-")) {
//             return true;
//         } else if(path.getName().startsWith("part-m-")) {
//             return true;
//         }
//         return false;
//     }
// }


// Path: src/libra/common/namedoutput/NamedOutputs.java
import org.codehaus.jackson.annotate.JsonProperty;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Collections;
import java.util.Hashtable;
import java.util.List;
import libra.common.json.JsonSerializer;
import libra.common.helpers.MapReduceHelper;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.codehaus.jackson.annotate.JsonIgnore;

            addRecord(record);
        }
    }
    
    @JsonIgnore
    public int getIDFromFilename(String filename) throws IOException {
        Integer ret = this.filenameCache.get(filename);
        if(ret == null) {
            throw new IOException("could not find id from " + filename);
        } else {
            return ret.intValue();
        }
    }
    
    @JsonIgnore
    public NamedOutputRecord getRecordFromID(int id) throws IOException {
        if(this.recordList.size() <= id) {
            throw new IOException("could not find record " + id);
        } else {
            return this.recordList.get(id);    
        }
    }
    
    @JsonIgnore
    public NamedOutputRecord getRecordFromMROutput(Path outputFile) throws IOException {
        return getRecordFromMROutput(outputFile.getName());
    }
    
    @JsonIgnore
    public NamedOutputRecord getRecordFromMROutput(String outputFilename) throws IOException {
        String identifier = MapReduceHelper.getOutputNameFromMapReduceOutput(outputFilename);