Search in sources :

Example 6 with ModelSaveContext

use of com.tencent.angel.model.ModelSaveContext in project angel by Tencent.

the class AngelClient method saveMatrices.

/**
 * Save matrices to files.
 *
 * @param matrixNames need save matrix name list
 */
public void saveMatrices(List<String> matrixNames) {
    ModelSaveContext saveContext = new ModelSaveContext();
    saveContext.setSavePath(conf.get(AngelConf.ANGEL_JOB_OUTPUT_PATH));
    for (String name : matrixNames) {
        saveContext.addMatrix(new MatrixSaveContext(name));
    }
    save(saveContext);
}
Also used : MatrixSaveContext(com.tencent.angel.model.MatrixSaveContext) ModelSaveContext(com.tencent.angel.model.ModelSaveContext)

Example 7 with ModelSaveContext

use of com.tencent.angel.model.ModelSaveContext in project angel by Tencent.

the class ProtobufUtil method convert.

public static ModelSaveContext convert(ModelSaveContextProto saveContext) {
    ModelSaveContext context = new ModelSaveContext(saveContext.getSavePath());
    context.setCheckpoint(saveContext.getCheckpint());
    List<MatrixSaveContextProto> matricesContext = saveContext.getMatrixContextesList();
    int size = matricesContext.size();
    for (int i = 0; i < size; i++) {
        context.addMatrix(convert(matricesContext.get(i)));
    }
    return context;
}
Also used : MatrixSaveContextProto(com.tencent.angel.protobuf.generated.ClientMasterServiceProtos.MatrixSaveContextProto) PSMatrixSaveContextProto(com.tencent.angel.protobuf.generated.PSMasterServiceProtos.PSMatrixSaveContextProto) ModelSaveContext(com.tencent.angel.model.ModelSaveContext)

Aggregations

ModelSaveContext (com.tencent.angel.model.ModelSaveContext)7 MatrixSaveContext (com.tencent.angel.model.MatrixSaveContext)4 Map (java.util.Map)2 ServiceException (com.google.protobuf.ServiceException)1 AngelException (com.tencent.angel.exception.AngelException)1 MatrixContext (com.tencent.angel.ml.matrix.MatrixContext)1 MatrixMeta (com.tencent.angel.ml.matrix.MatrixMeta)1 PSModel (com.tencent.angel.ml.model.PSModel)1 ModelSaveResult (com.tencent.angel.model.ModelSaveResult)1 PSMatricesSaveContext (com.tencent.angel.model.PSMatricesSaveContext)1 PSMatricesSaveResult (com.tencent.angel.model.PSMatricesSaveResult)1 PSMatrixSaveContext (com.tencent.angel.model.PSMatrixSaveContext)1 RowIdColIdValueTextRowFormat (com.tencent.angel.model.output.format.RowIdColIdValueTextRowFormat)1 MatrixSaveContextProto (com.tencent.angel.protobuf.generated.ClientMasterServiceProtos.MatrixSaveContextProto)1 ModelSaveContextProto (com.tencent.angel.protobuf.generated.ClientMasterServiceProtos.ModelSaveContextProto)1 PSMatrixSaveContextProto (com.tencent.angel.protobuf.generated.PSMasterServiceProtos.PSMatrixSaveContextProto)1 ParameterServerId (com.tencent.angel.ps.ParameterServerId)1 HashMap (java.util.HashMap)1 LinkedHashMap (java.util.LinkedHashMap)1 ConcurrentHashMap (java.util.concurrent.ConcurrentHashMap)1