# 图片理解 Android SDK 集成文档

implementation files('libs/AutolinkChain.aar')

<!-- 移除SDK非必须权限示例 -->
<uses-permission android:name="android.permission.READ_PHONE_STATE" tools:node="remove" />

<application android:requestLegacyExternalStorage="true"/>

-keep class com.iflytek.AutolinkChain.** {*;}
-keep class com.iflytek.AutolinkChain.**

//配置应用信息 
AutolinkChainConfig config =  AutolinkChainConfig.builder()
    .appID("$appId")
    .apiKey("$apiKey")
    .apiSecret("$apiSecret");
int ret = AutolinkChain.getInst().init(getApplicationContext(), config);

public class LLMConfig {
    public LLMConfig uid(String uid) {...}
    public LLMConfig domain(String domain) {...}
    public LLMConfig auditing(String auditing) {...}
    public LLMConfig chatID(String chatID) {...}
    public LLMConfig temperature(float temperature) {...}
    public LLMConfig topK(int topK) {...}
    public LLMConfig maxToken(int maxToken) {...}
    public LLMConfig url(String url) {...}  }

Memory window_memory = Memory.windowMemory(5);
//windowMemory Memory tokens_memory = Memory.tokenMemory(8192);//tokenMemory 
/****** *图片理解 *******/
LLMConfig image_llmConfig = LLMConfig.builder()
    .maxToken(2048)
    ...
    .topK(4);//config配置可缺省，demo仅供展示如何使用,开发者根据实际情况选择。 
LLM image_llm = LLMFactory.imageUnderstanding(image_llmConfig,tokens_memory);

public class LLM {
    public LLMOutput run(String question, byte[] image) {
        ...
    }
    public LLMOutput run(String question, byte[] image, int ttl) {
        ...
    }
}

byte[] imageData = null;
...//省略把图片转换成二进制数据流代码 
LLMOutput syncOutput = image_llm.run("图片的内容是什么？",imageData);
//解析获取的结果，示例展示所有结果获取，开发者可根据自身需要，选择获取。 
String content       = syncOutput.getContent();//获取调用结果 
int errCode          = syncOutput.getErrCode();//获取结果ID,0:调用成功，非0:调用失败 
String errMsg        = syncOutput.getErrMsg();//获取错误信息 
String role          = syncOutput.getRole();//获取角色信息 
String sid           = syncOutput.getSid();//获取本次交互的sid 
int completionTokens = syncOutput.getCompletionTokens();//获取回答的Token大小 
int promptTokens     = syncOutput.getPromptTokens();//包含历史问题的总Tokens大小 
int totalTokens      = syncOutput.getTotalTokens();//promptTokens和completionTokens的和，也是本次交互计费的Tokens大小

LLMCallbacks llmCallbacks = new LLMCallbacks() {
    @Override
    public void onLLMResult(LLMResult llmResult, Object usrContext) {

    }
    @Override
    public void onLLMEvent(LLMEvent event, Object usrContext) {

    }
    @Override
    public void onLLMError(LLMError error, Object usrContext) {

    }
};

LLMCallbacks llmCallbacks = new LLMCallbacks() {
    @Override
    public void onLLMResult(LLMResult llmResult, Object usrContext) {
        //解析获取的交互结果，示例展示所有结果获取，开发者可根据自身需要，选择获取。        
        String content       = llmResult.getContent();//获取交互结果    	
        int status           = llmResult.getStatus();//返回结果状态        
        String role          = llmResult.getRole();//获取角色信息        
        String sid           = llmResult.getSid();//本次交互的sid        
        int completionTokens = llmResult.getCompletionTokens();//获取回答的Token大小        
        int promptTokens     = llmResult.getPromptTokens();//包含历史问题的总Tokens大小        
        int totalTokens      = llmResult.getTotalTokens();//promptTokens和completionTokens的和，也是本次交互计费的Tokens大小 
    }
    @Override
    public void onLLMEvent(LLMEvent event, Object usrContext) {
        int eventId     = event.getEventID();//获取事件ID        
        String eventMsg = event.getEventMsg();//获取事件信息        
        String sid      = event.getSid();//本次交互的sid    
    }
    @Override
    public void onLLMError(LLMError error, Object usrContext) {
        int errCode   = error.getErrCode();//返回错误码        
        String errMsg = error.getErrMsg();//获取错误信息        
        String sid    = error.getSid();//本次交互的sid    
    }
};
image_llm.registerLLMCallbacks(llmCallbacks);

public class LLM {
    public int arun(String question, byte[] image) {
        ...
    }
    public int arun(String question, byte[] image, Object usrTag) {
        ...
    }
}

byte[] imageData = null;
...//省略把图片转换成二进制数据流代码 
image_llm.arun("图片的内容是什么？",imageData);

image_llm.stop();

AutolinkChain.getInst().unInit()