使用apt开发组件化框架的若干细节问题(代码片段)

冬天的毛毛雨 冬天的毛毛雨     2023-01-30     322

关键词:

作者:shouheng

1、APT 开发组件化框架的细节问题

在之前的文章 更高级的 Android 启动任务调度库 中,我介绍了开发支持组件化的启动任务调度工具的使用 APT 实现了组件化扫描并发现注解。但是之前的文章并没有详细介绍 APT 如何加载到指定的生成类。这里存在一些细节问题,我详细说明下。

1.1 如何避免生成的类冲突

首先,当我们为使用了注解的 ISchedulerJob 生成 JobHunter 实现类的时候是将所有的实现类统一放到 me.shouheng.startup.hunter 这个包名下面(JobHunter 的实现类中使用反射的方式装载所有的 ISchedulerJob 实例)。那么问题来了,多个组件都往这个包下面生成类的时候如何避免类冲突。因为,虽然每个 module 打包成 aar 的时候,在当前的 aar 里,我们无需考虑类冲突问题,但是多个 aar 中如果在同一包下面存在同一个类名的类,那么其他的 aar 中的类会被覆盖掉(只有一个生效)。

解决上述问题的一个办法是在 gradle 文件里使用注解标明当前的 module name,然后生成类的时候使用 module name 作为后缀,依此来避免出现类冲突现象,

javaCompileOptions 
    annotationProcessorOptions 
        arguments = [STARTUP_MODULE_NAME: project.getName()]
    

1.2 如何动态加载 APK 同一包下面所有的类

按照上述配置方式,不同的 module 会向同一个包 me.shouheng.startup.hunter 下面生成不同的类。那么在启动应用的时候我们如何找到该包名下面的所有的生成类呢?这里我参考了 ARouter 的方案,即在启动的时候获取到当前启动的 APK,解析 APK 信息,遍历 dex,搜索指定包名下的类,核心代码如下,

抽取 APK,获取 dex 路径,

public static List<String> getSourcePaths(Context context) throws PackageManager.NameNotFoundException, IOException 
    ApplicationInfo applicationInfo = context.getPackageManager().getApplicationInfo(context.getPackageName(), 0);
    File sourceApk = new File(applicationInfo.sourceDir);

    List<String> sourcePaths = new ArrayList<>();
    sourcePaths.add(applicationInfo.sourceDir); //add the default apk path

    //the prefix of extracted file, ie: test.classes
    String extractedFilePrefix = sourceApk.getName() + EXTRACTED_NAME_EXT;

//        如果VM已经支持了MultiDex,就不要去Secondary Folder加载 Classesx.zip了,那里已经么有了
//        通过是否存在sp中的multidex.version是不准确的,因为从低版本升级上来的用户,是包含这个sp配置的
    if (!isVMMultidexCapable()) 
        //the total dex numbers
        int totalDexNumber = getMultiDexPreferences(context).getInt(KEY_DEX_NUMBER, 1);
        File dexDir = new File(applicationInfo.dataDir, SECONDARY_FOLDER_NAME);

        for (int secondaryNumber = 2; secondaryNumber <= totalDexNumber; secondaryNumber++) 
            //for each dex file, ie: test.classes2.zip, test.classes3.zip...
            String fileName = extractedFilePrefix + secondaryNumber + EXTRACTED_SUFFIX;
            File extractedFile = new File(dexDir, fileName);
            if (extractedFile.isFile()) 
                sourcePaths.add(extractedFile.getAbsolutePath());
                //we ignore the verify zip part
             else 
                throw new IOException("Missing extracted secondary dex file '" + extractedFile.getPath() + "'");
            
        
    
    return sourcePaths;

读取 dex,获取报名下面所有的类,

public static Set<String> getFileNameByPackageName(
        Context context, final String packageName, Executor executor
) throws PackageManager.NameNotFoundException, IOException, InterruptedException 
    final Set<String> classNames = new HashSet<>();

    List<String> paths = getSourcePaths(context);
    final CountDownLatch parserCtl = new CountDownLatch(paths.size());

    for (final String path : paths) 
        executor.execute(new Runnable() 
            @Override
            public void run() 
                DexFile dexfile = null;

                try 
                    if (path.endsWith(EXTRACTED_SUFFIX)) 
                        //NOT use new DexFile(path), because it will throw "permission error in /data/dalvik-cache"
                        dexfile = DexFile.loadDex(path, path + ".tmp", 0);
                     else 
                        dexfile = new DexFile(path);
                    
										// 遍历 dex 中所有的 class
                    Enumeration<String> dexEntries = dexfile.entries();
                    while (dexEntries.hasMoreElements()) 
                        String className = dexEntries.nextElement();
                        if (className.startsWith(packageName)) 
                            classNames.add(className);
                        
                    
                 catch (Throwable ignore) 
                    Log.e("AndroidStartup", "Scan map file in dex files made error.", ignore);
                 finally 
                    if (null != dexfile) 
                        try 
                            dexfile.close();
                         catch (Throwable ignore) 
                        
                    

                    parserCtl.countDown();
                
            
        );
    

    parserCtl.await();
    return classNames;

2、上述方案的问题和解决方案

2.1 解析 APK 加载类的一个问题

按照上述方案可以解决获取同一个包名下面的类的问题,但是这会导致其他问题。采用了上面的方案之后,当我启动 APP 的时候会有明显的停顿效果。虽然很短暂,但是可以肉眼感受到使用之前和之后的差距。

导致这个问题的原因是,上述动态解析和加载的过程是需要消耗一定的时间的,很显然包越大,解析的时间越长,停顿的时间也就越长。这显然是我们无法接受的。那么有没有其他的方案可以解决这个问题呢?我能想到的也就两种解决方案,

解决方案一:使用缓存,第一次解析之后后面再从缓存中加载;

解决方案二:插桩,根本解决问题,问题是插桩实现比较繁琐,影响编译;

2.2 解决方案一:使用 SharedPreferences 缓存

这里的思路是,通过解析 APK 读取到所有的类之后将其存储到 SharedPreferences. 不过这里根据是否处于 debug 模式以及 App 的版本信息进行存储。也就是说,对于 Release 版本,每次存储的类是跟 App 版本对应的,只有当 App 版本更新的时候才需要再次解析。那么,也就是说,按照 SharedPreferences 缓存的方案,第一次启动某一个版本的应用的时候需要解析,会有卡顿效果,后面会走缓存。

private fun gatherByPackageScan(context: Context): List<JobHunter> 
    val hunters = mutableListOf<JobHunter>()
    val hunterImplClasses: Set<String>
    if (debuggable || PackageUtils.isNewVersion(context, logger)) 
        // 读取包名下所有的类
        hunterImplClasses = ClassUtils.getFileNameByPackageName(
            context, "me.shouheng.startup.hunter", executor?:DefaultExecutor.INSTANCE)
        if (hunterImplClasses.isNotEmpty()) 
            // 存储类名到 SharedPreferences
            context.getSharedPreferences(STARTUP_SP_CACHE_KEY, Context.MODE_PRIVATE)
                .edit().putStringSet(STARTUP_SP_KEY_HUNTERS, hunterImplClasses).apply();
        
        PackageUtils.updateVersion(context)
     else 
        hunterImplClasses = HashSet(
            context.getSharedPreferences(STARTUP_SP_CACHE_KEY, Context.MODE_PRIVATE)
                .getStringSet(STARTUP_SP_KEY_HUNTERS, setOf())
        )
    
    hunterImplClasses.forEach 
        val hunterImplClass = Class.forName(it)
        hunters.add(hunterImplClass.newInstance() as JobHunter)
    
    return hunters

2.3 解决方案二:通过 ASM 插桩,动态扫描

插桩的思路应该还是比较清晰的,因为在 Gradle 编译的 tarnsform 阶段可以动态地对 class 进行扫描,所以,我们可以很容易地实现发现指定包名之下所有的类的目标。找到这些类之后,只需要再通过插桩的方式将其写入到指定的 class 里,然后再根据标志位走插桩对应的方法而不是上述解析 APK 的方式即可。

1. 插桩思路

这里的实现思路是,调用 scanAnnotations()方法的时候首先会走 gatherHunters() 的逻辑,这里有一个标志位 registerByPlugin. 我们插桩的逻辑是在 gatherHunters() 方法中插入 addHunter() 的代码。addHunter() 方法中会根据传入的类名进行反射,获取 JobHunter 所有实现类的实例。

/** Scan annotations for job by [ISchedulerJob]. */
fun scanAnnotations(context: Context) 
    try 
        if (jobHunters == null) 
            gatherHunters()
            if (registerByPlugin) 
                logger?.i("Gathered hunters by startup-register plugin.");
             else 
                jobHunters = gatherByPackageScan(context)
            
        
        jobHunters?.forEach  jobHunter ->
            val jobs = jobHunter.hunt()
            jobs?.let 
                this.jobs.addAll(it)
            
        
     catch (e: Exception) 
        e.printStackTrace()
    


private fun gatherHunters() 
    registerByPlugin = false
    jobHunters = mutableListOf()
    // addHunter()


private fun addHunter(className: String) 
    registerByPlugin = true
    if (!TextUtils.isEmpty(className)) 
        try 
            val clazz = Class.forName(className)
            val obj = clazz.getConstructor().newInstance()
            if (obj is JobHunter) 
                (jobHunters as? MutableList)?.add(obj)
             else 
                logger?.i("Register failed, class name: $className should implements one " +
                        "of me/shouheng/startup/JobHunter.")
            
         catch (e: java.lang.Exception) 
            logger?.e("Register class error: $className", e)
        
    

2. 插桩实现

首先,定义一个插件并注册 transform,

class RegisterPlugin : Plugin<Project> 
    override fun apply(project: Project) 
        val hasApp = project.plugins.hasPlugin(AppPlugin::class.java)
        if (hasApp) 
            Logger.make(project)
            Logger.i("Project enable startup-register plugin")
            val android = project.extensions.getByType(AppExtension::class.java)
            val transform = RegisterTransform(project)
            android.registerTransform(transform)
        
    

然后,在自定义的 transform 中扫描本地目录和 aar,

class RegisterTransform(private val project: Project): Transform() 

    // ...

    override fun transform(
        context: Context?,
        inputs: MutableCollection<TransformInput>?,
        referencedInputs: MutableCollection<TransformInput>?,
        outputProvider: TransformOutputProvider?,
        isIncremental: Boolean
    ) 
        Logger.i("Start scan register info in jar file.")
        val startTime = System.currentTimeMillis()

        if (!isIncremental) outputProvider?.deleteAll()

        inputs?.forEach  input ->
            scanJarInputs(input.jarInputs, outputProvider)
            scanDirectoryInputs(input.directoryInputs, outputProvider)
        
        Logger.i("Scan finish, current cost time " + (System.currentTimeMillis() - startTime) + "ms")

        insertImplClasses()
        Logger.i("Generate code finish, current cost time: " + (System.currentTimeMillis() - startTime) + "ms")
    

并使用自定义的 ClassVisitor 获取所有 JobHunter 实现,

class ScanClassVisitor(api: Int, cv: ClassVisitor): ClassVisitor(api, cv) 

    override fun visit(version: Int, access: Int, name: String?,
                       signature: String?, superName: String?, interfaces: Array<String>?) 
        super.visit(version, access, name, signature, superName, interfaces)
        interfaces?.any  it == JON_HUNTER_FULL_PATH ?.let 
            if (it && name != null && !hunterImplClasses.contains(name)) 
                hunterImplClasses.add(name)
            
        
    

读取到所有的类之后再使用自定义的 MethodVisitor 实现上述方法插入和调用,

class GeneratorMethodVisitor(
    api: Int,
    mv: MethodVisitor,
    private val classes: List<String>
): MethodVisitor(api, mv) 

    override fun visitInsn(opcode: Int) 
        if ((opcode >= Opcodes.IRETURN && opcode <= Opcodes.RETURN)) 
            classes.forEach 
                val name = it.replace("/", ".")
                mv.visitVarInsn(Opcodes.ALOAD, 0)
                mv.visitLdcInsn(name) // Class name
                // generate invoke register method into AndroidStartupBuilder.gatherHunters()
                mv.visitMethodInsn(Opcodes.INVOKESPECIAL, GENERATE_TO_CLASS_NAME,
                    ADD_HUNTER_METHOD_NAME, "(Ljava/lang/String;)V", false)
            
        
        super.visitInsn(opcode)
    

    override fun visitMaxs(maxStack: Int, maxLocals: Int) 
        super.visitMaxs(maxStack+4, maxLocals)
    

上面就完成了插桩的代码。在使用的时候只需要添加上我们的自定义插件即可实现组建中自定义扫描。

3. ASM 插桩问题排查方法

插桩之后的代码 R8 编译报错的问题:因编译期间问题,插桩完毕之后,R8 再执行插桩后代码的时候报错,这里只给出报错的 class,但是无法确定真正错误的代码的位置。

Caused by: com.android.tools.r8.CompilationFailedException: Compilation failed to complete, position: Lme/shouheng/startup/AndroidStartupBuilder;gatherHunters()V, origin: /Users/wangshouheng/Desktop/repo/github/AndroidStartup/sample/app/build/intermediates/transforms/StartupRegister/debug/83.jar:me/shouheng/startup/AndroidStartupBuilder.class

	... 36 more
	Suppressed: java.lang.RuntimeException: java.util.concurrent.ExecutionException: com.android.tools.r8.utils.Z: java.lang.ArrayIndexOutOfBoundsException: -1
		at com.android.tools.r8.D8.d(D8.java:143)
		... 38 more
	Caused by: java.util.concurrent.ExecutionException: com.android.tools.r8.utils.Z: java.lang.ArrayIndexOutOfBoundsException: -1
		at com.google.common.util.concurrent.AbstractFuture.getDoneValue(AbstractFuture.java:552)
		at com.google.common.util.concurrent.AbstractFuture.get(AbstractFuture.java:513)
		at com.google.common.util.concurrent.FluentFuture$TrustedFuture.get(FluentFuture.java:86)
Caused by: java.lang.ArrayIndexOutOfBoundsException: -1

		at com.android.tools.r8.utils.a1.a(SourceFile:11)
		at com.android.tools.r8.utils.a1.a(SourceFile:40)
		at com.android.tools.r8.utils.a1.a(SourceFile:38)
		at com.android.tools.r8.utils.a1.a(SourceFile:37)
		at com.android.tools.r8.ir.conversion.O.a(SourceFile:查看详情  

框架手写系列---apt方式实现arouter框架(代码片段)

一、ARouterARouter是阿里开源的组件通讯框架,在组件化开发上也是十分常用的框架之一。它的主要作用是各个activity之间,无需直接依赖,就可以直接跳转与传参。主要用处是为组件化的解耦,添砖加瓦。二、ARoute... 查看详情

05——wepy框架中的一些细节(代码片段)

1.wepy组件的编译wepy中使用一个组件时候,需要先引用(import)。再在需要使用该组件的页面(或组件)中声明。例如:importCounterfrom‘/path/to/Counter‘;components=  counter1:Counter,counter2:Counter引入一个组件要出现在多处分别使用时,需... 查看详情

使用组件的细节点(代码片段)

使用is属性,解决模板标签的出现bug的问题,data在根主件可以是属性,在子组件中data必须是函数,在组件中添加ref,这样在组件中可以使用$ref来获取相应的dom阶点,例如<divref="hello"@click="handle">hellworld</div>methods:handle()cons... 查看详情

通俗易懂了解vue组件之间的通信方式(代码片段)

1.前言    Vue框架倡导组件化开发,力求将一个大的项目拆分成若干个小的组件,就如同我们小时玩堆积木一样,一个大房子是由若干个小积木组成。组件化开发最大问题就是组件之间数据能够流通,即组件之间能... 查看详情

组件框架packagistcomposer(代码片段)

...件具备以下特性:作用单一:专注于解决一个问题,而且使用简单的接口封装功能小型:小巧玲珑,只包含解决某个问题所需的最少代码合作:PHP组件之间可以良好合作,组合在一起实现大型项目测试良好:本身提供测试,而且... 查看详情

vue.js高效前端开发•antdesignofvue框架进阶(代码片段)

...gt;>文章目录一、栅格组件1、栅格组件介绍2、栅格组件使用3、实践练习二、输入组件1、输入框组件使用2、选择器组件使用3、单选框组件使用4、实践练习三、表单组件1、表单组件使用2、实践练习四、树形组件1、树形组件使... 查看详情

vue.js高效前端开发•antdesignofvue框架进阶(代码片段)

...gt;>文章目录一、栅格组件1、栅格组件介绍2、栅格组件使用3、实践练习二、输入组件1、输入框组件使用2、选择器组件使用3、单选框组件使用4、实践练习三、表单组件1、表单组件使用2、实践练习四、树形组件1、树形组件使... 查看详情

小程序组件化开发的基本使用(代码片段)

文章目录小程序组件化开发基本使用小程序组件化思想自定义组件的过程组件样式实现细节小程序组件化开发基本使用小程序组件化思想组件插槽定义使用小程序在刚刚推出时是不支持组件化的,也是为人诟病的一个点:但是... 查看详情

vue.js高效前端开发•antdesignofvue框架基础(代码片段)

...ue框架1、AntDesign介绍2、AntDesignofVue安装3、AntDesignofVue组件使用4、实践练习二、布局组件1、布局组件介绍2、布局组件使用3、导航菜单组件使用4、面包屑组件使用5、实践练习三、按钮和全局提示组件1、全局提示组件使用2、按钮... 查看详情

vue.js高效前端开发•antdesignofvue框架基础(代码片段)

...ue框架1、AntDesign介绍2、AntDesignofVue安装3、AntDesignofVue组件使用4、实践练习二、布局组件1、布局组件介绍2、布局组件使用3、导航菜单组件使用4、面包屑组件使用5、实践练习三、按钮和全局提示组件1、全局提示组件使用2、按钮... 查看详情

jquery自定义组件开发(代码片段)

...量封装成可重用的组件5、组件写好之后要整理一个组件使用文档(包括:需要传入的参数说明、暴露出来的事件、使用事例等等)   查看详情

laravel组件化开发框架(代码片段)

项目介绍一款PHP语言基于Laravel5.8、Layui、MySQL等框架精心打造的一款模块化、插件化、高性能的前后端分离架构敏捷开发框架,可用于快速搭建前后端分离后台管理系统,本着简化开发、提升开发效率的初衷,框架自... 查看详情

八华为鸿蒙harmonyos应用开发之javaui框架常用textfield组件使用(代码片段)

一、TextField组件二、TextField组件实例测试1.新建基于emptyability(Java)手机应用程序的TextField工程。运行出现如下结果2.在resources->zh.element文件夹下string.json文件修改代码如下:"string":["name":"entry_MainAbility" 查看详情

tdesign小程序组件库体验(代码片段)

原来小程序开发有组件库选择的问题,可以使用WeUI或者Vant。今年腾讯开源了前端的框架TDesign,我也分享了两篇使用文章。年初分享的主要是PC端的框架,除了有PC端的框架外,最近TDesign又新出了小程序的框架ÿ... 查看详情

tdesign小程序组件库体验(代码片段)

原来小程序开发有组件库选择的问题,可以使用WeUI或者Vant。今年腾讯开源了前端的框架TDesign,我也分享了两篇使用文章。年初分享的主要是PC端的框架,除了有PC端的框架外,最近TDesign又新出了小程序的框架ÿ... 查看详情

戏说移动江湖开发历程(代码片段)

大主线细说移动开发历程大技术组件化开发1、组件路由2、组件配置动态加载3、组件骨架架构插件化开发1、静态插件化2、动态插件化细节雕琢1、网络层的优化和架构*2、动态埋点的实现*3、技术层架构(MVP,MVVM等模式)大天地... 查看详情

使用laravel框架搭建的管理系统(代码片段)

...系列个性化、轻量级的组件,是一款真正意义上实现组件化开发的敏捷开发框架,框架已集成了完整的RBAC权限架构和常规基础模块,同时支持多主题切换,可以根据自己喜欢的风格选择想一个的主题,实现了... 查看详情