关键词：
- OpenGL 实现可视化实时音频的思路比较清晰，可以利用 API AudioRecorder 采集到未编码的音频裸数据（PCM 数据），也可以利用 OpenSLES 接口在 Native 层采集。然后将采集到的音频数据看作一组音频的强度值，再根据这组强度值生成网格，最后进行实时绘制。为方便展示，这里直接采用 API AudioRecorder 采集音频裸数据，然后通过 JNI 传入 Native 层，最后生成网格进行绘制。
- 在使用 AudioRecorder 采集格式为 ENCODING_PCM_16BIT 音频数据需要了解：所采集到的音频数据在内存中字节的存放模式是小端模式（小端序）（Little-Endian），即低地址存放低位、高地址存放高位，因此如果用 2 个字节转换为 short 型的数据需要特别注意。另外，大端序与小端序相反，即低地址存放高位、高地址存放低位。
- Little-Endian 小端序：
- Big-Endian 大端序：
- 小端序存储的 byte 数据转为 short 型数值可以采用如下方式：
byte firstByte =</实时音频编解码之十六opus解码(代码片段)
...解码交叉多轮重复看更有助于理解编解码的原理以及工程实现的精髓，因而本章结合Opus解码的过程分析解码流程。5.1Opus 查看详情
基于flink的视频直播案例（上）(代码片段)
...营。基于Kafka+Flink+ELK+Redis实现视频直播数据的实时处理和可视化。选型仅仅出于练习考虑，Logstash一般会换成flume或者直接用kafka。模拟的总体流程：通过http请求发送json到Logstash，后者将数据转发到Kafka，然后Flink拉取数据进行处... 查看详情
opengles之基础光照模型的实现(代码片段)
一、OpenGLES基础光照模型OpenGLES目前还无法模拟现实世界的复杂光照效果，为了在效果要求和实现难度之间做一个平衡，往往采用一些简化的模型来模拟光照效果。冯氏光照模型（PhongLightingModel）便是其中常用的一个光照模型，... 查看详情
waa可视化(代码片段)
AnalyserNode数据分析和可视化，如果你想从音频里提取时间、频率或者其它数据，你需要AnalyserNode。AnalyserNode表示一个可以提供实时频率分析与时域分析的切点，这些分析数据可以用做数据分析和可视化。创建AudioContext的createAnalys... 查看详情
k8s可视化监控之-weavescope(代码片段)
K8s可视化监控之-WeaveScope 一背景在生成环境中k8s应用部署众多，需要一款可视化工具方便日常获知集群的实时状态，并为故障排查提供及时和准确的数据支持。在此背景下，Weaveworks的项目WeaveScope应运而生，其是一款Docker和Ku... 查看详情
实时音频编解码之十二opus编码-silk编码-基频估计(代码片段)
本文谢绝任何形式转载，谢谢。4.1.9silk_encode_frame_FLP在调用该API函数之前，其原始数据会存放在&psEnc->state_Fxx[0].sCmn.inputBuf指向的地址中，4.1.6小节中silk_memcpy函数拷贝short类型输入，该函数调用若干核心函数完成声道参数和... 查看详情
web技术分享|audiocontext实现音频可视化(代码片段)
要实现音频可视化，实现一些炫酷的效果需要借助WebAudioAPI提供的一些方法AudioContext。AudioContext接口表示由链接在一起的音频模块构建的音频处理图，每个模块由一个AudioNode表示。音频上下文控制它包含的节点的创建和音... 查看详情
我的opengl学习进阶之旅收集的3d渲染技术之uvmap和mesh相关资料(代码片段)
一、为什么要了解UVMap在我的博客【我的Android进阶之旅】在Android中使用MediaPipe库在实时视频源上实现人脸网格FaceMesh的绘制里面有简单介绍：最终要实现增强人脸AugmentedFaces的话，里面有个重要步骤是使用UV贴图来绘制面... 查看详情
案例设计音频可视化解析与设计(代码片段)
...：Unity2020编程平台：VisualStudio2020 前言 面向可视化方案设计中，典型的音频可视化方案。应用领域广泛，尤其是在地质勘探、医疗器械等方面有着较为典型的应用案例。本文以实现音乐音频可视化为案例... 查看详情
qt之调用fftw3实现音频频谱（实现）(代码片段)
关于原理详见博客：Qt之调用FFTW3实现音频频谱（原理）一.音频输入下图是采用率为8000、双声道、采样大小为16，对着麦克风吹气，并分析1024个采样点的频谱图1.首先获取麦克风等音频输入设备2.然后设置音频采样参数，这里将... 查看详情
实时音频编解码之十四opus编码-silk编码-长时预测(代码片段)
本文谢绝任何形式转载，谢谢。4.1.12线性预测系数计算线性预测分为语音和非语音两种情况，该模块的输入是pitch估计模块白化之后的信号，对于语音帧，白化后的信号依然含有较强的pitch特征，因而为了在相... 查看详情
实时音频编解码之十五opus编码-celt编码(代码片段)
本文谢绝任何形式转载，谢谢。4.3.1基频预滤波对预加重之后信号预滤波，其和解码器的后滤波相反，基频周期搜索应根据以下标准优化：1.连续性，对于连续帧，基频周期通常不会突变；2.避免基频倍... 查看详情
❤️gui可视化利器，让实时数据可视化soeasy(代码片段)
...为PyQt5/PyQt6/PySide2等图形用户界面(GUI)开发框架的一款强大可视化工具，底层为NumPy(快速科学计算)、Qt的GraphicsView框架(2D图形可视化)、OpenGL(3D图形可视化)；相比于之前的工具，PyQtGraph在以 查看详情
音频算法之小黄人变声附完整c代码(代码片段)
...码》与《声音变调算法PitchShift(模拟汤姆猫)附完整C++算法实现代码》都稍微讲过变声的原理和具体实现。大家都知道，算法从实现到最后工程应用，中间的环节和问题特别多。尤其是编码的架构设计，好的数据结构和代码逻辑封... 查看详情
flink系列之：基于scala语言实现flink实时消费kafkatopic中的数据(代码片段)
Flink系列之：基于scala语言实现flink实时消费KafkaTopic中的数据一、引入flink相关依赖二、properties保存连接kafka的配置三、构建flink实时消费环境四、添加Kafka源和处理数据五、完整代码六、执行程序查看消费到的数据一、引入fli... 查看详情
性能监控之telegraf+influxdb+grafana+python实现oracle实时监控(代码片段)
...求2.2、快速安装四、解决方案1、安装2、具体设置3、数据可视化五、小结一、前言监控集成选型的Telegraf探针，最近需要实现对Oracle数据库的做实时监控，查了下Telegraf竟然还不支持Oracle监控，WTF？于是自己研究了... 查看详情
❤️1024，我一直都在~❤️数据可视化+爬虫：基于echarts+python实现的动态实时大屏范例-行业搜索指数排行榜17(代码片段)
...每个模块的url请求及参数 3、编写爬虫采集数据四、数据可视化关键编码实现 1、前端html代码 2、前端JS代码3、后端python服务器代码五、上线运行六、源码下载七、精彩案例汇总写在前面& 查看详情
opengl入门之认识opengl和创建window(代码片段)
本系列文章为LearnOpenGL个人学习总结！简介什么是OpenGLOpenGL是一个由Khronos组织制定并维护的规范(Specification)，供我们访问GPU资源，OpenGL规范严格规定了每个函数该如何执行，以及它们的输出值，具体函数实现... 查看详情