av_lab

av实验室，用于音视频领域的资料学习分享，立志于让所有人都能入门、学习、理解音视频领域。

内容大多来自网络，也有个人完成的一些文章，分门别类的加以整理总结；网上的内容以链接形式提供，如有版权要求，可以联系删除。

个人建议的学习思路：

1. 先通读某一大类的专栏文章和书籍，这些专栏文章和书籍一般都是完整的介绍某一类知识提下，能够以较好的条理性从头阐述，对于系统理解脉络知识很有帮助； 当然，通读的时候肯定会遇到各种问题，这个没有关系，多读几遍这样的专栏，就大概理解了知识脉络，后续就是针对性的加以精读和实践。
2. 音视频领域很广，业务知识门槛不低，虽然本身技术发展演进不如互联网迅速，但是对于理论知识的要求较高，再加以软件、硬件的综合要求，如对编解码算法的掌握和优化，对于音频器件的控制，电路的调试等等，不亚于一个全栈工程师。整个行业分解的也很大，依据个人的兴趣和行业的热度，来选择细分领域加以钻研。但是无论哪个细分行业，基础知识都是必备的，建议都要加以牢固掌握。
3. 基础知识包括：

• 音频的声学基础，声音的基本要素，数字信号处理的基本方法
• 编解码的基础，最好以某个格式做到精通，如AAC和H264
• 流媒体基础，分包、拆包、传输的基本流程，以RTP和RTCP为精通，对照互联网的tcp/udp要求，要理解过程
• 常见硬件平台的驱动调试、硬件开发，了解概貌，知道如何做bringup，如linux版本的驱动调试（根据需要，这个是BSP工程师的范畴）
• 常见开源软件的掌握，如ffmpeg，这个掌握要到什么程度？动手写demo，分析demux，decode，encode的代码流程，知道代码结构，如何进行编译，裁减，优化等，可以结合网上的一些面试题做自我考试，或者针对一个场景做完整工程
• 常见开源客户端的使用，如ijkplayer，基于ffmpeg如何实现的完整播放器，自己能不能看懂
• 常见问题的分析思路，如音频的卡顿、延时，视频的丢帧，不同步，流媒体的起播，卡顿

4. 为了多长见识，需要多学习了解行业的动态，随时更新自己的技术栈，理解一个新兴的业务，如AI编码背后的逻辑，虽然对数学要求很高，但是可以慢慢尝试。

总体包括：

• 专栏文章和书籍
• 音频技术
• 视频技术
• 流媒体技术
• 图片技术
• Android系统音视频
• linux系统音视频
• 开源软件
• 技术规范
• 参考工具
• 面试资源

专栏文章和书籍

• 专栏总结

分类	内容
音视频	音视频基础知识：流媒体核心技术梳理
	Microsoft的媒体基础
个人专栏	0voice-audio_video_streaming
	AvStackDocs

• 关于书籍 基础的通用知识书籍： 有一个关于书籍的推荐链接：

音频技术

格式

格式	内容
mp3	mp3格式解析
	mp3 tech-外国小哥自己弄的mp3、aac介绍
	ID3 org
midi	midi org

蓝牙音频

分类	内容
	LHDC
	aptx

测试资源

视频技术

文件封装

分类	内容
HDR	HEVC的VUI
	HDR编码总结

测试资源

xiph视频测试资源

显示技术

分类	内容
色彩管理	Color Management
	Color Gamut: Understanding Rec.709, DCI-P3, and Rec.2020

流媒体技术

图片技术

图片基础

分类	内容
	Exif orientation
	Exif file format
	各类图片加载框架
	iOS的image介绍

heif

分类	内容
	nokia heif官网
	libheif开源库

测试资源

分类	内容
	图片测试资源RAISE
	图片测试资源Kodak
	图片测试资源Clic

Android系统音视频

分类	内容
音频	AudioPatch分析
视频	深入理解Android音视频同步

linux系统音视频

分类	内容
	ALSA
	PulseAudio
pipewire	pipewire under hood

开源软件

分类	内容
vlc	vlc 播放器
ffmpeg	雷神的ffmpeg学习总结

技术规范

各类标准规范：

分类	内容
TIFF
H264

参考工具

格式解析类：

分类	内容
mp4	mp4 creator
avi	AVIDemux

视频流解析类：

分类	内容
收费	CodecVisa
	Elecard
	Intel VideoPro Analyzer
	Adobe 工具
	Vega (目前也没在市面上见到过破解版的)
免费	雷神的VideoEye

在线转码工具

有一些很方便的在线工具，小巧而实用：

面试资源

分类	内容
	audio_video_streaming