Dezvoltare și învățare audio și video

Mai întâi presupunem că cineva nu are o bază zero în audio și video și că nu a învățat niciodată cunoștințe legate de procesarea semnalului digital. Fundația matematică este practic nivelul liceului, dar el este familiarizat cu dezvoltarea C / C ++, cel puțin familiarizat cu compilarea și depanarea IDE pe o anumită platformă.

Concentrați-vă pe cele două proiecte open source ffmpeg și webRTC, privind în principal partea video a ffmpeg și partea audio a webRTC.

Pentru inceput, începeți cu decodarea video. Acesta este cel mai simplu. Codul de bază pentru apelarea decodării video ffmpeg este de numai aproximativ 100 de linii. Decodarea video trebuie doar să înțeleagă h.264, 80% + scene sunt în acest format de codificare, să înțeleagă H.264 sps pps NAL și alte concepte de format de fișier, să înțeleagă principiul formatului de imagine YUV și să înțeleagă conversia YUV în RGB , Deci, puteți face redarea imaginilor, puteți obține un simplu player video. (Practic în prima etapă)

Apoi, pentru a afla despre codarea video, este recomandat să începeți cu x264, un apel simplu către codul de codare x264 este mai mic de 100 de linii. Codificarea este mai complicată decât decodarea, deoarece decodarea nu necesită configurarea niciunui parametru, iar codificarea are un număr mare de parametri care trebuie configurați. La început, trebuie doar să înțelegeți câteva concepte de bază, cum ar fi rata de cadru, metodele comune de control al fluxului ABR CRF, GOP, I / B Ce înseamnă / Cadru P, respectiv. (Familiarizați din nou cu codificarea X264)

Codecul părții audio este similar cu cel al videoclipului. În etapa inițială, trebuie doar să înțelegeți cele două codificatoare EAAC + și Silk, să înțelegeți conceptele de canal de sunet, rata de eșantionare etc. și să înțelegeți formatul de fișier Wave. Poate fi un simplu player audio. (Creați un player audio)

Partea complexă a sunetului nu este codecul, ci efectul sonor. Aruncați o privire la modulul de procesare audio din webRTC și înțelegeți următoarele concepte: denoising NS, anularea ecoului AEC, detecție mut VAD, control automat al câștigului AGC și webRTC încorporat. Deși algoritmul nu este cel mai bun, poate rezolva 90% + din probleme și merită învățat. (Aflați procesarea audio webrtc)

După ce am aflat acest lucru, trebuie să mă gândesc la o întrebare, dacă vreau să iau o rută de inginerie sau o rută algoritmică. Dacă este o rută algoritmică, atunci trebuie să învăț matematică. În spatele procesării digitale a semnalului se află un număr mare de teorii matematice de bază. Dacă este un traseu de inginerie, atunci trebuie să învățați dezvoltarea pe mai multe platforme, să învățați colectarea, redarea și procesarea audio și video pe mai multe platforme și să învățați optimizarea limbajului de asamblare pe mai multe platforme. (Legate de platformă)

Audio și video sunt un domeniu foarte profund și nu veți termina niciodată de învățat într-o viață, dar acest câmp are avantajul că viteza de actualizare a cunoștințelor este relativ lentă, lucrurile învățate nu sunt ușor de eliminat și acumularea de experiență este foarte important.v