FMUSER Wirless Transmit video și audio mai ușor!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> Albaneză
ar.fmuser.org -> arabă
hy.fmuser.org -> Armeană
az.fmuser.org -> azeră
eu.fmuser.org -> bască
be.fmuser.org -> bielorusă
bg.fmuser.org -> Bulgarian
ca.fmuser.org -> catalană
zh-CN.fmuser.org -> Chineză (simplificată)
zh-TW.fmuser.org -> Chineză (tradițională)
hr.fmuser.org -> croată
cs.fmuser.org -> cehă
da.fmuser.org -> Daneză
nl.fmuser.org -> Dutch
et.fmuser.org -> estonă
tl.fmuser.org -> filipinez
fi.fmuser.org -> finlandeză
fr.fmuser.org -> Franceză
gl.fmuser.org -> Galeză
ka.fmuser.org -> Georgiană
de.fmuser.org -> germană
el.fmuser.org -> greacă
ht.fmuser.org -> Creole haitian
iw.fmuser.org -> ebraică
hi.fmuser.org -> Hindi
hu.fmuser.org -> Maghiară
is.fmuser.org -> islandeză
id.fmuser.org -> indoneziană
ga.fmuser.org -> irlandeză
it.fmuser.org -> Italiană
ja.fmuser.org -> japoneză
ko.fmuser.org -> coreeană
lv.fmuser.org -> letonă
lt.fmuser.org -> lituaniană
mk.fmuser.org -> macedoneană
ms.fmuser.org -> Malay
mt.fmuser.org -> malteză
no.fmuser.org -> norvegiană
fa.fmuser.org -> persană
pl.fmuser.org -> poloneză
pt.fmuser.org -> portugheză
ro.fmuser.org -> Română
ru.fmuser.org -> rusă
sr.fmuser.org -> sârbă
sk.fmuser.org -> slovacă
sl.fmuser.org -> Slovenă
es.fmuser.org -> spaniolă
sw.fmuser.org -> Swahili
sv.fmuser.org -> suedeză
th.fmuser.org -> Thai
tr.fmuser.org -> turcă
uk.fmuser.org -> ucraineană
ur.fmuser.org -> Urdu
vi.fmuser.org -> Vietnameză
cy.fmuser.org -> galeză
yi.fmuser.org -> idiș
Provocarea tehnologiei de transmisie mobilă în direct este departe de echipamentele tradiționale sau transmiterea în direct pe computer. Legăturile sale complete de procesare includ, dar nu se limitează la: achiziție audio și video, procesare de frumusețe / filtru / efecte speciale, codificare, pachete, streaming, transcodare, distribuție, decodare / redare / redare etc.
Problemele comune ale difuzării în direct includ:
Cum poate fluxul gazdă să fie stabil în mediul de rețea instabil?
Cum poate audiența din zonele îndepărtate să urmărească transmisia live fără probleme în înaltă definiție?
Cum să schimbați linia în mod inteligent în clipa live card?
Cum se măsoară acuratețea indicelui de calitate al difuzării în direct și se reglează în timp real?
Cum pot diferite platforme de cipuri de pe dispozitive mobile să codifice și să redea videoclipuri cu performanțe ridicate?
Cum să faceți față efectelor speciale ale filtrelor precum frumusețea?
Cum să realizăm a doua pornire a redării?
Cum să asigurați difuzarea continuă a transmisiei live fără a carda?
Această partajare va dezvălui misterul tehnologiei de bază a transmisiei mobile.
1. Cunoștințe de bază despre video, transmisie live și așa mai departe
Ce este videoclipul?
În primul rând, trebuie să înțelegem unul dintre cele mai de bază concepte: video. Din punct de vedere perceptiv, videoclipul este un film plin de distracție, poate fi un film, poate fi un scurtmetraj, este un impact vizual coerent, performant, imagine și audio bogate. Dar, din punct de vedere rațional, videoclipul este o date structurată. Poate fi interpretat în limbajul tehnic. Putem analiza videoclipurile în următoarea structură:
1) Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
2) Element de conținut
3) Imagine
4) Audio
5) Metainformații
6) Codec
Video: H.264 , H.265, ...
Audio: AAC , HE-AAC, ...
7) Container
MP4 , MOV , FLV , RM , RMVB , AVI , ...
Orice fișier video video, din punct de vedere structural, este un astfel de mod de compoziție:
1) Cele mai elementare elementare ale conținutului sunt compuse din imagine și audio;
2) Imaginea este procesată prin codare video și format de compresie (de obicei H.264);
3) Audio este procesat prin format de compresie de codare audio (cum ar fi AAC);
4) Indicați informațiile meta corespunzătoare (metadate);
În cele din urmă, pachetul container (cum ar fi MP4) este completat pentru a forma un fișier video complet.
Dacă simțiți că este greu de înțeles, imaginați-vă o sticlă de ketchup. Sticla cu strat exterior este ca containerul, materiile prime și informațiile despre instalația de procesare indicate pe sticlă sunt ca metadatele. După ce capacul sticlei este deschis (neambalat), ketchup-ul în sine este asemănător conținutului codificat după procesarea prin comprimare. Procesul de prelucrare a roșiilor și condimentarea în ketchup este asemănător codificării, în timp ce roșiile și condimentele din materie primă sunt cele mai asemănătoare cu cele mai multe Elementul conținutului original.
2. Transmiterea video în timp real
Pe scurt, structura video cognitivă rațională ne ajută să înțelegem difuzarea video. Dacă videoclipul este un fel de date structurate, atunci difuzarea video este fără îndoială modalitatea de a transmite aceste „date structurate” (video) în timp real.
Deci întrebarea evidentă este: cum poate transmite în timp real aceste date structurate?
Iată un paradox: un videoclip ambalat în container trebuie să fie un fișier video imuabil, fișierul video imuabil este deja un rezultat de producție, conform „relativității”, iar acest rezultat de producție nu poate fi exact la nivelul în timp real, a fost o memorie de timp și spațiu.
Prin urmare, difuzarea video trebuie să fie un proces de „producție, transmisie și consum”. Aceasta înseamnă că trebuie să aruncăm o privire mai atentă asupra procesului de mijloc (codificare) al videoclipului înainte de elementele de conținut original (imagini și audio) față de produsul finit (fișiere video).
3. Compresie de codare video
Să aruncăm o privire asupra tehnologiei de codare și compresie video.
Pentru a facilita stocarea și transmiterea conținutului video, este de obicei necesar să se reducă volumul conținutului video, adică elementele originale ale conținutului (imagine și audio) trebuie comprimate, iar algoritmul de compresie este, de asemenea, denumit formatul de codare. De exemplu, datele originale ale imaginii din videoclip vor fi comprimate în format de codare H.264, iar datele de eșantionare audio vor fi comprimate în format de codare AAC.
După codificare și comprimare, conținutul video este cu adevărat propice stocării și transmiterii; cu toate acestea, atunci când vizionați și jucați, procesul de decodare este, de asemenea, necesar în consecință. Prin urmare, este evident că un fel de convenție poate fi înțeles atât de codificator, cât și de decodor este necesar între codificare și decodare. În ceea ce privește codificarea și decodarea imaginilor video, această convenție este simplă:
Codificatorul codifică mai multe imagini și produce un GOP (grup de imagini) într-un segment. La redare, decodorul citește o secțiune din GOP pentru decodare, apoi citește imaginea și apoi redă afișajul.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
GOP (grup de imagini) este o serie de imagini continue, care constă dintr-un cadru I și mai multe cadre B / P. Este unitatea de bază a codificatorului de imagine video și a accesului decodor. Secvența de aranjare a acestuia va fi repetată până la sfârșitul imaginii.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Cadrul I este un cadru de codare intern (cunoscut și sub numele de cadru cheie), cadrul P este cadru de predicție directă (cadru de referință direct) și cadrul B este cadru de interpolare bidirecțională (cadru de referință bidirecțional). Pe scurt, cadrul I este o imagine completă, în timp ce înregistrările P și B se modifică în raport cu cadrul I.
Fără cadre I, cadrele P și B nu pot fi decodate.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
În rezumat, un videoclip ale cărui date despre imagini sunt un set de GOP-uri, în timp ce un singur GOP este un set de imagini cu cadre I / P / B.
Într-o astfel de relație geometrică, videoclipul este ca un „obiect”, GOP este ca „molecula”, iar imaginea cadrului I / P / B este ca „atomul”.
Imaginați-vă ce ar fi o experiență dacă am schimba transmisia unui obiect către un atom și cea mai mică particulă la viteza luminii și am fi percepută cu ochiul liber al ființelor umane?
4. Ce este videoclipul live?
Nu este dificil să deschizi gaura creierului, transmisia live este o astfel de experiență. Tehnologia video live este cea mai mică particulă (cadru I / P / B), o tehnologie pentru transmisie la viteza luminii bazată pe serii de timp.
Pe scurt, transmiterea în direct este procesul de transmitere a datelor în flux (video / audio / cadru de date) și a orei. Transmițătorul colectează continuu date audio și video, apoi se răspândește prin codificare, pachete, flux de împingere și apoi se răspândește prin rețeaua de distribuție a relei. Capătul redării descarcă datele continuu și decodează și redă în funcție de secvența de timp. În acest fel, se realizează procesul de transmisie în direct a „producției, transmiterii și consumului”.
După ce înțelegem cele două concepte de bază de mai sus despre video și transmisiune în direct, putem vedea logica de afaceri a transmiterii în direct.
Logica de afaceri a transmisiei live
Iată un model simplificat pentru mai multe modele de servicii live, precum și protocoale între diferite niveluri.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Diferențele dintre acorduri sunt următoarele
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Mai sus sunt câteva concepte de bază despre tehnologia de transmisie live. Apoi înțelegem în continuare indicatorii de performanță live care afectează experiența vizuală a oamenilor.
Indicele de performanță al transmisiunii live care afectează experiența vizuală
Primul indicator de performanță al transmisiei live este întârzierea, care este timpul necesar pentru ca datele să fie trimise de la sursa de informații la destinație.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Conform relativității înguste a lui Einstein, viteza luminii este cea mai mare viteză pe care o poate atinge toată energia, materia și informațiile. Această concluzie stabilește o limită a vitezei de transmisie. Deci, chiar dacă ne simțim în timp real cu ochiul liber, există de fapt o anumită întârziere.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Deoarece rtmp / hls se bazează pe protocolul stratului aplicației peste TCP, strângerile de mână TCP de trei ori, patru valuri și fiecare călătorie dus-întors în procesul de pornire lentă se vor adăuga cu un timp dus-întors (RTT), care va crește întârzierea.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
În al doilea rând, conform caracteristicilor retransmisiei de pierdere a pachetelor TCP, fluctuația de rețea poate provoca retransmisia pierderii de pachete și, de asemenea, poate duce indirect la creșterea întârzierii.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Un proces complet de transmisie live include, dar nu se limitează la următoarele link-uri: colectare, procesare, codificare, pachet, streaming, transmisie, transcodare, distribuție, streaming, decodare și redare. De la redare la redare și apoi prin legătura intermediară de redirecționare, cu cât întârzierea este mai mică, cu atât experiența utilizatorului este mai bună.
Al doilea indicator de performanță al transmisiei live este decalajul cadrului de afișare în procesul de redare video, ceea ce îi face pe oameni să se simtă „card”. Statisticile numărului de accesări jucate în unitatea de timp se numește rata de încărcare.
Factorii care cauzează Caton pot fi întreruperea datelor de la sfârșitul fluxului, congestionarea transmisiei rețelei publice sau jitterul anormal al rețelei sau performanța slabă de decodare a dispozitivelor terminale. Cu cât este mai mică sau deloc frecvența Caton, cu atât este mai bună experiența utilizatorului.
Primul ecran al celui de-al treilea indicator de performanță live consumă mult timp, care se referă la timpul pe care ecranul îl așteaptă cu ochiul liber să vadă după primul clic și să se joace. Din punct de vedere tehnic, se referă la timpul consumat de jucător pentru decodarea primului cadru de afișare de redare. În general, „al doilea pornit” se referă la ecranul care poate fi văzut într-o secundă după ce ați făcut clic pe redare. Cu cât primul ecran se deschide mai repede, cu atât experiența utilizatorului este mai bună.
Cei trei indicatori de performanță ai transmisiei live de mai sus corespund unei latențe scăzute, netedă de înaltă definiție, rapidă a doua în funcție de cerințele de experiență ale utilizatorului. Înțelegerea acestor trei indicatori de performanță este foarte importantă pentru a optimiza experiența de utilizare a aplicației live mobile.
Deci, care sunt gropile obișnuite în transmisia live pe mobil?
Conform experienței rezumate în practică, groapa de difuzare video live pe platforma mobilă poate fi rezumată în două aspecte: diferența de echipament și testul tehnic adus de aceste scene în mediul de rețea.
Măsurile de groapă și evitare ale scenei de transmisie live pe mobil
Diferențe de codificare pe diferite platforme cu cipuri
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Indiferent de codarea dură sau moale pe platforma IOS, deoarece este o fabrică de mere, nu există aproape nicio diferență de codare datorită platformelor de cipuri diferite.
Cu toate acestea, pe platforma Android, codificatorul mediacodec furnizat de Android Framework SDK are mari diferențe pe diferite platforme cu cipuri. Diferitii producători folosesc cipuri diferite, în timp ce performanța Android mediacodec este ușor diferită pe diferite platforme de cipuri, iar costul realizării compatibilității întregii platforme nu este scăzut.
În plus, parametrii de calitate a codificării H.264 ai stratului de codare hard mediacodec pentru Android sunt fixați, deci calitatea picturii este de obicei generală. Prin urmare, în cadrul platformei Android, recomandarea este de a utiliza editare soft, avantajul este că calitatea picturii poate fi reglementată și compatibilitatea este mai bună.
Cum se colectează și se codifică echipamente de ultimă generație cu performanțe ridicate?
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
De exemplu, camera poate fi imaginea. Volumul unei imagini nu este mic. Dacă frecvența de achiziție este foarte mare și rata cadrelor de codare este foarte mare, fiecare imagine trece prin codificator, codificatorul se poate supraîncărca din nou.
În acest moment, putem considera că, înainte de codificare, fără a afecta calitatea imaginii (am vorbit despre semnificația micro a ratei de cadre), putem pierde selectiv cadre, astfel încât să reducem consumul de energie al legăturii de codare.
Cum se garantează streaming de înaltă definiție în condiții de rețea slabe
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
În rețeaua mobilă, este ușor să întâlniți instabilitatea rețelei, resetarea conexiunii, reconectarea liniei întrerupte, pe de o parte, reconectarea frecventă, iar stabilirea conexiunii necesită cheltuieli generale. Pe de altă parte, blocajul lățimii de bandă poate apărea mai ales atunci când apare comutatorul GPRS / 2G / 3G / 4G. Când lățimea de bandă nu este suficientă, conținutul cu o rată de cadre ridicată / rată de biți mare este dificil de trimis, deci este nevoie de suport pentru rată de biți variabilă.
Adică, la capătul de împingere, starea rețelei și măsurarea simplă a vitezei pot fi detectate, iar rata de cod poate fi comutată dinamic pentru a asigura fluxul lin al apăsării în timpul comutării rețelei.
În al doilea rând, logica codării, a pachetelor și a fluxului push poate fi, de asemenea, reglată fin. Puteți încerca să pierdeți cadrele selectiv, cum ar fi pierderea cadrului de referință video mai întâi (cadru I și cadru audio), care poate reduce și conținutul de date care trebuie transmis, dar, în același timp, poate atinge scopul de a nu afecta calitatea picturii și versiunea audio-vizuală netedă.
Starea și starea afacerii fluxului live trebuie să fie distinse
Transmisia live este interacțiunea dintre fluxul media și aplicația este un flux de semnalizare API, iar starea ambelor nu poate fi confundată. În special, starea fluxului live nu poate fi evaluată pe baza stării API a interacțiunii APP.
Experiența celui de-al doilea cu privire la optimizarea tehnologiei de transmisie mobilă live (inclusiv ppt)
Cele de mai sus sunt câteva gropi comune și măsuri de evitare în scena mobilă live.
Alte măsuri de optimizare pentru scena de transmisie mobilă live
1 、 Cum se optimizează viteza de deschidere pentru a ajunge la legendarul „al doilea pornit”?
Este posibil să vedeți că unele aplicații live pentru telefonul mobil de pe piață sunt foarte rapide, puțin aprinse. Și unele aplicații live pentru telefoane mobile, dați clic pentru a juca după câteva secunde înainte de a juca. Ce cauzează o astfel de diferență?
Majoritatea jucătorilor pot decoda și juca după ce obțin un GOP finalizat. Playerele bazate pe Ffmpeg pot reda numai după ce este necesară sincronizarea cu timbru de timp a sunetului și picturii (dacă nu există sunet într-o transmisie live, numai videoclipurile pot reda fața după așteptarea expirării audio).
A doua problemă poate fi luată în considerare în următoarele aspecte:
1. rescrieți logica playerului pentru a afișa playerul după ce primește primul cadru cheie.
Primul cadru al GOP este, de obicei, un cadru cheie și poate ajunge la „primul cadru al doilea pornit” din cauza datelor mai puține încărcate.
Dacă serverul live acceptă cache-ul GOP, înseamnă că jucătorul poate obține datele imediat după stabilirea unei conexiuni cu serverul, economisind astfel timpul de transmitere a sursei înapoi între regiuni și între operatori.
GOP reflectă perioada cadrelor cheie, adică distanța dintre două cadre cheie, și anume numărul maxim de cadre dintr-un grup de cadre. Presupunând că rata de cadre constantă a unui videoclip este de 24 fps (adică 1 secundă 24 de cadre) și perioada cadrului cheie este 2S, atunci un GOP este de 48 de imagini. În general, este necesar cel puțin un cadru cheie pentru fiecare secundă a videoclipului.
Creșterea numărului de cadre cheie îmbunătățește calitatea imaginii (GOP este de obicei un multiplu al FPS), dar crește lățimea de bandă și încărcarea rețelei în același timp. Aceasta înseamnă că jucătorul client descarcă un GOP.
|
Introduceți adresa de e-mail pentru a primi o surpriză
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> Albaneză
ar.fmuser.org -> arabă
hy.fmuser.org -> Armeană
az.fmuser.org -> azeră
eu.fmuser.org -> bască
be.fmuser.org -> bielorusă
bg.fmuser.org -> Bulgarian
ca.fmuser.org -> catalană
zh-CN.fmuser.org -> Chineză (simplificată)
zh-TW.fmuser.org -> Chineză (tradițională)
hr.fmuser.org -> croată
cs.fmuser.org -> cehă
da.fmuser.org -> Daneză
nl.fmuser.org -> Dutch
et.fmuser.org -> estonă
tl.fmuser.org -> filipinez
fi.fmuser.org -> finlandeză
fr.fmuser.org -> Franceză
gl.fmuser.org -> Galeză
ka.fmuser.org -> Georgiană
de.fmuser.org -> germană
el.fmuser.org -> greacă
ht.fmuser.org -> Creole haitian
iw.fmuser.org -> ebraică
hi.fmuser.org -> Hindi
hu.fmuser.org -> Maghiară
is.fmuser.org -> islandeză
id.fmuser.org -> indoneziană
ga.fmuser.org -> irlandeză
it.fmuser.org -> Italiană
ja.fmuser.org -> japoneză
ko.fmuser.org -> coreeană
lv.fmuser.org -> letonă
lt.fmuser.org -> lituaniană
mk.fmuser.org -> macedoneană
ms.fmuser.org -> Malay
mt.fmuser.org -> malteză
no.fmuser.org -> norvegiană
fa.fmuser.org -> persană
pl.fmuser.org -> poloneză
pt.fmuser.org -> portugheză
ro.fmuser.org -> Română
ru.fmuser.org -> rusă
sr.fmuser.org -> sârbă
sk.fmuser.org -> slovacă
sl.fmuser.org -> Slovenă
es.fmuser.org -> spaniolă
sw.fmuser.org -> Swahili
sv.fmuser.org -> suedeză
th.fmuser.org -> Thai
tr.fmuser.org -> turcă
uk.fmuser.org -> ucraineană
ur.fmuser.org -> Urdu
vi.fmuser.org -> Vietnameză
cy.fmuser.org -> galeză
yi.fmuser.org -> idiș
FMUSER Wirless Transmit video și audio mai ușor!
Contact
Adresa:
Nr. 305 Clădirea HuiLan nr. 273 Huanpu Road Guangzhou China 510620
Categorii
Stiri lunare via e-mail