ਏਮਬੈਡਡ ਵਿਜ਼ਨ ਉਤਪਾਦਾਂ ਲਈ NPU ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਦਾ ਆਕਾਰ ਕਿਵੇਂ ਕਰੀਏ

1. NPU ਸਮਰੱਥਾ ਯੋਜਨਾਬੰਦੀ ਦੁਆਰਾ ਹੱਲ ਕੀਤੀ ਗਈ ਸਮੱਸਿਆ ਨੂੰ ਸਮਝਣਾ

ਰੋਬੋਟ, ਸਮਾਰਟ ਕੈਮਰੇ ਅਤੇ ਇੰਡਸਟਰੀਅਲ ਵਿਜ਼ਨ ਟਰਮੀਨਲ ਸਮੇਤ ਬਹੁਤ ਸਾਰੇ ਏਮਬੈਡਡ ਡਿਵਾਈਸ ਹੁਣ AI ਵਿਜ਼ਨ ਐਲਗੋਰਿਦਮ ਚਲਾਉਣ ਲਈ NPU ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਇੱਕ NPU ਇੱਕ ਚਿੱਪ ਦੇ ਅੰਦਰ ਇੱਕ ਹਾਰਡਵੇਅਰ ਯੂਨਿਟ ਹੈ ਜੋ AI ਇਨਫਰੈਂਸ ਨੂੰ ਸਮਰਪਿਤ ਹੈ।

ਚਿੱਪ ਦੀ ਚੋਣ ਕਰਦੇ ਸਮੇਂ, ਬਹੁਤ ਸਾਰੀਆਂ ਟੀਮਾਂ ਪਹਿਲਾਂ ਇਸਦੀ NPU TOPS ਰੇਟਿੰਗ ਨੂੰ ਵੇਖਦੀਆਂ ਹਨ ਅਤੇ ਮੰਨਦੀਆਂ ਹਨ ਕਿ ਇੱਕ ਉੱਚ ਸੰਖਿਆ ਦਾ ਅਰਥ ਹੈ ਇੱਕ ਵਧੇਰੇ ਸ਼ਕਤੀਸ਼ਾਲੀ ਚਿੱਪ। ਅਭਿਆਸ ਵਿੱਚ, ਉਤਪਾਦ ਵਿਕਾਸ ਦੋ ਆਮ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਦਾ ਹੈ:

ਪਹਿਲਾ ਕਾਰਨ ਹੈ ਨਾਕਾਫ਼ੀ ਕੰਪਿਊਟ ਸਮਰੱਥਾ। ਡਿਵਾਈਸ ਘੱਟ ਫਰੇਮ ਰੇਟ 'ਤੇ ਚੱਲਦੀ ਹੈ, ਵੀਡੀਓ ਸਟਟਰ ਹੁੰਦੇ ਹਨ, ਕਈ ਕੈਮਰੇ ਇੱਕੋ ਸਮੇਂ ਕੰਮ ਕਰਨ 'ਤੇ ਫਰੇਮ ਡਿੱਗ ਜਾਂਦੇ ਹਨ, ਅਤੇ AI ਪਛਾਣ ਅਸਫਲ ਹੋ ਸਕਦੀ ਹੈ।

ਦੂਜਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸਮਰੱਥਾ ਹੈ। ਚਿੱਪ ਮਹਿੰਗੀ ਹੈ, ਜ਼ਿਆਦਾ ਬਿਜਲੀ ਖਪਤ ਕਰਦੀ ਹੈ ਅਤੇ ਕਾਫ਼ੀ ਗਰਮੀ ਪੈਦਾ ਕਰਦੀ ਹੈ। ਅਣਵਰਤੀ ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਮੁਨਾਫ਼ੇ ਦੇ ਹਾਸ਼ੀਏ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ।

ਇੱਕ ਮੁੱਖ ਇੰਜੀਨੀਅਰਿੰਗ ਵਿਚਾਰ ਇਹ ਹੈ ਕਿ, ਬਹੁਤ ਸਾਰੇ ਏਮਬੈਡਡ ਵਿਜ਼ਨ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ, ਪ੍ਰਦਰਸ਼ਨ NPU ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਦੀ ਬਜਾਏ ਚਿੱਤਰ ਟ੍ਰਾਂਸਫਰ, ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ ਜਾਂ CPU-ਅਧਾਰਿਤ ਡਾਊਨਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ ਦੁਆਰਾ ਸੀਮਿਤ ਹੁੰਦਾ ਹੈ।

2. ਮੁੱਢਲੇ ਸੰਕਲਪ ਅਤੇ ਦੋ ਮੁੱਖ ਮੈਟ੍ਰਿਕਸ

ਕੰਪਿਊਟ ਪਲੈਨਿੰਗ ਲਈ ਤਕਨੀਕੀ ਸ਼ਬਦਾਂ ਦੀ ਇੱਕ ਲੰਬੀ ਸੂਚੀ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ। ਦੋ ਮੁੱਖ ਸੰਕਲਪਾਂ ਨੂੰ ਵੱਖਰਾ ਕਰਨ ਨਾਲ ਚਿੱਪ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਗੁੰਮਰਾਹਕੁੰਨ ਹੋਣ ਤੋਂ ਰੋਕਣ ਵਿੱਚ ਮਦਦ ਮਿਲਦੀ ਹੈ।

ਚਿੱਪ ਵਿਕਰੇਤਾਵਾਂ ਦੁਆਰਾ ਇਸ਼ਤਿਹਾਰ ਦਿੱਤਾ ਗਿਆ TOPS ਅੰਕੜਾ ਸਿਧਾਂਤਕ ਸਿਖਰ ਕੰਪਿਊਟ ਪ੍ਰਦਰਸ਼ਨ ਹੈ: ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮਰੱਥਾ ਜੋ ਇੱਕ NPU ਆਦਰਸ਼ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਹਾਲਤਾਂ ਵਿੱਚ ਪੂਰੇ ਲੋਡ 'ਤੇ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ। ਉਤਪਾਦ ਡਿਜ਼ਾਈਨਾਂ ਨੂੰ ਹੈੱਡਰੂਮ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਇਸ ਲਈ ਸਿਖਰ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਸਿੱਧੇ ਆਕਾਰ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ।

ਅਸੀਂ ਇੱਕ AI ਮਾਡਲ ਦੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਵਰਕਲੋਡ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ GMAC ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਇੱਕ MAC ਇੱਕ ਬੁਨਿਆਦੀ ਗੁਣਾ-ਸੰਚਤ ਕਾਰਜ ਹੈ, ਅਤੇ GMAC ਇੱਕ ਅਰਬ ਅਜਿਹੇ ਕਾਰਜਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਹ ਇੱਕ ਮਾਡਲ ਵਿੱਚ ਗਣਨਾ ਦੀ ਮਾਤਰਾ ਨੂੰ ਮਾਪਦਾ ਹੈ। ਧਿਆਨ ਦਿਓ ਕਿ GMAC ਵਰਕਲੋਡ ਨੂੰ ਮਾਪਦਾ ਹੈ, ਜਦੋਂ ਕਿ GMAC/s ਥਰੂਪੁੱਟ ਨੂੰ ਮਾਪਦਾ ਹੈ। ਵੱਡੇ ਮਾਡਲਾਂ ਵਿੱਚ ਉੱਚ GMAC ਮੁੱਲ ਹੁੰਦੇ ਹਨ।

NPU ਉਪਯੋਗਤਾ ਇੱਕ ਸਥਿਰ ਸਥਿਰ ਨਹੀਂ ਹੈ। ਇਹ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਗਣਨਾ ਲਈ ਵਰਤੀ ਗਈ NPU ਸਮਰੱਥਾ ਦੇ ਅਨੁਪਾਤ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਸਧਾਰਨ ਕਨਵੋਲਿਊਸ਼ਨਲ ਨੈੱਟਵਰਕਾਂ ਲਈ, ਜਿਵੇਂ ਕਿ VIO ਫਰੰਟ ਐਂਡ ਜਾਂ ਹਲਕੇ ਖੋਜ ਮਾਡਲ, ਸਧਾਰਨ ਓਪਰੇਟਰ ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਚਿੱਪ ਅਨੁਕੂਲਤਾ 60%–80% ਦੀ ਵਰਤੋਂ ਪੈਦਾ ਕਰ ਸਕਦੀ ਹੈ। ਗੁੰਝਲਦਾਰ ਪਰਿਵਰਤਨ ਜਾਂ ਟ੍ਰਾਂਸਫਾਰਮਰ ਬਲਾਕਾਂ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਵਾਰ-ਵਾਰ ਟਾਈਲਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਉਪਯੋਗਤਾ 20% ਜਾਂ ਇਸ ਤੋਂ ਵੀ ਘੱਟ ਹੋ ਜਾਂਦੀ ਹੈ।

40% ਦੀ ਸਥਿਰ ਵਰਤੋਂ ਦਰ ਲਾਗੂ ਕਰਨਾ ਗਲਤ ਅਨੁਮਾਨਾਂ ਦਾ ਇੱਕ ਵੱਡਾ ਕਾਰਨ ਹੈ। ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਕੰਮ ਦੇ ਬੋਝ ਨੂੰ ਵੀ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ: ਇਨਪੁਟ ਚਿੱਤਰ ਦੀ ਚੌੜਾਈ ਅਤੇ ਉਚਾਈ ਦੋਵਾਂ ਨੂੰ ਦੁੱਗਣਾ ਕਰਨ ਨਾਲ ਇਸਦੇ ਖੇਤਰਫਲ ਨੂੰ ਚੌਗੁਣਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਉਸੇ ਮਾਡਲ ਲਈ ਗਣਨਾ ਨੂੰ ਲਗਭਗ ਚੌਗੁਣਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

TOPS ਸਿਰਫ਼ ਹਾਰਡਵੇਅਰ ਸੀਲਿੰਗ ਹੈ। ਮਾਡਲ ਦੇ GMAC ਵਰਕਲੋਡ ਨਾਲ ਅੰਦਾਜ਼ਿਆਂ ਦੀ ਗਣਨਾ ਸ਼ੁਰੂ ਕਰੋ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਵਿਕਾਸ ਬੋਰਡ 'ਤੇ ਮਾਪਾਂ ਦੇ ਵਿਰੁੱਧ ਕੈਲੀਬਰੇਟ ਕਰੋ। ਇੱਕ ਚਿੱਪ ਨੂੰ ਸਿਰਫ਼ ਇਸਦੇ ਸਿਧਾਂਤਕ ਸਿਖਰ ਪ੍ਰਦਰਸ਼ਨ ਤੋਂ ਨਾ ਚੁਣੋ।

3. ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ ਐਪਲੀਕੇਸ਼ਨ ਲੋੜਾਂ ਅਤੇ ਮਲਟੀ-ਕੈਮਰਾ ਸ਼ਡਿਊਲਿੰਗ

ਗਣਨਾ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਤੋਂ ਪਹਿਲਾਂ, ਉਤਪਾਦ ਦੇ ਕੰਮ ਦੇ ਬੋਝ ਦਾ ਨਕਸ਼ਾ ਬਣਾਓ। ਮਹੱਤਵਪੂਰਨ ਅੰਤਰ ਇਹ ਹੈ ਕਿ ਕੀ ਮਲਟੀਪਲ ਕੈਮਰੇ ਸਮਾਨਾਂਤਰ ਅਨੁਮਾਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਜਾਂ ਸਮਾਂ-ਸ਼ੇਅਰਡ, ਰਾਊਂਡ-ਰੋਬਿਨ ਅਨੁਮਾਨ, ਕਿਉਂਕਿ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ ਕਿ ਉਹਨਾਂ ਦੀਆਂ ਗਣਨਾ ਮੰਗਾਂ ਨੂੰ ਕਿਵੇਂ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ।

ਪੈਰਲਲ ਮੋਡ: ਸਾਰੇ ਕੈਮਰੇ ਇੱਕੋ ਸਮੇਂ AI ਇਨਫਰੈਂਸ ਚਲਾਉਂਦੇ ਹਨ, ਇਸ ਲਈ ਉਹਨਾਂ ਦੀਆਂ ਕੰਪਿਊਟ ਜ਼ਰੂਰਤਾਂ ਸਿੱਧੇ ਜੋੜੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਉਦਾਹਰਣ ਵਜੋਂ, ਹਰੇਕ ਚੈਨਲ 'ਤੇ 30 ਫਰੇਮ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੀ ਰਫ਼ਤਾਰ ਨਾਲ ਰੀਅਲ-ਟਾਈਮ ਵਸਤੂ ਖੋਜ ਕਰਨ ਵਾਲੇ ਚਾਰ ਕੈਮਰਿਆਂ ਵਾਲਾ ਇੱਕ ਸੁਰੱਖਿਆ ਯੰਤਰ ਸਾਰੇ ਚਾਰ ਚੈਨਲਾਂ ਦੇ ਲੋਡ ਨੂੰ ਜੋੜਦਾ ਹੈ।

ਸਮਾਂ-ਸ਼ੇਅਰਡ ਮੋਡ: NPU ਇੱਕ ਸਾਂਝਾ ਹਾਰਡਵੇਅਰ ਸਰੋਤ ਹੈ ਜੋ ਕੈਮਰਾ ਚਿੱਤਰਾਂ ਨੂੰ ਕ੍ਰਮਵਾਰ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ, ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਚੈਨਲ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ ਕਿਉਂਕਿ ਚੈਨਲ ਇੱਕ ਕਤਾਰ ਵਿੱਚ ਵਾਰੀ ਲੈਂਦੇ ਹਨ। ਰੌਕਚਿੱਪ RK ਪਲੇਟਫਾਰਮਾਂ 'ਤੇ ਬਹੁਤ ਸਾਰੇ ਮਲਟੀ-ਕੈਮਰਾ ਵਿਜ਼ਨ ਲਾਗੂਕਰਨ ਇਸ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।

ਕੰਮ ਦੇ ਬੋਝ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੇ ਸਮੇਂ ਹੇਠ ਲਿਖੀ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕਰੋ:

ਹਰੇਕ ਕੈਮਰੇ ਲਈ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਅਤੇ ਫਰੇਮ ਰੇਟ।

AI ਮਾਡਲ ਸੂਚੀ: ਕਿਹੜੇ ਮਾਡਲ NPU 'ਤੇ ਚੱਲਦੇ ਹਨ ਅਤੇ ਕਿਹੜੇ ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਕਾਰਜ CPU 'ਤੇ ਚੱਲਦੇ ਹਨ।

ਕੁਆਂਟਾਇਜ਼ੇਸ਼ਨ ਸਟੀਕਸ਼ਨ: INT8 ਆਪਣੀ ਉੱਚ ਅਨੁਮਾਨ ਕੁਸ਼ਲਤਾ ਦੇ ਕਾਰਨ ਏਮਬੈਡਡ ਡਿਵਾਈਸਾਂ ਲਈ ਇੱਕ ਮੁੱਖ ਧਾਰਾ ਦੀ ਚੋਣ ਹੈ।

ਟਰਿੱਗਰਿੰਗ ਵਿਧੀ: ਹਰੇਕ ਫਰੇਮ 'ਤੇ ਨਿਰੰਤਰ AI ਪ੍ਰੋਸੈਸਿੰਗ, ਜਾਂ ਇਵੈਂਟ-ਟਰਿੱਗਰਡ ਓਪਰੇਸ਼ਨ ਜਿਸ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਐਲਗੋਰਿਦਮ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਸ਼ੁਰੂ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਇੱਕ ਟਰਿੱਗਰ ਸ਼ਰਤ ਪੂਰੀ ਹੁੰਦੀ ਹੈ।

ਮਹੱਤਵਪੂਰਨ: ਅਨੁਭਵ ਤੋਂ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੀ ਬਜਾਏ RKNN ਜਾਂ ONNX ਰਨਟਾਈਮ ਵਰਗੇ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲ GMAC ਨੂੰ ਨਿਰਯਾਤ ਕਰੋ। ਇੱਕ ਹਲਕੇ VIO ਨੈੱਟਵਰਕ ਨੂੰ ਆਕਾਰ ਦੇਣ ਲਈ ਇੱਕ ਵੱਡੇ YOLO ਮਾਡਲ ਦੇ ਵਰਕਲੋਡ ਦੀ ਵਰਤੋਂ ਕੰਪਿਊਟ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੀ ਹੈ।

ਸਾਡਾ MV11 ਇੱਕ ਚਾਰ-ਕੈਮਰਾ ਹਾਰਡਵੇਅਰ-ਸਿੰਕ੍ਰੋਨਾਈਜ਼ਡ ਵਿਜ਼ਨ ਅਤੇ ਇਨਰਸ਼ੀਅਲ-ਨੇਵੀਗੇਸ਼ਨ ਫਿਊਜ਼ਨ ਕੰਪਿਊਟਿੰਗ ਪਲੇਟਫਾਰਮ ਹੈ ਜੋ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ ਰੌਕਚਿੱਪ RK3576 ਪ੍ਰੋਸੈਸਰ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਇਸ ਵਿੱਚ 6 TOPS NPU ਅਤੇ 4 GB LPDDR4 ਮੈਮੋਰੀ ਸ਼ਾਮਲ ਹੈ ਅਤੇ ਚਾਰ ਕੈਮਰਿਆਂ ਵਿੱਚ ਮਾਈਕ੍ਰੋਸੈਕੰਡ-ਪੱਧਰ ਦੇ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ੇਸ਼ਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਢੁਕਵੇਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਰੋਬੋਟਿਕ ਪਛਾਣ ਅਤੇ ਖੋਜ, VIO, SLAM ਅਤੇ ਮਲਟੀ-ਕੈਮਰਾ EGO ਡੇਟਾ ਸੰਗ੍ਰਹਿ ਸ਼ਾਮਲ ਹਨ। ਇਹ ਉੱਪਰ ਦੱਸੇ ਗਏ ਬੋਰਡ-ਪੱਧਰ ਦੇ ਕੰਪਿਊਟ, ਬੈਂਡਵਿਡਥ ਅਤੇ ਮਲਟੀ-ਚੈਨਲ ਸ਼ਡਿਊਲਿੰਗ ਟੈਸਟਾਂ ਲਈ ਹਾਰਡਵੇਅਰ ਪਲੇਟਫਾਰਮ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਸ਼ੁਰੂਆਤੀ ਪ੍ਰੋਜੈਕਟ ਮੁਲਾਂਕਣ ਲਈ ਨਮੂਨੇ ਉਪਲਬਧ ਹਨ, ਅਤੇ ਪੂਰੇ ਵਿਜ਼ਨ ਹੱਲ ਤੈਨਾਤੀ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। [email protected] 'ਤੇ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋ।

4. NPU ਕੰਪਿਊਟ ਦੇ ਕੰਮ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਅਕਸਰ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਸੀਮਤ ਕਰਨ ਵਾਲੀਆਂ ਪਾਬੰਦੀਆਂ

ਬਹੁਤ ਸਾਰੇ ਪ੍ਰੋਜੈਕਟ ਚੋਣ ਦੌਰਾਨ ਸਿਰਫ਼ NPU TOPS 'ਤੇ ਕੇਂਦ੍ਰਤ ਕਰਦੇ ਹਨ, ਫਿਰ ਬੋਰਡ ਬ੍ਰਿੰਗ-ਅਪ ਦੌਰਾਨ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਸਿਸਟਮ NPU ਸਮਰੱਥਾ ਦੇ ਅੱਧੇ ਤੋਂ ਵੱਧ ਉਪਲਬਧ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਵੀ ਜਾਰੀ ਨਹੀਂ ਰਹਿ ਸਕਦਾ। ਹੇਠ ਲਿਖੀਆਂ ਰੁਕਾਵਟਾਂ ਏਮਬੈਡਡ ਵਿਜ਼ਨ ਵਿੱਚ ਆਮ ਰੁਕਾਵਟਾਂ ਹਨ।

4.1 DDR ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ

AI ਅਨੁਮਾਨ ਦੌਰਾਨ, NPU ਲਗਾਤਾਰ ਮੈਮੋਰੀ ਤੋਂ ਚਿੱਤਰਾਂ ਅਤੇ ਮਾਡਲ ਵਜ਼ਨਾਂ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਇੰਟਰਮੀਡੀਏਟ ਫੀਚਰ ਮੈਪਸ ਨੂੰ ਮੈਮੋਰੀ ਵਿੱਚ ਵਾਪਸ ਲਿਖਦਾ ਹੈ। DDR ਬੈਂਡਵਿਡਥ ਇਹਨਾਂ ਟ੍ਰਾਂਸਫਰਾਂ ਦੀ ਗਤੀ ਨਿਰਧਾਰਤ ਕਰਦੀ ਹੈ। ਜਦੋਂ ਬੈਂਡਵਿਡਥ ਨਾਕਾਫ਼ੀ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਕਾਫ਼ੀ ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਵਾਲੇ NPU ਨੂੰ ਵੀ ਡੇਟਾ ਦੀ ਉਡੀਕ ਕਰਨੀ ਪੈਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਫਰੇਮ-ਰੇਟ ਸੁਧਾਰਾਂ ਨੂੰ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ। RK ਪਲੇਟਫਾਰਮਾਂ 'ਤੇ ਜ਼ਿਆਦਾਤਰ ਮਲਟੀ-ਕੈਮਰਾ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ, ਬੈਂਡਵਿਡਥ ਸੰਤ੍ਰਿਪਤ ਹੋ ਜਾਂਦੀ ਹੈ ਜਦੋਂ ਕਿ NPU ਸਮਰੱਥਾ ਦਾ ਸਿਰਫ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਹਿੱਸਾ ਹੀ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

4.2 ਮੈਮੋਰੀ ਸਮਰੱਥਾ

ਚਿੱਤਰ ਬਫਰ, ਏਆਈ ਮਾਡਲ ਵਜ਼ਨ ਅਤੇ ਵਿਚਕਾਰਲੇ ਫੀਚਰ ਮੈਪਸ ਸਾਰੇ ਮੈਮੋਰੀ ਦੀ ਖਪਤ ਕਰਦੇ ਹਨ। ਜਦੋਂ ਕਈ ਚੈਨਲ ਇੱਕੋ ਸਮੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਤਾਂ ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਕਾਫ਼ੀ ਵੱਧ ਜਾਂਦੀ ਹੈ। ਨਾਕਾਫ਼ੀ ਮੈਮੋਰੀ ਐਪਲੀਕੇਸ਼ਨ ਨੂੰ ਕਰੈਸ਼ ਕਰ ਸਕਦੀ ਹੈ। ਏਮਬੈਡਡ ਡਿਵਾਈਸਾਂ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਵਰਚੁਅਲ ਮੈਮੋਰੀ ਦੀ ਘਾਟ ਹੁੰਦੀ ਹੈ, ਇਸ ਲਈ ਇੱਕ ਆਊਟ-ਆਫ-ਮੈਮੋਰੀ (OOM) ਸਥਿਤੀ ਡਿਵਾਈਸ ਨੂੰ ਰੁਕਣ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੀ ਹੈ।

4.3 ISP ਚਿੱਤਰ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ

ਕੈਮਰਿਆਂ ਦੁਆਰਾ ਖਿੱਚੀਆਂ ਗਈਆਂ ਕੱਚੀਆਂ ਤਸਵੀਰਾਂ ਲਈ ਕ੍ਰੌਪਿੰਗ, ਸਕੇਲਿੰਗ ਅਤੇ ਕਲਰ-ਸਪੇਸ ਪਰਿਵਰਤਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਕੁਝ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ISP ਹਾਰਡਵੇਅਰ ਦੁਆਰਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਦੋਂ ਕਿ ਕੁਝ CPU ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀਆਂ ਹਨ। ਮਲਟੀ-ਕੈਮਰਾ ਪ੍ਰਾਪਤੀ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਮੰਗ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ ਅਤੇ NPU ਦੇ ਨਿਸ਼ਕਿਰਿਆ ਹੋਣ 'ਤੇ ਵੀ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਲੇਟੈਂਸੀ ਪੇਸ਼ ਕਰ ਸਕਦੀ ਹੈ।

4.4 ਬਿਜਲੀ ਦੀ ਖਪਤ ਅਤੇ ਥਰਮਲ ਪ੍ਰਬੰਧਨ

ਇੱਕ ਚਿੱਪ ਦਾ ਇਸ਼ਤਿਹਾਰ ਦਿੱਤਾ ਗਿਆ ਪੀਕ TOPS ਪੀਕ ਪਾਵਰ ਖਪਤ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਏਮਬੈਡਡ ਡਿਵਾਈਸ ਪੱਖੇ ਰਹਿਤ ਹੁੰਦੇ ਹਨ ਅਤੇ ਲੰਬੇ ਸਮੇਂ ਲਈ ਪੂਰੇ NPU ਲੋਡ ਨੂੰ ਬਰਕਰਾਰ ਨਹੀਂ ਰੱਖ ਸਕਦੇ। ਭਾਵੇਂ ਸਿਧਾਂਤਕ ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਉੱਚੀ ਹੋਵੇ, ਥਰਮਲ ਸਥਿਤੀਆਂ ਨਿਰੰਤਰ ਕਾਰਜ ਲਈ ਉਪਲਬਧ ਸਮਰੱਥਾ ਨੂੰ ਸੀਮਤ ਕਰਦੀਆਂ ਹਨ।

4.5 ਆਪਰੇਟਰ ਅਨੁਕੂਲਤਾ

ਜੇਕਰ ਕਿਸੇ AI ਮਾਡਲ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਓਪਰੇਟਰ ਹੁੰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ NPU ਤੇਜ਼ ਨਹੀਂ ਕਰ ਸਕਦਾ, ਤਾਂ ਉਹ CPU ਐਗਜ਼ੀਕਿਊਸ਼ਨ 'ਤੇ ਵਾਪਸ ਆ ਜਾਂਦੇ ਹਨ। CPU 'ਤੇ AI ਪ੍ਰੋਸੈਸਿੰਗ ਹੌਲੀ ਹੁੰਦੀ ਹੈ ਅਤੇ NPU ਸਮਰੱਥਾ ਕਾਫ਼ੀ ਹੋਣ 'ਤੇ ਵੀ ਪਾਈਪਲਾਈਨ ਨੂੰ ਬੁਰੀ ਤਰ੍ਹਾਂ ਰੋਕ ਸਕਦੀ ਹੈ। ਪਲੇਟਫਾਰਮ ਚੁਣਨ ਤੋਂ ਪਹਿਲਾਂ ਓਪਰੇਟਰ ਪ੍ਰਵੇਗ ਸਹਾਇਤਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ।

5. ਇੱਕ ਵਿਹਾਰਕ ਯੋਜਨਾਬੰਦੀ ਵਰਕਫਲੋ

1. ਵਰਕਲੋਡ ਬੇਸਲਾਈਨ ਅਤੇ ਓਪਰੇਟਿੰਗ ਮੋਡ ਸਥਾਪਤ ਕਰੋ। AI ਪਾਈਪਲਾਈਨ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ: ਰੈਜ਼ੋਲਿਊਸ਼ਨ, ਫਰੇਮ ਰੇਟ, ਚੈਨਲ ਗਿਣਤੀ, ਟਰਿੱਗਰ ਰਣਨੀਤੀ (ਨਿਰੰਤਰ ਜਾਂ ਘਟਨਾ-ਸੰਚਾਲਿਤ), ਸਮਾਨਾਂਤਰ ਜਾਂ ਸਮਾਂ-ਸਾਂਝਾ ਐਗਜ਼ੀਕਿਊਸ਼ਨ, ਮਾਡਲ ਸੂਚੀ ਅਤੇ ਤੈਨਾਤੀ ਸ਼ੁੱਧਤਾ। ਇਸ ਗੱਲ 'ਤੇ ਖਾਸ ਧਿਆਨ ਦਿਓ ਕਿ ਕਈ ਚੈਨਲ ਕਿਵੇਂ ਤਹਿ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।

2. ਮਾਡਲ ਵਰਕਲੋਡ ਦੀ ਮਾਤਰਾ ਨਿਰਧਾਰਤ ਕਰੋ ਅਤੇ GMAC/s ਨਿਰਯਾਤ ਕਰੋ। ਹਰੇਕ ਮਾਡਲ ਲਈ GMAC/s ਨਿਰਯਾਤ ਕਰਨ ਲਈ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰੋ, NPU-ਐਕਸਲਰੇਟਿਡ ਕੰਪਿਊਟੇਸ਼ਨ ਨੂੰ CPU ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਤੋਂ ਵੱਖ ਕਰੋ।

3. ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਕੁਸ਼ਲਤਾ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਟਾਰਗੇਟ ਬੋਰਡ 'ਤੇ ਮਾਪ। RK3576 ਜਾਂ RK3588 ਵਰਗੇ ਉਮੀਦਵਾਰ SoCs 'ਤੇ ਮਾਡਲਾਂ ਨੂੰ ਪਲੇਟਫਾਰਮ ਫਾਰਮੈਟ ਵਿੱਚ ਬਦਲੋ। ਉਸ NPU 'ਤੇ ਉਸ ਮਾਡਲ ਦੇ ਅਸਲ ਥਰੂਪੁੱਟ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਪ੍ਰਤੀ ਫਰੇਮ ਅਨੁਮਾਨ ਸਮਾਂ ਮਾਪੋ। ਕਾਗਜ਼ੀ ਅਨੁਮਾਨਾਂ ਵਿੱਚ ਅੰਤਰ ਨੂੰ ਖਤਮ ਕਰਨ ਲਈ ਇਹ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਹੈ: ਸਾਰੇ ਅਨੁਮਾਨਾਂ ਨੂੰ ਆਮ ਫਾਰਮੂਲਿਆਂ ਦੀ ਬਜਾਏ ਬੋਰਡ-ਪੱਧਰ ਦੇ ਮਾਪਾਂ ਦੇ ਵਿਰੁੱਧ ਕੈਲੀਬਰੇਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

4. ਮਲਟੀ-ਚੈਨਲ ਵਰਕਲੋਡ ਇਕੱਠੇ ਕਰੋ ਅਤੇ ਸਿਸਟਮ ਰੁਕਾਵਟਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ। ਸਾਰੇ ਚੈਨਲ ਇੱਕੋ ਸਮੇਂ ਟਰਿੱਗਰ ਹੋਣ 'ਤੇ ਆਮ ਸਥਿਰ-ਸਥਿਤੀ ਓਪਰੇਸ਼ਨ ਅਤੇ ਸਭ ਤੋਂ ਮਾੜੇ-ਕੇਸ ਪੀਕ ਦੋਵਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ। ਇੱਕੋ ਸਮੇਂ DDR ਬੈਂਡਵਿਡਥ ਅਤੇ ਮੈਮੋਰੀ ਵਰਤੋਂ ਦੀ ਜਾਂਚ ਕਰੋ। ਬਹੁਤ ਸਾਰੇ RK ਮਲਟੀ-ਕੈਮਰਾ ਪ੍ਰੋਜੈਕਟ ਬੈਂਡਵਿਡਥ ਨੂੰ ਖਤਮ ਕਰਦੇ ਹਨ ਜਦੋਂ ਕਿ ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਉਪਲਬਧ ਰਹਿੰਦੀ ਹੈ।

5. ਢੁਕਵਾਂ ਹੈੱਡਰੂਮ ਰਿਜ਼ਰਵ ਕਰੋ ਅਤੇ ਸੀਮਾਵਾਂ ਸੈੱਟ ਕਰੋ। ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਸਥਿਰ ਐਲਗੋਰਿਦਮ ਵਾਲੇ ਥੋੜ੍ਹੇ ਸਮੇਂ ਦੇ ਉਤਪਾਦਾਂ ਲਈ 1.1–1.2 ਦਾ ਹਾਸ਼ੀਆ ਵਰਤੋ, ਅਤੇ ਮਾਡਲ ਅੱਪਡੇਟ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਉਮੀਦ ਵਾਲੇ ਉਤਪਾਦਾਂ ਲਈ 1.3–1.4 ਦਾ ਹਾਸ਼ੀਆ ਵਰਤੋ। ਹੈੱਡਰੂਮ ਵਿੱਚ ਮਨਮਾਨੇ ਓਵਰਪ੍ਰੋਵਿਜ਼ਨਿੰਗ ਦੀ ਬਜਾਏ ਮਾਡਲ ਵਿਕਾਸ, ਸਿਖਰ ਦ੍ਰਿਸ਼ਾਂ ਅਤੇ ਸਮਾਂ-ਸਾਰਣੀ ਓਵਰਹੈੱਡ ਨੂੰ ਕਵਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਇੱਕੋ ਸਮੇਂ BOM ਲਾਗਤ ਅਤੇ ਪਾਵਰ ਸੀਮਾਵਾਂ ਸੈੱਟ ਕਰੋ।

6. ਪੰਜ ਆਮ NPU ਸਮਰੱਥਾ ਯੋਜਨਾਬੰਦੀ ਦੇ ਨੁਕਸਾਨ

6.1 ਸਿਰਫ਼ ਚਿੱਪ ਟੌਪਸ ਅਤੇ ਇੱਕ ਸਥਿਰ ਉਪਯੋਗਤਾ ਦਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ

ਇਸ਼ਤਿਹਾਰ ਦਿੱਤੇ ਗਏ TOPS 'ਤੇ ਇੱਕ ਨਿਸ਼ਚਿਤ 40% ਉਪਯੋਗਤਾ ਦਰ ਲਾਗੂ ਕਰਨ ਨਾਲ ਗਣਨਾ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਕਈ ਗੁਣਾ ਜ਼ਿਆਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਅਸਲ ਇੰਜੀਨੀਅਰਿੰਗ ਸਥਿਤੀਆਂ ਤੋਂ ਕਾਫ਼ੀ ਹੱਦ ਤੱਕ ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ। ਉਪਯੋਗਤਾ ਮਾਡਲਾਂ ਅਤੇ NPU ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਕਾਫ਼ੀ ਵੱਖਰੀ ਹੁੰਦੀ ਹੈ।

6.2 ਚੈਨਲ ਗਿਣਤੀ ਨਾਲ ਗੁਣਾ ਕਰਨਾ ਅਤੇ ਸਮਾਂ ਸਾਂਝਾਕਰਨ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਨਾ

ਸਮਾਂ-ਸ਼ੇਅਰਡ ਓਪਰੇਸ਼ਨ ਵਿੱਚ, NPU ਚੈਨਲਾਂ ਨੂੰ ਵਾਰੀ-ਵਾਰੀ ਪ੍ਰੋਸੈਸ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਕੰਪਿਊਟ ਸਮਰੱਥਾ ਨੂੰ ਦੁਬਾਰਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਸਿਰਫ਼ ਚੈਨਲ ਗਿਣਤੀ ਨੂੰ ਸਿੰਗਲ-ਚੈਨਲ ਕੰਪਿਊਟ ਮੰਗ ਨਾਲ ਗੁਣਾ ਕਰਨ ਨਾਲ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਨਤੀਜੇ ਵਜੋਂ ਇੱਕ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸ਼ਕਤੀਸ਼ਾਲੀ, ਬੇਲੋੜੀ ਮਹਿੰਗੀ ਚਿੱਪ ਬਣ ਜਾਂਦੀ ਹੈ।

6.3 NPU ਕੰਪਿਊਟ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨਾ ਪਰ DDR ਬੈਂਡਵਿਡਥ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਨਾ

ਮਲਟੀ-ਕੈਮਰਾ ਵਿਜ਼ਨ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਬੈਂਡਵਿਡਥ ਰੁਕਾਵਟਾਂ ਕੰਪਿਊਟ ਰੁਕਾਵਟਾਂ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਆਮ ਹਨ। NPU ਵਿੱਚ ਕਾਫ਼ੀ ਸਮਰੱਥਾ ਬਾਕੀ ਹੋ ਸਕਦੀ ਹੈ, ਪਰ ਡੇਟਾ ਟ੍ਰਾਂਸਫਰ ਇਸ ਨੂੰ ਜਾਰੀ ਨਹੀਂ ਰੱਖ ਸਕਦੇ, ਜਿਸ ਨਾਲ ਫਰੇਮ ਰੇਟ ਸੀਮਤ ਹੋ ਜਾਂਦਾ ਹੈ। ਮਲਟੀ-ਕੈਮਰਾ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਪਹਿਲਾਂ ਬੈਂਡਵਿਡਥ ਦਾ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

6.4 ਔਸਤ ਲੋਡ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਪਰ ਅਸਥਾਈ ਸਿਖਰਾਂ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਨਾ

ਇੱਕ ਉਤਪਾਦ ਜ਼ਿਆਦਾਤਰ ਸਮੇਂ ਘੱਟ ਲੋਡ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ ਪਰ ਜਦੋਂ ਸਾਰੇ ਕੈਮਰੇ ਇੱਕੋ ਸਮੇਂ AI ਨੂੰ ਚਾਲੂ ਕਰਦੇ ਹਨ ਤਾਂ ਅਸਥਾਈ ਸਿਖਰਾਂ ਦਾ ਅਨੁਭਵ ਹੁੰਦਾ ਹੈ। ਡਿਜ਼ਾਈਨ ਨੂੰ ਇਹਨਾਂ ਸਿਖਰਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਚਾਹੀਦਾ ਹੈ, ਪਰ ਇੱਕ ਕਾਰਜ ਕਤਾਰ ਅਸਥਾਈ ਮੰਗ ਨੂੰ ਸੁਚਾਰੂ ਬਣਾ ਸਕਦੀ ਹੈ, ਇਸ ਲਈ ਚਿੱਪ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਸਿਖਰ ਕੰਪਿਊਟ ਮੰਗ ਲਈ ਆਕਾਰ ਦੇਣ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੈ।

6.5 ਸਿਰਫ਼ ਮਾਡਲ ਗਣਨਾ ਦੀ ਗਿਣਤੀ ਕਰਨਾ ਅਤੇ ਸਿਸਟਮ ਓਵਰਹੈੱਡ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਨਾ

ਬਹੁਤ ਸਾਰੇ ਅਨੁਮਾਨ ਸਿਰਫ਼ AI ਬੈਕਬੋਨ ਦੇ GMAC ਨੂੰ ਗਿਣਦੇ ਹਨ ਅਤੇ ISP ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ, ਚਿੱਤਰ ਕਾਪੀ ਕਰਨ ਅਤੇ CPU ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ। ਕਾਫ਼ੀ NPU ਸਮਰੱਥਾ ਦੇ ਬਾਵਜੂਦ, ਇਹ ਓਵਰਹੈੱਡ ਐਂਡ-ਟੂ-ਐਂਡ ਲੇਟੈਂਸੀ ਨੂੰ ਵਧਾਉਂਦੇ ਹਨ ਅਤੇ ਉਮੀਦ ਕੀਤੀ ਗਈ ਫਰੇਮ ਰੇਟ ਨੂੰ ਪ੍ਰਾਪਤ ਹੋਣ ਤੋਂ ਰੋਕਦੇ ਹਨ।

7. ਪਲੇਟਫਾਰਮ ਚੋਣ ਲਈ ਲਾਗੂਕਰਨ ਚੈੱਕਲਿਸਟ

ਸਾਰੇ ਕੈਮਰਾ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ: ਰੈਜ਼ੋਲਿਊਸ਼ਨ, ਫਰੇਮ ਰੇਟ ਅਤੇ ਚੈਨਲ ਗਿਣਤੀ। ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਚੈਨਲ ਸਮਾਨਾਂਤਰ ਜਾਂ ਸਮਾਂ-ਸ਼ੇਅਰ ਸ਼ਡਿਊਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।

ਹਰੇਕ ਮਾਡਲ ਲਈ GMAC ਨਿਰਯਾਤ ਕਰੋ ਅਤੇ NPU ਗਣਨਾ ਨੂੰ CPU ਪੋਸਟ-ਪ੍ਰੋਸੈਸਿੰਗ ਤੋਂ ਵੱਖ ਕਰੋ।

ਅਸਲ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਕੁਸ਼ਲਤਾ ਸਥਾਪਤ ਕਰਨ ਲਈ ਉਮੀਦਵਾਰ ਪਲੇਟਫਾਰਮਾਂ 'ਤੇ ਸਿੰਗਲ-ਮਾਡਲ ਇਨਫਰੈਂਸ ਸਮਾਂ ਮਾਪੋ।

ਮਲਟੀ-ਚੈਨਲ ਵਰਕਲੋਡ ਨੂੰ ਇਕੱਠਾ ਕਰੋ ਅਤੇ ਸਥਿਰ-ਅਵਸਥਾ ਅਤੇ ਸਿਖਰ ਦੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ NPU ਕੰਪਿਊਟ ਉਪਯੋਗਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ।

ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕਿ ਕੀ ਬੈਂਡਵਿਡਥ ਰੁਕਾਵਟ ਹੈ, DDR ਬੈਂਡਵਿਡਥ ਅਤੇ ਮੈਮੋਰੀ ਵਰਤੋਂ ਨੂੰ ਮਾਪੋ।

CPU ਫਾਲਬੈਕ ਤੋਂ ਬਚਣ ਲਈ ਮਾਡਲ ਓਪਰੇਟਰਾਂ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰੋ ਅਤੇ NPU ਹਾਰਡਵੇਅਰ ਪ੍ਰਵੇਗ ਸਹਾਇਤਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ।

ਉਤਪਾਦ ਅੱਪਡੇਟ ਰੋਡਮੈਪ ਦੇ ਅਨੁਸਾਰ ਕੰਪਿਊਟ ਹੈੱਡਰੂਮ ਰਿਜ਼ਰਵ ਕਰੋ ਅਤੇ BOM ਲਾਗਤ ਅਤੇ ਪਾਵਰ ਸੀਮਾਵਾਂ ਸੈੱਟ ਕਰੋ।

ਇੱਕੋ ਸਮੇਂ ਮਲਟੀ-ਚੈਨਲ ਟ੍ਰਿਗਰਾਂ ਨਾਲ ਵਿਸਤ੍ਰਿਤ ਤਣਾਅ ਟੈਸਟ ਚਲਾਓ। ਮੈਮੋਰੀ ਥਕਾਵਟ ਕਾਰਨ ਹੋਣ ਵਾਲੇ ਫਰੇਮ-ਰੇਟ ਭਿੰਨਤਾ ਅਤੇ ਕਰੈਸ਼ਾਂ ਦੀ ਜਾਂਚ ਕਰੋ।

ਏਮਬੈਡਡ ਵਿਜ਼ਨ ਲਈ NPU ਸਮਰੱਥਾ ਦਾ ਆਕਾਰ ਦੇਣਾ TOPS ਫਾਰਮੂਲਾ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਇੱਕ ਸਧਾਰਨ ਗਣਿਤਿਕ ਅਭਿਆਸ ਨਹੀਂ ਹੈ। ਕਾਗਜ਼ੀ ਅਨੁਮਾਨ ਸਿਰਫ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਯੋਜਨਾਬੰਦੀ ਸੰਦਰਭ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। ਅੰਤਿਮ ਪ੍ਰਮਾਣਿਕਤਾ ਟਾਰਗੇਟ ਚਿੱਪ ਦੇ ਵਿਕਾਸ ਬੋਰਡ 'ਤੇ ਕੀਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ।

ਇੱਕ ਪੂਰਾ ਮੁਲਾਂਕਣ ਇਸ ਕ੍ਰਮ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ: ਇਹ ਨਿਰਧਾਰਤ ਕਰੋ ਕਿ ਕੀ ਕੰਪਿਊਟ ਰੁਕਾਵਟ ਹੈ → ਸਮਾਨਾਂਤਰ ਜਾਂ ਸਮਾਂ-ਸ਼ੇਅਰਡ ਸ਼ਡਿਊਲਿੰਗ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ → ਮਾਡਲ GMAC ਨੂੰ ਮਾਪੋ → DDR ਬੈਂਡਵਿਡਥ ਮੁਲਾਂਕਣ ਨੂੰ ਤਰਜੀਹ ਦਿਓ → ਬੋਰਡ-ਪੱਧਰ ਦੀ ਜਾਂਚ ਦੁਆਰਾ ਕੈਲੀਬਰੇਟ ਕਰੋ → ਢੁਕਵੇਂ ਕੰਪਿਊਟ ਹੈੱਡਰੂਮ ਨੂੰ ਰਿਜ਼ਰਵ ਕਰੋ।

ਟੀਚਾ ਪ੍ਰਦਰਸ਼ਨ, ਬਿਜਲੀ ਦੀ ਖਪਤ ਅਤੇ ਲਾਗਤ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਨਾ ਹੈ। ਉੱਚੇ ਸਿਖਰ ਵਾਲੇ NPU TOPS ਦਾ ਪਿੱਛਾ ਕਰਨ ਦੀ ਬਜਾਏ ਕੰਮ ਲਈ ਲੋੜੀਂਦੀ ਸਮਰੱਥਾ ਦੀ ਚੋਣ ਕਰੋ।

ਸਾਡਾ MV11 ਇੱਕ ਚਾਰ-ਕੈਮਰਾ ਹਾਰਡਵੇਅਰ-ਸਿੰਕ੍ਰੋਨਾਈਜ਼ਡ ਵਿਜ਼ਨ ਅਤੇ ਇਨਰਸ਼ੀਅਲ-ਨੇਵੀਗੇਸ਼ਨ ਫਿਊਜ਼ਨ ਕੰਪਿਊਟਿੰਗ ਪਲੇਟਫਾਰਮ ਹੈ ਜੋ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ ਰੌਕਚਿੱਪ RK3576 ਪ੍ਰੋਸੈਸਰ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਇਸ ਵਿੱਚ 6 TOPS NPU ਅਤੇ 4 GB LPDDR4 ਮੈਮੋਰੀ ਸ਼ਾਮਲ ਹੈ ਅਤੇ ਚਾਰ ਕੈਮਰਿਆਂ ਵਿੱਚ ਮਾਈਕ੍ਰੋਸੈਕੰਡ-ਪੱਧਰ ਦੇ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ੇਸ਼ਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਢੁਕਵੇਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਰੋਬੋਟਿਕ ਪਛਾਣ ਅਤੇ ਖੋਜ, VIO, SLAM ਅਤੇ ਮਲਟੀ-ਕੈਮਰਾ EGO ਡੇਟਾ ਸੰਗ੍ਰਹਿ ਸ਼ਾਮਲ ਹਨ। ਇਹ ਉੱਪਰ ਦੱਸੇ ਗਏ ਬੋਰਡ-ਪੱਧਰ ਦੇ ਕੰਪਿਊਟ, ਬੈਂਡਵਿਡਥ ਅਤੇ ਮਲਟੀ-ਚੈਨਲ ਸ਼ਡਿਊਲਿੰਗ ਟੈਸਟਾਂ ਲਈ ਹਾਰਡਵੇਅਰ ਪਲੇਟਫਾਰਮ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਸ਼ੁਰੂਆਤੀ ਪ੍ਰੋਜੈਕਟ ਮੁਲਾਂਕਣ ਲਈ ਨਮੂਨੇ ਉਪਲਬਧ ਹਨ, ਅਤੇ ਪੂਰੇ ਵਿਜ਼ਨ ਹੱਲ ਤੈਨਾਤੀ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। [email protected] 'ਤੇ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋ।