RK3576 লিনাক্স ক্যামেরা ব্রিং-আপ: সেন্সর ড্রাইভার থেকে প্রথম ফ্রেম পর্যন্ত

RK3576 হলো রকচিপ কর্তৃক শিল্প দৃষ্টি, স্মার্ট নিরাপত্তা এবং কৃত্রিম বুদ্ধিমত্তা-ভিত্তিক দৃষ্টি টার্মিনালের জন্য উন্নয়ন করা একটি প্রসেসর। এটি একটি ISP V3.9 ইমেজ সিগন্যাল প্রসেসর (সর্বোচ্চ ১৬ মেগাপিক্সেল সমর্থন করে) এবং তিনটি MIPI CSI-2 রিসিভার মডিউল (দুটি D-PHY V2.0 মডিউল এবং একটি C/D-PHY মডিউল) একত্রিত করে। প্রতিটি D-PHY লেন ৪.৫ গিগাবিট প্রতি সেকেন্ড পর্যন্ত সর্বোচ্চ হার সমর্থন করে, প্রতিটি C-PHY ট্রায়ো ২.৫ গিগাস্যাম্পল প্রতি সেকেন্ড সমর্থন করে এবং প্রতিটি CSI পোর্ট চারটি ভার্চুয়াল চ্যানেল সমর্থন করে।

RK3576 ক্যামেরা সমাধানটি লিনাক্স মিডিয়া ফ্রেমওয়ার্ক এবং V4L2-সাবডিভাইস সাবডিভাইস মডেলের চারপাশে নকশা করা হয়েছে। সম্পূর্ণ ডেটা পাথটি হলো: ইমেজ সেন্সর → MIPI CSI রিসিভার কন্ট্রোলার → VICAP ভিডিও ক্যাপচার ইউনিট → ISP V3.9। সেন্সরটি একটি স্বাধীন সাবডিভাইস হিসেবে কাজ করে এবং MIPI CSI, VICAP এবং ISP-এর সঙ্গে মিলে একটি সম্পূর্ণ ইমেজ অ্যাকুইজিশন পাইপলাইন গঠন করে।

যদিও RK3576 তিনটি MIPI CSI রিসিভার চ্যানেল প্রদান করে এবং VICAP একযোগে একাধিক ইমেজ স্ট্রিম গ্রহণ করতে পারে, ISP V3.9 হলো একক-চ্যানেল হার্ডওয়্যার এবং এটি একসময়ে শুধুমাত্র একটি ইমেজ স্ট্রিমের উপর আইএসপি অ্যালগরিদম প্রক্রিয়াকরণ সম্পাদন করতে পারে।

প্রকল্প ডিবাগিংয়ের সময়, সমস্যাগুলির মধ্যে অস্বাভাবিক I2C যোগাযোগ, অস্থিতিশীল MIPI লিঙ্ক বা মিডিয়া পাইপলাইন স্থাপন করতে ব্যর্থ হওয়া অন্তর্ভুক্ত থাকতে পারে, যা শেষ পর্যন্ত প্রথম ইমেজ ফ্রেম আউটপুট করা বাধা দেয়। এই নিবন্ধটি প্রকৌশল বাস্তবায়নের দৃষ্টিকোণ থেকে একটি সম্পূর্ণ ডিবাগিং পদ্ধতি উপস্থাপন করে এবং এম্বেডেড ভিশন ডিবাগিংয়ের জন্য একটি রেফারেন্স হিসেবে কাজ করতে পারে।

১. হার্ডওয়্যার এবং কার্নেল প্রস্তুতি: ডিবাগিংয়ের আগে নিম্ন-স্তরের হার্ডওয়্যার সমস্যাগুলি দূর করা

ড্রাইভার ডিবাগিং-এর সময়, আমরা যেসব সমস্যার মুখোমুখি হই, তাদের অধিকাংশই ড্রাইভার কোডটির নিজস্ব কারণে ঘটে না, বরং হার্ডওয়্যার ওয়্যারিং, পাওয়ার সিকোয়েন্সিং বা কার্নেল কনফিগারেশনের অনুপস্থিতির মতো নিম্ন-স্তরের সমস্যার কারণে ঘটে। সুতরাং, সেন্সর ড্রাইভার ডেভেলপমেন্ট শুরু করার আগে প্রথমে মৌলিক হার্ডওয়্যার এবং কার্নেল পরিবেশ পরীক্ষা করে যাচাই করা উচিত।

প্রধান হার্ডওয়্যার পরীক্ষাগুলির মধ্যে রয়েছে সেন্সরের পাওয়ার রেইলস, আই২সি বাস, মিপি ডিফারেনশিয়াল লিঙ্কস এবং রিসেট/পাওয়ার-কন্ট্রোল জিপিও পিনগুলি।

সেন্সর পাওয়ার-আপ সিকোয়েন্সিং ডিবাগিং-এর সবচেয়ে গুরুত্বপূর্ণ অংশগুলির মধ্যে একটি। এভিডিডি, ডিওভিডিডি এবং ডিভিডিডি সহ একাধিক পাওয়ার রেইলসকে সেন্সর দ্বারা নির্দিষ্ট পাওয়ার-আপ সিকোয়েন্স অবশ্যই কঠোরভাবে অনুসরণ করতে হবে। অতিরিক্ত সাপ্লাই ভোল্টেজ বিচ্যুতি বা ভুল পাওয়ার-আপ/পাওয়ার-ডাউন টাইমিং সরাসরি আই২সি কমিউনিকেশন ব্যর্থতা এবং সেন্সরের অস্বাভাবিক কার্যকারিতা ঘটাতে পারে।

আই২সি বাস: পিন-মাল্টিপ্লেক্সিং কনফিগারেশন এবং সেন্সর স্লেভ অ্যাড্রেস পরীক্ষা করুন এবং নিশ্চিত করুন যে আই২সি পুল-আপ রেজিস্টরগুলি সঠিকভাবে স্থাপন করা হয়েছে।

MIPI: হার্ডওয়্যার দ্বারা ব্যবহৃত CSI চ্যানেল, MIPI লেনের সংখ্যা এবং ডিফারেনশিয়াল সিগন্যাল লাইনগুলিতে ইম্পিড্যান্স ম্যাচিং নিশ্চিত করুন। এছাড়া, RK3576 থেকে সেন্সর রেফারেন্স ক্লক (XVCLK) আউটপুট সঠিকভাবে কাজ করছে কিনা তা নিশ্চিত করুন।

রিসেট/পাওয়ার-ডাউন নিয়ন্ত্রণ পিন: সক্রিয়-স্তরের লজিক (সক্রিয় উচ্চ/সক্রিয় নিম্ন) নির্ধারণ করুন এবং নিশ্চিত করুন যে GPIO কনফিগারেশনটি স্কিমেটিকের সাথে মেলে।

কার্নেল কনফিগারেশন: মিডিয়া সাবসিস্টেম, V4L2-সাবডিভাইস সাবডিভাইস, MIPI CSI কন্ট্রোলার এবং PHY ড্রাইভার, VICAP এবং ISP V3.9-এর জন্য কার্নেল অপশনগুলি পরীক্ষা করুন। যদি কোনো প্রয়োজনীয় উপাদান কার্নেলে অন্তর্ভুক্ত না থাকে, অথবা মডিউল হিসাবে তৈরি হয়েছে কিন্তু সঠিকভাবে লোড হতে ব্যর্থ হয়, তবে মিডিয়া পাইপলাইন ক্যামেরা হার্ডওয়্যারটি চিহ্নিত করতে পারবে না। কার্নেল তৈরি ও ফ্ল্যাশ করার পর, প্রথমে প্রতিটি ড্রাইভার মডিউলের লোড অবস্থা পরীক্ষা করুন। dmesg লগ পর্যালোচনা করুন এবং নিশ্চিত করুন যে কোনো ত্রুটি—যেমন মডিউল অনুপস্থিত বা প্রারম্ভিক ব্যর্থতা—নেই।

২. ডিভাইস ট্রি (DTS) কনফিগারেশন: ডিভাইসগুলির মধ্যে সংযোগ স্থাপন

RK3576 ক্যামেরা ডিভাইস ট্রি: এটি হার্ডওয়্যার সম্পদগুলির বর্ণনা দেয় এবং সেন্সর, MIPI CSI, VICAP এবং ISP-এর মধ্যে ছবি পাইপলাইন লিঙ্কগুলি বাঁধতে পোর্ট এবং এন্ডপয়েন্ট নোড ব্যবহার করে।

সেন্সর নোডটি সংশ্লিষ্ট I2C বাস নোডের অধীনে সংযুক্ত থাকে এবং I2C স্লেভ ঠিকানা, রিসেট পিন, পাওয়ার-ডাউন নিয়ন্ত্রণ পিন এবং সেন্সর রেফারেন্স ঘড়ি সংজ্ঞায়িত করে। সিএসআই ফিজিক্যাল লেয়ার (PHY) হার্ডওয়্যার প্রস্তুত না হওয়া পর্যন্ত সেন্সর শুরু করার সময় বিলম্বিত করার জন্য বৈশিষ্ট্যগুলি কনফিগার করা যেতে পারে, যাতে অপ্রস্তুত PHY-এর কারণে সময়-সংক্রান্ত প্রতিযোগিতা এড়ানো যায়। সেন্সর নোডের পোর্টের ভিতরে থাকা এন্ডপয়েন্টটি MIPI CSI ইনপুটকে নির্দেশ করে এবং MIPI ডেটা লেনগুলির সংখ্যা নির্দিষ্ট করে।

এমআইপিআই সিএসআই কন্ট্রোলার নোডে দুটি পোর্ট রয়েছে: ইনপুট ইমেজ সেন্সরের সাথে সংযুক্ত এবং আউটপুট ভিক্যাপ ইউনিটের সাথে সংযুক্ত। পরে ভিক্যাপ ছবির ডেটা আইএসপি ভার্সন ৩.৯-এ পাঠায়। লক্ষ্য করুন যে, এন্ডপয়েন্টগুলি একে অপরের সাথে উভয়দিকে রেফারেন্স করতে হবে এবং উভয় প্রান্তের রিমোট-এন্ডপয়েন্ট বৈশিষ্ট্যগুলি এক-একটি করে মিলতে হবে। যদি উভয়দিকের বাইন্ডিং মিলে না যায়, তবে মিডিয়া ফ্রেমওয়ার্ক সম্পূর্ণ ডেটা পাথটি চিহ্নিত করতে পারবে না। ডিটিএস পরিবর্তন, কম্পাইল ও ফ্ল্যাশ করার পর, প্রথমে ডিমেস্গ লগ পর্যালোচনা করুন যাতে নিশ্চিত হওয়া যায় যে সমস্ত ডিভাইস নোড স্বাভাবিক অবস্থায় রয়েছে এবং কোনো স্থায়ী ডিফার্ড-প্রোব ত্রুটি ঘটছে কিনা। পুনরাবৃত্ত ডিফার্ড প্রোবিং সাধারণত ভুল জিপিও, ঘড়ি বা পাওয়ার-রিসোর্স কনফিগারেশনকে নির্দেশ করে।

৩. সেন্সর সাবডিভাইস ড্রাইভার ডেভেলপমেন্ট: ভিএল২-সাবডিভাইস মডেল

RK3576 প্ল্যাটফর্ম সেন্সর ড্রাইভারটি V4L2-সাবডিভাইস ফ্রেমওয়ার্কের উপর ভিত্তি করে উন্নয়ন করা হয়েছে। সেন্সর ড্রাইভারটি কোনো /dev/video নোড তৈরি করে না; এটি শুধুমাত্র একটি মিডিয়া সাবডিভাইস এন্টিটি হিসেবে বিদ্যমান থাকে। এর প্রধান দায়িত্বগুলি হলো সেন্সর রেজিস্টার কনফিগারেশন, পাওয়ার ও রিসেট ম্যানেজমেন্ট, ইমেজ-ফরম্যাট কনফিগারেশন এবং স্ট্রিম শুরু/বন্ধ নিয়ন্ত্রণ।

ড্রাইভারটিকে মূলত পাঁচটি মডিউলে বিভক্ত করা হয়েছে: I2C প্রোব, পাওয়ার/রিসেট নিয়ন্ত্রণ, মোড রেজিস্টার টেবিল, প্যাড-ফরম্যাট কনফিগারেশন এবং স্ট্রিম শুরু/বন্ধ নিয়ন্ত্রণ।

চালকের পরীক্ষা পর্যায়ে, চিপটি সঠিকভাবে চিহ্নিত করা হয়েছে কিনা তা যাচাই করতে I2C-এর মাধ্যমে সেন্সর চিপ আইডি পড়া হয়। যদি আইডি পড়া ব্যর্থ হয়, তবে সমস্যা নির্ণয় সরাসরি I2C, বিদ্যুৎ এবং রিসেট-সম্পর্কিত হার্ডওয়্যার ত্রুটির উপর ফোকাস করা যেতে পারে। বিদ্যুৎ/রিসেট ফাংশনগুলি সম্পূর্ণ সেন্সর পাওয়ার-আপ এবং পাওয়ার-ডাউন ক্রম বাস্তবায়ন করে: পাওয়ার-আপের সময়, প্রতিটি সরবরাহ রেল ক্রমানুসারে সক্রিয় করা হয়, নির্দিষ্ট বিলম্বের জন্য রিসেট পিন সক্রিয় করা হয়, তারপর রিসেট মুক্ত করা হয় এবং সেন্সরকে অভ্যন্তরীণভাবে স্থিতিশীল হতে সময় দেওয়া হয়। পাওয়ার-ডাউন ক্রমে বিপরীত অপারেশনগুলি সম্পাদন করা হয়।

মোড রেজিস্টার টেবিলগুলি বিভিন্ন রেজোলিউশন, ফ্রেম রেট এবং মিপি রেটের জন্য সম্পূর্ণ সেন্সর রেজিস্টার কনফিগারেশন সংরক্ষণ করে। যখন উচ্চতর স্তর ক্যাপচার প্যারামিটারগুলি পরিবর্তন করে, ড্রাইভার সংশ্লিষ্ট সম্পূর্ণ রেজিস্টার সেটটি লিখে। প্যাড-ফরম্যাট ইন্টারফেসটি মিডিয়া-বাস ইমেজ ফরম্যাট কনফিগার করে, যা সেন্সর দ্বারা আউটপুট করা বায়ার ফরম্যাটের (যেমন বিজিজিআর বা আরজিজিবি) সাথে কঠোরভাবে মিলতে হবে। ভুল কনফিগারেশন সরাসরি ইমেজের রঙের ত্রুটি ঘটায়। স্ট্রিম-কন্ট্রোল ইন্টারফেসটি স্ট্রিম_অন ব্যবহার করে রেজিস্টার কমান্ড লিখে যা সেন্সরের মিপি ইমেজ আউটপুট সক্রিয় করে, অন্যদিকে স্ট্রিম_অফ ইমেজ ট্রান্সমিশন বন্ধ করে। ড্রাইভার বাস্তবায়নের পর, কার্নেল কেকনফিগ এবং মেকফাইলে বিল্ড অপশনগুলি যোগ করা হয় যাতে ড্রাইভারটি কার্নেলের মধ্যে সংযুক্ত করা যায় অথবা লোড করা যায় এমন কার্নেল মডিউল হিসেবে কম্পাইল করা যায়।

৪. পর্যায়ক্রমিক ডিবাগিং: প্রথম ফ্রেমটি ধাপে ধাপে প্রাপ্ত করুন

ছবি ধারণ করার চেষ্টা সাথে সাথে করা উচিত নয়। তিনটি পর্যায়ে স্তরযুক্ত সমস্যা নির্ণয় পদ্ধতি ব্যবহার করুন: ড্রাইভার প্রোব সফল হয়েছে কিনা নিশ্চিত করুন → মিডিয়া পাইপলাইন সম্পূর্ণরূপে সংযুক্ত আছে কিনা যাচাই করুন → V4L2 ব্যবহার করে র ছবি ধারণ করুন।

পর্যায় ১: সেন্সর ড্রাইভার প্রোব সফলভাবে হয়েছে কিনা যাচাই করুন

সিস্টেম বুট হওয়ার পর, dmesg পর্যালোচনা করুন এবং সেন্সর ড্রাইভার দ্বারা মুদ্রিত লগ বার্তাগুলি অনুসন্ধান করুন। i2cdetect ব্যবহার করে সংশ্লিষ্ট I2C বাস স্ক্যান করুন এবং সেন্সর স্লেভ ঠিকানা সনাক্ত করা হয়েছে কিনা যাচাই করুন।

• যদি কোনো I2C ডিভাইস সনাক্ত করা না যায়: সেন্সর পাওয়ার, রিসেট লজিক, I2C হার্ডওয়্যার সোল্ডারিং এবং পিন মাল্টিপ্লেক্সিং পরীক্ষা করুন।
• যদি I2C ঠিকানা সনাক্ত করা যায় কিন্তু চিপ আইডি পড়া অস্বাভাবিক হয়: I2C হার্ডওয়্যার পাথ কাজ করছে, এবং সমস্যাটি সম্ভবত ভুল রেজিস্টার ঠিকানা বা সেন্সর-মডেল মিলছে না তার কারণে হচ্ছে।

পর্যায় ২: মিডিয়া ফ্রেমওয়ার্ক পাইপলাইন যাচাই করুন

মিডিয়া-সিটিএল ব্যবহার করে মিডিয়া ডিভাইস এনটিটির তালিকা দেখুন। সাধারণ অবস্থায়, সেন্সর, মিপি_সিএসআই, ভিক্যাপ এবং আইএসপি৩৯ এর মতো সাবডিভাইস এনটিটিগুলি দৃশ্যমান হওয়া উচিত, এবং প্রতিটি প্যাড পোর্ট সঠিকভাবে চিহ্নিত হওয়া উচিত।

• যদি সেন্সর এনটিটি দৃশ্যমান না হয়: সেন্সর ড্রাইভার প্রোব ব্যর্থ হয়েছে।
• যদি এনটিটিগুলি বিদ্যমান থাকে কিন্তু লিঙ্ক বিচ্ছিন্ন থাকে: ডিটিএস-এ এন্ডপয়েন্ট দ্বিদিক জোড়াকরণ ভুল।

ডিবাগিংয়ের সময়, মিডিয়া-সিটিএল ব্যবহার করে সম্পূর্ণ পাইপলাইন ম্যানুয়ালি কনফিগার করা যেতে পারে: এনটিটিগুলির মধ্যে লিঙ্ক স্থাপন করা এবং প্রতিটি সাবডিভাইস স্টেজের জন্য ছবির ফরম্যাট, রেজোলিউশন এবং লেন কনফিগারেশন সেট করা। মিডিয়া-সিটিএল থেকে ত্রুটিগুলি সাধারণত লেন সংখ্যা, মিডিয়া-বাস ফরম্যাট বা রেজোলিউশন প্যারামিটারের কারণে হয় যা সেন্সরের হার্ডওয়্যার ক্ষমতার চেয়ে বেশি। সফল মিডিয়া-সিটিএল কনফিগারেশন নির্দেশ করে যে সেন্সর থেকে আইএসপি পর্যন্ত সফটওয়্যার পাথ স্থাপন করা হয়েছে।

ধাপ ৩: ভিডিও ফর লিনাক্স ২ (V4L2) ব্যবহার করে একটি ছবি ক্যাপচার করুন এবং প্রথম র ফ্রেম পান

ভিক্যাপ/আইএসপি ডিভাইস নোড /ডেভ/ভিডিও তৈরি করে, যা ছবি ধারণের জন্য ব্যবহারকারী-স্পেস এন্ট্রি পয়েন্ট হিসেবে কাজ করে। ছবির পিক্সেল ফরম্যাট সেট করতে, ম্যাপ করা মেমরি (mmap) এর মাধ্যমে একটি একক ফ্রেম ধারণ করতে এবং বায়ার র RO ডাটা সংরক্ষণ করতে v4l2-ctl ব্যবহার করুন। যদি উৎপন্ন র RO ফাইলের আকার তাত্ত্বিক প্রত্যাশিত মানের সঙ্গে মিলে যায়, তবে প্রথম ছবি ফ্রেমটি সফলভাবে ধারণ করা হয়েছে। তারপর একটি পেশাদার ছবি বিশ্লেষণ টুল ব্যবহার করে মূল বায়ার ছবিটি পরীক্ষা করা যায়।

৫. সাধারণ সমস্যা নির্ণয় ও সমাধানের পদ্ধতি

• লিঙ্ক কনফিগার করার সময় media-ctl একটি ত্রুটি রিপোর্ট করে: প্রথমে দ্বিদিক ডিটিএস এন্ডপয়েন্ট বাইন্ডিং পরীক্ষা করুন, তারপর মিডিয়া-বাস ফরম্যাট, রেজোলিউশন এবং লেন-কাউন্ট প্যারামিটারগুলি যাচাই করুন।
• V4L2 ফ্রেম ধারণ সময়সীমা শেষ হয়ে যায় এবং কোনো ছবি ডাটা আউটপুট হয় না: ড্রাইভারের ভিতরে stream_on সঠিকভাবে কার্যকর হয়েছে কিনা নিশ্চিত করুন, CSI PHY ক্লক লক অর্জন করেছে কিনা যাচাই করুন এবং সেন্সরটি আসলে MIPI ডাটা স্ট্রিম আউটপুট করছে কিনা পরীক্ষা করুন।
• ক্ষতিগ্রস্ত ছবি বা স্ট্রাইপড নয়েজ: সম্ভাব্য কারণগুলির মধ্যে রয়েছে ভুল MIPI ঘড়ির হার, ভুল লেন সংখ্যা, বেয়ার প্যাটার্নের মিল না হওয়া, অথবা সেন্সর পাওয়ার সাপ্লাই-এ অতিরিক্ত রিপল।
• আন্তঃসময়িক ছবি আউটপুট বা বিচ্ছিন্ন ফ্রেম ড্রপ: সেন্সর পাওয়ার-আপ/রিসেট টাইমিং প্রয়োজনীয়তা পূরণ করতে পারছে না, অথবা হার্ডওয়্যার পাওয়ার সাপ্লাই যথেষ্ট স্থিতিশীল নয়।

আমাদের একটি পরিপক্ক RK3576 সমাধান রয়েছে এবং কাস্টম ডেভেলপমেন্ট, হার্ডওয়্যার অ্যাডাপ্টেশন এবং মাস-প্রোডাকশন বাস্তবায়নে পেশাদার দক্ষতা রয়েছে। বিভিন্ন ইমেজ সেন্সর এবং রেজোলিউশন/ফ্রেম-রেট প্রয়োজনীয়তার জন্য, আমরা হার্ডওয়্যার রিভিশন, ড্রাইভার ডিবাগিং এবং সম্পূর্ণ-সিস্টেম অপ্টিমাইজেশন প্রদান করতে পারি, যার মাধ্যমে শিল্প ভিশন, স্মার্ট সিকিউরিটি, এআই ভিশন টার্মিনাল এবং অন্যান্য অ্যাপ্লিকেশনে কাস্টমাইজড প্রকল্পগুলিকে দক্ষতার সাথে সমর্থন করা যায়। আমাদের সাথে যোগাযোগ করুন [email protected].