در یک پروژه خودرویی ممکن است ده‌ها یا حتی صدها الزام برای یک خودرو، سیستم یا قطعه تعریف شده باشد. بخشی از این الزامات از استانداردها و مقررات می‌آیند، بخشی توسط خودروساز یا مشتری تعیین می‌شوند و گروه دیگری از اهداف طراحی، عملکرد، دوام، ایمنی و کیفیت محصول ناشی می‌شوند. در نهایت، تیم پروژه باید بتواند با شواهد مناسب نشان دهد که محصول الزامات مربوط را برآورده کرده است و آزمون یکی از مهم‌ترین ابزارهای تولید چنین شواهدی است. اما داشتن فهرستی از آزمون‌ها به‌تنهایی برای مدیریت این فرآیند کافی نیست؛ باید مشخص باشد هر آزمون چرا انجام می‌شود، کدام الزام را بررسی می‌کند، روی چه نمونه‌ای اجرا خواهد شد و نتیجه آن قرار است چه تصمیمی را در پروژه پشتیبانی کند.
اینجاست که Test Plan یا برنامه آزمون اهمیت پیدا می‌کند. یک برنامه آزمون مناسب میان الزامات محصول و فعالیت‌های واقعی تصدیق (Verification) و صحه‌گذاری (Validation) ارتباط برقرار می‌کند و مشخص می‌سازد چه چیزی باید آزمون شود، روش و مرجع آزمون چیست، چه نمونه و پیکربندی‌ای موردنیاز است، چند نمونه باید آماده شود، معیار پذیرش چیست، آزمون در چه مرحله‌ای از توسعه انجام می‌شود و نتیجه چگونه ثبت و به الزام مربوط متصل خواهد شد. بنابراین برنامه آزمون را نباید صرفاً یک فایل اکسل شامل نام چند آزمون و تاریخ انجام آن‌ها دانست؛ برنامه آزمون یکی از ابزارهای اصلی مدیریت شواهد فنی موردنیاز برای تصمیم‌گیری درباره محصول است.
Test Plan چیست؟
Test Plan سند یا ساختاری است که فعالیت‌های آزمون پروژه را پیش از اجرا تعریف، سازمان‌دهی و قابل ردیابی می‌کند. شکل آن می‌تواند بسته به سازمان و پیچیدگی محصول متفاوت باشد؛ برای یک قطعه ساده شاید یک جدول کنترل‌شده کافی باشد، در حالی که برنامه آزمون یک سیستم پیچیده یا خودرو کامل می‌تواند شامل چندین روش اجرایی آزمون، ماتریس الزامات، برنامه نمونه‌ها، زمان‌بندی و اسناد پشتیبان باشد. آنچه اهمیت دارد ظاهر سند نیست، بلکه این است که برنامه بتواند ارتباط میان الزام، روش ارزیابی، نمونه، شرایط آزمون، معیار پذیرش و نتیجه را حفظ کند.
یک برنامه آزمون قابل استفاده باید بتواند به چند سؤال اساسی پاسخ دهد: چه الزامی قرار است بررسی شود؟ چرا آزمون روش مناسبی برای ارزیابی آن است؟ آزمون بر اساس چه استاندارد یا روش اجرایی انجام می‌شود؟ چه نمونه‌ای با چه نسخه طراحی و پیکربندی‌ای لازم است؟ چه داده‌هایی باید ثبت شوند؟ معیار پذیرش چیست؟ آزمون در کدام مرحله از توسعه انجام می‌شود و نتیجه آن چگونه در تصمیم مهندسی پروژه استفاده خواهد شد؟ اگر پاسخ این سؤال‌ها در برنامه روشن نباشد، ممکن است پروژه تعداد زیادی آزمون انجام دهد اما در پایان هنوز برای برخی الزامات شواهد کافی یا قابل ردیابی نداشته باشد.
برنامه آزمون باید از الزامات شروع شود
یکی از مهم‌ترین اصول برنامه‌ریزی آزمون این است که آزمون از الزام ناشی شود، نه اینکه الزام بر اساس آزمون موجود در آزمایشگاه انتخاب شود. گاهی برنامه پروژه با فهرست آزمون‌های محصول قبلی، امکانات آزمایشگاه یا تجربه یک پروژه مشابه شروع می‌شود و سپس تلاش می‌شود همان آزمون‌ها به محصول جدید نسبت داده شوند. این روش ممکن است سریع به نظر برسد، اما خطر ایجاد آزمون‌های غیرضروری یا از قلم افتادن الزامات جدید را افزایش می‌دهد.
مسیر منطقی برعکس است. ابتدا الزامات محصول باید شناسایی و دسته‌بندی شوند و سپس برای هر الزام مشخص شود چه روش تصدیق یا صحه‌گذاری مناسبی وجود دارد. ممکن است یک الزام با تحلیل مهندسی تصدیق شود، دیگری با بازرسی یا اندازه‌گیری و الزام دیگری به آزمون فیزیکی نیاز داشته باشد. بنابراین قرار نیست تمام الزامات به آزمون تبدیل شوند؛ آزمون یکی از روش‌های تولید شواهد است و زمانی باید وارد برنامه شود که برای سؤال مهندسی موردنظر روش مناسبی باشد.
برای مثال، اگر برای یک صندلی خودرو الزامی درباره استحکام ساختار وجود داشته باشد، ممکن است آزمون فیزیکی برای اثبات آن لازم باشد. اما الزام مربوط به ابعاد نقاط نصب شاید با اندازه‌گیری تصدیق شود و الزام دیگری درباره هندسه قطعه از طریق بررسی نقشه یا مدل مهندسی قابل ارزیابی باشد. برنامه آزمون مناسب از خود الزام شروع می‌کند و مشخص می‌سازد چه شواهدی برای اثبات آن لازم است، نه اینکه برای هر الزام الزاماً یک دستگاه آزمون پیدا کند.
اگر هنوز تفاوت تصدیق و صحه‌گذاری و جایگاه آزمون در این فرآیند روشن نیست، مقاله «Validation و Verification چیست؟ تفاوت صحه‌گذاری و تصدیق در صنعت خودرو» این مفاهیم را با جزئیات بیشتری بررسی می‌کند.
یک برنامه آزمون مناسب چه اطلاعاتی دارد؟
محتوای برنامه آزمون به محصول و فرآیند سازمان بستگی دارد، اما اطلاعاتی مانند شناسه الزام، عنوان آزمون، هدف آزمون، استاندارد یا روش اجرایی، تعداد و نوع نمونه، شماره قطعه و نسخه طراحی، پیکربندی، شرایط آزمون، پارامترهای اندازه‌گیری، معیارهای پذیرش، مرحله توسعه، مسئولیت، زمان‌بندی و وضعیت نتیجه معمولاً اهمیت دارند. در پروژه‌های پیچیده‌تر، اطلاعاتی مانند فیکسچر، آماده‌سازی اولیه نمونه، تجهیزات خاص، سامانه ثبت داده، ترتیب آزمون‌ها، محل اجرا، وابستگی میان آزمون‌ها و شرایط استفاده مجدد از نمونه نیز می‌توانند بخشی از برنامه باشند.
اضافه کردن هر فیلد باید هدف مشخصی داشته باشد. برای مثال، ثبت نسخه طراحی نمونه صرفاً یک کار اداری نیست؛ اگر طراحی بعد از آزمون تغییر کند، همین اطلاعات مشخص می‌کند نتیجه موجود مربوط به کدام نسخه طراحی بوده است. ثبت تعداد نمونه نیز فقط برای هماهنگی لجستیک نیست؛ اگر آزمون مخرب باشد یا چند پیکربندی نیاز به ارزیابی داشته باشند، تعداد نمونه مستقیماً بر زمان و هزینه پروژه اثر می‌گذارد. بنابراین برنامه آزمون زمانی ارزشمند است که اطلاعات آن به کنترل ریسک‌های واقعی اجرای آزمون و استفاده از نتیجه کمک کنند.
یک نمونه ساده Test Plan چگونه است؟
فرض کنیم یک مجموعه صندلی خودرو در حال توسعه است. نسخه ساده‌شده‌ای از بخشی از برنامه آزمون می‌تواند چنین ساختاری داشته باشد:
| الزام مورد ارزیابی | روش ارزیابی | مرجع | نمونه و پیکربندی | مرحله | معیار پذیرش |
|---|---|---|---|---|---|
| استحکام ساختار صندلی | آزمون فیزیکی | استاندارد یا مقرره مربوط | مجموعه صندلی، نسخه B | DV | مطابق مرجع |
| محدوده حرکت مکانیزم تنظیم | آزمون عملکردی و اندازه‌گیری | مشخصات فنی پروژه | مجموعه صندلی، نسخه B | DV | مطابق مشخصات فنی |
| ابعاد نقاط نصب | اندازه‌گیری | نقشه فنی | مجموعه صندلی، نسخه B | DV | در محدوده تلرانس |
| عملکرد محصول نماینده تولید | آزمون تعریف‌شده پروژه | روش اجرایی مربوط | نمونه نماینده تولید | PV | مطابق الزام پروژه |
در پروژه واقعی، این جدول باید جزئیات بیشتری داشته باشد؛ از جمله شناسه الزام، نسخه استاندارد، تعداد نمونه، شرایط آزمون، مسئول فعالیت، تاریخ برنامه‌ریزی‌شده و وضعیت نتیجه. اما همین نمونه ساده یک اصل مهم را نشان می‌دهد: هر آزمون باید بتواند به یک الزام یا هدف مهندسی مشخص برگردد. اگر ردیفی در برنامه آزمون وجود داشته باشد و تیم نتواند توضیح دهد نتیجه آن قرار است چه چیزی را اثبات کند، ارزش انجام آن آزمون باید دوباره بررسی شود.
معیارهای پذیرش باید قبل از آزمون مشخص باشند
یکی از مهم‌ترین اجزای برنامه آزمون معیارهای پذیرش یا Acceptance Criteria است. پیش از اجرای آزمون باید مشخص باشد بر اساس چه معیار قابل اندازه‌گیری، مشاهده یا استنادی درباره نتیجه تصمیم گرفته خواهد شد. تعیین معیار بعد از مشاهده نتیجه می‌تواند تفسیر آزمون را تحت تأثیر قرار دهد و امکان تصمیم‌گیری سلیقه‌ای را افزایش دهد.
در آزمون استاندارد، معیارهای پذیرش معمولاً از استاندارد یا مقرره مربوط استخراج می‌شوند. در آزمون توسعه‌ای ممکن است معیار از مشخصات فنی مهندسی، الزامات مشتری یا هدف داخلی طراحی ناشی شده باشد. در پیش‌آزمون (Pre-Test) نیز ممکن است هدف اصلاً تعیین قبولی یا مردودی نباشد و تیم مهندسی بخواهد حاشیه اطمینان طراحی، حالت خرابی یا روند تغییر شکل را مطالعه کند. در چنین شرایطی برنامه آزمون باید از ابتدا روشن کند که هدف قبولی یا مردودی نیست، بلکه تولید داده برای یک تصمیم توسعه‌ای مشخص است.
عبارت‌هایی مانند «نباید زیاد تغییر شکل دهد» یا «عملکرد مناسب باشد» برای یک برنامه آزمون حرفه‌ای کافی نیستند. معیار باید تا حد امکان عددی باشد یا به مرجع مشخصی ارجاع دهد تا بعداً بتوان نتیجه را بدون ابهام تفسیر کرد.
نمونه آزمون را چگونه تعریف کنیم؟
نام عمومی محصول برای تعریف نمونه کافی نیست. عبارتی مانند «صندلی جلو»، «خودرو X» یا «قطعه تولیدی» ممکن است در مکالمه روزمره قابل فهم باشد، اما برای ردیابی نتیجه آزمون کافی نیست. برنامه آزمون باید مشخص کند کدام شماره قطعه (Part Number)، نسخه طراحی (Revision)، گونه محصول یا پیکربندی قرار است آزمون شود و در صورت اثرگذاری بر نتیجه، مشخصاتی مانند ماده، تأمین‌کننده، نسخه نرم‌افزار، کالیبراسیون یا تجهیزات جانبی نیز ثبت شوند.
این موضوع در خودرو کامل حتی مهم‌تر می‌شود، زیرا تعداد متغیرهای مؤثر افزایش پیدا می‌کند. جرم خودرو، تایر، تجهیزات نصب‌شده، نسخه نرم‌افزار واحدهای کنترل الکترونیکی، وضعیت سیستم‌ها و سایر پارامترها بسته به روش آزمون می‌توانند اهمیت داشته باشند. بنابراین مدیریت پیکربندی نمونه باید بخشی از برنامه‌ریزی آزمون باشد، نه فعالیتی که بعد از دریافت نتیجه انجام شود.
اگر بعد از آزمون طراحی از نسخه B به نسخه C تغییر کند، باید بتوان مشخص کرد تغییر چه اثری بر الزامات و نتایج قبلی دارد. بدون قابلیت ردیابی میان نمونه و نتیجه، تصمیم درباره اعتبار آزمون قبلی دشوار خواهد بود.
تعداد نمونه موردنیاز چگونه تعیین می‌شود؟
قاعده عمومی «یک نمونه برای هر آزمون» وجود ندارد. تعداد نمونه می‌تواند توسط استاندارد یا روش اجرایی آزمون تعیین شود یا بر اساس هدف توسعه، تغییرپذیری مورد انتظار، سطح ریسک و برنامه آماری پروژه انتخاب شود. بعضی آزمون‌ها مخرب هستند و نمونه بعد از اجرا دیگر قابل استفاده نیست، در حالی که برخی فعالیت‌ها ممکن است بدون تغییر قابل توجه نمونه انجام شوند.
در مرحله تصدیق طراحی (DV) ممکن است چند گزینه طراحی نیاز به مقایسه داشته باشند، در مرحله صحه‌گذاری تولید (PV) نمونه‌های نماینده تولید اهمیت بیشتری پیدا می‌کنند و در فرآیندهای تأیید نوع (Type Approval) یا انطباق تولید (CoP) نیز قواعد مربوط به نمونه می‌توانند از مقررات ناشی شوند. بنابراین تعداد نمونه باید از هدف آزمون و مرجع مربوط استخراج شود، نه اینکه در پایان پروژه بر اساس تعداد قطعات موجود تصمیم‌گیری شود.
برنامه نمونه‌ها باید در سطح کل پروژه دیده شود. اگر یک قطعه قرار است پنج آزمون مختلف را طی کند، باید بررسی شود آیا همان نمونه می‌تواند هر پنج فعالیت را انجام دهد یا آزمون اول شرایط اولیه آن را برای آزمون بعدی تغییر خواهد داد.
ترتیب آزمون‌ها می‌تواند نتیجه را تغییر دهد
وقتی چند آزمون روی یک نمونه برنامه‌ریزی می‌شوند، ترتیب آزمون‌ها یا Test Sequence اهمیت پیدا می‌کند. یک آزمون ممکن است باعث تغییر شکل، خستگی، سایش، پیرشدگی، افزایش دما یا تغییر وضعیت یک قطعه شود و نمونه دیگر شرایط اولیه لازم برای فعالیت بعدی را نداشته باشد. حتی نصب و بازکردن مکرر نمونه از فیکسچر نیز در بعضی آزمون‌ها می‌تواند اثرگذار باشد.
بنابراین ترتیب آزمون‌ها باید پیش از شروع مشخص شود و فقط بر اساس اولین زمان خالی تجهیزات انتخاب نشود. آزمون‌های غیرمخرب معمولاً می‌توانند قبل از آزمون‌های مخرب قرار گیرند، اما حتی این قاعده نیز باید با روش آزمون تطبیق داده شود. هدف، استفاده حداکثری از نمونه‌ها بدون کاهش اعتبار نتایج است.
برنامه‌ریزی مناسب برای تخصیص نمونه‌ها و ترتیب آزمون‌ها در پروژه‌های پرهزینه می‌تواند تعداد نمونه‌های لازم را کاهش دهد، اما صرفه‌جویی در نمونه نباید باعث شود نتایج به دلیل سابقه بارگذاری یا تغییر شرایط اولیه قابل اتکا نباشند.
DV و PV چه اثری بر برنامه آزمون دارند؟
برنامه آزمون باید مرحله بلوغ محصول را در نظر بگیرد. آزمونی که در Design Verification یا DV انجام می‌شود ممکن است هدف و نمونه متفاوتی نسبت به همان فعالیت در Production Validation یا PV داشته باشد. در DV تمرکز اصلی بر تصدیق طراحی است، در حالی که در PV محصول و فرآیند ساخت به وضعیت تولید نزدیک‌تر شده‌اند و سؤال این است که آیا نمونه نماینده تولید نیز عملکرد مورد انتظار را حفظ می‌کند.
به همین دلیل، ممکن است بعضی آزمون‌ها در هر دو مرحله انجام شوند، برخی فقط در DV و برخی فقط در PV. تکرار آزمون نیز باید دلیل داشته باشد. اگر آزمونی در DV روی نمونه توسعه‌ای انجام شده و ویژگی موردنظر می‌تواند تحت تأثیر ابزار یا فرآیند تولید قرار گیرد، تکرار آن در PV ممکن است منطقی باشد. اما اینکه «تمام آزمون‌های DV را دوباره در PV انجام دهیم» بدون بررسی الزامات و ریسک‌ها الزاماً برنامه مناسبی نیست.
در مقاله «DV و PV در صنعت خودرو چیست؟ از Design Verification تا Production Validation» درباره تفاوت اهداف این مراحل و سطح بلوغ نمونه‌ها توضیح داده‌ایم.
Pre-Test در برنامه آزمون چه جایگاهی دارد؟
پیش‌آزمون زمانی ارزش دارد که برای کاهش یک ریسک یا عدم اطمینان مشخص استفاده شود. اگر تیم پروژه درباره حاشیه اطمینان طراحی، حالت خرابی یا احتمال موفقیت یک پیکربندی اطمینان کافی ندارد، ممکن است پیش از آزمون اصلی یک Pre-Test برنامه‌ریزی شود. در این حالت برنامه آزمون باید مشخص کند پیش‌آزمون دقیقاً چه سؤال مهندسی‌ای را پاسخ می‌دهد و نتیجه آن قرار است چه تصمیمی را تغییر دهد.
نمونه پیش‌آزمون الزاماً همان نمونه آزمون رسمی نیست و شرایط آن نیز ممکن است دقیقاً مطابق روش رسمی نباشد. همین تفاوت باید در برنامه ثبت شود تا نتیجه پیش‌آزمون بعداً به‌اشتباه به‌عنوان نتیجه رسمی یا قابل تعمیم به پیکربندی دیگری استفاده نشود.
در مقاله «Pre-Test چیست و چه تفاوتی با آزمون رسمی دارد؟» کاربرد و محدودیت‌های پیش‌آزمون را جداگانه بررسی کرده‌ایم.
برنامه آزمون استانداردی چه تفاوتی دارد؟
وقتی آزمون برای اثبات یک الزام استاندارد یا مقرره انجام می‌شود، آزادی تیم پروژه در تعریف روش کمتر است. استاندارد یا مقرره می‌تواند آماده‌سازی نمونه، چیدمان آزمون، تجهیزات، شرایط آزمون، نحوه اندازه‌گیری و معیارهای پذیرش را مشخص کند و برنامه آزمون باید این موارد را به‌درستی منعکس کند.
در این شرایط شماره استاندارد به‌تنهایی همیشه کافی نیست. ویرایش استاندارد، نسخه مورد استناد یا سری اصلاحیه‌های مقرره نیز باید مشخص باشد و قابلیت اعمال آن برای محصول بررسی شود. اگر برنامه فقط عبارتی مانند «آزمون R17» داشته باشد، هنوز معلوم نیست دقیقاً کدام نسخه، کدام پیکربندی و کدام بخش از الزامات موردنظر است.
برای بررسی آزمون‌ها و استانداردهای قابل انجام در تات می‌توانید از جدول آزمون‌های قابل انجام استفاده کنید. این جدول می‌تواند در شناسایی آزمون و استاندارد مرتبط کمک کند، اما برنامه آزمون پروژه باید بر اساس الزامات واقعی محصول و اسناد مورد استناد همان پروژه تهیه شود.
Test Plan در Type Approval چه نقشی دارد؟
در پروژه تأیید نوع، آزمون‌ها بخشی از شواهد لازم برای اثبات انطباق نوع مشخصی از محصول با الزامات قابل اعمال هستند. بنابراین برنامه آزمون باید با ماتریس الزامات مقرراتی پروژه هماهنگ باشد و مشخص کند برای هر الزام چه آزمون، تأییدیه، مدرک یا شواهدی موردنیاز است و چه پیکربندی‌ای باید برای ارزیابی ارائه شود.
این برنامه الزاماً با برنامه آزمون توسعه محصول یکسان نیست. تیم مهندسی ممکن است برای توسعه محصول آزمون‌هایی فراتر از حداقل الزامات مقرراتی انجام دهد، در حالی که برنامه تأیید نوع بر شواهد لازم برای فرآیند تأیید تمرکز دارد. بعضی آزمون‌ها می‌توانند در هر دو برنامه مشترک باشند، اما هدف استفاده از نتیجه باید از ابتدا مشخص باشد.
در مقاله «Type Approval و Homologation چه تفاوتی دارند؟» درباره نقش آزمون در فرآیند تأیید نوع و تفاوت آن با Homologation توضیح داده‌ایم.
زمان‌بندی آزمون فقط انتخاب یک تاریخ نیست
زمان‌بندی آزمون باید وابستگی‌های واقعی پروژه را در نظر بگیرد. نمونه چه زمانی به نسخه طراحی موردنیاز می‌رسد؟ فیکسچر چه زمانی آماده خواهد شد؟ آیا آماده‌سازی اولیه خاصی لازم است؟ آزمون دیگری باید قبل از این فعالیت انجام شود؟ آزمایشگاه چه زمانی می‌تواند آزمون را انجام دهد؟ اگر نتیجه مردود شود، برای تحلیل علت ریشه‌ای، اصلاح طراحی، ساخت نمونه و تکرار آزمون چقدر زمان لازم است؟
یکی از اشتباهات رایج این است که آزمون‌های کلیدی درست پیش از نقطه عطف اصلی پروژه برنامه‌ریزی شوند و برنامه بر این فرض بنا شود که همه آزمون‌ها در اولین اجرا موفق خواهند بود. چنین برنامه‌ای در عمل فضای کافی برای یادگیری مهندسی باقی نمی‌گذارد. برنامه آزمون واقع‌بینانه باید احتمال مردودی را به‌عنوان یک ریسک قابل مدیریت در نظر بگیرد، نه اتفاقی که اساساً جایی در برنامه برای آن پیش‌بینی نشده است.
به همین دلیل، زمان‌بندی باید علاوه بر زمان اجرای آزمون، زمان تحلیل داده، تصمیم مهندسی و در صورت نیاز تکرار آزمون را نیز در نظر بگیرد.
انتخاب آزمایشگاه هم بخشی از برنامه‌ریزی آزمون است
یک پروژه ممکن است به آزمون‌هایی با تجهیزات، تخصص و دامنه تأیید صلاحیت متفاوت نیاز داشته باشد و یک آزمایشگاه الزاماً تمام آن‌ها را پوشش نمی‌دهد. بنابراین انتخاب محل انجام آزمون بهتر است پیش از آماده شدن نمونه انجام شود. ظرفیت تجهیزات، فیکسچر موردنیاز، زمان‌بندی، توانایی اندازه‌گیری پارامترهای لازم و در آزمون‌های مربوط، وضعیت دامنه تأیید صلاحیت آزمایشگاه می‌توانند بر برنامه اثر بگذارند.
اگر پروژه به نتیجه آزمون تحت تأیید صلاحیت نیاز دارد، صرف وجود تجهیزات در یک مجموعه به معنی قرار داشتن آزمون موردنظر در دامنه تأیید صلاحیت (Scope of Accreditation) آن نیست. برنامه آزمون باید این موضوع را از قبل مشخص کند تا در پایان پروژه معلوم نشود گزارشی که تهیه شده برای هدف موردنظر قابل استفاده نیست.
قبل از ارسال نمونه، برنامه آزمون باید چه چیزهایی را مشخص کرده باشد؟
زمانی که نمونه آماده ارسال به آزمایشگاه است، نباید تازه درباره استاندارد، نسخه طراحی، تعداد نمونه یا فیکسچر تصمیم‌گیری شود. در حالت مناسب، برنامه آزمون از قبل مشخص کرده است چه نمونه‌ای با چه پیکربندی‌ای لازم است، چه مدارکی باید همراه آن باشند، چیدمان آزمون چگونه خواهد بود، چه قطعات جانبی موردنیازند، چه آماده‌سازی اولیه‌ای باید انجام شود و آیا نمونه پس از آزمون قابل استفاده خواهد بود یا خیر.
این موضوع ارتباط مستقیمی با آماده‌سازی نمونه دارد. در مقاله «قبل از ارسال خودرو یا قطعه به آزمایشگاه چه چیزهایی باید بررسی شود؟» درباره تفاوت نمونه‌های Validation، Type Approval و CoP، پیکربندی، مدارک، فیکسچر، حمل و وضعیت فنی نمونه توضیح داده‌ایم. برنامه آزمون باید این فعالیت‌ها را از قبل در نظر بگیرد تا آماده‌سازی نمونه به فعالیتی در آخرین لحظه تبدیل نشود.
بعد از تغییر طراحی، برنامه آزمون باید بازنگری شود
برنامه آزمون سند ثابتی نیست که در ابتدای پروژه تهیه شود و تا پایان بدون تغییر باقی بماند. تغییر نسخه طراحی، تأمین‌کننده، ماده یا فرآیند تولید، مردودی آزمون و حتی تغییر الزامات می‌توانند روی برنامه اثر بگذارند. پس از هر تغییر مهم باید مشخص شود کدام آزمون‌ها و نتایج تحت تأثیر قرار گرفته‌اند و آیا شواهد قبلی همچنان معتبر هستند یا خیر.
تصمیم درباره تکرار آزمون باید بر اساس تحلیل اثر تغییرات (Impact Analysis) گرفته شود. اگر تغییر هیچ اثری بر الزام و رفتار مورد ارزیابی ندارد، شاید تکرار آزمون لازم نباشد. اما اگر تغییر روی مسیر انتقال بار، هندسه، ماده، نرم‌افزار، کالیبراسیون یا هر ویژگی مؤثر بر نتیجه اثر گذاشته باشد، اعتبار نتیجه آزمون قبلی باید دوباره بررسی شود.
به همین دلیل، برنامه آزمون بهتر است وضعیت هر فعالیت را نیز ثبت کند؛ برای مثال برنامه‌ریزی‌شده، زمان‌بندی‌شده، انجام‌شده، قبول‌شده، مردودشده یا نیازمند تکرار آزمون. این ردیابی وضعیت فعالیت‌ها کمک می‌کند برنامه آزمون به تصویری به‌روز از وضعیت تصدیق محصول در پروژه تبدیل شود.
Test Plan و DVP&R چه ارتباطی دارند؟
در صنعت خودرو اصطلاح DVP&R یا Design Verification Plan and Report نیز بسیار رایج است. DVP&R ساختاری برای برنامه‌ریزی فعالیت‌های تصدیق طراحی و ثبت نتایج آن‌ها فراهم می‌کند و از این نظر ارتباط نزدیکی با برنامه آزمون دارد. با این حال، این دو اصطلاح را نباید در تمام شرکت‌ها و پروژه‌ها دقیقاً مترادف دانست؛ ساختار اسناد و مرز مسئولیت آن‌ها می‌تواند متفاوت باشد.
در یک سازمان ممکن است DVP&R سند اصلی تصدیق طراحی باشد و اطلاعات آزمون مستقیماً در همان سند مدیریت شود، در حالی که در سازمان دیگر برنامه‌های آزمون اجرایی جداگانه‌ای وجود داشته باشند که به DVP&R متصل می‌شوند. آنچه از نام سند مهم‌تر است قابلیت ردیابی میان الزام، روش تصدیق، نمونه، معیار پذیرش و نتیجه است.
بنابراین رابطه برنامه آزمون و DVP&R باید در ساختار مدیریت پروژه مشخص باشد. اگر هر دو سند استفاده می‌شوند، لازم است اطلاعات مربوط به الزامات، وضعیت آزمون‌ها، نتایج و تغییرات طراحی میان آن‌ها هماهنگ باقی بمانند تا از ثبت اطلاعات متناقض یا تکرار غیرضروری فعالیت‌ها جلوگیری شود.
چه کسی مسئول تهیه Test Plan است؟
برنامه آزمون معمولاً نباید صرفاً توسط آزمایشگاه یا یک نفر در انتهای فرآیند توسعه تهیه شود. تیم طراحی الزامات و حالت‌های خرابی محصول را می‌شناسد، مهندسان آزمون محدودیت‌ها و روش‌های اجرایی را می‌دانند، مدیریت پروژه زمان‌بندی و نقاط عطف را مدیریت می‌کند و در پروژه‌های مقرراتی نیز تیم انطباق یا تأیید نوع باید الزامات قانونی را وارد برنامه کند. بنابراین برنامه‌ریزی آزمون در محصولات پیچیده یک فعالیت مشترک میان بخش‌های مختلف پروژه است.
آزمایشگاه می‌تواند درباره امکان اجرای آزمون، فیکسچر، تجهیزات، شرایط نمونه و زمان‌بندی اطلاعات مهمی ارائه دهد، اما مسئولیت تعیین الزامات و تصمیم درباره کفایت برنامه تصدیق در سطح پروژه باقی می‌ماند. یک آزمایشگاه نمی‌تواند صرفاً بر اساس تجهیزات موجود تصمیم بگیرد چه مجموعه‌ای از آزمون‌ها برای صحه‌گذاری کامل یک محصول کافی است.
در پروژه‌هایی که الزامات قابل اعمال، روش‌های آزمون یا ساختار برنامه هنوز مشخص نشده‌اند، خدمات مهندسی و مشاوره تات می‌تواند برای بررسی الزامات، برنامه‌ریزی آزمون و پشتیبانی فنی فرآیند صحه‌گذاری مورد استفاده قرار گیرد.
برنامه آزمون مناسب چه ویژگی‌هایی دارد؟
یک برنامه آزمون مناسب لزوماً برنامه‌ای با بیشترین تعداد آزمون یا بیشترین تعداد ستون نیست. ارزش آن به این است که بتوان از روی آن فهمید چه چیزی، چرا، چگونه، روی کدام نمونه، در چه زمانی و با چه معیار پذیرشی ارزیابی خواهد شد و نتیجه قرار است چه الزام یا تصمیمی را پشتیبانی کند. آزمون‌هایی که هیچ الزام یا ریسک مشخصی را پوشش نمی‌دهند باید مورد سؤال قرار گیرند و الزاماتی که هیچ روش تصدیقی برای آن‌ها تعریف نشده نیز باید شناسایی شوند.
برنامه آزمون همچنین باید همراه با پروژه رشد کند. تغییر نسخه طراحی، مردودی آزمون، تغییر تأمین‌کننده، نتایج پیش‌آزمون و تصمیم‌های مهندسی می‌توانند آن را تغییر دهند و این تغییرات باید کنترل شوند. اگر برنامه آزمون فقط یک فایل باشد که در ابتدای پروژه ساخته شده و تا پایان کسی به آن مراجعه نمی‌کند، بخش بزرگی از ارزش خود را از دست داده است.
در نهایت، هدف برنامه‌ریزی آزمون بیشتر آزمون کردن نیست؛ آزمون درست، روی نمونه درست، در زمان درست و برای پاسخ دادن به سؤال درست است. وقتی الزام، نمونه، روش، معیار پذیرش و نتیجه به یکدیگر متصل باشند، آزمون از یک فعالیت جداگانه آزمایشگاهی به بخشی قابل مدیریت از فرآیند توسعه محصول تبدیل می‌شود.