بنچمارک‌ها همه حقیقت را نمی‌گویند

زمانی بازار بنچمارک و امتیازهایی که به سخت افزارهای کامپوترها داده می‌شد داغ بود و حالا بازار بنچمارک برای گوشی‌های هوشمند داغ شده است. برای مثال تست دوربین DxOMark را در نظر بگیرید، یک آزمایش عملکرد چندوجهی که به شکل گسترده مورد استفاده قرار می‌گیرد. علاقه‌مندان به گوشی‌های هوشمند سر این امتیازها با هم جدال می‌کنند و امتیاز گوشی‌ها را در حوزه‌های مختلف با هم مقایسه می‌کنند. شرکت‌های سازنده هم تلاش می‌کنند با بهتر کردن دوربین‌های موبایل امتیازشان را بهبود دهند. دقت کنید؛ بحث از افزایش کیفیت تصاویر نیست، در اینجا بحث صرفا افزایش امتیاز است.

برای مثال گوشی HTC 10 را در نظر بگیرید که برای توضیح بهتر موضوع بحث‌مان مثال به‌درد‌بخوری است. دوربین این گوشی در بنچمارک DxOMark امتیاز ۸۸ از ۱۰۰ را دریافت کرد. اگر به امتیاز این بنچمارک تکیه کنیم باید بگوییم این امتیاز HTC 10 را در جایگاهی همانند با سامسونگ گلکسی S7 قرار می‌دهد، تنها گوشی دیگری که توانسته امتیاز ۸۸ بگیرد. اما استفاده از این دوگوشی به کل دو تجربه متفاوت است. دوربین گلکسی S7 فوق العاده است اما دوربین HTC 10 صرفا دوربین خوبی است و بس. پس چرا امتیاز این دو گوشی یکسان است؟ تازه این را هم در نظر بگیرید که اکسپریا Z5 فقط با فاصله یک امتیاز در رتبه سوم، جایی بسیار نزدیک به این دوگوشی ایستاده. شباهت میان HTC 10، گلکسی S7 و اکسپریا Z5 در قابلیت‌های فوق‌العاده‌ سخت‌افزاری این سه گوشی است اما تفاوت میان این سه گوشی در نتیجه نهایی‌ای است که از عکاسی با آنها حاصل می‌شود و همینطور در تجربه استفاده کاربران از این سه گوشی. شاید Z5 هم مثال خوبی باشد که توضیح دهیم چرا بنچمارک‌ها مشکل دارند. باید گفت اکسپریا Z5 می‌تواند عکس‌های بی‌نظیری بگیرد اما در اغلب موارد به دلیل عملکرد با تاخیر این گوشی، در واقع خبری از آن عکس‌های فوق العاده نیست. باید پرسید اگر نرم‌افزار یک گوشی آنقدر بد و کند باشد که شما نتوانید از یک لحظه زودگذر عکس بگیرید اصلا کیفیت سخت افزاری دوربین به چه دردتان می‌خورد؟

امتیازهای بنچمارک هم مثل آمار و ارقام دیگر برای ارائه اطلاعات به وجود آمده اند. باید مراقب بود که با دیدن این نمره ها دچار تفاسیر اشتباه نشویم.

از سوی دیگر باید در نظر داشت که با وجود معیارهای عینی ای که بنچمارک ها بررسی می کنند همیشه و به ناچار معیارهای ذهنی هم در قضاوت درباره قابلیت های یک گوشی دخیل است.

برای مثال توانایی فلش دوربین یک گوشی هوشمند بخشی از معیارهای عینی امتیازدهی به آن است اما وقتی می خواهید از فرزندتان در یک پارک عکاسی کنید فلش و توانایی هایش چندان برایتان اهمیتی ندارد؛ در آن شرایط فوکوس اتوماتیک و قابلیت پردازش تصویر برای شما اهمیت کلیدی خواهد داشت.

اینکه سازندگان موبایل امتیازهای بنچمارک DxOMark را مثل یک متر و معیار مقدس در نظر میگیرند. بسیاری از تولید کننده های گوشی های اندرویدی در تلاش اند امتیازات شان را در این بنچمارک ها بیشتر کنند و توجه بیش از حد به این امتیازها حقیقتا خطرناک است.

وقتی HTC درباره گوشی جدیدش HTC 10 مورد پرسش قرار گرفت که آیا این گوشی را به شکلی طراحی کرده‌اند که امتیاز بنچمارک DxO آن خیلی بالا باشد؛ این شرکت صرفا پاسخی کلیشه ای داد و گفت دوربین موبایلش برای بهترین تجربه عکاسی موبایل طراحی شده اما واقعیت‌هایی وجود دارند که صحت این ادعا را رد می‌کنند. برای مثال فوکوس اتوماتیک HTC 10 در بنچمارک DxO امتیاز ۹۳ را کسب کرد اما همین شرکت یک بروزرسان نرم‌افزار برای حل مشکلات الگوریتم فوکوس اتوماتیک گوشی اش منتشر کرد. مشکلی که برای کاربران بسیار آزاردهنده بود اما چیزی نبود که در یک تست تکنیکی خودش را نشان دهد.

مساله دیگر شکل استفاده کاربران از گوشی‌ها در جهان واقعی است. این شکل استفاده اغلب شباهتی به شیوه آزمون این گوشی‌ها در بنچمارک‌ها ندارد. آزمون این گوشی‌ها در بنچمارک‌ها به شکلی تکرارپذیر و قاعده‌مند انجام می‌شود در حالی که مردم در زندگی واقعی‌شان کاملا نامرتب و بدون قاعده از گوشی‌هاشان استفاده می‌کنند.

خلاصه اینکه یک بنچمارک صرفا قدرت سخت‌افزاری یک گوشی را نمایش می‌دهد. با فهمیدن قدرت سخت‌افزاری دیگر باقی راه به عهده خود ما است تا با استفاده از این اطلاعات در کنار تجربه کاربری و توان نرم‌افزاری گوشی درباره کیفیت آن تصمیم‌گیری کنیم.

‌‌

منبع: The Verge

‌‌‌