বিসিএস পরীক্ষায় পাস করলো চ্যাটজিপিটি (ChatGPT)

নভেম্বরে সাধারণ মানুষের ব্যবহারের জন্য উন্মুক্ত করে দেওয়ার পর থেকেই ওপেন এআই কোম্পানির তৈরি এআই চ্যাটবট চ্যাটজিপিটি আলোচনার শীর্ষে। জেনারেটিভ প্রি-ট্রেইন্ড ট্রান্সফর্মার ৩ বা জিপিটি-৩ ল্যাঙ্গুয়েজ মডেলের ওপর ভিত্তি করে বানানো চ্যাটজিপিটি মানুষের মত আলাপ চালিয়ে যাওয়া, প্রশ্নের উত্তর দেওয়া, গল্প, কবিতা, কমিক কিংবা প্রোগ্রামিং এর জটিল সমস্যা সমাধানের মত কাজগুলো করতে পারে।

এরই মাঝে গবেষণার অংশ হিসেবে চ্যাটজিপিটির মাধ্যমে বিভিন্ন জটিল পরীক্ষার প্রশ্ন সমাধান করা হয়েছে। যেখানে চ্যাটবটটি ওয়ার্টন এমবিএ পরীক্ষা, আমেরিকার মেডিকেল লাইসেন্সিং এক্সাম, আইন স্কুলের মত পরীক্ষাগুলোতে সফলতার সাথে পাশ করেছে। কিন্তু সম্প্রতি ভারতের ইউপিএসসি (UPSC) পরীক্ষায় উত্তীর্ণ হতে ব্যর্থ হয় চ্যাটবটটি। তাহলে এখন প্রশ্ন ওঠে বিশ্বে আলোড়ন সৃষ্টিকারী চ্যাটজিপিটি কি বাংলাদেশ সিভিল সার্ভিসে নিয়োগের জন্য গৃহীত বিসিএস (বাংলাদেশ সিভিল সার্ভিস) পরীক্ষায় উত্তীর্ণ হতে পারবে? সায়েন্স বী টিম শুরু করেছিল এই পরীক্ষা। 

যেভাবে পরীক্ষা নিই আমরা-

উক্ত প্রশ্নের উত্তর জানার জন্য একটি গবেষণামূলক প্রজেক্ট হাতে নিই আমরা। সবার প্রথমে কীভাবে পরীক্ষা নিলে সবচেয়ে বাস্তবসম্মত ফলাফল পাওয়া যাবে সে বিষয়ে গবেষণা চালাই আমরা। যেহেতু চ্যাটজিপিটি ২০২১ সালের সেপ্টেম্বর পর্যন্তই ডাটাসেট গ্রহণ করেছে সেহেতু বিসিএস এর সর্বশেষ পরীক্ষা অর্থাৎ ৪৪তম বিসিএস এর প্রশ্নের ওপর পরীক্ষা নেওয়ার সিদ্ধান্ত নেওয়া হয়৷ কারণ ৪৪তম বিসিএস আয়োজিত হয়েছিল ২০২২ সালে মে মাসে। সে জন্য ঢালাও ভাবে সম্পূর্ণ প্রশ্ন কিংবা উত্তর চ্যাটজিপিটির অফলাইন সার্ভারে থাকবে না।

পরীক্ষা নির্বাচন করার পর এর প্রশ্নপত্র এবং উত্তরমালা সংগ্রহ করি আমরা৷ যেহেতু প্রশ্নপত্ত পরীক্ষার পর নিয়ে আসার অনুমতি আছে সেহেতু এটি সংগ্রহে তেমন বেগ পেতে হয়নি। কিন্তু উত্তরপত্র সরাসরি প্রকাশ না করার কারণে তৃতীয় পক্ষের বিভিন্ন উৎস থেকে বহুসংখ্যকবার যাচাই এর পর চূড়ান্ত উত্তরপত্র তৈরি করি আমরা।

কিন্তু মূল সমস্যা তৈরি হয় প্রশ্নের ভাষা নিয়ে। যেহেতু কেবল বাংলা ভাষাতেই বিসিএস পরীক্ষা আয়োজিত হয় তাই এটিকে ইংরেজিতে অনুবাদ করার প্রয়োজনীয়তা দেখা দেয়৷ কারণ ইংরেজি ভাষায় চ্যাটজিপিটির ডাটাসেট শক্তিশালী হলেও বাংলা ভাষায় ওপর তেমন শক্তিশালী কোনো ডাটাসেটের ওপর একে প্রশিক্ষণ দেওয়া হয়নি। যার কারণে সোজা সোজা অনেক প্রশ্নেও এটি ভুল উত্তর প্রদান করে।

যেমন: চ্যাটজিপিটিকে যদি জিজ্ঞেস করা হয় বাংলাদেশে জাতীয় পাখি কোনটি? তাহলে সেই প্রশ্নের উত্তরও চ্যাটবটটি ভুল প্রদান করে। অর্থাৎ বাংলায় পরীক্ষা নিলে চ্যাটজিপিটি যে ব্যর্থ হবে সেটি আগেই অনুমানযোগ্য এবং আমাদের প্রি-এক্সপেরিমেন্ট সেই একই তথ্য প্রদান করে। তাই পরীক্ষাটিকে যথাযথ এবং স্বচ্ছ রাখার জন্য সম্পূর্ণ প্রশ্নটিকেই ইংরেজিতে রূপান্তর করা হয়। আমাদের ইংরেজিতে অনুবাদ করা প্রশ্নটি সঠিক উত্তরসহ দেখতে পারবেন এখানে। 

৪৪তম বিসিএস এর প্রিলিমিনারিতে মোট ১০টি ক্যাটাগরি থেকে ২০০টি এমসিকিউ বা বহুনির্বাচনী প্রশ্ন এসেছিল৷ ক্যাটাগরি ভিত্তিক প্রশ্ন সংখ্যার একটি ছক নিচে প্রদান করা হল:

৪৪তম বিসিএস এর মানবন্টনে প্রত্যেক প্রশ্নের ওপর ১ মার্ক করে বরাদ্দ ছিল৷ যেখানে সঠিক উত্তর প্রদানে পরীক্ষার্থী  ১ মার্ক করে পাবেন, এবং প্রতিটি ভুল উত্তরের জন্য তার ০.৫ মার্ক করে কাটা যাবে। তবে ইচ্ছে করলে পরীক্ষার্থী কোনো প্রশ্ন স্কিপ বা নাও দাগাতে পারেন। সে ক্ষেত্রে কোনো মার্ক যোগ কিংবা বিয়োগ হবে না। এই একই মানবন্টন আমরা চ্যাটজিপিটিকেও প্রদান করি৷ এবং শুরুতে টেক্সট প্রোমটের মাধ্যমে এমসিকিউ পরীক্ষা নেওয়ার বিষয়টি এবং মানবন্টন তাকে জানিয়ে দেওয়া হয়৷ এবং সে পরীক্ষা দেওয়ার জন্য প্রস্তুত হয়।

তবে প্রশ্ন অনুবাদের সময় মানসিক দক্ষতায় কিছু চিত্রভিত্তিক প্রশ্ন অথবা উত্তর ছিল। যেহেতু চ্যাটজিপিটি ছবি পড়তে বা বুঝতে পারে না সেহেতু সেই প্রশ্নগুলো করা ছিল অসম্ভব। তাই এই ধরণের প্রশ্নগুলোকে বাতিল করা হয়৷ পাশাপাশি বাংলা ভাষা ও সাহিত্যের কিছু প্রশ্ন ইংরেজিতে অনুবাদ করা সম্ভব ছিল না।

চ্যাটজিপিটির লেখা পাঠকপ্রিয় কমিকবুকটি পড়ুন এখানে। 

কারণ সে ক্ষেত্রে প্রশ্নের অর্থ সম্পূর্ণ ভাবে পরিবর্তিত হয়ে যাবে। আবার যেহেতু সম্পূর্ণ প্রশ্ন ইংরেজিতে করা হচ্ছে এবং বাংলা ভাষার ডাটাসেট একেবারেই উন্নত না সেহেতু সেই প্রশ্নগুলোও বাতিল করি আমরা। এরকম বাতিল প্রশ্নের সংখ্যা ছিল মোট ২২টি। যেহেতু এগুলো চ্যাটজিপিটির দুর্বলতা সেহেতু বাতিল প্রশ্নগুলোর ক্ষেত্রে সে উত্তর প্রদান করতে পারেনি বলে ধরা হয় এবং কোনো নেগেটিভ মার্কি করা হয় না।

সর্বশেষে অবশিষ্ট ১৭৮টি প্রশ্ন চ্যাটজিপিটিকে অপশন সহ করা হয় যেখানে মোট ১৪২টি প্রশ্নের এটি সঠিক উত্তর দেয়, ২৪টি প্রশ্নের উত্তর ভুল দেয় এবং বাকি ১২টি প্রশ্নের উত্তরের বেলায় সঠিক উত্তর অপশনে নেই বলে জানায় এটি। অর্থাৎ ১৪২টি সঠিক উত্তরের জন্য মোট ১৪২ নম্বর পায় সে। কিন্তু ২৪টি ভুল উত্তর দেওয়ায় ১২ মার্ক কর্তন হয় এবং উত্তর নেই বলে জানানোগুলোর ক্ষেত্রে কোনো মার্ক কর্তন বা যোগ করা হয় না। সেহেতু সর্বশেষ হিসেবে অনুযায়ী চ্যাটজিপিটি ৪৪তম বিসিএস এর প্রশ্ন অনুযায়ী মোট ১৩০ মার্ক লাভ করেছে। 

যে ফলাফল পেল চ্যাটজিপিটি-

৪৪তম বিসিএস-এর জন্য মোট ৩ লক্ষ ৫০ হাজার ৭১৬ জন পরীক্ষার্থী আবেদন করে এবং এর মধ্যে ২ লক্ষ ৭৬ হাজার ৭৬০ জন পরীক্ষার্থী প্রিলিমিনারিতে অংশ নেয়। যেখানে পাস করে মাত্র ১৫ হাজার ৭০৮ জন শিক্ষার্থী। যেহেতু বিসিএস এর নিদিষ্ট কোনো পাস মার্ক নেই এবং কাটমার্ক কত সেটিও অফিশিয়াল ভাবে প্রকাশ করা হয় না সেহেতু ৪৪তম বিসিএস-এ অংশ নেওয়া বেশ কিছু পরীক্ষার্থীর সাথে আমরা যোগাযোগ করি।

তাদের দেওয়া তথ্য অনুযায়ী জেনারেল ক্যাডারে ৪৪তম বিসিএস প্রিলিমিনারির কাটমার্ক ছিল ১২৫± যেহেতু চ্যাটজিপিটি আমাদের নেওয়া পরীক্ষায় ১৩০ মার্ক অর্জন করে, সেহেতু বলা যায় চ্যাটজিপিটিও সফল ভাবে বিসিএস এর প্রিলিমিনারিতে উত্তীর্ণ বা পাস করতে সক্ষম হয়েছে।

আমাদের মতামত-

আমাদের নেওয়া পরীক্ষা অনুযায়ী চ্যাটজিপিটি বেশ ভালো ভাবেই প্রশ্নগুলোর উত্তর দিতে সক্ষম হয়েছে। কিন্তু বাংলা ভাষা ও সাহিত্য ক্যাটাগরিতে এর অবস্থা ছিল সবচেয়ে ভয়াবহ। যেখানে ৩৫টি প্রশ্নের মধ্যে মাত্র ৫টি প্রশ্নের উত্তর দিতে সক্ষম হয় এটি। কিন্তু অপর দিকে বিজ্ঞান, কম্পিউটার কিংবা ইংরেজি ভাষা ও সাহিত্য বিভাগে এর অবস্থান ছিল যথেষ্ট ভালো। মানসিক দক্ষতা কিংবা গাণিতিক ক্যাটাগরির বেশির ভাগ প্রশ্নের সঠিক উত্তর দিতে পারলেও উত্তর প্রদানে যথেষ্ট সময় নিয়েছে এটি। পাশাপাশি অনেক সময় উত্তর দিতে দিতে মাঝে আটকে যাওয়ার মত ঘটনাও ঘটেছে। সে ক্ষেত্রে ‘রিজানেরেট রেসপন্স’ এর সহায়তা নিতে হয়েছে আমাদের।

বিভিন্ন ক্যাটাগরিতে চ্যাটজিপিটির পাওয়া নাম্বার:

চ্যাটজিপিটির সাথে আমাদের পূর্ণাঙ্গ আলোচনা দেখুন এখানে।পূর্নাঙ্গ ভাবে চ্যাটজিপিটির প্রশ্নের উত্তর প্রদান (P), ভুল উত্তর প্রদান (f) অথবা উত্তর না দেওয়ার (s) তালিকা দেখুন এখানে। 

প্রশ্ন অনুবাদ এবং সংগ্রহে: মিথিলা ফারজানা মেলোডি (Metheela Farzana Melody)

রিপোর্ট সম্পাদনায়: মবিন সিকদার (Mobin Sikder), সাদিয়া বিনতে চৌধুরী (Sadia Binte Chowdhury)

সার্বিক ব্যবস্থাপনায়: অন্বয় দেবনাথ (Annoy Debnath)