এ কে খন্দকারের জন্ম ১৯৩০ সালের ১ জানুয়ারি। পিতার তৎকালীন কর্মস্থল ছিল রংপুর শহরে। তাঁর পৈতৃক বাড়ি পাবনা জেলার বেড়া উপজেলার ভারেঙ্গা গ্রামে। তাঁর পিতা খন্দকার আব্দুল লতিফ ব্রিটিশ আমলে ডেপুটি ম্যাজিস্ট্রেট হিসেবে দায়িত্ব পালন করেন এবং মাতা আরেফা খাতুন ছিলেন একজন আদর্শ গৃহিণী। চার ভাই ও এক বোনের মধ্যে এ কে খন্দকার ছিলেন তৃতীয়।
পিতার চাকরির সুবাদে তাঁর শিক্ষাজীবনের শুরু বগুড়া শহরে। সেখানে তিনি কিছুদিন বগুড়া করোনেশন স্কুলে পড়াশোনা করেন। ভারত বিভক্তির বছরে, ১৯৪৭ সালে তিনি মালদা জেলা স্কুল থেকে ম্যাট্রিকুলেশন পরীক্ষায় উত্তীর্ণ হন।
উইং কমান্ডার হিসেবে দায়িত্ব পালনকালে ১৯৭১ সালে মহান মুক্তিযুদ্ধ শুরু হলে এ কে খন্দকার মুক্তিবাহিনীতে যোগ দেন এবং মুক্তিযুদ্ধের উপ-সর্বাধিনায়ক (ডেপুটি চিফ অব স্টাফ) হিসেবে দায়িত্ব গ্রহণ করেন। ২১ নভেম্বর ১৯৭১ সালে তৎকালীন বাংলাদেশ অন্তর্বর্তী সরকারের পক্ষ থেকে তাঁকে গ্রুপ ক্যাপ্টেন পদে পদোন্নতি দেওয়া হয়। একই সঙ্গে তিনি মুক্তিবাহিনীর সর্বাধিনায়ক জেনারেল এম এ জি ওসমানীর ব্যক্তিগত উপ-প্রধান সেনাপতি হিসেবেও দায়িত্ব পালন করেন।
মহান মুক্তিযুদ্ধ ও স্বাধীন বাংলাদেশের প্রতিরক্ষা ব্যবস্থায় তাঁর অবদান জাতির ইতিহাসে চিরস্মরণীয় হয়ে থাকবে।