رأى الحافظ ابن حجر أن الحافظ أطال كتابه بأشياء تركها أولى، وقصر فيه بأشياء ذكرها وإثباتها أولى، وأن من هذه الكتاب أو تعقبه كالذهبي مغلطاي قد وقع في أوهام أو تقصير مما دفعه لتأليف الكتاب، وقد قال في المقدمة موضحا سبب تأليفه للكتاب: «أما بعد، فإن كتاب الكمال في أسماء الرجال الذي ألفه الحافظ الكبير أبو محمد عبدالغني بن عبدالواحد بن سرور المقدسي، وهذبه الحافظ الشهير أبو الحجاج يوسف بن الزكي المزي من أجل المصنفات في معرفة حملة الآثار وضعًا، وأعظم المؤلفات في بصائر ذوي الألباب وقعا، ولاسيما التهذيب فهو الذي وفق بين اسم الكتاب ومسماه، وألف بين لفظه ومعناه، بيد أنه أطال وأطاب، ووجد مكان القول ذا سعة فقال وأصاب، ولكن قصرت الهمم عن تحصيله لطوله، فاقتصر بعض الناس على الكشف من الكاشف الذي اختصره منه الحافظ أبو عبدالله الذهبي. ولما نظرت في هذه الكتب وجدت تراجم الكاشف إنما هي كالعنوان تتشوق النفوس إلى الاطلاع على ما وراءه، ثم رأيت للذهبي كتابا سماه تذهيب التهذيب أطال فيه العبارة ولم يعدُ ما في التهذيب غالبًا وإن زاد ففي بعض الأحايين وفيات بالظن والتخمين، أو مناقب لبعض المترجمين، مع إهمال كثير من التوثيق والتجريح، اللذين عليهما مدار التضعيف والتصحيح.
هذا وفي التهذيب عدد من الأسماء لم يعرف الشيخ بشيء من أحوالهم، بل لا يزيد على قوله: روى عن فلان، روى عنه فلان، أخرج له فلان. وهذا لا يروي الغلة، ولا يشفي العلة. فاستخرت الله تعالى في اختصار التهذيب على طريقة أرجو الله أن تكون مستقيمة
قدم المؤلف لكتابه بمقدمة أثنى فيها على كتاب الكمال للمقدسي، وتهذيب الكمال للمزي، وذكر سبب تأليفه للكتاب، ومآخذه على المزي، وبين منهجه في الكتاب، وطريقة ترتيبه.
حافظ على ترتيب التراجم كما هي في الكتاب الأصل تهذيب الكمال، فرتبها على حروف المعجم، وكان المزي قد رتب الكتاب على حروف المعجم إلا أنه ابتدأ في حرف الهمزة بمن اسمه أحمد، وفي حرف الميم بمن اسمه محمد، فإن كان في أصحاب الكنى من اسمه معروف من غير خلاف فيه ذكره في الأسماء ثم نبه عليه في الكنى، وإن كان فيهم من لا يعرف اسمه أو اختلف فيه ذكره في الكنى ونبه على ما في اسمه من الاختلاف، ثم النساء كذلك.
أعاد التراجم التي حذفها المزي من أصل الكمال، والتي كان الحافظ عبد الغني قد ذكرها بناءً على أن بعض الستة أخرج لهم، وكان المزي قد حذفهم بسبب عدم وقوفه على روايتهم في شيء من الكتب الستة، وقال مبينًا ذلك: ثم وجدت صاحب التهذيب حذف عدة تراجم من أصل الكمال ممن ترجم لهم بناءً على أن بعض السنة أخرج لهم فمن لم يقف المزي على روايته في شيءٍ من هذه الكتب حذفه، فرأيتُ أن أثبتهم وأنبه على ما في تراجمهم من عوز، وذكرهم على الاحتمال أفيد من حذفهم، وقد نبهت على من وقفت على روايته منهم في شيءٍ من الكتب المذكورة، وزدت تراجم كثيرة أيضًا التقطتها من الكتب الستة مما ترجم المزي لنظيرهم تكملة للفائدة أيضًا.
لم يرتب شيوخ وتلاميذ صاحب الترجمة على الحروف، وإنما رتبهم على التقدم في السن، والحفظ، والإسناد، والقرابة، وما إلى ذلك، وقال مبينًا صنيعه في ذلك: ولم ألتزم سياق الشيخ والرواة في الترجمة الواحدة على حروف المعجم لأنه لزم من ذلك تقديم الصغير على الكبير، فأحرص على أن أذكر في أول الترجمة أكثر شيوخ الرجل وأسندهم وأحفظهم إن تيسَر معرفة ذلك، إلا أن يكون للرجل ابن أو قريب فإنني أقدمه في الذكر غالبًا، وأحرص على أن أختم الرواة عنه بمن وصف بأنه آخر من روى عن صاحب الترجمة، وربما صرحت بذلك.