アメリカ連邦最高裁判決を基に日本国憲法18条が徴兵制を明確には違反しないと解釈するのは無理があると思う。

伊藤建弁護士がそう主張しているわけではなさそうですし、実際に内閣法制局がどう考えているのはわかりませんし、こういう解釈もあろうというのもわかりますが。

最高裁は「意に反する苦役ではない」

 しかし、実際には、徴兵制が憲法18条に違反すると政府が考えているかは微妙なところです。1970年に行われた答弁では、当時の内閣法制局長官は、『(憲法)18条に当たるか当たらないかというのは、私どもから言いますと確かに疑問なんです』と明確に述べています。どういうことなのでしょうか。憲法問題に詳しい伊藤建(たける)弁護士は、次のように話します。
内閣法制局が、安倍総理のように『徴兵制は憲法18条に明確に違反する』と言わない理由は、とあるアメリカ連邦最高裁の判決にあります。アメリカ合衆国憲法修正13条は、日本国憲法18条とほぼ同じ文言なのですが、アメリカ連邦最高裁は、徴兵制は『意に反する苦役』にあたらない、と判断しているのです。修正13条は、南北戦争直後である1865年に奴隷制を廃止する目的で追加されたのだから、『意に反する苦役』とは奴隷制度に類似するものを意味し、徴兵制度はこれに当たらないというロジックです」
 このアメリカの解釈を参考にすると、憲法18条だけでは徴兵制が憲法に違反するという確信を持てないからこそ、1980年の政府答弁書では「個人の尊重」などを規定した憲法13条もあえて挙げていると考えられます。安倍首相は、この点について明確な説明はしていません。
「1980年の政府答弁書は、徴兵制は憲法13条や18条などの規定の『趣旨』に反すると述べるにすぎず、どこにも『憲法18条に明確に違反する』とは書いていません。つまり、明確に憲法違反であるとは言えないけれども、憲法13条や18条などの条文を一緒に読んで、その背後原理を推理すると、ようやく『徴兵制は憲法違反だ』といえるというわけです。そのため、『徴兵制は憲法上許されない』という政府見解は、砂上の楼閣にすぎず、いつかは解釈改憲により変更されてしまうという危険をはらんでいます」(伊藤弁護士)

http://thepage.jp/detail/20150808-00000003-wordleaf

伊藤弁護士の説明による内閣法制局の理解ですが、要するに以下のロジックです。
1)アメリカ連邦最高裁判決が修正13条が徴兵制は『意に反する苦役』にあたらない、と判断
2)アメリカ憲法修正13条は、日本国憲法18条とほぼ同じ内容
3)日本国憲法18条は、徴兵制を禁止してるとは言えない

ただ、この解釈はかなり無理があると思います。そう考える理由を列挙しておきます。

1.時期の問題

連邦最高裁判決が出たのは1916年2月21日で今からほぼ100年前、日本国憲法ができる30年も前です。
伊藤弁護士の言うように連邦最高裁判決が「修正13条は、南北戦争直後である1865年に奴隷制を廃止する目的で追加されたのだから、『意に反する苦役』とは奴隷制度に類似するものを意味し、徴兵制度はこれに当たらないというロジック」であるなら、日本国憲法第二次世界大戦直後に日本の非武装化を目的としていたのですから、『意に反する苦役』には徴兵制が含まれないというロジックは不自然でしょう。
制定当初の目的を考慮せよ、と言う連邦最高裁判決を踏襲するなら、日本国憲法18条を解釈するにあたっては日本国憲法制定当初の目的を考慮するのが普通であって、何もアメリカ憲法修正第13条を参照する必要はないでしょう。

第十八条  何人も、いかなる奴隷的拘束も受けない。又、犯罪に因る処罰の場合を除いては、その意に反する苦役に服させられない。

http://law.e-gov.go.jp/htmldata/S21/S21KE000.html

AMENDMENT XIII
Passed by Congress January 31, 1865. Ratified December 6, 1865.
Note: A portion of Article IV, section 2, of the Constitution was superseded by the 13th amendment.
Section 1.
Neither slavery nor involuntary servitude, except as a punishment for crime whereof the party shall have been duly convicted, shall exist within the United States, or any place subject to their jurisdiction.
Section 2.
Congress shall have power to enforce this article by appropriate legislation.

修正第13条[奴隷制の禁止] [1865 年成立]
第1項 奴隷制および本人の意に反する苦役は、適正な手続を経て有罪とされた当事者に対する刑罰の場合を除き、合衆国内またはその管轄に服するいかなる地においても、存在してはならない。
第2項 連邦議会は、適切な立法により、この修正条項を実施する権限を有する。

http://aboutusa.japan.usembassy.gov/j/jusaj-constitution-amendment.html
http://www.archives.gov/exhibits/charters/constitution_amendments_11-27.html

2.アメリカ憲法にはそもそも徴兵制を認める条文がある

憲法条文上、明確に徴兵に言及しているわけじゃありませんが、連邦議会の権限として民兵団の召集を認めています。

Section. 8.
Clause 15: To provide for calling forth the Militia to execute the Laws of the Union, suppress Insurrections and repel Invasions;
Clause 16: To provide for organizing, arming, and disciplining, the Militia, and for governing such Part of them as may be employed in the Service of the United States, reserving to the States respectively, the Appointment of the Officers, and the Authority of training the Militia according to the discipline prescribed by Congress;

第8 条[連邦議会立法権限]
[第15 項]連邦の法律を執行し、反乱を鎮圧し、侵略を撃退するために、民兵団を召集する規定を設ける権限。
[第16 項]民兵団の編制、武装および規律に関する定めを設ける権限、ならびに合衆国の軍務に服する民兵団の統帥に関する定めを設ける権限。但し、民兵団の将校の任命および連邦議会の定める軍律に従って民兵団を訓練する権限は、各州に留保される。

http://aboutusa.japan.usembassy.gov/j/jusaj-constitution.html
http://aboutusa.japan.usembassy.gov/e/jusa-majordocs-constitution.html

憲法立案者らは直接的に徴兵と言った形を想定してはいなかったようですが、実質的に憲法1章8条が徴兵を認める根拠条文であると言えるでしょう。

The Constitution neither mentioned nor prohibited national conscription, simply providing Congress with the power “to raise and support armies.” Most of the framers apparently believed that the United States, like England, would enlist rather than conscript its soldiers, paying for them through federal taxes.

http://www.encyclopedia.com/topic/conscription.aspx

3.1916年2月21日の最高裁判決はそもそも徴兵制の合憲性を争った裁判ではない

元々は、自宅近くの道路の建設・修復のための労働を命じられたことに対して、憲法修正13条違反だと訴えた事件です。

U.S. Supreme Court
Butler v. Perry, 240 U.S. 328 (1916)
Butler v. Perry
No. 182
Submitted January 14, 1916
Decided February 21, 1916
240 U.S. 328
ERROR TO THE SUPREME COURT OF THE STATE OF FLORIDA
Syllabus
The term involuntary servitude, as used in the Thirteenth Amendment, was intended to cover those forms of compulsory labor akin to African slavery which, in practical operation, would tend to produce like results, and not to interdict enforcement of duties owed by individuals to the state.
The great object of the Thirteenth Amendment was liberty under protection of effective government, and not destruction of the latter by depriving it of those essential powers which had always been properly exercised before its adoption.
The Fourteenth Amendment was intended to recognize and protect fundamental objects long recognized under the common law system.
Ancient usage and unanimity of judicial opinion justify the conclusion that, unless restrained by constitutional limitations, a state has inherent power to require every able-bodied man within its jurisdiction to labor for a reasonable period on public roads near his residence without direct compensation.
A reasonable amount of work on public roads near his residence is a part of the duty owed by able-bodied men to the public, and a requirement by a state to that effect does not amount to imposition of involuntary servitude otherwise than as a punishment for crime within the prohibition of the Thirteenth Amendment, nor does the enforcement of such requirement deprive persons of their liberty and property without due process of law in violation of the Fourteenth Amendment.

https://supreme.justia.com/cases/federal/us/240/328/case.html

「修正13条は、南北戦争直後である1865年に奴隷制を廃止する目的で追加されたのだから、『意に反する苦役』とは奴隷制度に類似するものを意味し」居住地域において妥当な期間・妥当な量の労働を健康な者に科せられることは州法で禁止されていない限り、合憲である、という判決です。
徴兵制に言及しているのは以下の部分。

Utilizing the language of the Ordinance of 1787, the Thirteenth Amendment declares that neither slavery nor involuntary servitude shall exist. This amendment was adopted with reference to conditions existing since the foundation of our government, and the term "involuntary servitude" was intended to cover those forms of compulsory labor akin to African slavery which, in practical operation, would tend to produce like undesirable results.
It introduced no novel doctrine with respect of services always treated as exceptional, and certainly was not intended to interdict enforcement of those duties which individuals owe to the state, such as services in the army, militia, on the jury, etc. The great purpose in view was liberty under the protection of effective government, not the destruction of the latter by depriving it of essential powers.

https://supreme.justia.com/cases/federal/us/240/328/case.html

確かに「『意に反する苦役』とは奴隷制度に類似するものを意味し」とあり、これまでも軍役や民兵団、陪審などの奉仕を『意に反する苦役』とは扱ってこなかった、と述べています。その後に条文の目的が書かれていて、有効な政府の保護下における自由を守ることが重要であって、そのために必要な権限を政府から奪うことによって政府を毀損することを目的とはしていない、としています。
この判決当時、陪審も徴兵も憲法下で実施されていましたので、それを例に挙げて、陪審も徴兵も憲法違反じゃないのだから、居住地域での道路建設に健康な者が無償で協力するように命じたとしても『意に反する苦役』ではない、と言う判決です。
その辺の背景を踏まえずに、アメリカ連邦最高裁は兵役を『意に反する苦役』("involuntary servitude")ではないと判決を出した。同様の条文である日本国憲法も徴兵を禁止しているとは言えない、と言う風に内閣法制局が考えているとすれば、それはあまりにも恣意的じゃないのかな、と思わざるを得ません。

追記(2015/8/10)

伊藤弁護士が言及している連邦最高裁判決は1916年判決ではなく、1918年判決かもしれません。
https://en.wikipedia.org/wiki/Selective_Draft_Law_Cases
https://supreme.justia.com/cases/federal/us/245/366/

こちらは前年の1917年に制定された選抜徴兵法に対する裁判ですから、これの方がしっくりきます。1916年判決と思い込んだ私のミスですね。
ただ、上記「1.時期の問題」と「2.アメリカ憲法にはそもそも徴兵制を認める条文がある」については同じ指摘ができますので、結論としては変わりません。

The militia power reserved to the States by the militia clause (Art. I, § 8), while separate and distinct in its field, and while serving to diminish occasion for exercising the army power, is subject to be restricted in, or even deprived of, its area of operation through the army power, according to the extent to which Congress, in its discretion, finds necessity for calling the latter into play.

The service which may be exacted of the citizen under the army power is not limited to the specific purposes for which Congress is expressly authorized, by the militia clause, to call the militia; the presence in the Constitution of such express regulations affords no basis for an inference that the army power, when exerted, is not complete and dominant to the extent of its exertion.

https://supreme.justia.com/cases/federal/us/245/366/