- Turing Post Korea
- Posts
- ๐FOD#114: 'AI'แแ ก แแ กแแ ตแแ ฅแปแแ กแแ งแซ แแ กแแ ตแฏแแ กแผ 'แแ ตแทแแ ฆ' แแ กแผแแ ขแแ ตแซ แแ ตแแ ฎแจ แแ ฅแฏแแ ต แแ ฎแแ ก
๐FOD#114: 'AI'แแ ก แแ กแแ ตแแ ฅแปแแ กแแ งแซ แแ กแแ ตแฏแแ กแผ 'แแ ตแทแแ ฆ' แแ กแผแแ ขแแ ตแซ แแ ตแแ ฎแจ แแ ฅแฏแแ ต แแ ฎแแ ก
แแ ฅแซแแ ฆ แแ ณแ แ ตแทแแ ณแฏ แแ ฆแแ ขแ แ ฉ แแ กแซ แแ ฅแซ แแ ฉแธแแ ตแแ ก
AI๊ฐ ์์๋ค๋ฉด, ๋ฏธ๊ตญ ์ค๋นํฌ์๋ ์ฌ์ค์ ์นจ์ฒด์ ๊ธธ๋ก
ํ๋ง ํฌ์คํธ์์ ๊ฑฐ์ ๊ฒฝ์ ์ ๋ํ ์ด์ผ๊ธฐ๋ฅผ ํ๋ ์ผ์ ๋ณ๋ก ์๋๋ฐ์. ๋ฏธ๊ตญ ์ค๋นํฌ์ ๊ด๋ จ๋ ์ซ์๋ฅผ ๋ณด๊ณ ๋์๋ ์ด ์ด์ผ๊ธฐ๋ฅผ ํ ๋ฒ ํด์ผ๊ฒ ๋ค ์ถ์ ์๊ฐ์ด ๋ค์์ต๋๋ค.
์ฌ๋ฌ๋ถ, ํ ๋ฒ ์ฌ๋ฌ๋ถ์ด ์ง๊ธ ๋ฏธ๊ตญ ์ค๋ถ ์ง์ญ์ ๊ฐ์ ์ ๋์๋ ๋คํ์ ๋์๋ฝ์ ์ง๊ธ ์ ์๋ค๊ณ ์์ํด ๋ณด์ธ์. ์ฐ์ ์ฒ์์ ์๋ฌด ์๋ฆฌ๋ ๋ค๋ฆฌ์ง ์๊ฒ ์ฃ . ํ์ ์ฌ์ด๋ก ์ค์น๋ ๋ฐ๋ ์๋ฆฌ ์ ๋ ๋ค๋ฆด๊น์? ๊ทธ๋ฐ๋ฐ, ๊ฐ์๊ธฐ ๋ฉ๋ฆฌ์ ์์ฃผ ๋ฎ๊ฒ ๊น๋ฆฐ, ์์๋๋ ์๋ฆฌ๊ฐ ๋ค๋ ค์ต๋๋ค. ๊ฐ๋งํ ๋ค์ด๋ณด๋ธ๋ฐ, ์ฒ๋ฅ ์๋ฆฌ๋ ์๋๊ณ , ๋ฉ๋๊ธฐ ๋ผ๋ ์๋ ์.
๋ฐ๋ก ๊ทธ๊ฒ, ๋ ๋ฐ์์ ์ธ๋ ค๋์ค๋ โ์๋ฒ ํ(Server Farm)โ ์๋ฆฌ๋ผ๊ณ ์๊ฐํด ๋ณด์ธ์ - ์ฐฝ๋ฌธ ํ๋๋ ์์ด ์ค๋ฆฌ์ฝ ์นฉ๋ค์ด ๋ชจ์ฌ์๋, ๋ฐ๋ก ์กฐ์ฉํ ๋ฏธ๊ตญ์ ๊ฒฝ์ ๋ฅผ ์งํฑํ๊ณ ์๋ ์์ฃผ ์ค์ํ ์กด์ฌ์ฃ .
AI์ โ๋ฒ๋ธโ์ ๊ฑท์ด๋ด ๋ณธ๋ค๋ฉด?
๋ฏธ๊ตญ ๊ฒฝ์ ๋ ์ง๋ 2๋ถ๊ธฐ์ ๋ฐ๋ฑํ์ต๋๋ค: 1๋ถ๊ธฐ์๋ โ0.5%๋ผ๋ ๋ถ์งํ ์ค์ ์ ๋ณด์๋๋ฐ, ๊ทธ ๋ค๋ฅผ ์ด์ด 2๋ถ๊ธฐ์๋ +3.0%์ ์ฑ์ฅ๋ฅ ์ ๊ธฐ๋กํ๋ค๊ณ BEA(U.S. Bureau of Economic Analysis; ๋ฏธ๊ตญ ๊ฒฝ์ ๋ถ์๊ตญ)๊ฐ ๋ฐํํ์ต๋๋ค. ์ธ๋ก ์์๋ ์ด๊ฑธ ๋๊ณ โํ๋ณต๋ ฅโ, โ์ํํธ ๋๋ฉโ, โ๋ฏธ๊ตญ์ด ์ฌ์ ํ ์ญ๋์ ์ด๋ผ๋ ์ฆ๊ฑฐโ๋ผ๊ณ ์ฐฌ์ฌ๋ฅผ ๋ณด๋ธ ๊ฒ ๊ฐ์์. ๊ทธ๋ฐ๋ฐ, ๋ฌผ๋ก ๋ฏธ๋ฌํ ๋์์ค๊ฐ ์์ด์.
์ด ๋ฐ์ดํฐ๋ฅผ ๋์ ์ด์ง ๋จ๊ณ ์ง์คํด์ ๋ฐ๋ผ๋ณด๋ฉด, โAI ๊ด๋ จ ์ง์ถ์ ๊ฑท์ด๋ด๋ฉด, ์ฌ์ค ๋ค๋ฅธ ๋ชจ๋ ๊ฒฝ์ ์ ๋ถ๋ฌธ์ ์ ์๋ฆฌ ๊ฑธ์์ ํ๊ณ ์๋คโ๋ ๊ฑธ ์ ์ ์์ด์. AI ๋์ ์์ผ๋ก ๋์๊ฐ๋ ๊ฒ์ฒ๋ผ ๋ณด์ด์ง๋ง, ์ค์ ๋ก๋ ๋ฉ๋ฆฌ ๊ฐ์ง ๋ชปํ๊ณ ์๋ ๊ฑฐ์ฃ - โAI๊ฐ ๋ฉฑ์ด์ก๊ณ ํ๋์บ๋ฆฌโํ ๊ฒ๋๋ค.
1๋ถ๊ธฐ์ ๋ณด์ฌ์ค โ0.5% ์ฑ์ฅ๋ฅ ๋ง ํด๋ ์ด๋ฏธ ์ข์ง ์์ ๊ทธ๋ฆผ์ ๋๋ค. ๊ทธ๋ฐ๋ฐ Apollo์ ํ ๋ฅด์คํ ์ฌ๋ขฐํฌ(Torsten Slรธk)๋ ๋ฐ์ดํฐ์ผํฐ ๊ฑด์ค๋ง์ผ๋ก๋ ์ฝ 1% ํฌ์ธํธ๊ฐ ์ถ๊ฐ๋์๋ค๊ณ ์ง์ ์ ํด์. ๊ทธ๊ฑธ ๋บ๋ค๋ฉด, ์ซ์๋ โ1.5%๋ก ๋ ๋ด๋ ค๊ฐ๋๋ค.
2๋ถ๊ธฐ๋ +3.0%๋ผ์ ํจ์ฌ ๊ฑด๊ฐํด์ง ์ํฉ์ผ๋ก ๋ณด์ผ ์ ์์ง๋ง, Pantheon Macroeconomics๋ 2025๋ ์๋ฐ๊ธฐ๋ฅผ ์ข ๋ ๋์ ํ๊ฒ ์์ฝํฉ๋๋ค: AI ๋ง์ผ๋ก ์ฝ 0.5%ํฌ์ธํธ์ GDP๊ฐ ๋ง๋ค์ด์ก๋ค๋ ๊ฒ๋๋ค. ์ด๊ฑธ ์ ์ธํ๋ฉด, ๋ฏธ๊ตญ์ ๊ณ ์ 1% ์ฑ์ฅ์ ๋จธ๋ฌด๋ฅด๊ณ ์๋ ์ ์ ๋๋ค. ๋ง์ด๋์ค๋ณด๋ค๋ ๋ฌผ๋ก ๋ซ์ง๋ง, ์ฌ์ ํ ๋๋ฌด ๋ณด์๊ฒ ์๋ ์ซ์์ฃ .
ํ์ค์ ๋ ์ ๋๋ผํ๊ฒ ๋ณด์ฌ์ฃผ๋ ๋ ๋ค๋ฅธ ํต๊ณ๊ฐ ํ๋ ์์ต๋๋ค: 2019๋ ์ดํ์, AI ๊ด๋ จ ์ฐ์ ์ ๋ํ ํฌ์๊ฐ 53% ์ฆ๊ฐํ ๋ฐ๋ฉด์, ๊ทธ ์ธ์ ๋ชจ๋ ๋ถ์ผ๋ ์ฌ์ค์ ์ ์๋ฆฌ๊ฑธ์ - ๊ณ ์ 0.3% ์์น - ์ ํ๊ณ ์๋ค๋ ๊ฑฐ์์.

Image Credit: Reuters
์๋ ์ฐจํธ๋ ํ ๋ฒ ๋ณด์ธ์:

Image Credit: RenMac
์ง๊ธ ๋ฏธ๊ตญ ๊ฒฝ์ ๋ฅผ ์ด๋๋ ๊ฐ์ฅ ํฐ ๋๋ ฅ์, ๊ฐ๊ณ์์ ์ง๊ฐ์ ์ด์ด์ ์๋น๋ฅผ ํ๋ ๊ฒ ์๋๋ผ, ๋ฐ๋ก โ๋ฐ์ดํฐ ์ผํฐโ์ ๋๋ค. ์ฌ๋ฌ๋ถ์ด๋ ์ ๋ AI์ ๊ด์ฌ์ด ๋ง์ ์ฌ๋๋ค์ด๋ผ์, ์ด๋ฐ ์ํฉ์ด ๋ง์น ๊ด์ฐฎ์ ๊ฒ์ธ์ ์๊ฐ์ด ๋ค ์๋ ์๊ฒ ์ง๋ง, ์ฌ์ค์ ๊ทธ๋ ๊ฒ ์ข์ ์ํฉ์ด ์๋๋๋ค. ๊ฑด๊ฐํ AI ๊ฒฝ์ ๋ผ๋๊ฒ, ๋จ์ํ ์ธํ๋ผ๋ฅผ ์ง๋ ๊ฒ ์๋๋ผ ์๋น์์ ๊ธฐ์ ์ด ์ค์ ๋ก ๊ทธ ๋๊ตฌ๋ฅผ ๋ ์ฃผ๊ณ ์ฌ์ ์ฐ๋ ๊ณผ์ ์ด ๋ฐ๋ผ์์ผ ๋ ํ ๋๊น์.
๊ทธ๋ฐ๋ฐ, ์ง๊ธ ๊ทธ ์์ ์ ํธ๋ ๊ฐ๊ณ๋ ๊ธฐ์ ์ด ์๋๋ผ, ์ด AI ์ํ๊ณ์ ์ต์์ ํฌ์์(Apex Predators), ์ฆ โ์ฐ๊ตฌ์๋คโ์์ ๋์ค๊ณ ์๋ ๊ฑฐ์์. ๊ทธ์ 1๋ ์ ์์ญ ๋ฒ ์ ๋ ์คํ๋๋ ์์ฒญ๋ ๋๊ท๋ชจ์ ํ์ต (Training Run)์ด ๊ตญ๊ฐ์ ์ธ ํฌ์๋ฅผ ์ด๋์ด๊ฐ๊ณ ์๋ค๊ณ ํด๋ ๊ณผ์ธ์ด ์๋๋๋ค.

Image Credit: Sherwood News
์ง๊ธ ์ด ์๊ฐ์๋, ํ์ฅ์์๋ ๋ฒ๊ฐ๊ฐ์ ์๋๋ก ๋ฐ์ดํฐ ์ผํฐ๊ฐ ๋์์ด ๋์ด๋๊ณ ์์ต๋๋ค. Foxconn๊ณผ SoftBank๋ ์คํ์ด์ค์์ ๋ฐ์ดํฐ ์ผํฐ ์ฅ๋น๋ฅผ ์์ฐํ๊ธฐ ์ํด ์์ ์ก์๊ณ , ํ์ด ๋ฆฌ์คํฌ ํ๋ก์ ํธ๋ผ๊ณ ๋ค๋ค ์ด์ผ๊ธฐํ๋ ์คํ๊ฒ์ดํธ โ ์คํAI์ ์ค๋ผํด์ด ํจ๊ป ํ๋ 5,000์ต ๋ฌ๋ฌ ๊ท๋ชจ์ AI ๋ฉ๊ฐ ๋ฒค์ฒ์ฃ โ ๋ฅผ ์ํด์ ๊ณผ๊ฑฐ ํ ๋ ์ ๊ธฐ์ฐจ ๊ณต์ฅ์ด์๋ ๊ณณ์ ๋ฐ์ดํฐ ์ผํฐ๋ก ์ ํํ๊ณ ์์ต๋๋ค.
ํธ๋ผํ ์ ๋ํต๋ น์ ๋์ฑ ๊ธด๋ฐํ ์ง์์ ํผ์ณ๊ฐ๋ ์ํฉ์์, ์คํ์ด์ค์ โ์ ์ฒ ์โ๊ฐ ๋์์ค์ง๋ ์๊ฒ ์ง๋ง AI ๋(Rack)์ ํ์คํ ๋ง์ด ์๊ธฐ๊ณ ์์ต๋๋ค.
์น์ (Winners)
์ ํธ๋ฆฌํฐ(Utilities)
EIA(Energy Information Administration; ๋ฏธ๊ตญ ์๋์ง์ ๋ณด์ฒญ)์ ๋ฐ๋ฅด๋ฉด, ์์ ์ฉ ์ ๋ ฅ ์์๊ฐ ์ฃผ๋ก ๋ฐ์ดํฐ ์ผํฐ ๋๋ฌธ์ ๋น ๋ฅด๊ฒ ์ฆ๊ฐํ๊ณ ์์ต๋๋ค. 2026๋ ๊น์ง ๋ฏธ๊ตญ ์ ์ฒด ์ ๋ ฅ์ ์ฝ 6%๊ฐ ์๋ฒ ํ(Server Farm)์ ์์๋ก ์๋น๋ ๊ฑฐ๋ผ๊ณ ํฉ๋๋ค.์นฉ ์ ์กฐ์ ์ฒด ๋ฐ ํ๋์จ์ด ๊ณต๊ธ์ ์ฒด
์๋น๋์, AMD, Broadcom, TSMC, Micron ๋ฑ, AI ๋ถ์ ๋จน์ฌ ์ด๋ฆฌ๋ ๊ณต๊ธ๋ง์ด์ฃ . ์ด๋ค์ ์ค์ ๋ณด๊ณ ์๋ ๋ง ๊ทธ๋๋ก ํ๋ ์ ์ํ์ฒ ๋ชจ์ต์ด์์.ํด๋ผ์ฐ๋ ์๋์ ์
๋ง์ดํฌ๋ก์ํํธ, ๊ตฌ๊ธ, AWS, ์ค๋ผํด. ๋ชจ๋ ์ด ์ธํ๋ผ๊ฐ ๊ฒฐ๊ตญ ํธ์คํ ๋ฐ AI ์๋น์ค ์์ต์ผ๋ก ์ด์ด์ ธ์ ์ด๋ฐ ํ์ฌ๋ค์ ์ฌ๋ฌด์ ํ์ ๋ฐ์๋ฉ๋๋ค.AI์ ๋ฏผ๊ฐํ ์ฐ์ ๊ณผ ๊ด๋ จ๋ ํฌ์์๋ค
2019๋ ์ดํ์ AI ๊ด๋ จ ์ฐ์ ์ ์๋ณธ ์ง์ถ์ 53% ์ฆ๊ฐํ ๋ฐ๋ฉด, ๋ค๋ฅธ ์ฐ์ ๋ค์ ์ ์๋ฆฌ ๊ฑธ์์ด์์ผ๋, ๋ง ๋ค ํ์ฃ .
ํจ์ (Losers)
๋น(้)๊ธฐ์ ์ฐ์
2019๋ ์ดํ์, AI ๊ด๋ จ ์ฐ์ ์ธ ์์ญ์์์ ์๋ณธ ํฌ์๋ ๊ณ ์ 0.3% ์ฆ๊ฐํ๋ ๋ฐ ๊ทธ์ณค์ต๋๋ค. AI ์ฐ์ ์ ๊ธ๋ฑ์ธ์ ๋นํ๋ฉด ์ฌ์ค์ ์ ์ฒด ์ํ๋ผ๊ณ ํด์ผ๊ฒ ์ฃ .์ฃผ๊ฑฐ์ฉ ์ ๋ ฅ์ ์๋น์
๋๋งค ์ ๋ ฅ ์์๊ฐ ๋์์ง๋ฉด์, ํนํ ์ด๋ฏธ ์ ๋ ฅ๋ง์ด ๋ถ๋ด์ ๋ฐ๊ณ ์๋ ์ง์ญ์์๋ ๊ฐ๊ณ ์ ๊ธฐ์๊ธ์ด ๋ ๋น์ธ์ง ์ํ์ด ์์ต๋๋ค.๋ฌผ ๋ถ์กฑ ์ง์ญ
๋ฐ์ดํฐ์ผํฐ๋ ๋๊ฐ์ ์ํด์ ์๋ฐฑ๋ง ๊ฐค๋ฐ์ ๋ฌผ์ ์๋ชจํฉ๋๋ค. ๋ฌผ์ด ๋ถ์กฑํ ์ฃผ(ๅท)์์๋ ๋๋ฏผ๊ณผ ์ฃผ๋ฏผ๋ค์ด ๊ทธ ์๋ฐ์ ์ง์ ๋๋ผ๊ณ ์๋ค๊ณ ํด์.์ค์๊ธฐ์ (SMBs)
์ ํต ์ฐ์ ๋ถ์ผ์ ๊ธฐ์ ๋ค์ ์๋ณธ์ด AI ์ธํ๋ผ์ ์คํํธ์ ์ผ๋ก ์ ๋ฆฌ๋ฉด์ ๋์ถ์ด๋ ๋ฒค์ฒ ์บํผํธ ์๊ธ์ ํ๋ณดํ๊ธฐ๊ฐ ๋ ์ด๋ ค์์ง๊ณ ์์ต๋๋ค.ํ๊ฒฝ ์ด๋๊ฐ๋ค
์ด๋ฒ ๋ถ์ ์ฒ ๊ฐยท์ฝํฌ๋ฆฌํธยท์๋์ง ์ง์ฝ์ ์์ฐ์ ๊ณ ์ฐฉํ์ํค๋ ํจ๊ณผ๊ฐ ์๊ธฐ ๋๋ฌธ์, ๊ท์ ๋น๊ตญ์ด ํ์์ค๋ฆฝ์ ์ถ์งํ๋ ์์ค์๋ ํ์ ๋ฐ์๊ตญ์ ํ๋์ํค๊ณ ์์ต๋๋ค.
๊ฒ์ผ๋ก ๋ณด๊ธฐ์๋, ๋ฏธ๊ตญ ๊ฒฝ์ ๊ฐ ํ๋ณต๋ ฅ์ด ์์ด ๋ณด์ผ์ง๋ ๋ชจ๋ฅด์ง๋ง, ์ค์ ๋ก๋ ๊ทธ๋ ์ง๊ฐ ์์ ๊ฒ ๊ฐ์ต๋๋ค. AI ์ฐ์ ์ด ์๋์๋ค๋ฉด ์ง๋ 1๋ถ๊ธฐ๋ ๊ฒฝ๊ธฐ ์์ถ, 2๋ถ๊ธฐ๋ ๊ทธ์ ์์ฃผ ๋ฏธ๋ฏธํ ๋ฐ๋ฑ์ ๋ถ๊ณผํ์ ๊ฑฐ์์. 2025๋ ์๋ฐ๊ธฐ๋ ์ข ํฉํ์๋ฉด ์ฌ์ค์ ์ ์๋ฆฌ ๊ฑธ์์ด์๋ ๊ฑฐ์์ - AI๊ฐ ์์๋ค๋ฉด์.
์, ๊ทธ๋ ๋ค๊ณ AI๊ฐ ์ ๊ธฐ๋ฃจ ๊ฐ์ ๊ฑฐ๋ผ๋ ๋ง์์ ์๋๋๋ค. ๋ฐ์ดํฐ ์ผํฐ๊ฐ ์์ฒญ๋๊ฒ ์ง์ด์ง๊ณ ์๊ณ , ์ ๋ ฅ์ ์ ์ ๋ ๋ง์ด ํ์ํด์ง ํ ๊ณ , ์ด ๋ชจ๋ ๊ฒ ๋ค ํ์ค์ ๋๋ค. ๋ค๋ง, ์ฌ์ค์ด ์๋ ํ์์ด๋ผ๊ณ ํ๋ค๋ฉด, ์ง๊ธ ๊ด๋ฒ์ํ๊ฒ ๊ฒฝ๊ธฐ ํ๋ณต์ ์์ง์์ด ์ผ์ด๋๊ณ ์๋ค๋ ์๊ฐ์ผ ๋ฟ์ ๋๋ค. ๋ฌธ์ ๋, ๋๋จธ์ง์ ๊ฒฝ์ ๊ฐ ๊ทธ ์๋๋ฅผ ๋ฐ๋ผ์ก์ ์ ์์ ๊ฒ์ธ๊ฐ, ์๋๋ฉด ๊ทธ ๋ฌ๋๋จธ์ ์ด ๋ฉ์ถ๋ ์๊ฐ โ์ฐ๋ฆฌ๊ฐ ์ผ๋ง๋ ๋จ ํ๋์ ์ฑ์ฅ ๋๋ ฅ์ ์์กดํด ์๋๊ฐโ๋ฅผ ๋ผ์ ๋ฆฌ๊ฒ ์๊ฒ ๋ ๊ฒ์ธ๊ฐ ํ๋ ๊ฑธ ๊ฒ๋๋ค.
*์์ง ํ๋ง ํฌ์คํธ ์ฝ๋ฆฌ์ ๊ตฌ๋ ์ ํ์ จ๋์? ๊ตฌ๋ ํด ์ฃผ์๋ฉด ๋งค์ฃผ ์ค์ํ AI ๋ด์ค๋ฅผ ์ ๋ฆฌํ ๋ค์ด์ ์คํธ๋ฅผ ๋ฐ์ผ์ค ์ ์์ต๋๋ค!
ํ๋ง ํฌ์คํธ ์ฝ๋ฆฌ์ํ์ด ์ฝ๊ณ ์๋ ๊ฒ๋ค
๋ฉํ ์ฐ๊ตฌ์, gpt-oss-20b-base ๋ชจ๋ธ์ ๊ณต๊ฐ
์คํAI๊ฐ ์ผ๋ง ์ ์ ๊ณต๊ฐํ gptโoss ๋ชจ๋ธ์ด ์์ฃ . ๊ฐ์ค์น๋ฅผ ๊ณต๊ฐํ ์ด ์คํ ๋ชจ๋ธ์ โ์ถ๋ก โ ๋ชจ๋ธ์ ๋๋ค. ๊ทธ ๋ฒ ์ด์ค ๋ชจ๋ธ์ ๊ณต๊ฐ๋์ง ์์๋๋ฐ์. ๋ฉํ์ ์ฐ๊ตฌ์์ธ Jack Morris๊ฐ gptโossโ20b์์ ๊ฐํ ํ์ต์ ๊ธฐ๋ฐ์ผ๋ก ํ ์ ๋ ฌ(Alignment) ๊ณผ์ ์ ๋๋๋ ค์, ์ ํ ์์ด ํ ์คํธ๋ฅผ ์์ ๋กญ๊ฒ ์์ฑํ ์ ์๋ gptโossโ20bโbase ๋ชจ๋ธ์ ๊ณต๊ฐํ๋ค๊ณ ํฉ๋๋ค (์๋ ํธ์์ ๊ทธ ๋ด์ฉ์ ๋๋ค). ์ด ๊ณผ์ ์ ๋ชจ๋ธ์ ์ผ๋ถ MLP ๊ณ์ธต์ ์์ฃผ ๋ฎ์ ์ ์ฐจ์ Low-Rank LoRA ์ ๋ฐ์ดํธ๋ฅผ ์ ์ฉํด์, ์๋์ ์ฌ์ ํ์ต๋ ์ํ๋ฅผ ์ด๋ ์ ๋ ํ๋ณตํ๋ ๋ฐฉ์์ผ๋ก ์ด๋ฃจ์ด์ก๋ค๊ณ ํ๋๋ฐ์. ํ์ง๋ง, ์ ๋ ฌ(Alignment) ๊ณผ์ ์ ๋๋๋ฆฐ ๊ฒ์ด๋๋งํผ ์ด ๋ฒ ์ด์ค ๋ชจ๋ธ์ ๊ฒ์ด ๊ณผ์ ์ด ์์ด ํ ์คํธ๋ฅผ ์์ฑํ ์ ์๊ฒ ์ฃ ? ๋น์ฐํ ํ์ฉํ ๋ ์ฃผ์๊ฐ ํ์ํ๊ฒ ์ต๋๋ค.
OpenAI hasnโt open-sourced a base model since GPT-2 in 2019. they recently released GPT-OSS, which is reasoning-only...
or is it?
turns out that underneath the surface, there is still a strong base model. so we extracted it.
introducing gpt-oss-20b-base ๐งต
โ jack morris (@jxmnop)
1:07 AM โข Aug 13, 2025
๋ด ์์ด๋ฅผ AI ์ํคํ ํธ๋ก ๋ง๋๋ ๋ฒ
ํ๋ง ํฌ์คํธ์์ ํฌ์คํ ํ, โAI ๋ฆฌํฐ๋ฌ์โ ์๋ฆฌ์ฆ์ ์ฒซ ๋ฒ์งธ ์ํผ์๋์ธ๋ฐ์. ์ด ๊ธ์ด ๊ฝค ๋ง์ ๋ถ๋ค์ ๊ด์ฌ์ ๋ฐ๊ณ ์์ต๋๋ค. ์ ๋ชฉ์ด ์กฐ๊ธ ์๊ทน์ ์ด๊ธด ํ์ง๋ง, AI ๋ฆฌํฐ๋ฌ์ ๊ด๋ จ๋ ์ด์ผ๊น๋๋ค. AI๋ผ๋ ๊ธฐ์ ์ โ๋ฆฌํฐ๋ฌ์โ๋, ๋จ์ํ ์ด ๊ธฐ์ ์ด ๋ญ ํ ์ ์๊ณ ์๊ณ ๋ฅผ โ์๋โ ๋ฐ์ ๋ฉ์ถ๋ ๊ฒ ์๋๋ผ, ์ด๋ป๊ฒ ์ด ๊ธฐ์ ์ ํ์ฉํ๋ ๋ฐ์ด๋๋ฆฌ, ๊ทธ๋ฆฌ๊ณ ์ข์ ๋ฐฉ๋ฒ์ ์ผ์ข ์ โ์ฌํ์ ํฉ์โ๋ก์ ์ด๋์ด๋ด๋ ๊ณผ์ ์ด๋ผ๋ ์ ์ ์ด์ผ๊ธฐํ๊ณ ์์ต๋๋ค.
์์ง ์ฝ์ด๋ณด์ง ๋ชปํ์ ๋ถ๋ค๊ป๋ ์ผ๋ ์ ๊ถํฉ๋๋ค:
์๋ก ๋์จ, ์ฃผ๋ชฉํ ๋งํ ์ฐ๊ตฌ ๋ ผ๋ฌธ
์ค๋์ โA Survey on Diffusion Language Modelsโ๋ผ๋ ์๋ฒ ์ด ๋ ผ๋ฌธ์ ์๊ฐํฉ๋๋ค.
์ด ๋ ผ๋ฌธ์ ์์ฐ์ด ์์ฑ ๋ถ์ผ์์, ํ ํฐ์ ์์ฐจ์ ์ผ๋ก ์์ธกํ๋ ๋ฐฉ์์ธ ์๋ํ๊ท(Autoregressive, AR) ๋ชจ๋ธ์ ๋์์ผ๋ก ๋ถ์ํ๋ ๋ํจ์ ผ ์ธ์ด ๋ชจ๋ธ(Diffusion Language Models, DLMs)์ ๋ํ, ์ผ์ข ์ ์ข ํฉ์ ์ธ ๊ฐ์์ ๋๋ค.
๋ํจ์ ผ ์ธ์ด ๋ชจ๋ธ์ ํ ํฐ์ ๋ณ๋ ฌ์ ์ผ๋ก ์์ฑํ๊ณ , ๋ฌธ๋งฅ์ ์๋ฐฉํฅ์ผ๋ก ์ฒ๋ฆฌํ๊ณ , ์ ์ ๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ํ๊ณ (Iterative Refinement), ์ ์ด๋ฅผ ์ธ๋ฐํ๊ฒ ํ ์ ์๋ค๋ ๋ฑ์ ์ฅ์ ์ ๊ฐ์ง๊ณ ๊ธฐ์กด์ ์๋ํ๊ท ๋ชจ๋ธ์ด ๊ฐ์ง โ์ถ๋ก ์ ์ง์ฐโ ๋ฌธ์ ๋ฅผ ํด์ํ๋ ์ ๊ทผ ๋ฐฉ์์ ๋๋ค.
์ด ๋ ผ๋ฌธ์์๋ ๋ํจ์ ผ ์ธ์ด ๋ชจ๋ธ์ ๋ฐ์ ๊ณผ์ ์ ์ฐ๋๋ณ๋ก ์ค์ํ ๋ชจ๋ธ๊ณผ ํจ๊ป ์ ๋ฆฌํ ํ์๋ผ์ธ์ ์๋ ค์ฃผ๊ณ , ์ฐ์ ๊ณต๊ฐ ๋ชจ๋ธ๊ณผ ์ด์ฐ ๊ณต๊ฐ ๋ชจ๋ธ, ๊ทธ๋ฆฌ๊ณ ํ์ด๋ธ๋ฆฌ๋ AR-Diffusion ๊ตฌ์กฐ๊น์ง ํฌํจํด์ ์ฒด๊ณ์ ๋ถ๋ฅ๋ฅผ ์๊ฐํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ฌ์ ํ์ต๋ถํฐ ํ์ธํ๋ ์ ๋ต, ์ถ๋ก ์ต์ ํ ๊ธฐ๋ฒ(์: ๋ณ๋ ฌ ๋์ฝ๋ฉ, ์บ์ ํ์ฉ, ์คํ ์ฆ๋ฅ), ๊ทธ๋ฆฌ๊ณ ๋ฉํฐ๋ชจ๋ฌ ํ์ฅ ๋ฐ ์์ฉ ๋ถ์ผ(ํ ์คํธ, ์ฝ๋, ์๋ฌผํ์ ๋ถ์ ๋ฑ) ๋ฑ์ ์ด๋ฅด๊ธฐ๊น์ง ๋ค์ํ ์ฃผ์ ๋ฅผ ํญ๋๊ฒ ๋ค๋ฃจ๊ณ ์์ต๋๋ค.
๋ง์ง๋ง์ผ๋ก ๋ํจ์ ผ ์ธ์ด ๋ชจ๋ธ์ ํจ์จ์ฑ, ์ฅ๊ธฐ์ ์ธ ๋งฅ๋ฝ ์ฒ๋ฆฌ ๋ฅ๋ ฅ, ์ถ๋ก ๋ฅ๋ ฅ ๋ฐ ์ธํ๋ผ ์๊ตฌ์ฌํญ ๊ฐ์ ํ๊ณ์ ๋์ ๊ณผ์ , ๊ทธ๋ฆฌ๊ณ ํฅํ์ ์ฐ๊ตฌ ๋ฐฉํฅ๋ ์กฐ์ฌ, ์ ์ํ๊ณ ์์ต๋๋ค.

Image Credit: ์ค๋ฆฌ์ง๋ ๋ ผ๋ฌธ
์ค๋์ FOD๋ ๊ฐ๋ตํ ์ด ์ ๋๋ก ๋ง๋ฌด๋ฆฌํ๊ณ , ๊ณง ์๋ก์ด โAI 101โ ์ํผ์๋๋ฅผ ๋ค์ ๊ณต์ ๋๋ฆฌ๊ฒ ์ต๋๋ค.
์ฝ์ด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ํ๋ฆฌ๋ฏธ์ ๊ตฌ๋ ์๊ฐ ๋์ด์ฃผ์๋ฉด ํ๋ง ํฌ์คํธ ์ฝ๋ฆฌ์์ ์ ์์ ํฐ ๋์์ด ๋ฉ๋๋ค!
Reply