1591年用古葡萄牙式罗马字出版的《使徒行伝サントスの御作業の内抜書》（Santos no Gosagveo no uchi Nuqigaqi）是现存的最古老的罗马字文章。葡萄牙式和荷兰式罗马字并不是与假名一对一的，只在传教士和学者中等有限的范围内使用。

最初和假名一对一对应的日语罗马字，是1867年詹姆斯·柯蒂斯·赫本于《日英语林集成》（「和英語林集成」）第1版中使用的罗马字，所以被称为平文（黑本）式罗马字。赫本式罗马字是以英语发音作依据而设计。

1885年田中馆爱橘按照音位学理论设计了日本式罗马字。坚持一音位对应一字母。其设计比较像音标，而不是文字。字母发音对英语使用者来说也较难以接受。

1937年的日本《内阁训令第3号》颁布了以日本式罗马字为基础的训令式罗马字。

第二次世界大战后，在美国统治下由于平文式罗马字再次兴起而产生了混乱。1937年的《内阁训令第3号》废止，1954年作为《内阁告示第1号》又重新公布，但是赫本式罗马字因为出于国际的关系及以前的惯例难以改变的情况下而无法作为国际标准，实际上鼓励使用训令式[1]。

1989年，国际标准化组织（ISO）采用训令式罗马字作为ISO3602标准。但是，由于平文式罗马字使用占优，一些学者认为该标准已不符合实际情况，需要修改为平文式为主[2]。

在各种标准确定以前，存在著各种各样的受西欧诸语言影响的罗马字标记法，一直到现在都残留著。