正規表現

英

regular expression

関

[[]]

• 正規表現チェッカー

http://www.rider-n.sakura.ne.jp/regexp/regexp.php

正規表現

• 特殊な記号：\\0, \\1

\\1：マッチした文字を表す

$ori = "聖徳太子は千円札だっけ？";
$target = "は(.*?)札";
$replace = "は五\\1札";

$str = mb_ereg_replace( $target, $replace, $ori );
echo $str;

実行結果

聖徳太子は五千円札だっけ？

Wikipedia preview

出典(authority):フリー百科事典『ウィキペディア（Wikipedia）』「2017/11/05 13:38:39」(JST)

wiki ja

[Wiki ja表示]

正規表現（せいきひょうげん、英: regular expression）とは、文字列の集合を一つの文字列で表現する方法の一つである。正則表現（せいそくひょうげん）とも呼ばれ、形式言語理論の分野では比較的こちらの訳語の方が使われる。まれに正規式と呼ばれることもある。

もともと正規表現は形式言語理論において正規言語を表すための手段として導入された。形式言語理論では、形式言語が正規言語であることと正規表現によって表せることは同値である。

その後正規表現はテキストエディタ、ワードプロセッサをはじめとするアプリケーションでパターンマッチ文字列を表すために使用されるようになり、表せるパターンの種類を増やすために本来の正規表現にはないさまざまな記法が新たに付け加えられた。このような拡張された正規表現には正規言語ではない文字列も表せるものも多く、ゆえに正規表現という名前は実態に即していない面もあるが、伝統的に正規表現と呼ばれ続けている。

この記事では主にこのような正規表現を用いたパターンマッチングについて説明している。以下、誤解のない限り、アプリケーションやプログラミングにおいて正規表現を用いた文字列のパターンマッチングを行う機能のことを、単に正規表現という。

ほとんどのプログラミング言語では、構文またはライブラリによって正規表現を使うことができるようになっている。構文やライブラリに正規表現を備えたプログラミング言語やユーティリティとして、grep、AWK、sed、Perl、Tclなどがある。

また、プログラミング言語の開発などに用いるlexも正規表現を使う。

それぞれの言語やアプリケーションで細部の仕様が異なっているが、POSIXやECMAScriptにより標準規格も定められ、それらに準拠するものも増えてきてはいる。

基本的な概念

理論的に明解であり扱いも容易であるため、形式的な説明を先に述べる。

形式的な説明

詳細は「正規言語」を参照

記号（アルファベット） A = {a₁,...,a_n} 上の正規表現は次のようなものから成る。正規表現があらわす記号列（アルファベット列）の集合によって形式言語が定義される。

• ∅ は正規表現である。これは記号列を何も含まない空集合 ∅ を表す。
• a_i（A の任意の要素）は正規表現である。これは a_i という記号列のみからなる集合 { a_i } を表す。
• X と Y が正規表現ならば、
  • X|Y も正規表現である。これは X に含まれる記号列の集合と Y に含まれる記号列の集合の和集合を表す。
  • XY も正規表現である。これは X に含まれる記号列に Y に含まれる記号列をつなげてできる記号列の集合 { ab | a ∊ X, b ∊ Y } を表す。
  • X* も正規表現である。これは X に含まれる記号列を 0 個以上つなげて出来る文字列の集合 ∪ { Xⁿ | n ≥ 0 } を表す。
• 上記の帰納的導出によって構成される記号列のみが正規表現である。

正規表現の定義に、次の項目を含めることもある:

• ε は正規表現である。これは空記号列 ε のみからなる集合 { ε } を表す。

正規表現 ε の表す集合は正規表現 ∅* の表す集合に等しいので、ε を正規表現の定義に含めなくても ∅* で代用できる。

X|Y の代わりに X+Y と書くことや、XY の代わりに X·Y と書くこともある。また、「|」や「*」の優先順位を明確にするために、補助的なカッコも（上述の定義には含めていないが）必要である。

実用的説明

以下ではもっぱらよく使われているライブラリやツール等の実用的な観点から説明する。

例えば、「Handel」、「Hendel」、「Haendel」 という三つの文字列を含む集合は 「H(e|ae?)ndel」 というパターンで表現できる（あるいは、パターンは個々の三つの文字列にマッチすると言われる）。ほとんどの形式では、もし特定の集合にマッチする何らかの正規表現が存在すれば、無限の数のそのような表現がある。ほとんどの形式では正規表現を構築するのに次の演算子を提供している。

選言

縦棒は選択肢を区切る。例えば「gray|grey」は「gray」または「grey」にマッチし、これは普通 「gr(a|e)y」 に短縮される。

グループ分け

丸括弧はスコープと演算子の優先順位を定義するのに用いられる。例えば、「gr(a|e)y」 では 「(a|e)」 の部分で 「a」 または 「e」 を示し、全体で 「gray」 または 「grey」 にマッチする。

量化

文字やグループの後ろの量化子は、直前の表現が何回現れることが許されるかを指定する。非常によく使われる量化子は 「?」 と 「*」 と 「+」 である。

?

疑問符は直前の表現が0個か1個あることを示す。例えば、「colou?r」 は　「color」 と 「colour」 にマッチする。

*

アスタリスクは直前の表現が0個以上あることを示す。例えば、「go*gle」 は 「ggle」、「gogle」、「google」 などにマッチする。

+

プラス符号は直前の表現が1個以上あることを示す。例えば、「go+gle」 は 「gogle」 や 「google」 などにマッチするが、「ggle」 にはマッチしない。

これらの構文は任意の複雑な表現を形成するために組み合わされて使用される。

歴史

正規表現の起源は、いずれも理論計算機科学の一分野であるオートマトン理論や形式言語理論にみることができる。これらは計算のモデル化（オートマトン）や形式言語の分類方法などを扱う学術分野である。数学者のスティーヴン・クリーネは1950年代に正規集合と呼ばれる独自の数学的表記法を用い、これらの分野のモデルを記述した。ケン・トンプソンはテキストファイル中のパターンにマッチさせる手段として、この表記法をエディタQEDに導入した。彼はこの機能をUNIXのエディタedにも追加し、後に一般的な検索ツールであるgrepの正規表現へと受け継がれていった。これ以降、トンプソンの正規表現の適用にならい、多くのUNIX系のツールがこの方法を採用した（例えば expr、awk、Emacs、vi、lex、Perl など）。

PerlとTclの正規表現はヘンリー・スペンサーによって書かれたものから派生している（Perlは後にスペンサーの正規表現を拡張し、多くの機能を追加した）。フィリップ・ヘーゼルはPerlの正規表現とほぼ互換のものを実装する試みとしてPerl Compatible Regular Expressions (PCRE) を開発した。これはPHPやApacheなどといった新しいツールで使用されている。Perl 6では、正規表現の機能を改善してその適用範囲や能力を高め、Parsing Expression Grammarを定義できるようにする努力がなされた。この結果として、Perl 6文法の定義だけでなくプログラマのツールとしても使用できる、Perl 6 rulesと呼ばれる小言語が生み出された。これらの規則は正規表現の機能のすべてを保持しながら、副規則を通して再帰下降構文解析のバッカス・ナウア記法の定義を行うことができる。

構造化情報標準における、文書やデータベースのモデル化に対する正規表現の使用は重要である。これは1960年代に始まり、ISO SGMLのような産業標準が確立された1980年代に拡大した。構造規定言語の標準の中核は正規表現である。より単純かつ明白な例としては、DTD要素グループの構文において正規表現が使われている。

構文

標準

The nice thing about standards is that you have so many to choose from. --Andrew S. Tanenbaum

UNIXの標準であるPOSIXでは、「simple regular expressions」「basic regular expression (BRE)」「extended regular expression (ERE)」の3種類の記法が示されている。このうち、「simple regular expressions」は「歴史的（英: historical）」また「レガシー（英: legacy）」と書かれており、後方互換性を提供するものとされ、標準の将来の版では廃止され得る（may be withdrawn）と注意されている。

simple regular expressions（SRE）

simple regular expressionsの仕様は「regexp.h」のマニュアルページとして示されている。

basic regular expression（BRE）

基本正規表現とも。ほとんどの正規表現を利用する UNIXのユーティリティ（grepやsed）のデフォルトはこれである。

この文法では、ほとんどの文字はリテラル（機能を意味せず書かれたそのまま）に扱われる。つまり、ある文字はその文字にのみマッチする。例えば、正規表現「a」は文字「a」にマッチし、正規表現「(bc」は文字列「(bc」にマッチするなど。例外はメタ文字と呼ばれる。

正規表現	マッチする対象
.	任意の一文字にマッチする。
[…]	括弧内に含まれる一文字にマッチする。例えば、正規表現「[abc]」は一文字「a」、「b」、「c」にマッチする。正規表現「[a-z]」は全ての英小文字の一文字にマッチする。これらは混ぜることが出来る。「[abcq-z]」は一文字「a」、「b」、「c」、「q」、「r」、「s」、「t」、「u」、「v」、「w」、「x」、「y」、「z」にマッチし、正規表現「[a-cq-z]」も同様である。正規表現中の「-」は括弧内の最初か最後にあるときのみ、リテラルとして扱われる。例えば正規表現「[abc-]」や正規表現「[-abc]」は一文字「a」、「b」 、「c」 、「-」にマッチする。一文字「[」や「]」自身にマッチさせる最も手っ取り早い方法は、囲んでいる括弧内で、括弧が最初になるようにすることである。例えば正規表現「[][ab]」は一文字「]」、「[」、「a」、「b」にマッチする。
[^…]	括弧内に含まれない一文字にマッチする。例えば正規表現「[^abc]」は「a」、「b」、「c」以外の任意の文字にマッチする。正規表現「[^a-z]」は小文字以外の任意の一文字にマッチする。上と同様にこれらは混ぜることが出来る。
^	行の最初にマッチする。
$	行の最後にマッチする。
(…)	これに囲まれた表現は、後に呼び出すことが出来る。次の \1、…、\9 の項を参照のこと。
\1 \2 \3 \4 \5 \6 \7 \8 \9	それぞれ「(」と「) で囲まれた部分に先行してマッチした1～9 番目の文字列と同じ文字列パターンにマッチする。この機能は理論的には、言うならば非正規で（正規言語の記述力を超える）、POSIX拡張正規表現では採用されていない。
*	一文字に続く「*」は0回以上の表現の繰り返しにマッチする。例えば「[xyz]*」は空文字列や文字列「x」、「y」、「zx」、「zyx」などにマッチする。 n を1から9までの数字としたとき、基本正規表現「\n*」は「(」と「)」で囲まれた部分の0回以上の繰り返しにマッチする。例えば、基本正規表現「(a.)c\1*」 は文字列「abcab」 や「abcabab」にマッチするが、文字列「abcac」にはマッチしない。 「(」と「)」で囲まれた表現に続く「*」 は無効とされる。しかし、一部の環境ではそうならない。
{m,n}	直前のブロックの m 回以上 n 回以下の繰り返しにマッチする。例えば、正規表現「a{3,5}」 は文字列「aaa」、「aaaa」、「aaaaa」にマッチする。

特定の正規表現の実装では、一部のメタ文字の前のバックスラッシュを異なって解釈する。例えば egrep や Perl は、バックスラッシュの付いていない括弧や縦棒「|」をメタ文字と解釈し、バックスラッシュの付いているものをリテラルに解釈する。古いバージョンの grepは選言演算子「|」をサポートしていない。

例

正規表現「.at」は文字列「hat」、「cat」、「5at」のような3文字の文字列にマッチする

正規表現「[hc]at」は文字列「hat」と「cat」にマッチする

正規表現「[^b]at」は文字列「bat」以外の「.at」でマッチする全ての文字列にマッチする

正規表現「^[hc]at」は行の最初にあるときだけ、文字列「hat」と「cat」にマッチする

正規表現「[hc]at$」は行の最後にあるときだけ、文字列「hat」と「cat」にマッチする

符号点の範囲によってたとえば「アルファベット大文字」などを表現しようとすることは、時に問題をひきおこす。たとえばロケールに依存する例として、エストニア語のアルファベット順では、文字「s」の後に「z」があり、その後は「t」、「u」、「v」、「w」、「x」、「y」と続くので、正規表現「[a-z]」ではすべて言語のすべてのアルファベット小文字のにマッチするわけではない。そのため、POSIX 標準では次の表に示されているクラス、つまり文字の区分を定義している。

POSIX クラス	対応する表現	意味
[:upper:]	[A-Z]	英語の大文字
[:lower:]	[a-z]	英語の小文字
[:alpha:]	[A-Za-z]	英語のアルファベット
[:alnum:]	[A-Za-z0-9]	アラビア数字と英語のアルファベット
[:digit:]	[0-9]	アラビア数字
[:xdigit:]	[0-9A-Fa-f]	16進数字
[:punct:]	[.,!?:...]	英語の句読点
[:blank:]	[ \t]	（半角の）スペースとタブ
[:space:]	[ \t\n\r\f\v]	（半角の）空白文字
[:cntrl:]		制御文字
[:graph:]	[^ \t\n\r\f\v]	印字文字
[:print:]	[^\t\n\r\f\v]	印字文字とスペース

例:正規表現「[[:upper:]ab]」は英語の大文字「A」～「Z」と「a」と「b」のうち一文字のみにマッチする。

いくつかのツールで使用できる、POSIX にないクラスとして「[:word:]」がある。「[:word:]」は通常「[:alnum:]」とアンダースコアからなる。これらが多くのプログラミング言語で識別子として使用できる文字であることを反映している。

extended regular expression (ERE)

拡張正規表現とも。より現代的な拡張正規表現は多くの場合、現在の UNIXのユーティリティでコマンドラインオプションに「-E」を含めることで使用できる。

POSIXの拡張正規表現は伝統的な UNIX の正規表現に似ているが、いくつかの点で異なっている。

基本正規表現	拡張正規表現
(対応なし)	+
(対応なし)	?
(対応なし)	|
\{…\}	{…}
\(…\)	(…)
(	\(
)	\)
[	\[
]	\]
.	\.
*	\*
?	\?
+	\+
^	\^
$	\$

例えば、拡張正規表現「a\.(\(|\))」は文字列「a.)」や 文字列「a.(」にマッチする。

GNU Emacsの正規表現

GNU findコマンドにおけるデフォルトの正規表現文法としても用いられる。（findutils-4.2.28）

GNU Emacs Manual - Regexps

Perlの正規表現

PerlはPOSIXの拡張正規表現さえも上回る豊富な文法を持っている。その例として、POSIXとは異なり、Perlの正規表現には「非欲張り量指定子」がある。標準の「*」は、例えば正規表現「a.*b」の「.*」はできるだけ長い文字列にマッチしようとする。このふるまいを「貪欲」という。たとえば文字列「a bad dab」にマッチさせると、全体にマッチする。これに対し、Perlでは使うことができる正規表現「a.*?b」の「.*?」は、マッチするのであれば、できるだけ短い文字列にマッチする。たとえば文字列「a bad dab」に対して「a b」にだけマッチする。これを「非欲張り量指定子」と言う。

また、Perlには以下の定義済み文字クラスがある。

メタ文字	マッチする対象
\d	アラビア数字、つまり「[0-9]」
\D	アラビア数字以外の文字、つまり「[^\d]」
\w	アルファベット、アラビア数字またはアンダーバー、つまり「[a-zA-Z_0-9]」（ロケールに依存し、例えばウムラウト付き文字などの扱いが変わる）
\W	アルファベット、数字やアンダーバー以外の文字、つまり「[^\w]」
\s	空白文字、つまり大抵の制御文字クラス ASCII文字集合のフォームフィード文字、ラインフィード文字、キャリッジリターン文字、水平タブ文字、垂直タブ文字
\S	空白文字以外の文字、つまり、[^\s]

すぐれた機能をもつPerlの拡張正規表現は、多くのプログラミング言語やソフトウェアで採りいれられている。例えば、JavaのPatternクラス、Python、Rubyなどがそうである。しかし、これらがPerlの正規表現と完全に互換である訳ではない。また、Perl Compatible Regular Expressions (PCRE) と呼ばれる汎用の正規表現ライブラリはアプリケーションに組み込まれ、Perlの正規表現とほぼ互換の機能を提供する。

正規表現ライブラリ

言語処理系やアプリケーションが正規表現をサポートしていない場合にでも、正規表現に必要な処理を提供する正規表現ライブラリを導入することで正規表現を使うことができる。以下にその一例を挙げておく。

• PCRE
  • Perl互換のライブラリ。Eximのために開発され、ApacheやPostfixをはじめ、さまざまなソフトウェアに組み込まれている。
• 鬼車 (ライブラリ)
  • 正規表現オブジェクトごとに異なる文字エンコーディングを指定できる特徴をもつ。Rubyの1.9系列やPHPの5系列に採用されている。macOS用に検索ウィンドウを追加して移植したOgreKit（Oniguruma Regular Expression Framework for Cocoa）が存在する。
• 鬼雲
  • 鬼車から派生した正規表現ライブラリで、Perl 5.10以降で導入された機能をサポートする。Ruby 2.0以降の標準ライブラリとして利用されている。
• re2
  • PCREなどのバックトラック式ではなくオートマトンを用いることで、省メモリでマッチングを行うことができる。Googleが内部で利用している。
• GNU Regex
  • GNU Cライブラリに含まれているため、Unix系では標準で利用できる。
• Boost.Regex
  • Boost C++ライブラリによる実装。C++11規格にて標準化された。POSIXやECMAScriptなどの文法プロファイルを任意に選択することができる 。

関連項目

• 文字列探索
• コンピュータ言語
• 構文解析器 - 正規文法では受理できない条件をオートマトンを用いてマッチングする
• Parsing Expression Grammar - 構文解析を行う形式文法の記法のひとつ
• グロブ

参考文献

• Jeffrey E.F. Friedl 『詳説正規表現』 歌代和正監訳、春遍雀來・鈴木武生共訳、オライリー・ジャパン、1999年4月、第1版。ISBN 4-900900-45-1。
  • Jeffrey E.F. Friedl 『詳説正規表現』 田和勝訳、オライリー・ジャパン、2003年5月、第2版。ISBN 4-87311-130-7。
  • Jeffrey E.F. Friedl 『詳説正規表現』 株式会社ロングテール・長尾高弘訳、オライリー・ジャパン、2008年4月、第3版。ISBN 978-4-87311-359-3。
• Jan Goyvaerts、Steven Levithan 『正規表現クックブック』 長尾高弘訳、オライリー・ジャパン、2010年4月。ISBN 978-4-87311-450-7。

外部リンク

• 正規表現メモ - sed, grep, perlなど様々なソフトの正規表現がまとめられている

UpToDate Contents

全文を閲覧するには購読必要です。 To read the full text you will need to subscribe.

• 1. 早産児のための搾乳 breast milk expression for the preterm infant
• 2. 遺伝学およびゲノミクスのためのツール：遺伝子発現プロファイリング tools for genetics and genomics gene expression profiling
• 3. 急性心臓同種移植拒絶反応：診断 acute cardiac allograft rejection diagnosis
• 4. 軟部および骨肉腫の病原因子 pathogenetic factors in soft tissue and bone sarcomas
• 5. GISTを含む消化管間葉系腫瘍の疫学、分類、臨床像、予後の特徴、および診断方法 epidemiology classification clinical presentation prognostic features and diagnostic work up of gastrointestinal mesenchymal neoplasms including gist

Japanese Journal

• 近似正規表現マッチングアルゴリズムのGPGPU実装およびFPGA実装と比較 (VLSI設計技術)

• 宇丹 裕一朗,稲木 雅人,永山 忍 [他]
• 電子情報通信学会技術研究報告 : 信学技報 111(450), 115-120, 2012-03-06
• NAID 40019225383

• パターン非依存正規表現マッチングエンジンに対する先読み演算の実現 (VLSI設計技術)

• 若葉 陽一,永山 忍,稲木 雅人 [他]
• 電子情報通信学会技術研究報告 : 信学技報 111(450), 97-102, 2012-03-06
• NAID 40019225310

Related Links

• 基本的な正規表現一覧 | murashun.jp

正規表現についてのチートシートです。正規表現の書き方を忘れた場合にご活用ください。置換文字列で使える正規表現 文字 説明 \0 一致した文字列全体に置換します。\1 ～ \9 一致した文字列の1～9番目に対応する文字列に ...

• サルにもわかる正規表現入門

1．正規表現とはなにか？ 端的に言えば、「いくつかの文字列を一つの形式で表現するための表現方法」です。 では、なぜこの表現方法が有名なのかといえば、この表現方法を利用すれば、たくさんの文章の中から容易に見つけたい文字列を検索することができるためです。

• 正規表現とは？メタ文字とサンプル一覧 | WWWクリエイターズ

正規表現とは？. メタ文字とサンプル一覧. 多くの入門者にとって、「正規表現」は、意味のわからない記号の羅列のように感じられ、とっつきにくさのある記法の一つです。. 一方で、ひとたび身につければ、非常にパワフルで、幅広く利用でき ...

Related Pictures

---

★リンクテーブル★

関連記事

「表現」「正規」

「表現」

　　[★]

英

representation、expression、represent、express、representational

関

表す、意味、式、説明、提示、発現、表示、再現、表情、代表、現す、発現量、急行

「正規」

　　[★]

英

normal

関

正常、直鎖状、通常、ノルマル、普通、規定濃度、正常型