[Ruby] RubyLexer

0.7.6 が公開された(ruby-talk:340889)。

5つのバグフィックスと3つの Ruby 1.9 の文法のサポート。
試してみたけど、1.9.2devでは動作しませんでした。

$ cat sample.rb

require 'rubylexer'

lexer=RubyLexer.new("dummy", "a = 1")

until EoiToken===(token=lexer.get1token)

  p token

end

$ ruby sample.rb

.../rubylexer-0.7.6/lib/rubylexer.rb:2169: warning: else without rescue is useless

sample.rb:1:in `require': .../rubylexer-0.7.6/lib/rubylexer.rb:392: syntax error, \

unexpected ':', expecting keyword_then or ',' or ';' or '\n' (SyntaxError)

        when NewlineToken: allow_eol or break