IT Lab

형태소 분석기 은전한닢이 스칼라용이 있어서 시범삼아 돌려보았다. 

실행방법은 너무나 간단하다. 

참고 페이지

• https://bitbucket.org/eunjeon/seunjeon

build.sbt에 다음 내용 추가

libraryDependencies += "org.bitbucket.eunjeon" %% "seunjeon" % "1.1.1"

그리고 다음 코드 실행해봄

object Test extends App {
  import org.bitbucket.eunjeon.seunjeon.Analyzer

  // 형태소 분석
  println( "@@ Step 1")
  Analyzer.parse("아버지가방에들어가신다").foreach(println)

  // 어절 분석
  println( "@@ Step 2")
  Analyzer.parseEojeol("아버지가방에들어가신다.").foreach(println)
  // or
  println( "@@ Step 3")
  Analyzer.parseEojeol(Analyzer.parse("아버지가방에들어가신다.")).foreach(println)

  /**
   * 사용자 사전 추가
   * surface,cost
   *   surface: 단어
   *   cost: 단어 출연 비용. 작을수록 출연할 확률이 높다.
   */
  println( "@@ Step 4")
  Analyzer.setUserDict(Seq("덕후", "버카충,-100", "낄끼빠빠").toIterator)
  Analyzer.parse("덕후냄새가 난다.").foreach(println)

  // 활용어 원형
  println( "@@ Step 5")
  Analyzer.parse("빨라짐").flatMap(_.deInflect()).foreach(println)

  // 복합명사 분해
  println( "@@ Step 6")
  Analyzer.parse("삼성전자").flatMap(_.deCompound()).foreach(println)
}

실행결과 (가독성을 위해 일부 메시지 제거)

[info] Running Test
@@ Step 1
LNode(Morpheme(아버지,1784,3536,2818,WrappedArray(NNG, *, F, 아버지, *, *, *, *),COMMON,WrappedArray(N)),0,3,-1135)
LNode(Morpheme(가,490,1044,1501,WrappedArray(JKS, *, F, 가, *, *, *, *),COMMON,WrappedArray(J)),3,4,-738)
LNode(Morpheme(방,1784,3537,2975,WrappedArray(NNG, *, T, 방, *, *, *, *),COMMON,WrappedArray(N)),4,5,660)
LNode(Morpheme(에,356,307,1248,WrappedArray(JKB, *, F, 에, *, *, *, *),COMMON,WrappedArray(J)),5,6,203)
LNode(Morpheme(들어가,2421,3574,1648,WrappedArray(VV, *, F, 들어가, *, *, *, *),COMMON,WrappedArray(V)),6,9,583)
LNode(Morpheme(신다,5,4,3583,WrappedArray(EP+EC, *, F, 신다, Inflect, EP, EC, 시/EP/*+ㄴ다/EC/*),INFLECT,WrappedArray(EP, E)),9,11,-1256)

@@ Step 2
Eojeol(MutableList(LNode(Morpheme(아버지,1784,3536,2818,WrappedArray(NNG, *, F, 아버지, *, *, *, *),COMMON,WrappedArray(N)),0,3,-1135), LNode(Morpheme(가,490,1044,1501,WrappedArray(JKS, *, F, 가, *, *, *, *),COMMON,WrappedArray(J)),3,4,-738)))
Eojeol(MutableList(LNode(Morpheme(방,1784,3537,2975,WrappedArray(NNG, *, T, 방, *, *, *, *),COMMON,WrappedArray(N)),4,5,660), LNode(Morpheme(에,356,307,1248,WrappedArray(JKB, *, F, 에, *, *, *, *),COMMON,WrappedArray(J)),5,6,203)))
Eojeol(MutableList(LNode(Morpheme(들어가,2421,3574,1648,WrappedArray(VV, *, F, 들어가, *, *, *, *),COMMON,WrappedArray(V)),6,9,583), LNode(Morpheme(신다,5,6,3600,WrappedArray(EP+EF, *, F, 신다, Inflect, EP, EF, 시/EP/*+ᆫ다/EF/*),INFLECT,WrappedArray(EP, E)),9,11,-1256)))
Eojeol(MutableList(LNode(Morpheme(.,1794,3555,3559,WrappedArray(SF, *, *, *, *, *, *, *),COMMON,WrappedArray(S)),11,12,325)))

@@ Step 3
Eojeol(MutableList(LNode(Morpheme(아버지,1784,3536,2818,WrappedArray(NNG, *, F, 아버지, *, *, *, *),COMMON,WrappedArray(N)),0,3,-1135), LNode(Morpheme(가,490,1044,1501,WrappedArray(JKS, *, F, 가, *, *, *, *),COMMON,WrappedArray(J)),3,4,-738)))
Eojeol(MutableList(LNode(Morpheme(방,1784,3537,2975,WrappedArray(NNG, *, T, 방, *, *, *, *),COMMON,WrappedArray(N)),4,5,660), LNode(Morpheme(에,356,307,1248,WrappedArray(JKB, *, F, 에, *, *, *, *),COMMON,WrappedArray(J)),5,6,203)))
Eojeol(MutableList(LNode(Morpheme(들어가,2421,3574,1648,WrappedArray(VV, *, F, 들어가, *, *, *, *),COMMON,WrappedArray(V)),6,9,583), LNode(Morpheme(신다,5,6,3600,WrappedArray(EP+EF, *, F, 신다, Inflect, EP, EF, 시/EP/*+ᆫ다/EF/*),INFLECT,WrappedArray(EP, E)),9,11,-1256)))
Eojeol(MutableList(LNode(Morpheme(.,1794,3555,3559,WrappedArray(SF, *, *, *, *, *, *, *),COMMON,WrappedArray(S)),11,12,325)))

@@ Step 4
LNode(Morpheme(덕후,1784,3535,800,WrappedArray(NNG, *, F, 덕후, *, *, *, *),COMMON,WrappedArray(N)),0,2,-1135)
LNode(Morpheme(냄새,1784,3536,2123,WrappedArray(NNG, *, F, 냄새, *, *, *, *),COMMON,WrappedArray(N)),2,4,-139)
LNode(Morpheme(가,490,1044,1501,WrappedArray(JKS, *, F, 가, *, *, *, *),COMMON,WrappedArray(J)),4,5,-437)
LNode(Morpheme(난다,2421,6,1277,WrappedArray(VV+EF, *, F, 난다, Inflect, VV, EF, 나/VV/*+ᆫ다/EF/*),INFLECT,WrappedArray(V, E)),6,8,348)
LNode(Morpheme(.,1794,3555,3559,WrappedArray(SF, *, *, *, *, *, *, *),COMMON,WrappedArray(S)),8,9,-394)

@@ Step 5
LNode(Morpheme(빠르,-1,-1,0,WrappedArray(VA),COMMON,WrappedArray(V)),0,2,-1092)
LNode(Morpheme(지,-1,-1,0,WrappedArray(VX),COMMON,WrappedArray(V)),2,3,-1092)
LNode(Morpheme(ᄆ,-1,-1,0,WrappedArray(ETN),COMMON,WrappedArray(E)),2,3,-1092)

@@ Step 6
LNode(Morpheme(삼성,-1,-1,0,WrappedArray(NNG),COMMON,WrappedArray(N)),0,2,-2008)
LNode(Morpheme(전자,-1,-1,0,WrappedArray(NNG),COMMON,WrappedArray(N)),2,4,-2008)

사용자 사전을 추가해보자.

어절분석

복합명사 분해

[error] (run-main-0) java.nio.charset.MalformedInputException: Input length = 1

java.nio.charset.MalformedInputException: Input length = 1

        at java.nio.charset.CoderResult.throwException(CoderResult.java:281)

        at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:339)

        at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)

        at java.io.InputStreamReader.read(InputStreamReader.java:184)

        at java.io.BufferedReader.fill(BufferedReader.java:161)

        at java.io.BufferedReader.readLine(BufferedReader.java:324)

        at java.io.BufferedReader.readLine(BufferedReader.java:389)

위와 같은 에러가 발생했다면 다음 설정을 .bashrc에 추가해주자.

export JAVA_OPTS="-Dfile.encoding=UTF-8"