Natural Language API를 사용한 항목 및 감정 분석 | Google Cloud Skills Boost
Cloud Natural Language API를 사용하면 텍스트 블록에서 항목을 추출하고 감정 및 구문 분석을 수행할 수 있습니다. 이 실습에서는 Cloud Natural Language API를 사용하여 텍스트에서 항목과 감정을 추출하는
www.cloudskillsboost.google
이번 실습에서는 Natural Language API를 사용하여 entity, sentiment, syntax를 분석하는 방법을 배운다.
Navigation menu -> APIs & Services -> Credentials
CREATE CREDENTIALS -> API key
key 복사
Navigation menu -> Compute Engine
vm instance에 SSH로 접속
복사해뒀던 키를 환경변수로 저장
export API_KEY=<YOUR_API_KEY>
request.json을 열어 다음 코드를 저장
nano request.json{ "document":{ "type":"PLAIN_TEXT", "content":"Joanne Rowling, who writes under the pen names J. K. Rowling and Robert Galbraith, is a British novelist and screenwriter who wrote the Harry Potter fantasy series." }, "encodingType":"UTF8" }
Cloud Storage에 저장된 파일을 보내고 싶다면 content 대신 gcsContentUri와 text 파일의 url을 key와 value로 설정해주면 된다.
request를 보내고 결과를 result.json에 저장하자.
curl "https://language.googleapis.com/v1/documents:analyzeEntities?key=${API_KEY}" \ -s -X POST -H "Content-Type: application/json" --data-binary @request.json > result.json
result.json
{ "entities": [ { "name": "Joanne Rowling", "type": "PERSON", "metadata": { "wikipedia_url": "https://en.wikipedia.org/wiki/J._K._Rowling", "mid": "/m/042xh" }, "salience": 0.79828626, "mentions": [ { "text": { "content": "Joanne Rowling", "beginOffset": 0 }, "type": "PROPER" }, { "text": { "content": "Rowling", "beginOffset": 53 }, "type": "PROPER" }, { "text": { "content": "novelist", "beginOffset": 96 }, "type": "COMMON" }, { "text": { "content": "Robert Galbraith", "beginOffset": 65 }, "type": "PROPER" } ] }, { "name": "pen names", "type": "OTHER", "metadata": {}, "salience": 0.07300248, "mentions": [ { "text": { "content": "pen names", "beginOffset": 37 }, "type": "COMMON" } ] }, { "name": "J.K.", "type": "PERSON", "metadata": {}, "salience": 0.043804582, "mentions": [ { "text": { "content": "J. K.", "beginOffset": 47 }, "type": "PROPER" } ] }, { "name": "British", "type": "LOCATION", "metadata": {}, "salience": 0.019752095, "mentions": [ { "text": { "content": "British", "beginOffset": 88 }, "type": "PROPER" } ] }, { "name": "fantasy series", "type": "WORK_OF_ART", "metadata": {}, "salience": 0.01764168, "mentions": [ { "text": { "content": "fantasy series", "beginOffset": 149 }, "type": "COMMON" } ] }, { "name": "Harry Potter", "type": "WORK_OF_ART", "metadata": { "wikipedia_url": "https://en.wikipedia.org/wiki/Harry_Potter", "mid": "/m/078ffw" }, "salience": 0.014916742, "mentions": [ { "text": { "content": "Harry Potter", "beginOffset": 136 }, "type": "PROPER" } ] }, { "name": "screenwriter", "type": "PERSON", "metadata": {}, "salience": 0.011085264, "mentions": [ { "text": { "content": "screenwriter", "beginOffset": 109 }, "type": "COMMON" } ] } ], "language": "en" }
이번에는 sentiment analysis를 해보자.
request.json을 조금 더 sentiment가 강한 문장으로 바꿔보자.
{ "document":{ "type":"PLAIN_TEXT", "content":"Harry Potter is the best book. I think everyone should read it." }, "encodingType": "UTF8" }
request
curl "https://language.googleapis.com/v1/documents:analyzeSentiment?key=${API_KEY}" \ -s -X POST -H "Content-Type: application/json" --data-binary @request.json
result
{ "documentSentiment": { "magnitude": 1.9, "score": 0.9 }, "language": "en", "sentences": [ { "text": { "content": "Harry Potter is the best book.", "beginOffset": 0 }, "sentiment": { "magnitude": 0.9, "score": 0.9 } }, { "text": { "content": "I think everyone should read it.", "beginOffset": 31 }, "sentiment": { "magnitude": 0.9, "score": 0.9 } } ] }
score는 -1.0 부터 1.0 까지의 수로 positive와 negative를 의미한다.
manitude는 0부터 무한대까지의 수로 weight를 표현한다.
(얼마나 강하게 sentiment를 나타내는지)
"I liked the sushi but the service was terrible."
이라는 문장을 살펴봤을 때 위와 같이 문장 전체의 sentiment score르 얻는 것은 그리 유용하지 않을 것이다.
이런 경우 사용할 수 있는 방법이 analyzeEntitySentiment 이다.
request.json 파일을 다음과 같이 바꿔주자.
{ "document":{ "type":"PLAIN_TEXT", "content":"I liked the sushi but the service was terrible." }, "encodingType": "UTF8" }
request
curl "https://language.googleapis.com/v1/documents:analyzeEntitySentiment?key=${API_KEY}" \ -s -X POST -H "Content-Type: application/json" --data-binary @request.json
result
{ "entities": [ { "name": "sushi", "type": "CONSUMER_GOOD", "metadata": {}, "salience": 0.51064336, "mentions": [ { "text": { "content": "sushi", "beginOffset": 12 }, "type": "COMMON", "sentiment": { "magnitude": 0, "score": 0 } } ], "sentiment": { "magnitude": 0, "score": 0 } }, { "name": "service", "type": "OTHER", "metadata": {}, "salience": 0.48935664, "mentions": [ { "text": { "content": "service", "beginOffset": 26 }, "type": "COMMON", "sentiment": { "magnitude": 0.7, "score": -0.7 } } ], "sentiment": { "magnitude": 0.7, "score": -0.7 } } ], "language": "en" }
sushi와 service 두 가지 entity로 구분하여 sentiment score를 매기는 것을 확인할 수 있다.
sushi는 0점, service는 -0.7점으로 잘 들어맞는다.
이번에는 syntactic analysis를 해보자.
request.json을 바꿔준다.
{ "document":{ "type":"PLAIN_TEXT", "content": "Joanne Rowling is a British novelist, screenwriter and film producer." }, "encodingType": "UTF8" }
request
curl "https://language.googleapis.com/v1/documents:analyzeSyntax?key=${API_KEY}" \ -s -X POST -H "Content-Type: application/json" --data-binary @request.json
result
"person": "PERSON_UNKNOWN", "proper": "PROPER_UNKNOWN", "reciprocity": "RECIPROCITY_UNKNOWN", "tense": "TENSE_UNKNOWN", "voice": "VOICE_UNKNOWN" }, "dependencyEdge": { "headTokenIndex": 10, "label": "NN" }, "lemma": "film" }, { "text": { "content": "producer", "beginOffset": 60 }, "partOfSpeech": { "tag": "NOUN", "aspect": "ASPECT_UNKNOWN", "case": "CASE_UNKNOWN", "form": "FORM_UNKNOWN", "gender": "GENDER_UNKNOWN", "mood": "MOOD_UNKNOWN", "number": "SINGULAR", "person": "PERSON_UNKNOWN", "proper": "PROPER_UNKNOWN", "reciprocity": "RECIPROCITY_UNKNOWN", "tense": "TENSE_UNKNOWN", "voice": "VOICE_UNKNOWN" }, "dependencyEdge": { "headTokenIndex": 5, "label": "CONJ" }, "lemma": "producer" }, { "text": { "content": ".", "beginOffset": 68 }, "partOfSpeech": { "tag": "PUNCT", "aspect": "ASPECT_UNKNOWN", "case": "CASE_UNKNOWN", "form": "FORM_UNKNOWN", "gender": "GENDER_UNKNOWN", "mood": "MOOD_UNKNOWN", "number": "NUMBER_UNKNOWN", "person": "PERSON_UNKNOWN", "proper": "PROPER_UNKNOWN", "reciprocity": "RECIPROCITY_UNKNOWN", "tense": "TENSE_UNKNOWN", "voice": "VOICE_UNKNOWN" }, "dependencyEdge": { "headTokenIndex": 2, "label": "P" }, "lemma": "." } ], "language": "en" }
partOfSpeech (POS) 는 "Joanne"이 명사임을 알려준다.
dependencyEdge는 dependency parse tree를 만드는 데 사용할 수 있는 data이다.
(token 간의 관계를 나타냄)
일본어에 관한 요청도 API에 보내보자
request.json
{ "document":{ "type":"PLAIN_TEXT", "content":"日本のグーグルのオフィスは、東京の六本木ヒルズにあります" } }
언어를 지정해주지 않아도 자동으로 찾는다.
request
curl "https://language.googleapis.com/v1/documents:analyzeEntities?key=${API_KEY}" \ -s -X POST -H "Content-Type: application/json" --data-binary @request.json
result
{ "entities": [ { "name": "日本", "type": "LOCATION", "metadata": { "mid": "/m/03_3d", "wikipedia_url": "https://en.wikipedia.org/wiki/Japan" }, "salience": 0.23804513, "mentions": [ { "text": { "content": "日本", "beginOffset": -1 }, "type": "PROPER" } ] }, { "name": "グーグル", "type": "ORGANIZATION", "metadata": { "mid": "/m/045c7b", "wikipedia_url": "https://en.wikipedia.org/wiki/Google" }, "salience": 0.21214141, "mentions": [ { "text": { "content": "グーグル", "beginOffset": -1 }, "type": "PROPER" } ] }, { "name": "六本木ヒルズ", "type": "PERSON", "metadata": { "wikipedia_url": "https://en.wikipedia.org/wiki/Roppongi_Hills", "mid": "/m/01r2_k" }, "salience": 0.19418614, "mentions": [ { "text": { "content": "六本木ヒルズ", "beginOffset": -1 }, "type": "PROPER" } ] }, { "name": "東京", "type": "LOCATION", "metadata": { "mid": "/g/11b6gnvfr8", "wikipedia_url": "https://en.wikipedia.org/wiki/Special_wards_of_Tokyo" }, "salience": 0.18159479, "mentions": [ { "text": { "content": "東京", "beginOffset": -1 }, "type": "PROPER" } ] }, { "name": "オフィス", "type": "OTHER", "metadata": {}, "salience": 0.17403255, "mentions": [ { "text": { "content": "オフィス", "beginOffset": -1 }, "type": "COMMON" } ] } ], "language": "ja" }
'Cloud > Google Cloud Study Jam' 카테고리의 다른 글
| Bayes Classifier on Dataproc (0) | 2022.05.08 |
|---|---|
| Speech to Text Transcription with the Cloud Speech API (0) | 2022.03.28 |
| Cloud Natural Language API: Qwik Start (0) | 2022.03.28 |
| Google Cloud Speech API: Qwik Start (0) | 2022.03.28 |
| AI Platform: Qwik Start (0) | 2022.03.28 |
댓글