sentenize

Разбивка текста на предложения.

Частичный порт python-библиотеки https://github.com/natasha/razdel , без токенизации по словам.

Добавлена поддержка английских сокращений.

Пример 1

package main

import (
	"fmt"

	"github.com/AlexMaxy/sentenize"
)

func main() {
	text := `Один два. Три четыре! Пять? Шесть семь.`
	sz := sentenize.NewSentenizer()
	sentences := sz.Sentenize(text)
	for _, s := range sentences {
		fmt.Printf("%#v\n", s)
	}
}

// "Один два."
// "Три четыре!"
// "Пять?"
// "Шесть семь."

Пример 2

text := `1) пункт No.1; 2) пункт No.2; 3) пункт No.3;`
sz := sentenize.NewSentenizer()
sentences := sz.Sentenize(text)
for _, s := range sentences {
	fmt.Printf("%#v\n", s)
}

// "1) пункт No.1;"
// "2) пункт No.2;"
// "3) пункт No.3;"

Пример 3

text := `Якутия — 3103.2 тыс. кв. км. (18.2% территории страны), 948.1 тыс. жителей. С.Н. Николаев (27.09.1961 - 20.10.2007) был чемпионом Якутии по шахматам в 1981-1983 гг. Хорошо.`
sz := sentenize.NewSentenizer()
sentences := sz.Sentenize(text)
for _, s := range sentences {
	fmt.Printf("%#v\n", s)
}

// "Якутия — 3103.2 тыс. кв. км. (18.2% территории страны), 948.1 тыс. жителей."
// "С.Н. Николаев (27.09.1961 - 20.10.2007) был чемпионом Якутии по шахматам в 1981-1983 гг."
// "Хорошо."

Пример 4

text := `Tue., May 29, 2018, 10:20 p.m. Data received at 9:44 a.m. January 25 (JST). To Elizabeth from S.C., Oct. 13, 1930. Jenkins, F.A., Jr., Shubin, N.H., Gatesy, S.M., and Padian, K., 2001, A diminutive pterosaur (Pterosauria: Eudimorphodontidae) from the Greenlandic Triassic: Bulletin of the Museum of Comparative Zoology, v. 156.`
sz := sentenize.NewSentenizer()
sentences := sz.Sentenize(text)
for _, s := range sentences {
	fmt.Printf("%#v\n", s)
}

// "Tue., May 29, 2018, 10:20 p.m."
// "Data received at 9:44 a.m. January 25 (JST)."
// "To Elizabeth from S.C., Oct. 13, 1930."
// "Jenkins, F.A., Jr., Shubin, N.H., Gatesy, S.M., and Padian, K., 2001, A diminutive pterosaur (Pterosauria: Eudimorphodontidae) from the Greenlandic Triassic: Bulletin of the Museum of Comparative Zoology, v. 156."