这个算法呢?在空格上拆分文本，然后修剪标点符号。这样可以小心地去掉单词边缘的标点符号，而不会损害we're等单词中的撇号。

>>> text
"'Oh, you can't help that,' said the Cat: 'we're all mad here. I'm mad. You're mad.'"

>>> text.split()
["'Oh,", 'you', "can't", 'help', "that,'", 'said', 'the', 'Cat:', "'we're", 'all', 'mad', 'here.', "I'm", 'mad.', "You're", "mad.'"]

>>> import string
>>> [word.strip(string.punctuation) for word in text.split()]
['Oh', 'you', "can't", 'help', 'that', 'said', 'the', 'Cat', "we're", 'all', 'mad', 'here', "I'm", 'mad', "You're", 'mad']

Shlex有一个.split()函数。它与str.split()的不同之处在于它不保留引号，将引用的短语视为单个单词:

>>> import shlex
>>> shlex.split("sudo echo 'foo && bar'")
['sudo', 'echo', 'foo && bar']

注意:它适用于类unix的命令行字符串。它不适用于自然语言处理。

如果你想要一个列表中一个单词/句子的所有字符，可以这样做:

print(list("word"))
#  ['w', 'o', 'r', 'd']


print(list("some sentence"))
#  ['s', 'o', 'm', 'e', ' ', 's', 'e', 'n', 't', 'e', 'n', 'c', 'e']

使用str.split ():

返回字符串中的单词列表，使用sep作为分隔符 ．.． 如果sep未指定或为None，则应用不同的分割算法:连续空格的运行被视为单个分隔符，如果字符串前导或尾部有空格，则结果将在开头或结尾不包含空字符串。

>>> line = "a sentence with a few words"
>>> line.split()
['a', 'sentence', 'with', 'a', 'few', 'words']

在任意连续运行的空格上拆分字符串文本:

words = text.split()      

使用自定义分隔符(如"，")分隔字符串文本:

words = text.split(",")   

words变量将是一个列表，并包含分隔符上分割的文本中的单词。

这个算法呢?在空格上拆分文本，然后修剪标点符号。这样可以小心地去掉单词边缘的标点符号，而不会损害we're等单词中的撇号。

>>> text
"'Oh, you can't help that,' said the Cat: 'we're all mad here. I'm mad. You're mad.'"

>>> text.split()
["'Oh,", 'you', "can't", 'help', "that,'", 'said', 'the', 'Cat:', "'we're", 'all', 'mad', 'here.', "I'm", 'mad.', "You're", "mad.'"]

>>> import string
>>> [word.strip(string.punctuation) for word in text.split()]
['Oh', 'you', "can't", 'help', 'that', 'said', 'the', 'Cat', "we're", 'all', 'mad', 'here', "I'm", 'mad', "You're", 'mad']