构建一个情感分析应用

本指南演示了如何使用 Docker 对情感分析模型进行容器化。

Table of contents

概述

在本指南中，你将学习如何构建和运行一个情感分析应用。你将使用 Python 和自然语言工具包 (NLTK) 构建该应用，然后使用 Docker 设置环境并运行应用。

该应用使用 NLTK 的 SentimentIntensityAnalyzer 分析用户输入文本的情感，并输出情感是积极的、消极的还是中性的。

先决条件

你已安装最新版本的 Docker Desktop。Docker 会定期添加新功能，因此本指南的某些部分可能仅在最新版本的 Docker Desktop 上有效。
你有一个 Git 客户端。本节中的示例使用基于命令行的 Git 客户端，但你可以使用任何客户端。

获取示例应用

打开一个终端，并使用以下命令克隆示例应用的仓库。
$ git clone https://github.com/harsh4870/Docker-NLP.git

验证你已克隆该仓库。

你应该在你的 Docker-NLP 目录中看到以下文件。

01_sentiment_analysis.py
02_name_entity_recognition.py
03_text_classification.py
04_text_summarization.py
05_language_translation.py
entrypoint.sh
requirements.txt
Dockerfile
README.md

探索应用代码

情感分析应用的源代码位于 Docker-NLP/01_sentiment_analysis.py 文件中。在文本或代码编辑器中打开 01_sentiment_analysis.py，按照以下步骤探索其内容。

导入所需的库。
import nltk from nltk.sentiment import SentimentIntensityAnalyzer import ssl
- nltk：这是用于在 Python 中处理人类语言数据的自然语言工具包库。
- SentimentIntensityAnalyzer：这是 NLTK 中用于确定一段文本情感的工具。
- ssl：此模块提供对传输层安全（加密）功能的访问，用于安全的 Web 连接。
处理 SSL 证书验证。
try: _create_unverified_https_context = ssl._create_unverified_context except AttributeError: pass else: ssl._create_default_https_context = _create_unverified_https_context
此代码块是一个针对某些环境的变通方法，在这些环境中，由于 SSL 证书验证问题，通过 NLTK 下载数据可能会失败。它告诉 Python 忽略 HTTPS 请求的 SSL 证书验证。
下载 NLTK 资源。
nltk.download('vader_lexicon') nltk.download('punkt')
- vader_lexicon：这是 SentimentIntensityAnalyzer 用于情感分析的词典。
- punkt：NLTK 使用它来进行句子分词。这是 SentimentIntensityAnalyzer 正常运行所必需的。

创建一个情感分析函数。

def perform_semantic_analysis(text):
    sid = SentimentIntensityAnalyzer()
    sentiment_score = sid.polarity_scores(text)

    if sentiment_score['compound'] >= 0.05:
        return "Positive"
    elif sentiment_score['compound'] <= -0.05:
        return "Negative"
    else:
        return "Neutral"

SentimentIntensityAnalyzer() 创建一个分析器实例。
polarity_scores(text) 为输入文本生成一个情感分数。

该函数根据综合分数返回 Positive、Negative 或 Neutral。

创建主循环。

if __name__ == "__main__":
    while True:
        input_text = input("Enter the text for semantic analysis (type 'exit' to end): ")

        if input_text.lower() == 'exit':
            print("Exiting...")
            break

        result = perform_semantic_analysis(input_text)
        print(f"Sentiment: {result}")

脚本的这部分运行一个无限循环，以接受用户输入进行分析。如果用户输入 exit，程序将终止。否则，它会打印出所提供文本的情感。

创建 requirements.txt。

示例应用已包含 requirements.txt 文件，用于指定应用导入的必要包。在代码或文本编辑器中打开 requirements.txt 以探索其内容。
# 01 sentiment_analysis nltk==3.6.5 ...
情感分析应用只需要 nltk 包。

探索应用环境

你将使用 Docker 在容器中运行应用。Docker 让你对应用进行容器化，为其提供一个一致且隔离的运行环境。这意味着无论底层系统差异如何，应用都能在其 Docker 容器内按预期运行。

要在容器中运行应用，需要一个 Dockerfile。Dockerfile 是一个文本文档，其中包含了你为了组装镜像而需要在命令行调用的所有命令。镜像是用于创建 Docker 容器的只读模板，其中包含了相关指令。

示例应用已包含一个 Dockerfile。在代码或文本编辑器中打开 Dockerfile 以探索其内容。

以下步骤解释了 Dockerfile 的每个部分。更多详情，请参阅 Dockerfile 参考。

指定基础镜像。
FROM python:3.8-slim
此命令为构建设置基础。python:3.8-slim 是 Python 3.8 镜像的轻量级版本，针对大小和速度进行了优化。使用此 slim 镜像可以减少 Docker 镜像的整体大小，从而加快下载速度并减少安全漏洞的攻击面。这对于基于 Python 的应用尤其有用，因为你可能不需要完整的标准 Python 镜像。
设置工作目录。
WORKDIR /app
WORKDIR 在 Docker 镜像内设置当前工作目录。通过将其设置为 /app，可以确保 Dockerfile 中的所有后续命令（如 COPY 和 RUN）都在此目录中执行。这也有助于组织你的 Docker 镜像，因为所有与应用相关的文件都包含在一个特定目录中。
将 requirements 文件复制到镜像中。
COPY requirements.txt /app
COPY 命令将 requirements.txt 文件从你的本地机器传输到 Docker 镜像中。此文件列出了应用所需的所有 Python 依赖项。将其复制到容器中，可以让下一条命令（RUN pip install）在镜像环境中安装这些依赖项。
在镜像中安装 Python 依赖。
RUN pip install --no-cache-dir -r requirements.txt
此行使用 pip（Python 的包安装程序）来安装 requirements.txt 中列出的包。--no-cache-dir 选项禁用缓存，通过不存储不必要的缓存数据来减小 Docker 镜像的大小。
运行额外的命令。
RUN python -m spacy download en_core_web_sm
此步骤特定于需要 spaCy 库的 NLP 应用。它下载 en_core_web_sm 模型，这是 spaCy 的一个小型英语语言模型。虽然此应用不需要它，但为了与其他可能使用此 Dockerfile 的 NLP 应用兼容，这里包含了它。
将应用代码复制到镜像中。
COPY *.py /app COPY entrypoint.sh /app
这些命令将你的 Python 脚本和 entrypoint.sh 脚本复制到镜像的 /app 目录中。这至关重要，因为容器需要这些脚本来运行应用。entrypoint.sh 脚本尤其重要，因为它规定了应用在容器内的启动方式。
为 entrypoint.sh 脚本设置权限。
RUN chmod +x /app/entrypoint.sh
此命令修改 entrypoint.sh 的文件权限，使其可执行。此步骤是确保 Docker 容器可以运行此脚本以启动应用所必需的。
设置入口点。
ENTRYPOINT ["/app/entrypoint.sh"]
ENTRYPOINT 指令将容器配置为运行 entrypoint.sh 作为其默认可执行文件。这意味着当容器启动时，它会自动执行该脚本。

你可以在代码或文本编辑器中打开 entrypoint.sh 脚本来探索它。由于示例包含多个应用，该脚本允许你指定在容器启动时要运行哪个应用。

运行应用

要使用 Docker 运行应用：

构建镜像。

在终端中，在 Dockerfile 所在的目录内运行以下命令。
$ docker build -t basic-nlp .
以下是对该命令的分解说明：
- docker build：这是用于从 Dockerfile 和上下文构建 Docker 镜像的主要命令。上下文通常是指定位置的文件集，通常是包含 Dockerfile 的目录。
- -t basic-nlp：这是用于标记镜像的选项。-t 标志代表 tag。它为镜像分配一个名称，在本例中为 basic-nlp。标签是以后引用镜像的便捷方式，尤其是在将镜像推送到仓库或运行容器时。
- .：这是命令的最后一部分，指定构建上下文。句点 (.) 表示当前目录。Docker 将在此目录中查找 Dockerfile。构建上下文（在本例中是当前目录）被发送到 Docker 守护进程以进行构建。它包括指定目录中的所有文件和子目录。
Docker 在构建镜像时会向你的控制台输出多个日志。你将看到它下载和安装依赖项。根据你的网络连接，这可能需要几分钟。Docker 确实有缓存功能，因此后续构建可以更快。完成后，控制台将返回到提示符。

更多详情，请参阅 docker build CLI 参考。
将镜像作为容器运行。

在终端中，运行以下命令。
$ docker run -it basic-nlp 01_sentiment_analysis.py
以下是对该命令的分解说明：
- docker run：这是用于从 Docker 镜像运行新容器的主要命令。
- -it：这是两个选项的组合：
  - -i 或 --interactive：即使没有附加，也保持标准输入 (STDIN) 开放。它让容器保持在前台运行并具有交互性。
  - -t 或 --tty：这会分配一个伪 TTY，本质上是模拟一个终端，如命令提示符或 shell。这让你能够与容器内的应用进行交互。
- basic-nlp：这指定用于创建容器的 Docker 镜像的名称。在本例中，它是你使用 docker build 命令创建的名为 basic-nlp 的镜像。
- 01_sentiment_analysis.py：这是你希望在 Docker 容器内运行的脚本。它被传递给 entrypoint.sh 脚本，该脚本在容器启动时运行它。
更多详情，请参阅 docker run CLI 参考。

Note

对于 Windows 用户，在运行容器时可能会遇到错误。请验证 entrypoint.sh 中的行结尾是 LF (\n) 而不是 CRLF (\r\n)，然后重新构建镜像。更多详情，请参阅避免意外的语法错误，对容器中的文件使用 Unix 风格的行结尾。

容器启动后，你将在控制台中看到以下内容。
Enter the text for semantic analysis (type 'exit' to end):

测试应用。

输入一条评论以获取情感分析结果。

Enter the text for semantic analysis (type 'exit' to end): I love containers!
Sentiment: Positive
Enter the text for semantic analysis (type 'exit' to end): I'm still learning about containers.
Sentiment: Neutral

总结

在本指南中，你学习了如何构建和运行一个情感分析应用。你学习了如何使用 Python 和 NLTK 构建应用，然后使用 Docker 设置环境并运行应用。

后续步骤

探索更多自然语言处理指南。

What can I help you with?

构建一个情感分析应用