RNN - Text Generator.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# RNN with tensorflow2.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import tensorflow as tf\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Be sure to used Tensorflow 2.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "assert hasattr(tf, \"function\") # Be sure to use tensorflow 2.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Open and process dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "127286\n",
      "Parce que, jargonnant vêpres, jeûne et vigile,\n",
      "Exploitant Dieu qui rêve au fond du firmament,\n",
      "Vous avez, au milieu du divin évangile,\n",
      "Ouvert boutique effrontément ;\n",
      "\n",
      "Parce que vous feriez prendre à Jésus la verge,\n",
      "Cyniques brocanteurs sortis on ne sait d'où ;\n",
      "Parce que vous allez vendant la sainte vierge\n",
      "Dix sous avec miracle, et sans miracle un sou ;\n",
      "\n",
      "Parce que vous contez d'effroyables sornettes\n",
      "Qui font des temples saints trembler les vieux piliers ;\n",
      "Parce que votre style éblouit les lunettes\n",
      "Des duègnes et des marguilliers ;\n",
      "\n",
      "Parce que la soutane est sous vos redingotes,\n",
      "Parce que vous sentez la crasse et non l'œillet,\n",
      "Parce que vous bâclez un journal de bigotes\n",
      "Pensé par Escobar, écrit par Patouillet ;\n",
      "\n",
      "Parce qu'en balayant leurs portes, les concierges\n",
      "Poussent dans le ruisseau ce pamphlet méprisé ;\n",
      "Parce que vous mêlez à la cire des cierges\n",
      "Votre affreux suif vert-de-grisé ;\n",
      "\n",
      "Parce qu'à vous tout seuls vous faites une espèce\n",
      "Parce qu'enfin, blanchis dehors et noirs dedans,\n",
      "Criant\n"
     ]
    }
   ],
   "source": [
    "# You can used your own dataset with english text\n",
    "\n",
    "with open(\"rnn_dataset/victorhugo.txt\", \"r\") as f:\n",
    "    text = f.read()\n",
    "\n",
    "print(len(text))\n",
    "\n",
    "print(text[:1000])\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Remove character and create vocab\n",
    "![](./images/rnn_vocab.png)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "34 {'n', ':', '.', ',', ' ', 'v', \"'\", 'c', 'a', 'k', 'e', 'm', 'y', '\\n', 'l', 'w', 'd', 'p', 'q', 'g', 'z', '\"', 'x', 'u', 'j', 'f', 'i', 'r', ';', 't', 'b', 'h', 'o', 's'}\n",
      "parce que, jargonnant vepres, jeune et vigile,\n",
      "exploitant dieu qui reve au fond du firmament,\n",
      "vous avez, au milieu du divin evangile,\n",
      "ouvert boutique effrontement ;\n",
      "\n",
      "parce que vous feriez prendre a jesus la verge,\n",
      "cyniques brocanteurs sortis on ne sait d'ou ;\n",
      "parce que vous allez vendant la sainte vierge\n",
      "dix sous avec miracle, et sans miracle un sou ;\n",
      "\n",
      "parce que vous contez d'effroyables sornettes\n",
      "qui font des temples saints trembler les vieux piliers ;\n",
      "parce que votre style eblouit les lunettes\n",
      "des duegnes et des marguilliers ;\n",
      "\n",
      "parce que la soutane est sous vos redingotes,\n",
      "parce que vous sentez la crasse et non l'oeillet,\n",
      "parce que vous baclez un journal de bigotes\n",
      "pense par escobar, ecrit par patouillet ;\n",
      "\n",
      "parce qu'en balayant leurs portes, les concierges\n",
      "poussent dans le ruisseau ce pamphlet meprise ;\n",
      "parce que vous melez a la cire des cierges\n",
      "votre affreux suif vertdegrise ;\n",
      "\n",
      "parce qu'a vous tout seuls vous faites une espece\n",
      "parce qu'enfin, blanchis dehors et noirs dedans,\n",
      "criant \n"
     ]
    }
   ],
   "source": [
    "import unidecode\n",
    "\n",
    "text = unidecode.unidecode(text)\n",
    "text = text.lower()\n",
    "\n",
    "text = text.replace(\"2\", \"\")\n",
    "text = text.replace(\"1\", \"\")\n",
    "text = text.replace(\"8\", \"\")\n",
    "text = text.replace(\"5\", \"\")\n",
    "text = text.replace(\">\", \"\")\n",
    "text = text.replace(\"<\", \"\")\n",
    "text = text.replace(\"!\", \"\")\n",
    "text = text.replace(\"?\", \"\")\n",
    "text = text.replace(\"-\", \"\")\n",
    "text = text.replace(\"$\", \"\")\n",
    "\n",
    "text = text.strip()\n",
    "\n",
    "vocab = set(text)\n",
    "print(len(vocab), vocab)\n",
    "\n",
    "print(text[:1000])\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Map each letter to int"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "vocab_to_int {'n': 0, ':': 1, '.': 2, ',': 3, ' ': 4, 'v': 5, \"'\": 6, 'c': 7, 'a': 8, 'k': 9, 'e': 10, 'm': 11, 'y': 12, '\\n': 13, 'l': 14, 'w': 15, 'd': 16, 'p': 17, 'q': 18, 'g': 19, 'z': 20, '\"': 21, 'x': 22, 'u': 23, 'j': 24, 'f': 25, 'i': 26, 'r': 27, ';': 28, 't': 29, 'b': 30, 'h': 31, 'o': 32, 's': 33}\n",
      "\n",
      "int_to_vocab {0: 'n', 1: ':', 2: '.', 3: ',', 4: ' ', 5: 'v', 6: \"'\", 7: 'c', 8: 'a', 9: 'k', 10: 'e', 11: 'm', 12: 'y', 13: '\\n', 14: 'l', 15: 'w', 16: 'd', 17: 'p', 18: 'q', 19: 'g', 20: 'z', 21: '\"', 22: 'x', 23: 'u', 24: 'j', 25: 'f', 26: 'i', 27: 'r', 28: ';', 29: 't', 30: 'b', 31: 'h', 32: 'o', 33: 's'}\n",
      "\n",
      "int for e: 10\n",
      "letter for 10: e\n"
     ]
    }
   ],
   "source": [
    "vocab_size = len(vocab)\n",
    "\n",
    "vocab_to_int = {l:i for i,l in enumerate(vocab)}\n",
    "int_to_vocab = {i:l for i,l in enumerate(vocab)}\n",
    "\n",
    "print(\"vocab_to_int\", vocab_to_int)\n",
    "print()\n",
    "print(\"int_to_vocab\", int_to_vocab)\n",
    "\n",
    "print(\"\\nint for e:\", vocab_to_int[\"e\"])\n",
    "int_for_e = vocab_to_int[\"e\"]\n",
    "print(\"letter for %s: %s\" % (vocab_to_int[\"e\"], int_to_vocab[int_for_e]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[17, 8, 27, 7, 10, 4, 18, 23, 10, 3, 4, 24, 8, 27, 19, 32, 0, 0, 8, 0, 29, 4, 5, 10, 17, 27, 10, 33, 3, 4, 24, 10, 23, 0, 10, 4, 10, 29, 4, 5, 26, 19, 26, 14, 10, 3, 13, 10, 22, 17, 14, 32, 26, 29, 8, 0, 29, 4, 16, 26, 10, 23, 4, 18, 23, 26, 4, 27, 10, 5, 10, 4, 8, 23, 4, 25, 32, 0, 16, 4, 16, 23, 4, 25, 26, 27, 11, 8, 11, 10, 0, 29, 3, 13, 5, 32, 23, 33, 4, 8]\n"
     ]
    }
   ],
   "source": [
    "encoded = [vocab_to_int[l] for l in text]\n",
    "encoded_sentence = encoded[:100]\n",
    "\n",
    "print(encoded_sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['p', 'a', 'r', 'c', 'e', ' ', 'q', 'u', 'e', ',', ' ', 'j', 'a', 'r', 'g', 'o', 'n', 'n', 'a', 'n', 't', ' ', 'v', 'e', 'p', 'r', 'e', 's', ',', ' ', 'j', 'e', 'u', 'n', 'e', ' ', 'e', 't', ' ', 'v', 'i', 'g', 'i', 'l', 'e', ',', '\\n', 'e', 'x', 'p', 'l', 'o', 'i', 't', 'a', 'n', 't', ' ', 'd', 'i', 'e', 'u', ' ', 'q', 'u', 'i', ' ', 'r', 'e', 'v', 'e', ' ', 'a', 'u', ' ', 'f', 'o', 'n', 'd', ' ', 'd', 'u', ' ', 'f', 'i', 'r', 'm', 'a', 'm', 'e', 'n', 't', ',', '\\n', 'v', 'o', 'u', 's', ' ', 'a']\n"
     ]
    }
   ],
   "source": [
    "decoded_sentence = [int_to_vocab[i] for i in encoded_sentence]\n",
    "print(decoded_sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "parce que, jargonnant vepres, jeune et vigile,\n",
      "exploitant dieu qui reve au fond du firmament,\n",
      "vous a\n"
     ]
    }
   ],
   "source": [
    "decoded_sentence = \"\".join(decoded_sentence)\n",
    "print(decoded_sentence)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Sample of one batch\n",
    "<img src=\"./images/rnn_letter.png\" width=\"400px\" ></img>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Inputs [17, 8, 27, 7, 10, 4, 18, 23, 10, 3]\n",
      "Targets [8, 27, 7, 10, 4, 18, 23, 10, 3, 4]\n"
     ]
    }
   ],
   "source": [
    "inputs, targets = encoded, encoded[1:]\n",
    "\n",
    "print(\"Inputs\", inputs[:10])\n",
    "print(\"Targets\", targets[:10])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Method used to generate batch in sequence order"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[17.  8. 27.  7. 10.] [ 8. 27.  7. 10.  4.]\n",
      "[ 8.  8. 27.  7.  8.] [ 8. 27.  7. 10.  4.]\n"
     ]
    }
   ],
   "source": [
    "def gen_batch(inputs, targets, seq_len, batch_size, noise=0):\n",
    "    # Size of each chunk\n",
    "    chuck_size = (len(inputs) -1)  // batch_size\n",
    "    # Numbef of sequence per chunk\n",
    "    sequences_per_chunk = chuck_size // seq_len\n",
    "\n",
    "    for s in range(0, sequences_per_chunk):\n",
    "        batch_inputs = np.zeros((batch_size, seq_len))\n",
    "        batch_targets = np.zeros((batch_size, seq_len))\n",
    "        for b in range(0, batch_size):\n",
    "            fr = (b*chuck_size)+(s*seq_len)\n",
    "            to = fr+seq_len\n",
    "            batch_inputs[b] = inputs[fr:to]\n",
    "            batch_targets[b] = inputs[fr+1:to+1]\n",
    "            \n",
    "            if noise > 0:\n",
    "                noise_indices = np.random.choice(seq_len, noise)\n",
    "                batch_inputs[b][noise_indices] = np.random.randint(0, vocab_size)\n",
    "            \n",
    "        yield batch_inputs, batch_targets\n",
    "\n",
    "for batch_inputs, batch_targets in gen_batch(inputs, targets, 5, 32, noise=0):\n",
    "    print(batch_inputs[0], batch_targets[0])\n",
    "    break\n",
    "\n",
    "for batch_inputs, batch_targets in gen_batch(inputs, targets, 5, 32, noise=3):\n",
    "    print(batch_inputs[0], batch_targets[0])\n",
    "    break"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Create your own layer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "class OneHot(tf.keras.layers.Layer):\n",
    "    def __init__(self, depth, **kwargs):\n",
    "        super(OneHot, self).__init__(**kwargs)\n",
    "        self.depth = depth\n",
    "\n",
    "    def call(self, x, mask=None):\n",
    "        return tf.one_hot(tf.cast(x, tf.int32), self.depth)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Test if the layer works well"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(32, 50)\n",
      "(32, 50, 34)\n",
      "Input letter is: 17.0\n",
      "One hot representation of the letter [0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 1. 0. 0. 0. 0. 0. 0.\n",
      " 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]\n"
     ]
    }
   ],
   "source": [
    "class RnnModel(tf.keras.Model):\n",
    "\n",
    "    def __init__(self, vocab_size):\n",
    "        super(RnnModel, self).__init__()\n",
    "        # Convolutions\n",
    "        self.one_hot = OneHot(len(vocab))\n",
    "\n",
    "    def call(self, inputs):\n",
    "        output = self.one_hot(inputs)\n",
    "        return output\n",
    "\n",
    "batch_inputs, batch_targets = next(gen_batch(inputs, targets, 50, 32))\n",
    "\n",
    "print(batch_inputs.shape)\n",
    "\n",
    "model = RnnModel(len(vocab))\n",
    "output = model.predict(batch_inputs)\n",
    "\n",
    "print(output.shape)\n",
    "\n",
    "#print(output)\n",
    "\n",
    "print(\"Input letter is:\", batch_inputs[0][0])\n",
    "print(\"One hot representation of the letter\", output[0][0])\n",
    "\n",
    "#assert(output[int(batch_inputs[0][0])]==1)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Set up the model"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"./images/architecture_rnn.png\" width=\"400px\" ></img>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "vocab_size = len(vocab)\n",
    "\n",
    "### Creat the layers\n",
    "\n",
    "# Set the input of the model\n",
    "tf_inputs = tf.keras.Input(shape=(None,), batch_size=64)\n",
    "# Convert each value of the  input into a one encoding vector\n",
    "one_hot = OneHot(len(vocab))(tf_inputs)\n",
    "# Stack LSTM cells\n",
    "rnn_layer1 = tf.keras.layers.LSTM(128, return_sequences=True, stateful=True)(one_hot)\n",
    "rnn_layer2 = tf.keras.layers.LSTM(128, return_sequences=True, stateful=True)(rnn_layer1)\n",
    "# Create the outputs of the model\n",
    "hidden_layer = tf.keras.layers.Dense(128, activation=\"relu\")(rnn_layer2)\n",
    "outputs = tf.keras.layers.Dense(vocab_size, activation=\"softmax\")(hidden_layer)\n",
    "\n",
    "### Setup the model\n",
    "model = tf.keras.Model(inputs=tf_inputs, outputs=outputs)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Check if we can reset the RNN cells"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Star by resetting the cells of the RNN\n",
    "model.reset_states()\n",
    "\n",
    "# Get one batch\n",
    "batch_inputs, batch_targets = next(gen_batch(inputs, targets, 50, 64))\n",
    "\n",
    "# Make a first prediction\n",
    "outputs = model.predict(batch_inputs)\n",
    "first_prediction = outputs[0][0]\n",
    "\n",
    "# Reset the states of the RNN states\n",
    "model.reset_states()\n",
    "\n",
    "# Make an other prediction to check the difference\n",
    "outputs = model.predict(batch_inputs)\n",
    "second_prediction = outputs[0][0]\n",
    "\n",
    "# Check if both prediction are equal\n",
    "assert(set(first_prediction)==set(second_prediction))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Set the loss and objectives"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "loss_object = tf.keras.losses.SparseCategoricalCrossentropy()\n",
    "optimizer = tf.keras.optimizers.Adam(lr=0.001)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Set some metrics to track the progress of the training"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Loss\n",
    "train_loss = tf.keras.metrics.Mean(name='train_loss')\n",
    "# Accuracy\n",
    "train_accuracy = tf.keras.metrics.SparseCategoricalAccuracy(name='train_accuracy')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Set the train method and the predict method in graph mode"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "@tf.function\n",
    "def train_step(inputs, targets):\n",
    "    with tf.GradientTape() as tape:\n",
    "        # Make a prediction on all the batch\n",
    "        predictions = model(inputs)\n",
    "        # Get the error/loss on these predictions\n",
    "        loss = loss_object(targets, predictions)\n",
    "    # Compute the gradient which respect to the loss\n",
    "    gradients = tape.gradient(loss, model.trainable_variables)\n",
    "    # Change the weights of the model\n",
    "    optimizer.apply_gradients(zip(gradients, model.trainable_variables))\n",
    "    # The metrics are accumulate over time. You don't need to average it yourself.\n",
    "    train_loss(loss)\n",
    "    train_accuracy(targets, predictions)\n",
    "\n",
    "@tf.function\n",
    "def predict(inputs):\n",
    "    # Make a prediction on all the batch\n",
    "    predictions = model(inputs)\n",
    "    return predictions"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Train the model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.reset_states()\n",
    "\n",
    "for epoch in range(4000):\n",
    "    for batch_inputs, batch_targets in gen_batch(inputs, targets, 100, 64, noise=13):\n",
    "        train_step(batch_inputs, batch_targets)\n",
    "    template = '\\r Epoch {}, Train Loss: {}, Train Accuracy: {}'\n",
    "    print(template.format(epoch, train_loss.result(), train_accuracy.result()*100), end=\"\")\n",
    "    model.reset_states()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Save the model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "model.save(\"model_rnn.h5\")\n",
    "\n",
    "with open(\"model_rnn_vocab_to_int\", \"w\") as f:\n",
    "    f.write(json.dumps(vocab_to_int))\n",
    "with open(\"model_rnn_int_to_vocab\", \"w\") as f:\n",
    "    f.write(json.dumps(int_to_vocab))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Generate some text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " soldats  mais be distoire ; et sur toute chose.\n",
      "et la verite, moynt, le ruste range et vivant.\n",
      "le sorvent des mains laimsieres ange leur plaine ;\n",
      "le soir tout a fais qui donne a la tombe une cueux,\n",
      "que c'est la lueure et crache a l'ocean maisee,\n",
      "que de la rerre est ma prison est charmante \n",
      "et je m'\n",
      "\n",
      "=====================\n",
      "\n",
      "\n",
      " souffle sons fuit de pourrir augon vertunt.\n",
      "allem d'eux aux morts joyeux, seuls de maie et grande bourser vos demes de la nuit sur la partue ;\n",
      "je n'ai jamais souffert qu'on osat y trace fais lainsi vous croyez l'esprit du poetre fe l'aire\n",
      "des fleurs sont par plaind tout sous les degots de ce vere,\n",
      "\n",
      "=====================\n",
      "\n",
      "e la sainte vierre,\n",
      "la nature, ainsi que la france au fond de l'ombre.\n",
      "\n",
      "vii\n",
      "\n",
      "\n",
      "essait pour tout un huit, n'estce pas de rire \n",
      "le soir tombe en pred,ant le vide et la cipiee,\n",
      "il passene de toi, pour l'amere repouverte,\n",
      "tout a ces juste et mains lien sont distincess\n",
      "fait que nous nous connez dans l'omb\n",
      "\n",
      "=====================\n",
      "\n",
      " est un pubeur et l'aige un revagt.\n",
      "le pres de l'aut, ou dans ce timain ne semour,\n",
      "qu'a notre ame adeux de la raison de sa foi,\n",
      "entre disqu qu'en ce loyant que le sort die a fonde,\n",
      "j'ai vu ton coeur tends au bien dun faut du terre \n",
      "le preson dans la maison pour qu'on ollait vaine.\n",
      "\n",
      "il est bouche  a \n",
      "\n",
      "=====================\n",
      "\n",
      "e au ciel, manque au grand mourir profond.\n",
      "ou  tous les rois vaines de la mer descendee,\n",
      "chantez, flots, abjmir, ainsi qu'en du honne faire,\n",
      "que les enfans versetns au milieu des remes escoles,\n",
      "il est plus ainsi toujours vague au tout de fends.\n",
      "\n",
      "o songe a son ouvrant et douceur de la chaume ;\n",
      "je vou\n",
      "\n",
      "=====================\n",
      "\n",
      " a l'heure ou la nuit sourier\n",
      "que la confais, le mon eut la lache couveet\n",
      "le pet de l'assageneril est bas sparque ;\n",
      "harche le fixr des terts au fant de l'ame en veiller.\n",
      "\n",
      "on derait aux mains ma vague ouvrire des ames,\n",
      "que vous en astends pas assez de sa parte \n",
      "decoure le grande homme a detient melli\n",
      "\n",
      "=====================\n",
      "\n",
      "au serrire un peu de ces fronts merviere.\n",
      "les auracherts, des vieux, les oybres, les ou dieux \n",
      "\n",
      "nous detions les mains les martyrs sonnelles,\n",
      "la voule ils ont tous courtez sous les presses,\n",
      "vous etequi sur nos terntes sur les mars es fremeus ;\n",
      "les impres sont des voins de toutes nos devesses,\n",
      "soit q\n",
      "\n",
      "=====================\n",
      "\n",
      "le et ma peulle et sur tes larmes,\n",
      "les grands hommes ont fait leurs francs de l'autreche\n",
      "de lorse en voyagt l'avenir.\n",
      "ainsi, saus ne te charrer au sent fait pleurer et tue saintent mon enfant, sans d'hombre aurombe \n",
      "alors, que nous voyons sers pour l'aime du premiere\n",
      "mainta tout souffle charte, ange\n",
      "\n",
      "=====================\n",
      "\n",
      "\n",
      "e de sa fosse passe,\n",
      "et que je vous vois encre dans le beau moins l'ondre\n",
      "sans ce qu'al est pursque j'aime aussi le la tete,\n",
      "et que j'ai fait plus bai que le fort de tout serre,\n",
      "on a renon d'autrefois que le jarrais pour moi.\n",
      "un brille d'au raster des cloirs de l'aurore,\n",
      "et de nous du moins pourris\n",
      "\n",
      "=====================\n",
      "\n",
      "le a son front de son ame achete\n",
      "tant qu'une fuille au milieu des rayons ou vierger.\n",
      "quand un temps au crime ou n'ait pas vent creve t\n",
      "que vous enes confrez, la ruit, ou l'on peut ;este,\n",
      "sans qu'un ame estroutnant souffre et ce qui fait \n",
      "de motre en treveus sur la creation.\n",
      "c'est alors qu'a dans la \n",
      "\n",
      "=====================\n",
      "\n",
      "s et la sainte laie ;\n",
      "j'ai vu tete la tete et mais ;\n",
      "\n",
      "parce que vous etiez alosse\n",
      "et qu'alle ainti nous convient aais l'onde sous les nids je deses\n",
      "les hontes aux feuves et les mons,\n",
      "songez en souvenirs des vanges,\n",
      "un vague puissant couverte \n",
      "comme un peuple autour de l'accer.\n",
      "\n",
      "vous aumez vous nous \n",
      "\n",
      "=====================\n",
      "\n",
      "et sombre,\n",
      "et sans cesse et nuit, pour m'appelle au regour,\n",
      "dans le calme du coeur, dans la vain en fanta\n",
      "si passez le pritrir et marchant devant lui\n",
      "toutes les profondeurs de l'ombre et de l'ennui,\n",
      "l'ambre et l'esprit, le vien qui dort ahvivail.\n",
      "on ne sait quelque aison peu d'autre pole andre,\n",
      "et l\n",
      "\n",
      "=====================\n",
      "\n",
      "et l'ame a des fleurs,\n",
      "vous qui voulez des fleurs, vous qui vous saiti.\n",
      "\n",
      "j'ai vu ton coeur noit sa chaire,\n",
      "et le vent porte au hilon,\n",
      "dont la charge de l'artre ;\n",
      "et la verte sur les lieux \n",
      "\n",
      "ville, c'est le moi qui somme,\n",
      "silen qu'une faut de tes yeux\n",
      "mers comme les ailes de l'aurore,\n",
      "ils surgir aux \n",
      "\n",
      "=====================\n",
      "\n",
      "e a son aire a l'orage et le lave qui t'emporte\n",
      "melli de l'ame entone, nous vous etes envier \n",
      "je vois en facait vous etes un piedre sur la tete,\n",
      "et qu'il soit enrangn qu'en vous avez la soin,\n",
      "et comme un apyeci, sombre haine a mon ame,\n",
      "tevrre a pres de voir ressemer que je pars  \n",
      "\n",
      "parce que vous con\n",
      "\n",
      "=====================\n",
      "\n",
      " au frond ses sombres viles foies,\n",
      "font d'un heux saisis de ces frondes sinistres,\n",
      "la verte par la piede et la france aux vents,\n",
      "il est passer enfant, je suis l'homme aident \n",
      "quoi  quand je luis vous conner, de ton tour est car d'oistine,\n",
      "elle en une foret d'esprit  natue crimine,\n",
      "de l'homme est un \n",
      "\n",
      "=====================\n",
      "\n",
      " en sent croire et de contre en est ces hommes \n",
      "\n",
      "qui de nous  vanqus tait les chaines du meme voile,\n",
      "la sainte liberte en va faire aux vents,\n",
      "il eaait au frond les soldats est un sauvitre le chau.\n",
      "\n",
      "je vous en faise est vot, que je vais son maintre.\n",
      "le parthetoi sans des morts taineraires aux ames,\n",
      "q\n",
      "\n",
      "=====================\n",
      "\n",
      "e en ces chants sour paix a son piede la main,\n",
      "et quand on se fait pleure en la saille au viel \n",
      "de ne ton est la laiene, a l'immense ameut.\n",
      "ou sombre ou chacun mes cheveux dans la pierre,\n",
      "qu'il est donc son nefant qui dechire se la sombre\n",
      "qui hont en treson de voir de l'autre bonde un peut \n",
      "le prosc\n",
      "\n",
      "=====================\n",
      "\n",
      "llon, contre tout, heureux, desange  tu seroirs.\n",
      "la se pince en revant ten flois des temps nouveaux,\n",
      "le pouvoir, les honneurs sont vos plus demendre,\n",
      "les sombres leur camons ou tout a la tete ans chamme ;\n",
      "on ne saut, qu'en les ois qu'il souffle en devite,\n",
      "quand ta mere au hait s'eternel et la lavast\n",
      "\n",
      "=====================\n",
      "\n",
      "e au regour,\n",
      "jardure ou libre sans en fait aux sont d'imparter.\n",
      "pour cette vous bas chaque jombeaun a moi \n",
      "de l'arrente dans ses deux morts le pas destures\n",
      "quand nous sommes en juit \n",
      "\n",
      "oh  que vous etes enernce  comme un ange patre\n",
      "des derleurs de l'autel, et la tombe, a la nuit,\n",
      "que j'ai fais c'etoi\n",
      "\n",
      "=====================\n",
      "\n",
      "le reste ronne a mais nuit tout est vain.\n",
      "\n",
      "tu parler de mourir, la moutieu le sang,\n",
      "tachand du semant hermeil au sent trahieon etonne.\n",
      "en ne saut, qu'en lavre etonne et tremble un trosse ;\n",
      "nous avons un instant est le roule en de lamais,\n",
      "maldans de l'amsent ont autas mille clamme ;\n",
      "la nature est un \n",
      "\n",
      "=====================\n",
      "\n",
      "esseur de l'aurone,\n",
      "il essant l'etre entrers le rayon.\n",
      "\n",
      "c'est aimen.\n",
      "\n",
      "l'hafale mansiens, garder ta fiere,\n",
      "et ce qu'on a pardait sous les chants disperues.\n",
      "quand ton ame entante avors quelque vieux d'un homme,\n",
      "que nous aimions voisse est vous, voys ez sans dieu\n",
      "ssi, dous conque tu de cet hare, inquit\n",
      "\n",
      "=====================\n",
      "\n",
      "e sans puissant des rayons du dorte,\n",
      "mon enfent de son front que ce qui connait le mal,\n",
      "tandu pouvetu le peuple a ressemble sur la porte\n",
      "me uient aux rempois de la mer de l'etrice.\n",
      "je n'ai pas ve le rese et de son tere, paysere\n",
      "dans la nuit nous chantez oans ma creation d'aiglete ;\n",
      "il ne se vent pas\n",
      "\n",
      "=====================\n",
      "\n",
      " dans sous nos matsoes pasier sur l'encense,\n",
      "sien veux qu'en ce monde a ce que cette faute,\n",
      "nous commations, c'est au frinds nous repardaes la delce.dans la fange au coude ou les orages\n",
      "de l'aquilons des oiserains ;\n",
      "el vente toute speil qui ne sousons disaots\n",
      "et sur toute chose et tout souvenir,\n",
      "ale\n",
      "\n",
      "=====================\n",
      "\n",
      " sur les traitres de l'onde\n",
      "sous les vieux cent vours et des oeux et de nous voisser\n",
      "sur ta chaine ferme est tourne le meme sage,\n",
      "halde de l'equipende au conserau de la tombe,\n",
      "je suis content encore et grande et sur l'espait\n",
      "qui hous enfant e'tres qu'on lui pas se sourire \n",
      "qu'elle ait qu'un jour soi\n",
      "\n",
      "=====================\n",
      "\n",
      " sombre ou l'etre et la terre\n",
      "que tu navhes pas au fais au frande \n",
      "que les enfers dont la martyge,\n",
      "dans le beau mois de mai,\n",
      "la chose la plus douce\n",
      "dans le beau mois de mai\n",
      "c'est quand on est aime.\n",
      "\n",
      "parcourez les charmilles,\n",
      "les sources, les buissons ;\n",
      "autour des jeunes filles,\n",
      "les sources, les buis\n",
      "\n",
      "=====================\n",
      "\n",
      "e et par l'autre aussi, dans sa gaison,\n",
      "le present aux peuples de la mer de te fere.\n",
      "je suis roujours recoutais ; la faute de ciel \n",
      "n'est tout en mardant,\n",
      "retait ce qu'on voit malhitre, et sans droit, mempleids \n",
      "o mon manteau batte, et moi silencle en ange\n",
      "peur qu'elle pense a voix donne a ces lumie\n",
      "\n",
      "=====================\n",
      "\n",
      " et mois bien, meme moins mieux repands \n",
      "quoi  mon coude est toujne, et qu'on se muit pas pas usre\n",
      "que ton sauve a travers les lumieres du monde,\n",
      "toujours plains d'en qui donne a son diseau ;\n",
      "\n",
      "parce que vous courbont, vous nous donne cinintuyes,\n",
      "et dont la causemend de l'ame et dans les passes.\n",
      "je v\n",
      "\n",
      "=====================\n",
      "\n",
      " : ton sange et de cette inoomes,\n",
      "et s'etre doux montre, et riant en enfant,\n",
      "veut s ylange qu'il voit alle rayonnant....   que dieu res enfants, et j'ampoure nous attendre,\n",
      "la voix dieu fit, a bien, je surg en faut se mene.\n",
      "et quand, ce qu'un est voile ou son passer un qui faite\n",
      "et l'on terrait vers\n",
      "\n",
      "=====================\n",
      "\n",
      " l'aube et la tempete\n",
      "quand nous noms nous enfant ;\n",
      "\n",
      "si je ne vous vois pas comme une belle femme\n",
      "marchande, et l'avenir, avra brise a son langer\n",
      "qu'il est doux d'ynvendre et l'onde et le lache chent ;\n",
      "el fonte a touche, criere, et toi, je vois entremble en peu mainte,\n",
      "le jour ou tout ce qui n'achom\n",
      "\n",
      "=====================\n",
      "\n",
      "e saigne aux passants sur les pieds \n",
      "\n",
      "quoi  mon vieux heut vous, nous voulez la donce \n",
      "et tout somme a souffle a tous ceux de nouvelles,\n",
      "la sendue les emeuxs de la creation.\n",
      "\n",
      "ce livre, legion solcre a son fatal dieu,\n",
      "ce pas un que le vieille au fidele dans la contamente veux pas sent en reale et le \n",
      "\n",
      "=====================\n",
      "\n",
      "l'esprit. l'etrand jour et le suis me propiere,\n",
      "il peut sue l'homme hn pleurs  le revache leur glaive,\n",
      "elle elle se fouet mulliere, et j'allais a ma poince ;\n",
      "et t'atoure entrerastre et l'amour de phryne.\n",
      "les herreur se premiereraporrre a ses pervecc ;\n",
      "vous etes ce qui fait que la forme et le lieu sa\n",
      "\n",
      "=====================\n",
      "\n",
      " et machant, mais connamt,\n",
      "je m'ai vu te crappee, et dieu, ce que je dit :\n",
      "j'ai vouifais coupre uet et qu'un souffle est faite\n",
      "que je n'entenden ap pas que chante difforme,\n",
      "je t'ai vu te trainais, j'ai crevais tout aissins,\n",
      "et sur l'ama eternel nous avec le noir qui passes \n",
      "\n",
      "a cette ainsi.uue et de \n",
      "\n",
      "=====================\n",
      "\n",
      "amant ;\n",
      "et s'astre noir crmme et sans crainte, et sans crainte,\n",
      "sachezqu'en traveuit plus qu'on ne souffre sombre,\n",
      "j'ai vu tes vetements d'azur, ivientent distruis \n",
      "quoi  tout mange a crache, en rouant mauvais,\n",
      "a celler de l'autelent dans un combat le passere\n",
      "je ne proclame au ciel, de la sainte mai\n",
      "\n",
      "=====================\n",
      "\n",
      "le et sans rele mille clocher et trinde,\n",
      "comme aupourdais le bruit du monde\n",
      "le jette murain qui le rait pase\n",
      "l'esprit que nous aille ou la voix du travaille,\n",
      "et qu'il soit aller alle ciel.\n",
      "je ne suis pas chntre. ce que j'aire austera pas \n",
      "\n",
      "il peut sur le souffle et la france et le laime,\n",
      "l'epeindr, \n",
      "\n",
      "=====================\n",
      "\n",
      "l'esprit. un panthe ou lieu qui romge,\n",
      "si, dans ce cloaque ou sont fait le passere,\n",
      "je vis  j'ai trois enfants et l'ordure a ses pretres ;\n",
      "dit je t'ai vu te revers le fruit de l'accendre ;\n",
      "un fomen, oh la sorte et fletri en enfant,\n",
      "vaince melle mal quessonne et que les pres nos sommes\n",
      "que fais un tr\n",
      "\n",
      "=====================\n",
      "\n",
      "le eternel et sans rien est trop plombi \n",
      "oui, je leur creait alors qu'elle espre au vieux puits,\n",
      "cette vision de chaque inqule,\n",
      "amaiseau, furire leur moin presse \n",
      "je suis rien ne soit qu'au fond des shmmes,\n",
      "invants dans l'esprit humain tout etant qui me nous aile,\n",
      "que le jour de l'ame en ens de l'au\n",
      "\n",
      "=====================\n",
      "\n",
      "rendre et la sainte paile,\n",
      "et la sageste melle et la france aux vents,\n",
      "alloment, dans l'avenir repussiena qu'on voie\n",
      "ellememe d'ame roeur, dans ces sienle  de france,\n",
      "foule aux pieds vivreux aux lumieres du collir \n",
      "\n",
      "que le vous est pas un plus conquerque a couple.\n",
      "il parait que l'argre et la bourreu\n",
      "\n",
      "=====================\n",
      "\n",
      "e sans reliere,\n",
      "et qu'alayour tous les hamps et les monstres flemes \n",
      "comme en sont, toujours vous et des deux esclaveses\n",
      "frendrent les coeurs mustants.\n",
      "\n",
      " vous nous voulez la mer sportre dissonde en trop doule\n",
      "rome et son tarait ; et s'en fait le pour eux.\n",
      "vous croyez qu'en tous croissez la france et\n",
      "\n",
      "=====================\n",
      "\n",
      " et sans relache ;\n",
      "je n'ai ja ma metirais qui croyait tout le couche,\n",
      "sont dit passer souverran yu'esport sur le sombre,\n",
      "on ne saus pas le mourgre en de ces croses puisse\n",
      "les donc attendre, persieu de getre bisere,\n",
      "par l'ombre est un juit, un peu couvre au croid,\n",
      "aux nubls que jamais les douleurs su\n",
      "\n",
      "=====================\n",
      "\n",
      " et sur les cieux met sa flamme,\n",
      "apres tans cessieurs branches et de la mer sur l'empire ;\n",
      "je n'ai jamais souffert qu'on osat y t'amant,\n",
      "mes fleurs est paris des cieux met sans mort,\n",
      "les preneaient leur coulse auguste, par la vieile\n",
      "s'aurare au hond du ciel  l'orange a la tombant,\n",
      "j'ai voulu la sagr\n",
      "\n",
      "=====================\n",
      "\n",
      " et son esprit, arrepour de l'ame\n",
      "a cette fine de la ranon.\n",
      "\n",
      "vous vous crezez les mains le grand sombre satreil,\n",
      "aux nuits aux paymi tes visions et des oragns \n",
      "car la pierre qu'en ce livre, et par lui ta te faite\n",
      "melas .au donc est le mit, parce qu'il soit aller \n",
      "homme d'isting flattant aux remons d\n",
      "\n",
      "=====================\n",
      "\n",
      "les deux est garder ton ame :\n",
      "faissezvois ces heros, cherche en trouver,\n",
      "ceur autre son front que des remes ecorilles ;\n",
      "il chasse comme un chien le grand tiergentere,\n",
      "qu'il est des remetues de la merse fatale,\n",
      "sans que dous les rois, travant les mallipullants,\n",
      "des rafils, les aigref et les onds d'et\n",
      "\n",
      "=====================\n",
      "\n",
      "de l'ame, ou j'allais le reste, o mon ame,\n",
      "si, triste qu'en moi creat dans l'horizon des pensers.\n",
      "qui dans les noirs taillis ton oeil verse la mort,\n",
      "puisqu'il est d'autrir tant au seuil du dieu qui represait au pleure, c'est le premiere a ton nois bleuse ;\n",
      "j'ai vu tes vetements d'aitasses d'une lame\n",
      "\n",
      "=====================\n",
      "\n",
      " et sombre,\n",
      "et sans cesse et nuit, pour m'avfnire,\n",
      "et qu'il soit avant versant d'un pilieu de cette,\n",
      "en de ces quits quelqu'un qui le sorr un refait,\n",
      "que d'acenteraine, nous vois entremen de ciele,\n",
      "toute la causement, c'est un peu de canste,\n",
      "les sous et pas moirir qui descendres commette souffres,\n",
      "e\n",
      "\n",
      "=====================\n",
      "\n",
      "de, et sans relaine,\n",
      "et, tout sombre, o matine et sans relache \n",
      "arrepousqu'un plaient manquer sous les presres contrents.\n",
      "au sond des cheveux blancs de l'aurore et de l'onde\n",
      "se font euvre un bonde avec une parole.\n",
      "les prenne, et leur lace et le vie est sa colere.\n",
      "\n",
      "hiere en vous croyez qu'elle le fai\n",
      "\n",
      "=====================\n",
      "\n",
      "  et soupiri, enfant,\n",
      "sous l'astre noir nans ma pretre,\n",
      "et trouve la batanne aux beux metres ;\n",
      "que le repurd sur la clairon\n",
      "\n",
      "son noeux qu'il feut parfor, par la pleure,\n",
      "l'aubre sur son vosxgque j'aille a notre et ferme.\n",
      "ii\n",
      "\n",
      "\n",
      "aimes  c'est la douce loi.\n",
      "\n",
      "vous voyant encor leurs bates\n",
      "la faiseau hurain\n",
      "\n",
      "=====================\n",
      "\n",
      "es fuyant m'a dit le tete \n",
      "et quand on est atce leur la trouve par le vent qui le repaire,\n",
      "et ce qu'on ast pas un trouve farmon,\n",
      "a nous dire : les etiennen\n",
      "de sous la bumienne au ciel \n",
      "\n",
      "hi les epeleues de leur aile\n",
      "la soule archent toi fille\n",
      "ou le surt qu'il soit en rependre\n",
      "qu'un tourmou sait quel \n",
      "\n",
      "=====================\n",
      "\n",
      " sans rele mirant en souffle qui rayonne au vole,\n",
      "et le vent qui ta marture,\n",
      "tu mains leurs mysterieux.\n",
      "\n",
      "avrille  moi sifflamme,\n",
      "et toute embre et de centre et aile laisse sur ta tete,\n",
      "et, comme l'oiseau de l'ocean.\n",
      "c'est toi qui, vous etiez en astere,\n",
      "si tourmente qui tremple et tour,\n",
      "sont la saint\n",
      "\n",
      "=====================\n",
      "\n",
      "l est sans reven\n",
      " par le soir qui se foule a ta verse \n",
      "c'est a nous de chanter le plus exquis peutetre ;\n",
      "on chatouille moins pour roi tout peu de charmere\n",
      "de la republique et craindra l'etaile de l'ombre.\n",
      "tu desperte veut main presdsans la nuit touche \n",
      "autorre qu'en refard sur tous les nains moeterr\n",
      "\n",
      "=====================\n",
      "\n",
      "e a la fois baine aux partis ou leschere \n",
      "\n",
      "iii.\n",
      "aux puis, c'est le mom que j'aile qui sort s'en fait.\n",
      "le pouvoir mon coeur,rnous vous endonyor est change,\n",
      "un rouen eun coeur l'ame et la grosse fatale,\n",
      "tous enforgez qar la mer que te faisons a vertir \n",
      "\n",
      "ou sour et la sainte, espoir, de par mon ame,\n",
      "\n",
      "p\n",
      "\n",
      "=====================\n",
      "\n",
      " l'enorge et l'ombre aperdit.\n",
      "\n",
      "l'homme est entre un jour l'enorme solire ;\n",
      "l'ombre ressemant des ebles et de l'autendre,\n",
      "et la sagesse ame rete et le regard,\n",
      "prendre a l'ombre affrect en ce levr qui le fait ;\n",
      "le nous pas que l'empere reait hemonder ;\n",
      "l'orgueil qu'un homme aime, apresque come et sain\n",
      "\n",
      "=====================\n",
      "\n",
      "endement ;\n",
      "\n",
      "parce que vous celiez pas l'avez de sa cole,\n",
      "et tout garde une parfois le temps a tous.\n",
      "o poussione je fais paisait encor.\n",
      "moi que l'obscure autour de l'ace en un flot ee mainte,\n",
      "et tout gaite et marchant devant qu'on t'itte,\n",
      "en depis tet mains parmour le vent de sa hoin,\n",
      "et t'estu recla\n",
      "\n",
      "=====================\n",
      "\n",
      "e sur la pourriere amert.\n",
      "\n",
      "les feuilles de l'aire en verteille.\n",
      "ils lions aux mains les temps setournent la prese boire ameuse,\n",
      "et c'est un nombre faniour \n",
      "\n",
      "tout ce qui ne suis entrer dans mon ame en sans fille\n",
      "la france pour le morde en flambeaun\n",
      "des beaux impulmeteus de la mer \n",
      "instrederait aux na\n",
      "\n",
      "=====================\n",
      "\n",
      "reveur de l'aurore,\n",
      "et dans ce flome sur l'echive et le lieu \n",
      "il etait au senat l'amas et putte ame qu'on voue allee\n",
      "dans dans quelque comme un somne a qui tremble ;\n",
      "hieu  je t'ai vu te revers en de la clarmiere\n",
      "la loi saigne aux morts clarges, le seint de l'autre,\n",
      "le bon, le sueril des romes et la \n",
      "\n",
      "=====================\n",
      "\n",
      "\n",
      "\n",
      "\n",
      "ainsi qu'une cyoye ou nous voision cime \n",
      "l'ame re l'ombre abjourd ou l'on eppule,tun metom ser infire a ton front du vivre\n",
      "se me descends de toutes pas les vasses pleurs,\n",
      "et ritent le mot fuyant et qu'on se mart de foue\n",
      "descend de la cercue au milieu de ses hommes,\n",
      "on entre tigne des mains mains \n",
      "\n",
      "=====================\n",
      "\n",
      " l'espace pleure,\n",
      "ainsi qu'une cyoix en tout ce qui contre la tete,\n",
      "de l'ame enterrait ses douleurs.\n",
      "\n",
      "aime, a l'immense de la chaire,\n",
      "et le bourgeaise a l'oeil en vaste faire,\n",
      "la sainte lien apre avec les temps sainteres,\n",
      "pour vous qui vous et reverient :\n",
      "\n",
      "si je ne vous vois pas gardrd de ton tour e\n",
      "\n",
      "=====================\n",
      "\n",
      " faut se meme et sans dessense avec les bras \n",
      "\n",
      "quand je pense qu'il soulf a sa fante aimarte \n",
      "le fruit de l'ame, on bien donne a la tombe,\n",
      "si piele du charger ann la voix triste et doux,\n",
      "le jour ou tout ce qui ne songe et que je carete.\n",
      "j'ai creuse la lueur qu'on voit passer le voile,\n",
      "et que je vais\n",
      "\n",
      "=====================\n",
      "\n",
      " est sour quel donc est main ne sous en fait ;\n",
      "le cheva a dieu pas ce que l'honneur petit prome,\n",
      "et que je vais, sur ta treme et sur toute cenche,\n",
      "frrtournons le meurtre, et plus j'envecest vaine.\n",
      "et caiste comme une porte est un pas plus de cendre.\n",
      "qui somme en que c'etant. c'est que votre mais noi\n",
      "\n",
      "=====================\n",
      "\n",
      "e et la sainte au fond de l'aurore,\n",
      "et ce que j'ai forme sour le plus exque je choire\n",
      "j'ai pris ce que j'avais dans le coeur de ma poinc \n",
      "et la nature, au fond des saints et des eaux,\n",
      "j'honnet mante, et surtes, comme aimsi les peuilles,\n",
      "et marie aux soupirs dans le sang insulte en franche,\n",
      "le peuple\n",
      "\n",
      "=====================\n",
      "\n",
      "en enfonte lour de l'ace que tous sentons les coeurs mais la bouge en tremble,\n",
      "c'est notre chanaan que nous voyons le vent\n",
      "n'est en vain n'etes pas assez pas a partil \n",
      "o souvents qu'en boir comme une balalon sombre,\n",
      "chaque parlent aussiffle repleur de l'etre borde\n",
      "un toit du sacre et moint, nous don\n",
      "\n",
      "=====================\n",
      "\n",
      " et sans religuen.\n",
      "\n",
      "vous vous enfaites persent la douce endormie.\n",
      "\n",
      "vii\n",
      "\n",
      "des fleurs  donc l'azri de l'encre est de la lime \n",
      "\n",
      "dieu seul vous voyant l'autre au rendre au bruit ;\n",
      "quand elle m'eprite en la vague que charmant,\n",
      "le sengeal qui flambort et l'eclouchait son front,\n",
      "c'etant qu'une lueur sur tou\n",
      "\n",
      "=====================\n",
      "\n",
      " soldats frete au milieu des rues \n",
      "qu'il est donc faut ; moi qui donc tout se mourtre\n",
      "de l'ame en vient vente au soliau des raains \n",
      "\n",
      "u parser est la libere, et l'ame, a maintene,\n",
      "et taissement par la vie et tremplatt la memsille \n",
      "le contre la sainte pour l'ambre a ton viers\n",
      "puisque le sertine absie \n",
      "\n",
      "=====================\n",
      "\n",
      "eure et sa chaine, et sans cesser,\n",
      "puisque j'ai verse la rouge et la trahison basse\n",
      "en avancant en age aux la main qui t'emporte,\n",
      "mon etennait le vent qu'il souffle enfant la ciel \n",
      "\n",
      "fais quelque vous malhez en donaa songes et sans cartouches,\n",
      "braves, vous avez les mains mentezt, se mourir passe.\n",
      "la \n",
      "\n",
      "=====================\n",
      "\n",
      " sur nos tristes,\n",
      "je suis rouleur des chars d'airain.\n",
      "\n",
      "un bruin hent sa ceinte de ton front sur ma poile ;\n",
      "parce que vous etiez prendre aux noirs de ses arres comme la foule au prindre leur sans pleure sur la plaine\n",
      "on a change que j'ai creusee les heureurs d'emonder ;\n",
      "nous avons un instant cruit et\n",
      "\n",
      "=====================\n",
      "\n"
     ]
    }
   ],
   "source": [
    "import random\n",
    "\n",
    "model.reset_states()\n",
    "\n",
    "size_poetries = 300\n",
    "\n",
    "poetries = np.zeros((64, size_poetries, 1))\n",
    "sequences = np.zeros((64, 100))\n",
    "for b in range(64):\n",
    "    rd = np.random.randint(0, len(inputs) - 100)\n",
    "    sequences[b] = inputs[rd:rd+100]\n",
    "\n",
    "for i in range(size_poetries+1):\n",
    "    if i > 0:\n",
    "        poetries[:,i-1,:] = sequences\n",
    "    softmax = predict(sequences)\n",
    "    # Set the next sequences\n",
    "    sequences = np.zeros((64, 1))\n",
    "    for b in range(64):\n",
    "        argsort = np.argsort(softmax[b][0])\n",
    "        argsort = argsort[::-1]\n",
    "        # Select one of the strongest 4 proposals\n",
    "        sequences[b] = argsort[0]\n",
    "\n",
    "for b in range(64):\n",
    "    sentence = \"\".join([int_to_vocab[i[0]] for i in poetries[b]])\n",
    "    print(sentence)\n",
    "    print(\"\\n=====================\\n\")\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "\n",
    "with open(\"model_rnn_vocab_to_int\", \"r\") as f:\n",
    "    vocab_to_int = json.loads(f.read())\n",
    "with open(\"model_rnn_int_to_vocab\", \"r\") as f:\n",
    "    int_to_vocab = json.loads(f.read())\n",
    "    int_to_vocab = {int(key):int_to_vocab[key] for key in int_to_vocab}\n",
    "\n",
    "model.load_weights(\"model_rnn.h5\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}