mudpy/tests/selftest.py

   1 # Copyright (c) 2004-2019 mudpy authors. Permission to use, copy,
   2 # modify, and distribute this software is granted under terms
   3 # provided in the LICENSE file distributed with this software.
   4
   5 import os
   6 import pathlib
   7 import re
   8 import shutil
   9 import subprocess
  10 import sys
  11 import telnetlib
  12 import time
  13
  14 pidfile = "var/mudpy.pid"
  15
  16 test_account0_setup = (
  17     (0, "Identify yourself:", "luser0"),
  18     (0, "Enter your choice:", "n"),
  19     (0, 'Enter a new password for "luser0":', "Test123"),
  20     (0, "Enter the same new password again:", "Test123"),
  21     (0, r"What would you like to do\?", "c"),
  22     (0, "Pick a birth gender for your new avatar:", "f"),
  23     (0, "Choose a name for her:", "1"),
  24     (0, "What would you like to do?", "a"),
  25     (0, "Whom would you like to awaken?", ""),
  26 )
  27
  28 test_account1_setup = (
  29     (1, "Identify yourself:", "luser1"),
  30     (1, "Enter your choice:", "n"),
  31     (1, 'Enter a new password for "luser1":', "Test456"),
  32     (1, "Enter the same new password again:", "Test456"),
  33     (1, r"What would you like to do\?", "c"),
  34     (1, "Pick a birth gender for your new avatar:", "m"),
  35     (1, "Choose a name for him:", "1"),
  36     (1, "What would you like to do?", "a"),
  37     (1, "Whom would you like to awaken?", ""),
  38 )
  39
  40 test_actor_appears = (
  41     (0, r"You suddenly realize that .* is here\.", ""),
  42 )
  43
  44 test_explicit_punctuation = (
  45     (0, "> ", "say Hello there!"),
  46     (0, r'You exclaim, "Hello there\!"', ""),
  47     (1, r'exclaims, "Hello there\!"', "say And you are?"),
  48     (1, r'You ask, "And you are\?"', ""),
  49     (0, r'asks, "And you are\?"', "say I'm me, of course."),
  50     (0, r'''You say, "I'm me, of course\."''', ""),
  51     (1, r'''says, "I'm me, of course\."''', "say I wouldn't be so sure..."),
  52     (1, r'''You muse, "I wouldn't be so sure\.\.\."''', ""),
  53     (0, r'''muses, "I wouldn't be so sure\.\.\."''', "say You mean,"),
  54     (0, 'You begin, "You mean,"', ""),
  55     (1, 'begins, "You mean,"', "say I know-"),
  56     (1, 'You begin, "I know-"', ""),
  57     (0, 'begins, "I know-"', "say Don't interrupt:"),
  58     (0, r'''You begin, "Don't interrupt:"''', ""),
  59     (1, r'''begins, "Don't interrupt:"''', "say I wasn't interrupting;"),
  60     (1, r'''You begin, "I wasn't interrupting;"''', ""),
  61     (0, r'''begins, "I wasn't interrupting;"''', ""),
  62 )
  63
  64 test_implicit_punctuation = (
  65     (0, '> ', "say Whatever"),
  66     (0, r'You say, "Whatever\."', ""),
  67     (1, r'says, "Whatever\."', ""),
  68 )
  69
  70 test_typo_replacement = (
  71     (1, '> ', "say That's what i think."),
  72     (1, r'''You say, "That's what I think\."''', ""),
  73     (0, r'''says, "That's what I think\."''', "say You know what i'd like."),
  74     (0, r'''You say, "You know what I'd like\."''', ""),
  75     (1, r'''says, "You know what I'd like\."''', "say Then i'll tell you."),
  76     (1, r'''You say, "Then I'll tell you\."''', ""),
  77     (0, r'''says, "Then I'll tell you\."''', "say Now i'm ready."),
  78     (0, r'''You say, "Now I'm ready\."''', ""),
  79     (1, r'''says, "Now I'm ready\."''', "say That's teh idea."),
  80     (1, r'''You say, "That's the idea\."''', ""),
  81     (0, r'''says, "That's the idea\."''', "say It's what theyre saying."),
  82     (0, r'''You say, "It's what they're saying\."''', ""),
  83     (1, r'''says, "It's what they're saying\."''', "say Well, youre right."),
  84     (1, r'''You say, "Well, you're right\."''', ""),
  85     (0, r'''says, "Well, you're right\."''', ""),
  86 )
  87
  88 test_sentence_capitalization = (
  89     (0, "> ", "say this sentence should start with a capital T."),
  90     (0, 'You say, "This sentence', ""),
  91     (1, 'says, "This sentence', ""),
  92 )
  93
  94 test_chat_mode = (
  95     (1, '> ', "chat"),
  96     (1, r'(?s)Entering chat mode .*> \(chat\) ', "Feeling chatty."),
  97     (1, r'You say, "Feeling chatty\."', "!chat"),
  98     (0, r'says, "Feeling chatty\."', ""),
  99     (1, '> ', "say Now less chatty."),
 100     (1, r'You say, "Now less chatty\."', ""),
 101     (0, r'says, "Now less chatty\."', ""),
 102 )
 103
 104 test_wrapping = (
 105     (0, '> ', "say " + 100 * "o"),
 106     (1, r'says,\r\n"O[o]+\."', ""),
 107 )
 108
 109 test_forbid_ansi_input = (
 110     (0, '> ', "say \x1b[35mfoo\x1b[0m"),
 111     (1, r'says, "\[35mfoo\[0m\."', ""),
 112 )
 113
 114 test_escape_macros = (
 115     (0, '> ', "say $(red)bar$(nrm)"),
 116     (1, r'says, "\$\(red\)bar\$\(nrm\)."', ""),
 117 )
 118
 119 test_movement = (
 120     (0, "> ", "move north"),
 121     (0, r"You exit to the north\.", ""),
 122     (1, r"exits to the north\.", "move north"),
 123     (0, r"arrives from the south\.", "move south"),
 124     (0, r"You exit to the south\.", ""),
 125     (1, r"exits to the south\.", "move south"),
 126     (0, r"arrives from the north\.", "move east"),
 127     (0, r"You exit to the east\.", ""),
 128     (1, r"exits to the east\.", "move east"),
 129     (0, r"arrives from the west\.", "move west"),
 130     (0, r"You exit to the west\.", ""),
 131     (1, r"exits to the west\.", "move west"),
 132     (0, r"arrives from the east\.", "move up"),
 133     (0, r"You exit upward\.", ""),
 134     (1, r"exits upward\.", "move up"),
 135     (0, r"arrives from below\.", "move down"),
 136     (0, r"You exit downward\.", ""),
 137     (1, r"exits downward\.", "move down"),
 138     (0, r"arrives from above\.", ""),
 139 )
 140
 141 test_actor_disappears = (
 142     (1, "> ", "quit"),
 143     (0, r"You suddenly wonder where .* went\.", ""),
 144 )
 145
 146 test_account1_teardown = (
 147     (1, "What would you like to do?", "d"),
 148     (1, "Whom would you like to delete?", ""),
 149     (1, "What would you like to do?", "p"),
 150     (1, "permanently delete your account?", "y"),
 151     (1, "Disconnecting...", ""),
 152 )
 153
 154 test_admin_setup = (
 155     (2, "Identify yourself:", "admin"),
 156     (2, "Enter your choice:", "n"),
 157     (2, 'Enter a new password for "admin":', "Test789"),
 158     (2, "Enter the same new password again:", "Test789"),
 159     (2, r"What would you like to do\?", "c"),
 160     (2, "Pick a birth gender for your new avatar:", "m"),
 161     (2, "Choose a name for him:", "1"),
 162     (2, "What would you like to do?", "a"),
 163     (2, "Whom would you like to awaken?", ""),
 164 )
 165
 166 test_preferences = (
 167     (0, "> ", "preferences"),
 168     (0, r"\[32mprompt\x1b\[0m - <not set>.*> ", "preferences prompt $(foo)"),
 169     (0, r"\$\(foo\) ", "preferences prompt"),
 170     (0, r"\$\(foo\).*\$\(foo\) ", "preferences prompt $(time)>"),
 171     (0, "[0-9]> ", "preferences loglevel 0"),
 172     (0, "does not exist.*> ", "preferences prompt >"),
 173     (2, "> ", "preferences loglevel 0"),
 174     (2, "> ", "preferences"),
 175     (2, r"\[31mloglevel\x1b\[0m - 0.*> ", "preferences loglevel zero"),
 176     (2, r'''cannot be set to type "<class 'str'>"\..*> ''', ""),
 177 )
 178
 179 test_crlf_eol = (
 180     # Send a CR+LF at the end of the line instead of the default CR+NUL,
 181     # to make sure they're treated the same
 182     (2, "> ", b"say I use CR+LF as my EOL, not CR+NUL.\r\n"),
 183     (2, r'You say, "I use CR\+LF as my EOL, not CR\+NUL\.".*> ', ""),
 184 )
 185
 186 test_telnet_iac = (
 187     # Send a double (escaped) IAC byte within other text, which should get
 188     # unescaped and deduplicated to a single \xff in the buffer and then
 189     # the line of input discarded as a non-ASCII sequence
 190     (2, "> ", b"say argle\xff\xffbargle\r\0"),
 191     (2, r"Non-ASCII characters from admin: b'say.*argle\\xffbargle'.*> ", ""),
 192 )
 193
 194 test_telnet_unknown_command = (
 195     # Send an unsupported negotiation command #127 which should get filtered
 196     # from the line of input
 197     (2, "> ", b"say glop\xff\x7fglyf\r\0"),
 198     (2, r'Ignored unknown command 127 from admin\..*"Glopglyf\.".*> ', ""),
 199 )
 200
 201 test_telnet_unknown_option = (
 202     # Send an unassigned negotiation option #127 which should get logged
 203     (2, "> ", b"\xff\xfe\x7f\r\0"),
 204     (2, r'''Received "don't 127" from admin\..*> ''', ""),
 205 )
 206
 207 test_admin_restriction = (
 208     (0, "> ", "help halt"),
 209     (0, r"That is not an available command\.", "halt"),
 210     (0, '(not sure what "halt" means|Arglebargle, glop-glyf)', ""),
 211 )
 212
 213 test_admin_help = (
 214     (2, "> ", "help"),
 215     (2, r"halt.*Shut down the world\.", "help halt"),
 216     (2, "This will save all active accounts", ""),
 217 )
 218
 219 test_help = (
 220     (0, "> ", "help say"),
 221     (0, r"See also: .*chat.*> ", ""),
 222 )
 223
 224 test_abbrev = (
 225     (0, "> ", "h"),
 226     (0, r"h\[elp\].*m\[ove\].*> ", "he mo"),
 227     (0, r"Move in a specific direction\..*> ", "mov nor"),
 228     (0, r"You exit to the north\..*> ", "m s"),
 229     (0, r"You exit to the south\..*> ", ""),
 230 )
 231
 232 test_reload = (
 233     (2, "> ", "reload"),
 234     (2, r"Reloading all code modules, configs and data\."
 235         r".* User admin reloaded the world\.",
 236      "show element account.admin"),
 237     (2, 'These are the properties of the "account.admin" element.*'
 238         r'  \x1b\[32mpasshash:\r\n\x1b\[31m\$.*> ', ""),
 239 )
 240
 241 test_set_facet = (
 242     (2, "> ", "set actor.avatar_admin_0 gender female"),
 243     (2, r'You have successfully \(re\)set the "gender" facet of element', ""),
 244 )
 245
 246 test_set_refused = (
 247     (2, "> ", "set mudpy.limit password_tries 10"),
 248     (2, r'The "mudpy\.limit" element is kept in read-only file', ""),
 249 )
 250
 251 test_show_version = (
 252     (2, "> ", "show version"),
 253     (2, r"Running mudpy .* on .* Python 3.*with.*pyyaml.*> ", ""),
 254 )
 255
 256 test_show_time = (
 257     (2, "> ", "show time"),
 258     (2, r"\r\n[0-9]+ increments elapsed.*> ", ""),
 259 )
 260
 261 test_show_files = (
 262     (2, "> ", "show files"),
 263     (2, r'These are the current files containing the universe:.*'
 264         r'  \x1b\[31m\(rw\) \x1b\[32m/.*/account.yaml\x1b\[0m'
 265         r' \x1b\[33m\[private\]\x1b\[0m.*> ', ""),
 266 )
 267
 268 test_show_file = (
 269     (2, "> ", "show file %s" %
 270         os.path.join(os.getcwd(), "data/internal.yaml")),
 271     (2, r'These are the nodes in the.*file:.*internal\.counters.*> ', ""),
 272 )
 273
 274 test_show_groups = (
 275     (2, "> ", "show groups"),
 276     (2, r'These are the element groups:.*'
 277         r'  \x1b\[32maccount\x1b\[0m.*> ', ""),
 278 )
 279
 280 test_show_group = (
 281     (2, "> ", "show group account"),
 282     (2, r'These are the elements in the "account" group:.*'
 283         r'  \x1b\[32maccount\.admin\x1b\[0m.*> ', ""),
 284 )
 285
 286 test_show_element = (
 287     (2, "> ", "show element mudpy.limit"),
 288     (2, r'These are the properties of the "mudpy\.limit" element.*'
 289         r'  \x1b\[32mpassword_tries: \x1b\[31m3.*> ',
 290      "show element actor.avatar_admin_0"),
 291     (2, r'These are the properties of the "actor.avatar_admin_0" element.*'
 292         r'  \x1b\[32mgender: \x1b\[31mfemale.*> ', ""),
 293 )
 294
 295 test_show_result = (
 296     (2, "> ", "show result 12345*67890"),
 297     (2, r"\r\n838102050\r\n.*> ", "show result 1/0"),
 298     (2, r"Your expression raised an exception.*division by zero.*> ",
 299      "show result mudpy"),
 300     (2, r"<module 'mudpy' from .*> ", "show result re"),
 301     (2, r"Your expression raised an exception.*name 're' is not defined.*> ",
 302      "show result universe"),
 303     (2, r"<mudpy.misc.Universe object at 0x.*> ", "show result actor"),
 304     (2, r"Your expression raised an exception.*name 'actor' is not "
 305         r"defined.*> ", ""),
 306 )
 307
 308 test_show_log = (
 309     (2, "> ", "show log"),
 310     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 311         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 312 )
 313
 314 test_custom_loglevel = (
 315     (2, "> ", "set account.admin loglevel 2"),
 316     (2, "You have successfully .*> ", "show log"),
 317     (2, r"There are [0-9]+ log lines in memory and [0-9]+ at or above level "
 318         r"[0-9]+\. The matching lines\r\nfrom [0-9]+ to [0-9]+ are:", ""),
 319 )
 320
 321 test_invalid_loglevel = (
 322     (2, "> ", "set account.admin loglevel two"),
 323     (2, r'''Value "two" of type "<class 'str'>" cannot be coerced .*> ''', ""),
 324 )
 325
 326 test_log_no_errors = (
 327     (2, "> ", "show log 7"),
 328     (2, r"None of the [0-9]+ lines in memory matches your request\.", ""),
 329 )
 330
 331 final_cleanup = (
 332     (0, "> ", "quit"),
 333     (0, "What would you like to do?", "d"),
 334     (0, "Whom would you like to delete?", ""),
 335     (0, "What would you like to do?", "p"),
 336     (0, "permanently delete your account?", "y"),
 337     (0, "Disconnecting...", ""),
 338     (2, "> ", "quit"),
 339     (2, "What would you like to do?", "d"),
 340     (2, "Whom would you like to delete?", ""),
 341     (2, "What would you like to do?", "p"),
 342     (2, "permanently delete your account?", "y"),
 343     (2, "Disconnecting...", ""),
 344 )
 345
 346 dialogue = (
 347     (test_account0_setup, "first account setup"),
 348     (test_account1_setup, "second account setup"),
 349     (test_actor_appears, "actor spontaneous appearance"),
 350     (test_explicit_punctuation, "explicit punctuation"),
 351     (test_implicit_punctuation, "implicit punctuation"),
 352     (test_typo_replacement, "typo replacement"),
 353     (test_sentence_capitalization, "sentence capitalization"),
 354     (test_chat_mode, "chat mode"),
 355     (test_wrapping, "wrapping"),
 356     (test_forbid_ansi_input, "raw escape input is filtered"),
 357     (test_escape_macros, "replacement macros are escaped"),
 358     (test_movement, "movement"),
 359     (test_actor_disappears, "actor spontaneous disappearance"),
 360     (test_account1_teardown, "second account teardown"),
 361     (test_admin_setup, "admin account setup"),
 362     (test_preferences, "set and show preferences"),
 363     (test_crlf_eol, "send crlf from the client as eol"),
 364     (test_telnet_iac, "escape stray telnet iac bytes"),
 365     (test_telnet_unknown_command, "strip unknown telnet command"),
 366     (test_telnet_unknown_option, "log unknown telnet option"),
 367     (test_admin_restriction, "restricted admin commands"),
 368     (test_admin_help, "admin help"),
 369     (test_help, "help command"),
 370     (test_abbrev, "command abbreviation"),
 371     (test_reload, "reload"),
 372     (test_set_facet, "set facet"),
 373     (test_set_refused, "refuse altering read-only element"),
 374     (test_show_version, "show version and diagnostic info"),
 375     (test_show_time, "show elapsed world clock increments"),
 376     (test_show_files, "show a list of loaded files"),
 377     (test_show_file, "show nodes from a specific file"),
 378     (test_show_groups, "show groups"),
 379     (test_show_group, "show group"),
 380     (test_show_element, "show element"),
 381     (test_show_result, "show result of a python expression"),
 382     (test_show_log, "show log"),
 383     (test_custom_loglevel, "custom loglevel"),
 384     (test_invalid_loglevel, "invalid loglevel"),
 385     (test_log_no_errors, "no errors logged"),
 386     (final_cleanup, "delete remaining accounts"),
 387 )
 388
 389
 390 def start_service(config):
 391     # Clean up any previously run daemon which didn't terminate
 392     if os.path.exists(pidfile):
 393         pidfd = open(pidfile)
 394         pid = int(pidfd.read())
 395         try:
 396             # Stop the running service
 397             os.kill(pid, 15)
 398             time.sleep(1)
 399         except ProcessLookupError:
 400             # If there was no process, just remove the stale PID file
 401             os.remove(pidfile)
 402         # If there's a preexisting hung service, we can't proceed
 403         assert not os.path.exists(pidfile)
 404
 405     # Clean up any previous test output
 406     for f in pathlib.Path(".").glob("capture_*.log"):
 407         # have to use .name here since remove() doesn't support passing a
 408         # PosixPath argument until Python3.6
 409         os.remove(f.name)
 410     for d in ("data", "var"):
 411         shutil.rmtree(d, ignore_errors=True)
 412
 413     # Start the service and wait for it to be ready for connections
 414     service = subprocess.Popen(("mudpy", config),
 415                                stdout=subprocess.PIPE,
 416                                stderr=subprocess.PIPE)
 417     time.sleep(1)
 418     return(service)
 419
 420
 421 def stop_service(service):
 422     success = True
 423
 424     # The no-op case when no service was started
 425     if service is None:
 426         return(success)
 427
 428     # This handles when the service is running as a direct child process
 429     service.terminate()
 430     returncode = service.wait(10)
 431     if returncode != 0:
 432         tlog("\nERROR: Service exited with code %s." % returncode)
 433         success = False
 434
 435     # This cleans up a daemonized and disassociated service
 436     if os.path.exists(pidfile):
 437         pidfd = open(pidfile)
 438         pid = int(pidfd.read())
 439         try:
 440             # Stop the running service
 441             os.kill(pid, 15)
 442             time.sleep(1)
 443         except ProcessLookupError:
 444             # If there was no process, just remove the stale PID file
 445             os.remove(pidfile)
 446         # The PID file didn't disappear, so we have a hung service
 447         if os.path.exists(pidfile):
 448             tlog("\nERROR: Hung daemon with PID %s." % pid)
 449             success = False
 450
 451     # Log the contents of stdout and stderr, if any
 452     stdout, stderr = service.communicate()
 453     tlog("\nRecording stdout as capture_stdout.log.")
 454     serviceout = open("capture_stdout.log", "w")
 455     serviceout.write(stdout.decode("utf-8"))
 456     tlog("\nRecording stderr as capture_stderr.log.")
 457     serviceerr = open("capture_stderr.log", "w")
 458     serviceerr.write(stderr.decode("utf-8"))
 459
 460     return(success)
 461
 462
 463 def tlog(message, quiet=False):
 464     logfile = "capture_tests.log"
 465     with open(logfile, "a") as logfd:
 466         logfd.write(message + "\n")
 467     if not quiet:
 468         sys.stdout.write(message)
 469     return True
 470
 471
 472 def option_callback(telnet_socket, command, option):
 473     if option == b'\x7f':
 474         # We use this unassigned option value as a canary, so short-circuit
 475         # any response to avoid endlessly looping
 476         pass
 477     elif command in (telnetlib.DO, telnetlib.DONT):
 478         telnet_socket.send(telnetlib.IAC + telnetlib.WONT + option)
 479     elif command in (telnetlib.WILL, telnetlib.WONT):
 480         telnet_socket.send(telnetlib.IAC + telnetlib.DONT + option)
 481
 482
 483 def main():
 484     captures = ["", "", ""]
 485     lusers = [telnetlib.Telnet(), telnetlib.Telnet(), telnetlib.Telnet()]
 486     success = True
 487     start = time.time()
 488     service = None
 489     if len(sys.argv) > 1:
 490         # Start the service if a config file was provided on the command line
 491         service = start_service(sys.argv[1])
 492     for luser in lusers:
 493         luser.open("::1", 4000)
 494         luser.set_option_negotiation_callback(option_callback)
 495     for test, description in dialogue:
 496         tlog("\nTesting %s..." % description)
 497         test_start = time.time()
 498         for conversant, question, answer in test:
 499             tlog("luser%s waiting for: %s" % (conversant, question),
 500                  quiet=True)
 501             try:
 502                 index, match, received = lusers[conversant].expect(
 503                     [re.compile(question.encode("utf-8"), flags=re.DOTALL)], 5)
 504                 captures[conversant] += received.decode("utf-8")
 505             except ConnectionResetError:
 506                 tlog("\nERROR: Unable to connect to server.")
 507                 success = False
 508                 break
 509             except EOFError:
 510                 tlog("\nERROR: luser%s premature disconnection expecting:\n\n"
 511                      "%s\n\n"
 512                      "Check the end of capture_%s.log for received data."
 513                      % (conversant, question, conversant))
 514                 success = False
 515                 break
 516             try:
 517                 captures[conversant] += lusers[
 518                     conversant].read_very_eager().decode("utf-8")
 519             except Exception:
 520                 pass
 521             if index != 0:
 522                 tlog("\nERROR: luser%s did not receive expected string:\n\n"
 523                      "%s\n\n"
 524                      "Check the end of capture_%s.log for received data."
 525                      % (conversant, question, conversant))
 526                 success = False
 527                 break
 528             if type(answer) is str:
 529                 tlog("luser%s sending: %s" % (conversant, answer), quiet=True)
 530                 lusers[conversant].write(("%s\r\0" % answer).encode("utf-8"))
 531                 captures[conversant] += "%s\r\n" % answer
 532             elif type(answer) is bytes:
 533                 tlog("luser%s sending raw bytes: %s" % (conversant, answer),
 534                      quiet=True)
 535                 lusers[conversant].get_socket().send(answer)
 536                 captures[conversant] += "!!!RAW BYTES: %s" % answer
 537             else:
 538                 tlog("\nERROR: answer provided with unsupported type %s"
 539                      % type(answer))
 540                 success = False
 541                 break
 542         if not success:
 543             break
 544         tlog("Completed in %.3f seconds." % (time.time() - test_start))
 545     duration = time.time() - start
 546     for conversant in range(len(captures)):
 547         try:
 548             captures[conversant] += lusers[
 549                 conversant].read_very_eager().decode("utf-8")
 550         except Exception:
 551             pass
 552         lusers[conversant].close()
 553         logfile = "capture_%s.log" % conversant
 554         tlog("\nRecording session %s as %s." % (conversant, logfile))
 555         log = open(logfile, "w")
 556         log.write(captures[conversant])
 557         log.close()
 558     if not stop_service(service):
 559         success = False
 560     tlog("\nRan %s tests in %.3f seconds." % (len(dialogue), duration))
 561     if success:
 562         tlog("\nSUCCESS\n")
 563     else:
 564         tlog("\nFAILURE\n")
 565         sys.exit(1)
 566
 567
 568 if __name__ == '__main__':
 569     sys.exit(main())